CUDA మరియు Tensor కోర్లు Nvidia అనే కంపెనీ ద్వారా అభివృద్ధి చేయబడిన ఉత్పత్తులు. కాబట్టి CUDA కోర్లు మరియు టెన్సర్ కోర్లు అంటే ఏమిటి? CUDA అంటే కంప్యూట్ యూనిఫైడ్ డివైస్ ఆర్కిటెక్చర్. Nvidia డెవలపర్‌లు చెప్పినట్లు CUDA కోర్‌లు మీ GPUలు, స్మార్ట్‌ఫోన్‌లు మరియు మీ కార్లలో కూడా ఉన్నాయి.

CUDA కోర్లు ఒక సమాంతర కంప్యూటింగ్ ప్లాట్‌ఫారమ్ మరియు అప్లికేషన్ ప్రోగ్రామింగ్ ఇంటర్‌ఫేస్ (API), ఇది సాధారణ-ప్రయోజన ప్రాసెసింగ్ కోసం నిర్దిష్ట రకాల గ్రాఫిక్స్ ప్రాసెసింగ్ యూనిట్‌లను (GPUలు) ఉపయోగించుకునేలా సాఫ్ట్‌వేర్‌ను అనుమతిస్తుంది.

ఎన్విడియా ద్వారా అభివృద్ధి చేయబడిన టెన్సర్ కోర్లు GPUలలో కూడా ఉపయోగించబడతాయి. టెన్సర్ కోర్లు మిక్స్డ్-ప్రెసిషన్ కంప్యూటింగ్‌ని ఎనేబుల్ చేస్తాయి, ఖచ్చితత్వాన్ని కొనసాగిస్తూ నిర్గమాంశను పెంచడానికి డైనమిక్‌గా గణనలను స్వీకరించడం.

సులభంగా చెప్పాలంటే, నిర్దిష్ట గణనలను చేయడానికి ఈ కోర్లు మీ PCలోని GPUలలో ముఖ్యమైన భాగం. CUDA కోర్లు రెండు సంఖ్యలను గుణించడానికి మరియు వాటిని మరొక సంఖ్యకు జోడించడానికి ఉపయోగించబడతాయి.

టెన్సర్ కోర్ ఒకేలా ఉంటుంది కానీ 4×4 మాత్రికలతో ఉంటుంది. ఈ గణనలు ప్రాథమికంగా మీ కోసం గ్రాఫిక్‌లను వేగంగా రెండరింగ్ చేస్తున్నాయి.

CUDA అంటే ఏమిటి?

కంప్యూట్ యూనిఫైడ్ డివైస్ ఆర్కిటెక్చర్ ఇన్ షార్ట్ CUDA ద్వారా అభివృద్ధి చేయబడింది, జూన్ 23, 2007న విడుదల చేయబడింది, ఇది ఒక సమాంతర కంప్యూటింగ్ ప్లాట్‌ఫారమ్ మరియు అప్లికేషన్ ప్రోగ్రామింగ్ ఇంటర్‌ఫేస్ (API).

అది. సాధారణ-ప్రయోజన ప్రాసెసింగ్ కోసం నిర్దిష్ట రకాల గ్రాఫిక్స్ ప్రాసెసింగ్ యూనిట్‌లను (GPUలు) ఉపయోగించడానికి సాఫ్ట్‌వేర్‌ను అనుమతిస్తుంది, ఈ పద్ధతిని సాధారణ-ప్రయోజన కంప్యూటింగ్ అని పిలుస్తారుGPUలు (GPU).

CUDA అనేది GPU యొక్క వర్చువల్ ఇన్‌స్ట్రక్షన్ సెట్‌కు మరియు కంప్యూట్ కెర్నల్‌ల అమలు కోసం సమాంతర గణన మూలకాలకు ప్రత్యక్ష ప్రాప్యతను అందించే సాఫ్ట్‌వేర్ లేయర్. C, C++ మరియు Fortranతో సహా వివిధ ప్రోగ్రామింగ్ భాషలతో పని చేయడానికి CUDA అభివృద్ధి చేయబడింది.

వివిధ ప్రోగ్రామింగ్ లాంగ్వేజ్‌లతో పని చేయగల సామర్థ్యం, ​​GPU వనరులను మేము Direct3D లేదా OpenGL వంటి మునుపటి APIల నుండి వేరు చేస్తే, సమాంతర ప్రోగ్రామింగ్‌లోని నిపుణులు ఉపయోగించడాన్ని సులభతరం చేస్తుంది, దీనికి మీరు మరింత అధునాతనంగా ఉండాలి. గ్రాఫికల్ ప్రోగ్రామింగ్‌లో నైపుణ్యం.

CUDAతో GPU కూడా OpenMP, OpenACC, OpenCL వంటి ప్రోగ్రామింగ్ ఫ్రేమ్‌వర్క్‌లకు మద్దతు ఇస్తుంది మరియు CUDAకి అటువంటి కోడ్‌ను కంపైల్ చేయగల HIP కూడా. CUDA కోసం ఉపయోగించిన మొదటి పేరు కంప్యూట్ యూనిఫైడ్ డివైస్ ఆర్కిటెక్చర్ యొక్క సంక్షిప్త రూపం. అయితే, Nvidia తరువాత సాధారణంగా ఉపయోగించే సంక్షిప్త పదాన్ని వదిలివేసింది.

ఒక శక్తివంతమైన Nvidia గ్రాఫిక్స్ కార్డ్ GTX 1080 Ti

CUDA గురించి మరింత

ఒక ప్రత్యేక కంప్యూటర్ ప్రాసెసర్‌గా, గ్రాఫిక్స్ ప్రాసెసింగ్ యూనిట్ (GPU) వాస్తవ అవసరాలను తీరుస్తుంది -సమయం, కంప్యూట్-ఇంటెన్సివ్ 3D గ్రాఫిక్స్ వర్క్‌లోడ్‌లు.

సుమారు 2012 GPUలు అభివృద్ధి చెందాయి మరియు పెద్ద బ్లాక్‌ల కోసం సమర్థవంతమైన డేటా ప్రాసెసింగ్‌ను ప్రారంభించే అత్యంత సమాంతర బహుళ-కోర్ సిస్టమ్‌లుగా మారాయి.

సమాంతరంగా భారీ డేటా బ్లాక్‌లను ప్రాసెస్ చేస్తున్నప్పుడు, ఈ డిజైన్ అల్గారిథమ్‌ల కోసం సాధారణ-ప్రయోజన సెంట్రల్ ప్రాసెసింగ్ యూనిట్‌ల (CPUలు) కంటే మెరుగైనది, ఉదాహరణకు:

• క్రిప్టోగ్రాఫిక్ హాష్విధులు
• మెషిన్ లెర్నింగ్
• మాలిక్యులర్ డైనమిక్స్ సిమ్యులేషన్స్
• ఫిజిక్స్ ఇంజన్లు
• క్రమబద్ధీకరణ అల్గారిథమ్‌లు

ఇప్పుడు CUDA ఆర్కిటెక్చర్ ఉపయోగాలు మరియు భవిష్యత్తులో

• 3D గ్రాఫిక్స్ యొక్క వేగవంతమైన రెండరింగ్
• వీడియో ఫైల్ ఫార్మాట్‌ల వేగవంతమైన ఇంటర్‌కన్వర్షన్
• యాక్సిలరేటెడ్ ఎన్‌క్రిప్షన్, డిక్రిప్షన్ మరియు కంప్రెషన్
• బయోఇన్ఫర్మేటిక్స్, ఉదా., NGS DNA సీక్వెన్సింగ్ BarraCUDA
• ప్రోటీన్ల స్థానిక ఆకృతిని అంచనా వేయడం వంటి పంపిణీ చేయబడిన లెక్కలు
• వైద్య విశ్లేషణ అనుకరణలు, ఉదాహరణకు, CT మరియు MRI స్కాన్ చిత్రాల ఆధారంగా వర్చువల్ రియాలిటీ
• భౌతిక అనుకరణలు, ప్రత్యేకించి ఫ్లూయిడ్ డైనమిక్స్‌లో
• మెషిన్ లెర్నింగ్ సమస్యలలో న్యూరల్ నెట్‌వర్క్ శిక్షణ
• ఫేస్ రికగ్నిషన్
• పంపిణీ చేయబడిన కంప్యూటింగ్ ప్రాజెక్ట్‌లు, [email protected] మరియు ఇతర ప్రాజెక్ట్‌లు BOINC
• మాలిక్యులర్ డైనమిక్స్
• మైనింగ్ క్రిప్టోకరెన్సీలు
• స్ట్రక్చర్ ఫ్రమ్ మోషన్ (SfM) సాఫ్ట్‌వేర్

టెన్సర్ కోర్ అంటే ఏమిటి?

టెన్సర్ కోర్స్ అని పిలువబడే ప్రత్యేక కోర్లు మిశ్రమ-ఖచ్చితమైన శిక్షణను అనుమతిస్తాయి. ఈ ప్రత్యేక కోర్ల ప్రారంభ తరం ఫ్యూజ్డ్ మల్టిప్లై-యాడ్ అల్గారిథమ్‌తో దీన్ని చేస్తుంది. ఇది 4 x 4 FP16 లేదా FP32 మాతృకకు రెండు 4 x 4 FP16 మాత్రికలను గుణించడం మరియు జోడించడం సాధ్యం చేస్తుంది.

అంతిమ ఫలితం FP32 మాత్రమే ఖచ్చితత్వం యొక్క స్వల్ప నష్టాన్ని కలిగి ఉంటుంది, మిశ్రమ ఖచ్చితత్వ కంప్యూటింగ్ అయినప్పటికీఇన్‌పుట్ మాత్రికలు తక్కువ-ఖచ్చితమైన FP16 కావచ్చు.

ఆచరణలో, ఇది మోడల్ యొక్క తుది ప్రభావంపై తక్కువ ప్రభావంతో గణనలను గణనీయంగా వేగవంతం చేస్తుంది. ఈ సామర్ధ్యం తరువాత మైక్రోఆర్కిటెక్చర్ల ద్వారా మరింత తక్కువ ఖచ్చితమైన కంప్యూటర్ నంబర్ ప్రాతినిధ్యాలకు విస్తరించబడింది.

మొదటి తరం V100 నుండి వోల్టా మైక్రోఆర్కిటెక్చర్‌తో పరిచయం చేయబడింది, కొత్త GPU మైక్రోఆర్కిటెక్చర్‌లతో గణన కోసం మరిన్ని కంప్యూటర్ నంబర్ ప్రెసిషన్ ఫార్మాట్‌లు అందుబాటులోకి వచ్చాయి.

మేము అనుసరించే విభాగంలోని ప్రతి మైక్రోఆర్కిటెక్చర్ జనరేషన్‌తో టెన్సర్ కోర్ల సామర్థ్యం మరియు కార్యాచరణ ఎలా మారిపోయింది మరియు మెరుగుపడింది అనే దాని గురించి మాట్లాడుతాము.

టైటాన్ V ద్వారా గ్రాఫికల్‌గా రెండర్ చేయబడిన చిత్రం

టెన్సర్ కోర్‌లు ఎలా పని చేస్తాయి?

మొదటి తరం:

వోల్టా GPU మైక్రోఆర్కిటెక్చర్ మొదటి తరం టెన్సర్ కోర్‌లతో చేర్చబడింది. ఈ కోర్లు మిశ్రమ ఖచ్చితత్వం మరియు FP16 నంబర్ ఫార్మాట్‌తో శిక్షణ పొందడాన్ని సాధ్యం చేశాయి.

ఇది నిర్దిష్ట GPUల కోసం teraFLOP నిర్గమాంశలో గరిష్టంగా 12x బూస్ట్‌ను కలిగి ఉంటుంది. టాప్-టైర్ V100 యొక్క 640 కోర్లు మునుపటి తరం యొక్క పాస్కల్ GPUల కంటే పనితీరు వేగాన్ని 5x వరకు పెంచుతాయి.

రెండవ తరం:

ట్యూరింగ్ GPUల పరిచయంతో, రెండవ తరం టెన్సర్ కోర్లు పరిచయం చేయబడ్డాయి. Int8, Int4 మరియు Int1 మద్దతు ఉన్న టెన్సర్ కోర్ ఖచ్చితత్వాల జాబితాకు జోడించబడ్డాయి, అవిగతంలో FP16కి పరిమితం చేయబడింది.

మిశ్రమ ఖచ్చితత్వ శిక్షణా విధానాల కారణంగా, పాస్కల్ GPUలతో పోలిస్తే GPU పనితీరు నిర్గమాంశ 32 రెట్లు పెరిగింది.

థర్డ్ జనరేషన్:

ఆంపియర్ GPUలోని ఆర్కిటెక్చర్ FP64, TF32 మరియు bfloat16 ప్రెసిషన్‌లకు మద్దతుని జోడించడం ద్వారా వోల్టా మరియు ట్యూరింగ్ మైక్రోఆర్కిటెక్చర్‌ల మునుపటి పురోగతిపై విస్తరించింది.

డీప్ లెర్నింగ్ ట్రైనింగ్ మరియు అనుమితి కార్యకలాపాలు ఈ అదనపు ఖచ్చితత్వ ఫార్మాట్‌ల ద్వారా మరింత వేగవంతం చేయబడ్డాయి. ఉదాహరణకు, TF32 ఫార్మాట్ FP32 మాదిరిగానే పనిచేస్తుంది, అయితే ఎటువంటి కోడ్‌ను మార్చకుండా 20x స్పీడప్‌లకు హామీ ఇస్తుంది.

తర్వాత, కేవలం కొన్ని లైన్ల కోడ్‌తో, ఆటోమేటిక్ మిక్స్డ్ ప్రిసిషన్ ఇంప్లిమెంటేషన్ శిక్షణను అదనంగా 2x వేగవంతం చేస్తుంది.

ఆమ్పియర్ మైక్రోఆర్కిటెక్చర్ యొక్క అదనపు అంశాలు . 7> నాల్గవ తరం:

హాపర్ మైక్రోఆర్కిటెక్చర్ ఆధారిత నాల్గవ తరం టెన్సర్ కోర్ల యొక్క భవిష్యత్తు విడుదల ప్రణాళిక చేయబడింది. తదుపరి H100లో నాల్గవ తరం టెన్సర్ కోర్లు.

ఇది మార్చి 2022లో విడుదల చేయబడుతుందని భావిస్తున్నారు, FP8 ఖచ్చితమైన ఫార్మాట్‌లను నిర్వహించగలదు మరియు NVIDIA ప్రకారం, భారీ భాషా నమూనాలను “ఆశ్చర్యపరిచే 30X ద్వారా వేగవంతం చేస్తుంది. మునుపటి తరం కంటే.”

ఒక RTX గ్రాఫిక్స్ కార్డ్టెన్సర్ కోర్లను కలిగి ఉన్నందున గ్రాఫిక్‌లను చాలా వేగంగా రెండరింగ్ చేయడానికి ఉపయోగిస్తారు.

CUDA కోర్లు మరియు టెన్సర్ కోర్ల మధ్య వ్యత్యాసం

Tensor కోర్లు ప్రస్తుతం Titan V మరియు Tesla V100కి పరిమితం చేయబడ్డాయి. రెండు GPUలలోని 5120 CUDA కోర్‌లు ఒక GPU గడియారానికి (ఉదా. టెస్లా V100 PCIe పౌనఃపున్యం 1.38Gz) గరిష్టంగా ఒకే ఖచ్చితత్వ గుణకారం-అక్యుములేట్ ఆపరేషన్ (ఉదాహరణకు, fp32: x += y * z) సామర్థ్యాన్ని కలిగి ఉంటాయి.

ప్రతి టెన్సర్ కోర్ చిన్న మాత్రికల కోసం 4×4 చిన్న మాత్రికలపై పనిచేస్తుంది. ఒక GPU గడియారానికి, ప్రతి టెన్సర్ కోర్ ఒక మ్యాట్రిక్స్ మల్టిప్లై-అక్యుములేట్ ఆపరేషన్‌ను పూర్తి చేయగలదు.

ఇది రెండు 4×4 FP16 మాత్రికలను గుణిస్తుంది మరియు 4×4 FP32 మాతృకను జోడిస్తుంది, దీని ఫలితంగా సంచితం (అది కూడా fp32 4×4 మాతృక).

ఇన్‌పుట్ మాత్రికలు fp16 అయితే గుణకార ఫలితాలు మరియు అక్యుమ్యులేటర్ fp32 అయినందున, అల్గోరిథం మిశ్రమ ఖచ్చితత్వంగా పిలువబడుతుంది.

సరైన పదం కేవలం “4×4 మ్యాట్రిక్స్ కోర్‌లు” కావచ్చు, కానీ NVIDIA మార్కెటింగ్ బృందం “టెన్సర్ కోర్‌లను” ఉపయోగించాలని ఎంచుకుంది.

టెన్సర్ కోర్ల పూర్తి వివరణ క్లుప్తంగా

CUDA కోర్లను కలిగి ఉన్న GPUలు

ముగింపు

• CUDA మరియు Tensor కోర్లు ఉత్పత్తులు, రెండూ Nvidia అనే కంపెనీ ద్వారా అభివృద్ధి చేయబడ్డాయి. CUDA అంటే కంప్యూట్ యూనిఫైడ్ డివైస్ ఆర్కిటెక్చర్. ఈ CUDA కోర్‌లు మీ GPUలు, స్మార్ట్‌ఫోన్‌లు మరియు మీ కార్లలో కూడా ఉన్నాయి.
• ఎన్విడియా ద్వారా కూడా అభివృద్ధి చేయబడిన టెన్సర్ కోర్లు GPUలలో కూడా ఉపయోగించబడతాయి. "టెన్సర్ కోర్స్" అని పిలువబడే ప్రత్యేక కోర్లు మిశ్రమ-ఖచ్చితమైన శిక్షణను అనుమతిస్తాయి. మొదటి తరం టెన్సర్ కోర్స్ మిశ్రమ ఖచ్చితత్వం మరియు FP16 నంబర్ ఫార్మాట్‌తో శిక్షణ పొందడం సాధ్యం చేసింది.
• ఇది నిర్దిష్ట GPUల కోసం teraFLOP నిర్గమాంశలో 12x వరకు బూస్ట్‌ను కలిగి ఉంటుంది. Int8, Int4 మరియు Int1 మద్దతు ఉన్న టెన్సర్ కోర్ ఖచ్చితత్వాల జాబితాకు జోడించబడ్డాయి.
• మిశ్రమం కారణంగాఖచ్చితమైన శిక్షణా విధానాలు, GPU పనితీరు 32 రెట్లు పెరిగింది. హాప్పర్ మైక్రోఆర్కిటెక్చర్ ఆధారిత నాల్గవ తరం టెన్సర్ కోర్ల యొక్క భవిష్యత్తు విడుదల ప్రణాళిక చేయబడింది.

ఇతర కథనాలు