Waa maxay Farqiga u dhexeeya Kooreyada CUDA iyo Koofiyadaha Tensor? (La Sharaxay) - Dhammaan Kala Duwanaanshaha

01-08-202301-08-2023 Mary Davis

Shaxda tusmada

CUDA iyo Tensor cores waa alaab ay soo saartay shirkad la yiraahdo Nvidia. Marka waa maxay koojiyeyaasha CUDA iyo kooyadaha Tensor? CUDA waxay u taagan tahay Xisaabinta Aaladaha Midaysan. Xudunta CUDA waxay ku jiraan GPU-yadaada, taleefannada casriga ah, iyo xitaa baabuurtaaga, sida horumariyeyaasha Nvidia ay sidaas dhahaan.

Cudurka CUDA waa madal xisaabeed barbar socda iyo interface programming interface (API) kaas oo awood u siinaya software inuu u isticmaalo noocyada gaarka ah ee unugyada farsamaynta garaafyada (GPUs) ee habaynta ujeedada guud.

Halka kombuyuutarrada tensor-ka oo ay sidoo kale samaysay Nvidia, lagu isticmaalo GPU-yada. Kooreyada Tensor-yadu waxay awood u siinayaan xisaabinta saxda ah ee isku dhafan, la qabsiga xisaabinta si firfircoon si loo kordhiyo wax soo saarka iyadoo la ilaalinayo saxnaanta.

Erayada fudud, xuduntani waa qayb muhiim ah oo ka mid ah GPU-yada ku jira kombuyutarkaaga si loo sameeyo xisaabaadka qaarkood. Xudunta CUDA waxa loo isticmaalaa in lagu dhufto laba tiro oo lagu daro tiro kale.

Halka uu Tensor core la mid yahay laakiin uu leeyahay 4×4 Xisaabintan asal ahaan waxay kuu keenaysaa garaafyada si dhakhso leh adiga.

Waa maxay CUDA?

Kombuyuutar midaysan qaab-dhismeedka Aaladda oo kooban CUDA oo ay samaysay Nvidia, oo la sii daayay Juun 23, 2007, waa bar-bar-barbardhigga xisaabinta iyo barnaamijka interface interface (API).

Taasi Waxay u suurtagelisaa software inay u isticmaasho noocyo gaar ah oo ah unug farsamaynta garaafyada (GPUs) si loo habeeyo ujeeddada guud, habka loo yaqaan xisaabinta ujeeddada guudGPU-yada (GPU).

CUDA waa lakabka softiweerka ah oo si toos ah u siiya marin u helka habraaca farsamada ee GPU-ga iyo curiyeyaasha xisaabinta ee is barbar socda ee fulinta kernels-ka. CUDA waxaa loo sameeyay in ay la shaqeyso luuqadaha barnaamijyada kala duwan oo ay ku jiraan C, C++, iyo Fortran.

Awoodda lagula shaqeynayo luuqadaha barnaamijyada kala duwan waxay u sahlaysaa khubarada ku takhasusay barnaamijyada barbar socda inay ka faa'iidaystaan agabka GPU-da haddii aynu ka soocno API-yadii hore sida Direct3D ama OpenGL, taas oo u baahan doonta inaad yeelato mid horumarsan. saldhigga xirfadeed ee barnaamijyada garaafyada.

GPU oo wata CUDA waxay kaloo taageertaa qaab-dhismeedka barnaamijka, sida OpenMP, OpenACC, OpenCL, iyo waliba HIP oo u ururin kara koodka CUDA. Magaca koowaad ee loo isticmaalo CUDA waxa uu ahaa soo gaabinta Xisaabinta Qalabka Midaysan ee Dhismaha. Si kastaba ha ahaatee, Nvidia markii dambe waxay meesha ka saartay soo gaabinta inta badan la isticmaalo.

Kaar awood badan oo Nvidia Graphics Card GTX 1080 Ti

Wax badan oo ku saabsan CUDA

Sida processor-ka kombuyuutar gaar ah, unugga farsamaynta garaafyada (GPU) wuxuu buuxiyaa baahiyaha dhabta ah -waqti, culeysyo shaqo oo garaafyo 3D ah oo xisaabiya

Marka la habaynayo xogo waaweyn oo is barbar socda, nashqadani waxa ay ka sarraysaa cutubyada habaynta dhexe ee ujeeddada guud (CPUs) ee algorithms-yada, sida:

Hawlaha

> 10> barashada mashiinka

jilidda dhaqdhaqaaqa dhaqdhaqaaqa molecular

matoorada fiisigiska

> kala soocida algorithms> 12>> Isticmaalka dhismaha CUDA Hadda iyo Mustaqbalka>

Soo bandhigida dardargelinta ee sawirada 3D
Is-waydaarsiga degdega ah ee qaababka faylalka fiidyaha
Surrinta degdega ah, furfurista, iyo isku-buufinta
Bioinformatics, Tusaale ahaan, NGS DNA isku xigxiga BarraCUDA
Xisaabinta la qaybiyay, sida saadaalinta isku-dhafka asalka ah ee borotiinka
Jilayaasha falanqaynta caafimaadka, tusaale ahaan, xaqiiqada dhabta ah ee ku salaysan sawirada CT iyo MRI
Jimicsiga jireed, gaar ahaan dhaq-dhaqaaqa dareeraha
Tababarka shabakada neerfaha ee dhibaatooyinka barashada mashiinka
Mashruuc xisaabinta la qaybiyay, sida [email la ilaaliyo] iyo mashaariicda kale ee la isticmaalayo BOINC
Dhaqdhaqaaqa molecular
Lacagaha macdanta
qaab-dhismeedka softiweerka dhaqdhaqaaqa (SfM)

>Xiradaha gaarka ah ee loo yaqaan 'Tensor Cores' waxay oggolaadaan tababbarka saxda ah ee isku dhafan. Jiilka bilowga ah ee asaasiga ah ee takhasuska leh ayaa tan ku sameeya algorithm isku-dhufasho isku dhafan. Tani waxay suurtogal ka dhigaysaa in la dhufto oo lagu daro laba 4 x 4 FP16 matrix 4 x 4 FP16 ama FP32 matrix ah.

Natiijada kama dambaysta ahi waxay noqon doontaa FP32 iyada oo wax yar oo sax ah ay luminayso, xisaabinta saxda ah ee isku dhafan ayaa loo qoondeeyay sidaas oo kale inkasta oojaantusyada wax gelinta ayaa laga yaabaa inay noqdaan kuwo sax ah oo hooseeya FP16.

Ficil ahaan, tani waxay si weyn u dedejinaysaa xisaabinta iyadoo saamayn yar ku yeelanaysa waxtarka ugu dambeeya ee moodeelka. Awooddan waxa balaadhiyey farsamo-yaqaannada yaryar ee dambe si ay xataa u matalaan lambarrada kombuyuutarrada oo aan sax ahayn.

Jiilkii ugu horreeyay waxaa lagu soo bandhigay Volta microarchitecture oo ka bilaabmaya V100, qaabab badan oo lambar kombuyuutar ah oo sax ah ayaa la diyaariyay si loogu xisaabiyo qalabka yaryar ee GPU ee jiil kasta oo dhaafaya.

Waxaan ka hadli doonaa sida awoodda Tensor Cores' iyo shaqeyntooda ay isu beddeleen oo ay u wanaajiyeen jiil kasta oo yar-yar ee qaybta soo socota.

Sidoo kale eeg:

In la eryo VS in la sii daayo: waa maxay faraqa u dhexeeya? - Dhammaan Farqiga

Sidee buu u shaqeeyaa Koofiyadaha Tensor-ka?

Jiilka Koowaad:

Mikroarchitecture-ka Volta GPU waxaa lagu daray jiilkii ugu horreeyay ee Kooreyada Tensor-ka. Qaybahani waxa ay suurta galiyeen in lagu tababaro sax isku dhafan iyo qaabka tirada FP16.

Tani waxay yeelan kartaa ilaa 12x kor u qaadis ah wax soo saarka teraFLOP ee GPU-yada qaarkood. Xudunta 640 ee heerka-sare V100 waxay siidaayaan 5x korodhka xawaaraha waxqabadka ee Pascal GPUs ee jiilkii hore.

Jiilka Labaad:

Iyadoo la hirgelinayo Turing GPUs, jiilka labaad ee Tensor Cores ayaa la soo bandhigay. Int8, Int4, iyo Int1 ayaa lagu daray liiska saxnaanta Tensor Core ee la taageeray, kuwaas oo ahaaMarkii hore waxay ku xaddidnayd FP16.

Jiilka Saddexaad:

Nashqada Ampere GPU waxay ku fidinaysaa Volta iyo Turing microarchitectures'horumarkoodii hore iyagoo ku daraya taageerada FP64, TF32, iyo bfloat16.

Tababarka barasho qoto dheer iyo nashaadaad ka-fiirsasho waxa aad u sii dardargeliyay qaababkan saxda ah ee dheeraadka ah. Tusaale ahaan, qaabka TF32 wuxuu u shaqeeyaa si la mid ah FP32 isagoo sidoo kale dammaanad qaadaya ilaa 20x xawaarihiisa iyadoon wax kood ah la beddelin.

Markaa, iyada oo dhawr sadar oo kood ah, hirgelinta saxda ah ee isku dhafan ee tooska ah ayaa dadajin doonta tababarka 2x dheeraad ah.

Jiilka saddexaad ee NVLink si uu awood ugu yeesho is-dhexgalka-GPU-ga badan ee xawliga leh, jiilka saddexaad ee Ray Tracing, iyo takhasuska xisaabta matrix-ka yar ayaa ah dhinacyo dheeraad ah oo ka mid ah farshaxan-yaqaanka Ampere .

Siideynta mustaqbalka jiilka afraad ee Tensor Cores ayaa la qorsheeyay. Jiilka afraad ee Tensor Cores ee H100 ee soo socda.

Sidoo kale eeg:

1-way-waddo iyo laba-jid-waddo-waa maxay faraqa u dhexeeya? - Dhammaan Farqiga

kaas oo la filayo in la sii daayo March 2022, waxay awoodi doonaan in ay maareeyaan qaababka saxda ah ee FP8 iyo, sida laga soo xigtay NVIDIA, waxay dardar gelin doontaa qaababka luqadaha waaweyn "by 30X cajiib ah jiilkii hore."

Kaarka garaafyada ee RTX waaloo isticmaalo samaynta garaafyada si degdeg ah maadaama ay ka kooban tahay koodhadhka tensor-ka.

Waxay ku dhufataa laba 4 × 4 FP16 matrix waxayna ku daraysaa 4 × 4 FP32 matrix taas oo ka dhalata ururiyaha (taas oo sidoo kale ah fp32 4 × 4 matrix).

Maxaa yeelay maaddooyinka wax gelinta waa fp16 halka natiijooyinka isku dhufashada iyo ururinta ay yihiin fp32, algorithm waxaa loo yaqaannaa sax isku dhafan.

Erayga saxda ah wuxuu u badan yahay inuu noqdo kaliya "4 × 4 matrix cores," laakiin kooxda suuq geynta ee NVIDIA waxay doorteen inay adeegsadaan "cores tensor."

Kaarka GPU	> Cudurka CUDA	VRAM >
GeForce GTX 1660 Ti	1536	6GB
GeForce GTX 1650 Super	4GB
GeForce GTX 1650	1024 iyo896	4GB
3GB
GeForce GTX 1050 Ti (3GB)
640
GeForce GTX 960
GeForce GTX 950
GeForce GTX 780	3GB
GeForce GTX 750 Ti	>640	2GB
GeForce GTX 750	512	1GB ama 2GB

GPU-yada ay ku jiraan koodhka CUDA

Halka kombuyuutarrada tensor-ka, oo ay sidoo kale samaysay Nvidia, lagu isticmaalo GPU-yada. Koofiyadaha gaarka ah ee loo yaqaan "Tensor cores" waxay u oggolaanayaan tababar isku dhafan oo sax ah. Jiilkii ugu horeeyay ee Tensor Cores ayaa suurtageliyay in lagu tababaro sax isku dhafan iyo qaabka lambarka FP16.
Tani waxay yeelan kartaa ilaa 12x kor u qaadis ah wax soo saarka teraFLOP ee GPU-yada qaarkood. Int8, Int4, iyo Int1 ayaa lagu daray liiska saxnaanta Tensor Core ee la taageeray.
Sababtoo ah isku darkaNidaamyada tababarka saxda ah, waxqabadka GPU ayaa la kordhiyay ilaa 32 jeer. Siidaynta mustaqbalka jiilka afraad ee Tensor Cores ee ku salaysan Hopper microarchitecture waa la qorsheeyay.

#SNIGCONSULTANCY