Tha coraichean CUDA agus Tensor nan toraidhean air an leasachadh le companaidh ris an canar Nvidia. Mar sin dè a th’ ann an CUDA cores agus Tensor cores? Tha CUDA a’ seasamh airson Ailtireachd Innealan Aonaichte Coimpiutaireachd. Tha na coraichean CUDA an làthair anns na GPUs agad, fònaichean sgairteil, agus eadhon na càraichean agad, mar a tha luchd-leasachaidh Nvidia ag ràdh.

Tha coraichean CUDA nan àrd-ùrlar coimpiutaireachd co-shìnte agus eadar-aghaidh prògramadh tagraidh (API) a leigeas le bathar-bog feum a dhèanamh de sheòrsan sònraichte de dh'aonadan giullachd grafaigs (GPUn) airson giullachd adhbhar coitcheann.

Ged a tha coraichean tensor a chaidh a leasachadh le Nvidia cuideachd air an cleachdadh ann an GPUs. Bidh Tensor Cores a’ comasachadh coimpiutaireachd mionaideachd measgaichte, ag atharrachadh àireamhachadh gu dinamach gus àrdachadh a thoirt air trochur fhad ‘s a chumas iad cruinneas.

Ann am faclan sìmplidh, tha na coraichean sin nam pàirt chudromach de na GPUs sa choimpiutair agad gus àireamhachadh sònraichte a dhèanamh. Bithear a’ cleachdadh coraichean CUDA gus dà àireamh iomadachadh agus an cur ri àireamh eile.

Ged a tha cridhe Tensor mar an ceudna ach le matrices 4 × 4. Tha na h-àireamhaidhean sin gu bunaiteach a’ toirt grafaigean nas luaithe dhut.

Dè a th’ ann an CUDA?

Ailtireachd Innealan Aonaichte Coimpiutaireachd ann an CUDA goirid air a leasachadh le Nvidia, a chaidh fhoillseachadh air 23 Ògmhios, 2007, na àrd-ùrlar coimpiutaireachd co-shìnte agus eadar-aghaidh prògramadh tagraidh (API).

Sin a’ toirt comas do bhathar-bog seòrsachan sònraichte de dh’aonadan giullachd grafaigs (GPUn) a chleachdadh airson giullachd adhbhar coitcheann, dòigh ris an canar coimpiutaireachd adhbhar coitcheann airGPUs (GPU).

Is e sreath bathar-bog a th’ ann an CUDA a bheir cothrom dìreach air seata stiùiridh brìgheil an GPU agus eileamaidean coimpiutaireachd co-shìnte airson kernels coimpiutaireachd a chuir gu bàs. Chaidh CUDA a leasachadh gus obrachadh le diofar chànanan prògramaidh a’ toirt a-steach C, C ++, agus Fortran.

Tha an comas a bhith ag obair le diofar chànanan prògramaidh ga dhèanamh nas fhasa do eòlaichean ann am prògramadh co-shìnte feum a dhèanamh de ghoireasan GPU ma nì sinn eadar-dhealachadh air bho APIan a bh’ ann roimhe leithid Direct3D no OpenGL, a dh’ fheumadh tu a bhith nas adhartaiche bunait sgil ann am prògramadh grafaigeach.

Bidh GPU le CUDA cuideachd a’ toirt taic do fhrèaman prògramadh, leithid OpenMP, OpenACC, OpenCL, agus cuideachd HIP as urrainn an còd sin a chur ri chèile gu CUDA. B’ e a’ chiad ainm a chaidh a chleachdadh airson CUDA acronaim airson Compute Unified Device Architecture. Ach, leig Nvidia às deidh sin an acronaim a chleachdar gu cumanta.

Cairt cumhachdach Nvidia Graphics GTX 1080 Ti

Barrachd Mu dheidhinn CUDA

Mar phròiseasar coimpiutair sònraichte, tha an aonad giollachd grafaigs (GPU) a’ coinneachadh ri feumalachdan fìor -time, eallach obrach grafaigean 3D dian-coimpiutaireachd.

Mu 2012 Thàinig GPUs air adhart agus bha iad air fàs gu bhith nan siostaman ioma-cridhe a bha gu math co-shìnte a’ comasachadh giollachd dàta èifeachdach airson blocaichean mòra.

Nuair a bhios tu a’ giullachd bhlocaichean mòra de dhàta ann an co-shìnte, tha an dealbhadh seo nas fheàrr na aonadan giullachd meadhanach coitcheann (CPUn) airson algoirmean, leithid:

• hash criptografachgnìomhan
• ionnsachadh inneal
• samhlachadh daineamaigs moileciuil
• einnseanan fiosaig
• algorithms seòrsa

Cleachdaidhean Ailtireachd CUDA an-dràsta agus san àm ri teachd

• Rinneadh luathaichte de ghrafaigean 3D
• Eadar-thionndadh luathaichte de chruthan faidhle bhidio
• Crioptachadh luathaichte, dì-chrioptachadh agus teannachadh
• Bioinformatics, me, sreath DNA NGS BarraCUDA
• Cunntas air a chuairteachadh, leithid a bhith a’ ro-innse co-chòrdadh dùthchasach pròtainean
• Samhlaidhean mion-sgrùdadh meidigeach, mar eisimpleir, fìrinn bhrìgheil stèidhichte air ìomhaighean scan CT agus MRI
• Samhlaidhean corporra, gu sònraichte ann an daineamaigs siùbhlach
• Trèanadh lìonra neural ann an duilgheadasan ionnsachaidh inneal
• Aithneachadh aghaidh
• Pròiseactan coimpiutaireachd sgaoilte, leithid [post-d dìon] agus pròiseactan eile a’ cleachdadh BOINC
• Dinimiceas moileciuil
• Mèinneadh cryptocurrencies
• Structar bho bhathar-bog gluasad (SfM)

Dè a th’ ann an Tensor Core?

Tha coraichean sònraichte ris an canar Tensor Cores a’ ceadachadh trèanadh le mionaideachd measgaichte. Bidh ginealach tùsail nan coraichean sònraichte sin a’ dèanamh seo le algairim iomadachaidh aonaichte. Tha seo ga dhèanamh comasach dà mhatrices 4 x 4 FP16 iomadachadh agus a chur ri matrix 4 x 4 FP16 no FP32.

Is e an toradh mu dheireadh FP32 le dìreach beagan call mionaideachd, tha coimpiutaireachd mionaideach measgaichte air a chomharrachadh mar sin ged a thafaodaidh na matrices cuir a-steach a bhith mionaideachd ìosal FP16.

Ann an cleachdadh, tha seo gu mòr a’ luathachadh an àireamhachadh gun mòran buaidh air èifeachdas deireannach a’ mhodail. Chaidh an comas seo a leudachadh le microarchitectures nas fhaide air adhart gu riochdachaidhean àireamh coimpiutair eadhon nas mionaidiche.

Chaidh a’ chiad ghinealach a thoirt a-steach le Volta microarchitecture a’ tòiseachadh aig V100, chaidh barrachd chruthan mionaideachd àireamh coimpiutair a thoirt seachad airson obrachadh a-mach le microarchitectures GPU ùra le gach ginealach a bha a’ dol seachad.

Bruidhnidh sinn mu mar a tha comas agus comas-gnìomh Tensor Cores air atharrachadh agus leasachadh le gach ginealach microarchitecture anns an earrainn a leanas.

Ìomhaigh air a thoirt seachad gu grafaigeach air a dhèanamh le Titan V

Ciamar a tha Tensor Cores ag obair?

Ciad ghinealach:

Chaidh am microarchitecture Volta GPU a thoirt a-steach leis a’ chiad ghinealach de Tensor Cores. Rinn na coraichean sin e comasach trèanadh le mionaideachd measgaichte agus cruth àireamh FP16.

Dh’ fhaodadh seo suas ri àrdachadh 12x ann an teraFLOP throughput airson cuid de GPUs. Bheir na 640 cores den V100 àrd-ìre suas ri àrdachadh 5x ann an astar coileanaidh thairis air GPUs Pascal den ghinealach roimhe.

An dàrna ginealach:

Le toirt a-steach Turing GPUs, chaidh an dàrna ginealach de Tensor Cores a thoirt a-steach. Chaidh Int8, Int4, agus Int1 a chur ris an liosta de mhion-fhiosrachadh Tensor Core le taic, a bharoimhe seo cuibhrichte gu FP16.

Mar thoradh air modhan trèanaidh mionaideach measgaichte, chaidh àrdachadh coileanaidh an GPU suas ri 32 uair an taca ri Pascal GPUs.

An Treas Ginealach:

Tha an ailtireachd ann an Ampere GPU a’ leudachadh air adhartasan na bu tràithe aig microarchitectures Volta agus Turing le bhith a’ cur taic ri mionaideachd FP64, TF32, agus bfloat16.

Tha trèanadh ionnsachadh domhainn agus gnìomhan co-dhùnaidh air an luathachadh mòran nas motha leis na cruthan mionaideachd a bharrachd seo. Mar eisimpleir, tha cruth TF32 ag obair mar an ceudna ri FP32 fhad ‘s a tha e cuideachd a’ gealltainn suas ri 20x speedups gun a bhith ag atharrachadh còd sam bith.

An uairsin, le dìreach beagan loidhnichean de chòd, luathaichidh buileachadh mionaideachd measgaichte fèin-ghluasadach trèanadh le 2x a bharrachd.

Tha NVLink treas-ghinealach gus eadar-obrachaidhean ioma-GPU a tha gu math luath a chomasachadh, coraichean Ray Tracing treas-ghinealach, agus speisealachadh le matamataig gann de mhaitrix nan taobhan a bharrachd de mhic-ailtireachd Ampere .

An ceathramh ginealach:

Thathas an dùil an ceathramh ginealach de Tensor Cores a tha stèidhichte air microarchitecture Hopper a leigeil ma sgaoil. Bidh an ceathramh ginealach Tensor Cores anns an ath H100.

a thathar an dùil a thèid a leigeil a-mach sa Mhàrt 2022, comasach air cruthan mionaideachd FP8 a làimhseachadh agus, a rèir NVIDIA, luathaichidh iad modalan cànain mòr “le 30X iongantach. thairis air a’ ghinealach roimhe.”

Tha cairt grafaiceachd RTXair a chleachdadh airson grafaigean a thoirt seachad gu math luath leis gu bheil coraichean tensor ann.

An diofar eadar CUDA Cores agus Tensor Cores

Tha coraichean tensor an-dràsta cuingealaichte ri Titan V agus Tesla V100. Tha comas as àirde aig na coraichean 5120 CUDA air an dà GPUs de aon obrachadh ioma-chruinneachaidh singilte (mar eisimpleir, ann am fp32: x + = y * z) gach gleoc GPU (me tricead Tesla V100 PCIe 1.38Gz).

Tha gach cridhe tensor ag obrachadh air matrices beaga 4 × 4 airson matrices beaga. A rèir aon ghleoc GPU, faodaidh gach cridhe tensor aon obrachadh iomadachadh-cruinneachaidh a chrìochnachadh.

Bidh e ag iomadachadh dà mhatrices 4 × 4 FP16 agus a ’cur ris a’ mhaitrix 4 × 4 FP32 a thig gu bhith na neach-cruinneachaidh (is e sin cuideachd matrix fp32 4 × 4).

Leis gu bheil na matrices cuir a-steach fp16 fhad ‘s a tha na toraidhean iomadachaidh agus an neach-cruinneachaidh fp32, canar cruinneas measgaichte ris an algairim.

Is dòcha gur e dìreach “4 × 4 matrix cores” a bhiodh anns an teirm cheart, ach roghnaich sgioba margaidheachd NVIDIA “tensor cores” a chleachdadh.

Tensor cores mìneachadh slàn ann an ùine ghoirid

GPUs anns a bheil coraichean CUDA

Co-dhùnadh

• Is e toraidhean a th’ ann an coraichean CUDA agus Tensor, an dà chuid air an leasachadh le companaidh ris an canar Nvidia. Tha CUDA a’ seasamh airson Ailtireachd Innealan Aonaichte Coimpiutaireachd. Tha na coraichean CUDA sin an làthair anns na GPUs agad, fònaichean sgairteil, agus eadhon na càraichean agad.
• Ged a tha coraichean tensor, a chaidh an leasachadh le Nvidia cuideachd, air an cleachdadh ann an GPUs. Tha coraichean sònraichte ris an canar “Tensor cores” a’ ceadachadh trèanadh mionaideachd measgaichte. Rinn a’ chiad ghinealach de Tensor Cores cothrom trèanadh le mionaideachd measgaichte agus cruth àireamh FP16.
• Dh’ fhaodadh seo suas ri àrdachadh 12x ann an teraFLOP throughput airson cuid de GPUs. Chaidh Int8, Int4, agus Int1 a chur ris an liosta de mhion-fhiosrachadh Tensor Core le taic.
• Air sgàth measgachadhmodhan trèanaidh mionaideach, chaidh coileanadh an GPU àrdachadh suas ri 32 uair. Thathas an dùil foillseachadh san àm ri teachd den cheathramh ginealach de Tensor Cores stèidhichte air microarchitecture Hopper.

Artaigilean Eile