CUDA અને Tensor cores Nvidia નામની કંપની દ્વારા વિકસિત ઉત્પાદનો છે. તો CUDA કોરો અને ટેન્સર કોરો શું છે? CUDA એટલે કોમ્પ્યુટ યુનિફાઇડ ડિવાઇસ આર્કિટેક્ચર. CUDA કોરો તમારા GPU, સ્માર્ટફોન અને તમારી કારમાં પણ હાજર છે, જેમ કે Nvidia ડેવલપર્સ કહે છે.

CUDA કોરો એ સમાંતર કમ્પ્યુટિંગ પ્લેટફોર્મ અને એપ્લિકેશન પ્રોગ્રામિંગ ઇન્ટરફેસ (API) છે જે સામાન્ય હેતુની પ્રક્રિયા માટે ચોક્કસ પ્રકારના ગ્રાફિક્સ પ્રોસેસિંગ યુનિટ્સ (GPUs) નો ઉપયોગ કરવા માટે સોફ્ટવેરને સક્ષમ કરે છે.

જ્યારે ટેન્સર કોરો કે જે Nvidia દ્વારા પણ વિકસાવવામાં આવ્યા હતા, તેનો ઉપયોગ GPU માં પણ થાય છે. ટેન્સર કોરો મિશ્ર-ચોકસાઇવાળા કમ્પ્યુટિંગને સક્ષમ કરે છે, ચોકસાઈ જાળવી રાખીને થ્રુપુટ વધારવા માટે ગતિશીલ રીતે ગણતરીઓને અનુકૂલિત કરે છે.

સાદા શબ્દોમાં કહીએ તો, ચોક્કસ ગણતરીઓ કરવા માટે આ કોરો તમારા પીસીમાંના GPU નો મહત્વનો ભાગ છે. CUDA કોરોનો ઉપયોગ બે સંખ્યાઓને ગુણાકાર કરવા અને તેમને બીજી સંખ્યામાં ઉમેરવા માટે થાય છે.

જ્યારે ટેન્સર કોર સમાન છે પરંતુ 4×4 મેટ્રિસિસ સાથે. આ ગણતરીઓ મૂળભૂત રીતે તમારા માટે ગ્રાફિક્સને ઝડપી રેન્ડર કરે છે.

CUDA શું છે?

કમ્પ્યુટ યુનિફાઇડ ડિવાઇસ આર્કિટેક્ચર ટૂંકમાં CUDA દ્વારા વિકસાવવામાં આવ્યું છે, જે 23 જૂન, 2007 ના રોજ બહાર પાડવામાં આવ્યું છે, તે સમાંતર કમ્પ્યુટિંગ પ્લેટફોર્મ અને એપ્લિકેશન પ્રોગ્રામિંગ ઇન્ટરફેસ (API) છે.

તે સામાન્ય હેતુની પ્રક્રિયા માટે ચોક્કસ પ્રકારના ગ્રાફિક્સ પ્રોસેસિંગ યુનિટ્સ (GPUs) નો ઉપયોગ કરવા માટે સોફ્ટવેરને સક્ષમ કરે છે, જે સામાન્ય હેતુની કમ્પ્યુટિંગ તરીકે ઓળખાય છે.GPUs (GPU).

CUDA એ એક સોફ્ટવેર લેયર છે જે GPU ના વર્ચ્યુઅલ ઇન્સ્ટ્રક્શન સેટ અને કોમ્પ્યુટ કર્નલના અમલ માટે સમાંતર કોમ્પ્યુટેશનલ તત્વોની સીધી ઍક્સેસ પ્રદાન કરે છે. CUDA ને C, C++ અને Fortran સહિત વિવિધ પ્રોગ્રામિંગ ભાષાઓ સાથે કામ કરવા માટે વિકસાવવામાં આવ્યું હતું.

વિવિધ પ્રોગ્રામિંગ ભાષાઓ સાથે કામ કરવાની ક્ષમતા સમાંતર પ્રોગ્રામિંગના નિષ્ણાતો માટે GPU સંસાધનોનો ઉપયોગ કરવાનું સરળ બનાવે છે જો આપણે તેને ડાયરેક્ટ3ડી અથવા ઓપનજીએલ જેવા અગાઉના API કરતાં અલગ કરીએ, જેના માટે તમારે વધુ અદ્યતન હોવું જરૂરી છે. ગ્રાફિકલ પ્રોગ્રામિંગમાં કૌશલ્યનો આધાર.

CUDA સાથે GPU પ્રોગ્રામિંગ ફ્રેમવર્કને પણ સપોર્ટ કરે છે, જેમ કે OpenMP, OpenACC, OpenCL, અને HIP પણ જે આવા કોડને CUDA માં કમ્પાઇલ કરી શકે છે. CUDA માટે વપરાતું પ્રથમ નામ કોમ્પ્યુટ યુનિફાઇડ ડિવાઇસ આર્કિટેક્ચરનું ટૂંકું નામ હતું. જો કે, Nvidia પછીથી સામાન્ય રીતે ઉપયોગમાં લેવાતા ટૂંકાક્ષરને છોડી દીધું.

એક શક્તિશાળી Nvidia ગ્રાફિક્સ કાર્ડ GTX 1080 Ti

CUDA વિશે વધુ

વિશિષ્ટ કમ્પ્યુટર પ્રોસેસર તરીકે, ગ્રાફિક્સ પ્રોસેસિંગ યુનિટ (GPU) વાસ્તવિક જરૂરિયાતોને પૂર્ણ કરે છે. -સમય, ગણતરી-સઘન 3D ગ્રાફિક્સ વર્કલોડ.

લગભગ 2012 GPUs વિકસિત થયા અને મોટા બ્લોક્સ માટે અસરકારક ડેટા પ્રોસેસિંગને સક્ષમ કરતી અત્યંત સમાંતર મલ્ટી-કોર સિસ્ટમ્સ બની ગઈ.

સમાંતરમાં ડેટાના વિશાળ બ્લોક્સની પ્રક્રિયા કરતી વખતે, આ ડિઝાઇન એલ્ગોરિધમ્સ માટે સામાન્ય હેતુના કેન્દ્રીય પ્રક્રિયા એકમો (CPUs) કરતાં શ્રેષ્ઠ છે, જેમ કે:

• ક્રિપ્ટોગ્રાફિક હેશફંક્શન્સ
• મશીન લર્નિંગ
• મોલેક્યુલર ડાયનેમિક્સ સિમ્યુલેશન્સ
• ફિઝિક્સ એન્જિન્સ
• સૉર્ટ એલ્ગોરિધમ્સ

CUDA આર્કિટેક્ચરનો ઉપયોગ હવે અને ભવિષ્યમાં

• 3D ગ્રાફિક્સનું પ્રવેગક રેન્ડરિંગ
• વિડિયો ફાઇલ ફોર્મેટનું એક્સિલરેટેડ ઇન્ટરકન્વર્ઝન
• એક્સિલરેટેડ એન્ક્રિપ્શન, ડિક્રિપ્શન અને કમ્પ્રેશન
• બાયોઇન્ફોર્મેટિક્સ, દા.ત., NGS DNA સિક્વન્સિંગ BarraCUDA
• વિતરિત ગણતરીઓ, જેમ કે પ્રોટીનની મૂળ રચનાની આગાહી કરવી
• મેડિકલ એનાલિસિસ સિમ્યુલેશન, ઉદાહરણ તરીકે, CT અને MRI સ્કેન ઈમેજો પર આધારિત વર્ચ્યુઅલ રિયાલિટી
• શારીરિક સિમ્યુલેશન, ખાસ કરીને પ્રવાહી ગતિશીલતામાં
• મશીન શીખવાની સમસ્યાઓમાં ન્યુરલ નેટવર્ક તાલીમ
• ચહેરા ઓળખાણ
• વિતરિત કમ્પ્યુટિંગ પ્રોજેક્ટ્સ, જેમ કે [ઇમેઇલ સુરક્ષિત] અને અન્ય પ્રોજેક્ટ્સનો ઉપયોગ કરીને BOINC
• મોલેક્યુલર ડાયનેમિક્સ
• માઇનિંગ ક્રિપ્ટોકરન્સી
• મોશન (SfM) સોફ્ટવેરથી માળખું

ટેન્સર કોર શું છે?

ટેન્સર કોરો તરીકે ઓળખાતા વિશિષ્ટ કોરો મિશ્ર-ચોકસાઇ પ્રશિક્ષણ માટે પરવાનગી આપે છે. આ વિશિષ્ટ કોરોની પ્રારંભિક પેઢી આ ફ્યુઝ્ડ મલ્ટીપ્લાય-એડ અલ્ગોરિધમ સાથે કરે છે. આનાથી 4 x 4 FP16 અથવા FP32 મેટ્રિક્સમાં બે 4 x 4 FP16 મેટ્રિક્સનો ગુણાકાર અને ઉમેરવાનું શક્ય બને છે.

અંતિમ પરિણામ FP32 હશે જેમાં ચોકસાઇની થોડી ખોટ હશે, મિશ્ર ચોકસાઇ કમ્પ્યુટિંગને નિયુક્ત કરવામાં આવે છે તેમ છતાંઇનપુટ મેટ્રિસિસ ઓછી-ચોકસાઇ FP16 હોઈ શકે છે.

વ્યવહારમાં, આ મોડેલની અંતિમ અસરકારકતા પર ઓછા પ્રભાવ સાથે ગણતરીઓને નોંધપાત્ર રીતે ઝડપી બનાવે છે. આ ક્ષમતાને પછીના માઈક્રોઆર્કિટેક્ચર દ્વારા પણ ઓછા ચોક્કસ કોમ્પ્યુટર નંબર રજૂઆતો સુધી વિસ્તૃત કરવામાં આવી છે.

V100 થી શરૂ થતા વોલ્ટા માઇક્રોઆર્કિટેક્ચર સાથે પ્રથમ પેઢીની રજૂઆત કરવામાં આવી હતી, દરેક પસાર થતી પેઢી સાથે નવા GPU માઈક્રોઆર્કિટેક્ચર સાથે ગણતરી માટે વધુ કોમ્પ્યુટર નંબર પ્રિસિઝન ફોર્મેટ ઉપલબ્ધ કરાવવામાં આવ્યા હતા.

અમે નીચેના વિભાગમાં દરેક માઇક્રોઆર્કિટેક્ચર જનરેશન સાથે ટેન્સર કોરોની ક્ષમતા અને કાર્યક્ષમતા કેવી રીતે બદલાઈ અને સુધારી છે તે વિશે વાત કરીશું.

Titan V દ્વારા બનાવેલ ગ્રાફિકલી રેન્ડર કરેલી છબી

ટેન્સર કોરો કેવી રીતે કામ કરે છે?

પ્રથમ પેઢી:

વોલ્ટા જીપીયુ માઇક્રોઆર્કિટેક્ચરને ટેન્સર કોરોની પ્રથમ પેઢી સાથે સમાવવામાં આવ્યું હતું. આ કોરોએ મિશ્ર ચોકસાઇ અને FP16 નંબર ફોર્મેટ સાથે તાલીમ આપવાનું શક્ય બનાવ્યું.

આમાં અમુક GPU માટે ટેરાફ્લોપ થ્રુપુટમાં 12x સુધીનો વધારો થઈ શકે છે. ટોપ-ટાયર V100 ના 640 કોરો પાછલી પેઢીના પાસ્કલ GPU ની સરખામણીમાં પરફોર્મન્સ સ્પીડમાં 5x સુધીનો વધારો આપે છે.

સેકન્ડ જનરેશન:

ટ્યુરિંગ જીપીયુની રજૂઆત સાથે, ટેન્સર કોરોની બીજી પેઢી રજૂ કરવામાં આવી હતી. Int8, Int4, અને Int1 ને ટેન્સર કોર પ્રિસિઝન્સની સૂચિમાં ઉમેરવામાં આવ્યા હતા, જેઅગાઉ FP16 સુધી મર્યાદિત.

મિશ્રિત ચોકસાઇ પ્રશિક્ષણ પ્રક્રિયાઓને લીધે, GPU નું પ્રદર્શન થ્રુપુટ Pascal GPU ની સરખામણીમાં 32 ગણો સુધી વધ્યું હતું.

ત્રીજી પેઢી:

એમ્પીયર GPU માં આર્કિટેક્ચર FP64, TF32, અને bfloat16 ચોકસાઇ માટે સપોર્ટ ઉમેરીને વોલ્ટા અને ટ્યુરિંગ માઇક્રોઆર્કિટેક્ચરની અગાઉની પ્રગતિઓ પર વિસ્તરે છે.

આ વધારાની ચોકસાઇના ફોર્મેટ દ્વારા ઊંડી શીખવાની તાલીમ અને અનુમાન પ્રવૃત્તિઓને વધુ વેગ મળે છે. દાખલા તરીકે, TF32 ફોર્મેટ FP32 ની જેમ જ કાર્ય કરે છે જ્યારે કોઈપણ કોડમાં ફેરફાર કર્યા વિના 20x સ્પીડઅપની ખાતરી પણ આપે છે.

પછી, કોડની માત્ર થોડીક લીટીઓ સાથે, સ્વયંસંચાલિત મિશ્ર ચોકસાઇ અમલીકરણ વધારાના 2x દ્વારા તાલીમને ઝડપી બનાવશે.

થર્ડ જનરેશન NVLink જે અત્યંત ઝડપી મલ્ટિ-GPU ક્રિયાપ્રતિક્રિયાઓ, ત્રીજી પેઢીના રે ટ્રેસીંગ કોરો અને સ્પાર્સ મેટ્રિક્સ ગણિત સાથે વિશેષતા એમ્પીયર માઇક્રોઆર્કિટેક્ચરના વધારાના પાસાઓ છે .

ચોથી જનરેશન:

ટેન્સર કોરોની હૂપર માઇક્રોઆર્કિટેક્ચર આધારિત ચોથી પેઢીના ભાવિ પ્રકાશનની યોજના છે. આગામી H100 માં ચોથી પેઢીના ટેન્સર કોરો.

જે માર્ચ 2022માં રિલીઝ થવાની ધારણા છે, તે FP8 ચોકસાઇ ફોર્મેટને હેન્ડલ કરવામાં સક્ષમ હશે અને NVIDIA અનુસાર, વિશાળ ભાષાના મોડલ્સને "આશ્ચર્યજનક 30X દ્વારા વેગ આપશે. અગાઉની પેઢી કરતાં.”

આરટીએક્સ ગ્રાફિક્સ કાર્ડ છેગ્રાફિક્સને ખૂબ જ ઝડપથી રેન્ડર કરવા માટે વપરાય છે કારણ કે તેમાં ટેન્સર કોરો છે.

CUDA કોરો અને ટેન્સર કોરો વચ્ચેનો તફાવત

ટેન્સર કોરો હાલમાં Titan V અને Tesla V100 સુધી મર્યાદિત છે. બંને GPU પરના 5120 CUDA કોરોમાં GPU ઘડિયાળ દીઠ એક સિંગલ પ્રિસિઝન મલ્ટીપ્લાય-એકમ્યુલેટ ઑપરેશનની મહત્તમ ક્ષમતા છે (ઉદાહરણ તરીકે, fp32: x += y * z માં) (દા.ત. Tesla V100 PCIe આવર્તન 1.38Gz છે).

દરેક ટેન્સર કોર નાના મેટ્રિસીસ માટે 4×4 નાના મેટ્રિસીસ પર કાર્ય કરે છે. એક GPU ઘડિયાળ દીઠ, દરેક ટેન્સર કોર એક મેટ્રિક્સ મલ્ટીપ્લાય-એકમ્યુલેટ ઓપરેશન પૂર્ણ કરી શકે છે.

તે બે 4×4 FP16 મેટ્રિક્સનો ગુણાકાર કરે છે અને 4×4 FP32 મેટ્રિક્સ ઉમેરે છે જે એક્યુમ્યુલેટરમાં પરિણમે છે (તે fp32 4×4 મેટ્રિક્સ પણ છે).

કારણ કે ઇનપુટ મેટ્રિસિસ fp16 છે જ્યારે ગુણાકાર પરિણામો અને સંચયક fp32 છે, અલ્ગોરિધમ મિશ્ર ચોકસાઇ તરીકે ઓળખાય છે.

સાચો શબ્દ સંભવતઃ માત્ર "4×4 મેટ્રિક્સ કોરો" હશે, પરંતુ NVIDIA માર્કેટિંગ ટીમે "ટેન્સર કોરો" નો ઉપયોગ કરવાનું પસંદ કર્યું છે.

ટેન્સર કોરો સંક્ષિપ્તમાં સંપૂર્ણ સમજૂતી

GPUs કે જેમાં CUDA કોરો હોય છે

નિષ્કર્ષ

• CUDA અને ટેન્સર કોરો ઉત્પાદનો છે, બંને Nvidia નામની કંપની દ્વારા વિકસાવવામાં આવ્યા છે. CUDA એટલે કોમ્પ્યુટ યુનિફાઇડ ડિવાઇસ આર્કિટેક્ચર. આ CUDA કોરો તમારા GPU, સ્માર્ટફોન અને તમારી કારમાં પણ હાજર છે.
• જ્યારે ટેન્સર કોરો, જે Nvidia દ્વારા પણ વિકસાવવામાં આવ્યા હતા, GPU માં પણ ઉપયોગમાં લેવાય છે. "ટેન્સર કોરો" તરીકે ઓળખાતા વિશિષ્ટ કોરો મિશ્ર-ચોકસાઇ પ્રશિક્ષણ માટે પરવાનગી આપે છે. ટેન્સર કોરોની પ્રથમ પેઢીએ મિશ્ર ચોકસાઇ અને FP16 નંબર ફોર્મેટ સાથે તાલીમ આપવાનું શક્ય બનાવ્યું.
• આમાં અમુક GPUs માટે ટેરાફ્લોપ થ્રુપુટમાં 12x સુધીનો વધારો થઈ શકે છે. Int8, Int4, અને Int1 સપોર્ટેડ ટેન્સર કોર ચોકસાઇની સૂચિમાં ઉમેરવામાં આવ્યા હતા.
• મિશ્રિતને કારણેચોકસાઇ પ્રશિક્ષણ પ્રક્રિયાઓ, GPU નું પ્રદર્શન 32 ગણા સુધી વધ્યું હતું. ટેન્સર કોરોની હોપર માઇક્રોઆર્કિટેક્ચર આધારિત ચોથી પેઢીના ભાવિ પ્રકાશનની યોજના છે.

અન્ય લેખો