CUDA يادروسى بىلەن تېنزور مەركىزىنىڭ قانداق پەرقى بار؟ (چۈشەندۈرۈلگەن) - بارلىق پەرقلەر
مەزمۇن جەدۋىلى
CUDA ۋە Tensor يادروسى Nvidia دەپ ئاتىلىدىغان شىركەت تەرىپىدىن ئىشلەپچىقىرىلغان مەھسۇلات. ئۇنداقتا CUDA يادروسى ۋە Tensor يادروسى دېگەن نېمە؟ CUDA ھېسابلاش بىرلىككە كەلگەن ئۈسكۈنە قۇرۇلمىسىنى كۆرسىتىدۇ. Nvidia ئاچقۇچىلار ئېيتقاندەك CUDA مەركىزى سىزنىڭ GPU لىرىڭىز ، ئەقلىي ئىقتىدارلىق تېلېفونلىرىڭىز ، ھەتتا ماشىنىلىرىڭىزدا بار.
CUDA يادروسى پاراللېل ھېسابلاش سۇپىسى ۋە قوللىنىشچان پروگرامما كۆرۈنمە يۈزى (API) بولۇپ ، يۇمشاق دېتالنى ئادەتتىكى تىپتىكى بىر تەرەپ قىلىش ئۈچۈن ئالاھىدە تىپتىكى گرافىك بىر تەرەپ قىلىش ئورۇنلىرى (GPU) دىن پايدىلىنالايدۇ.
قاراڭ: مارس قاۋاقخانىسى VS سامان يولى: قانداق پەرقى بار؟ - بارلىق پەرقلەرNvidia تەرىپىدىن ئىجاد قىلىنغان تېنىزور مەركىزىمۇ GPU دا ئىشلىتىلىدۇ. Tensor Cores ئارىلاش ئېنىقلىق ھېسابلاشنى قوزغىتىدۇ ، ھېسابلاشنى ھەرىكەتچان ماسلاشتۇرۇپ ، توغرىلىقنى ساقلاش بىلەن بىللە كىرگۈزۈشنى ئاشۇرىدۇ.
ئاددىي قىلىپ ئېيتقاندا ، بۇ يادرولار سىزنىڭ كومپيۇتېرىڭىزدىكى GPU نىڭ مۇھىم بىر قىسمى. CUDA يادروسى ئىككى ساننى كۆپەيتىش ۋە باشقا سانغا قوشۇشقا ئىشلىتىلىدۇ.
تېنزورنىڭ يادروسى ئوخشاش ، ئەمما 4 × 4 ماترىسسا. بۇ ھېسابلاشلار ئاساسەن سىز ئۈچۈن گرافىكنى تېزرەك كۆرسىتىپ بېرىدۇ.
CUDA دېگەن نېمە؟
Nvidia تەرىپىدىن ئىجاد قىلىنغان قىسقا CUDA دىكى ھېسابلاش بىرلىككە كەلگەن ئۈسكۈنە قۇرۇلمىسى 2007-يىلى 6-ئاينىڭ 23-كۈنى تارقىتىلغان ، پاراللېل ھېسابلاش سۇپىسى ۋە قوللىنىشچان پروگرامما كۆرۈنمە يۈزى (API).
يۇمشاق دېتالنىڭ ئادەتتىكى تىپتىكى بىر تەرەپ قىلىش ئۈچۈن ئالاھىدە تىپتىكى گرافىك بىر تەرەپ قىلىش ئورۇنلىرى (GPU) نى ئىشلىتىشىگە ياردەم بېرىدۇ ، بۇ ئۇسۇل ئادەتتىكى مەقسەت ھېسابلاش دەپ ئاتىلىدۇ.GPUs (GPU).
CUDA يۇمشاق دېتال قەۋىتى بولۇپ ، GPU نىڭ مەۋھۇم كۆرسەتمە توپلىمى ۋە ھېسابلاش مېغىزىنىڭ ئىجرا قىلىنىشى ئۈچۈن پاراللېل ھېسابلاش ئېلېمېنتلىرىنى بىۋاسىتە زىيارەت قىلالايدۇ. CUDA C ، C ++ ۋە Fortran قاتارلىق ئوخشىمىغان پروگرامما تىللىرى بىلەن ئىشلەش ئۈچۈن ياسالغان.
ئوخشىمىغان پروگرامما تىلى بىلەن ئىشلەش ئىقتىدارى پاراللېل پروگرامما تۈزۈش مۇتەخەسسىسلىرىنىڭ GPU بايلىقىدىن پايدىلىنىشىنى ئاسانلاشتۇرىدۇ ، ئەگەر بىز Direct3D ياكى OpenGL غا ئوخشاش ئالدىنقى API لاردىن پەرقلەنسەك ، بۇ سىزنىڭ تېخىمۇ ئىلغار بولۇشىڭىزنى تەلەپ قىلىدۇ. گرافىكلىق پروگرامما تۈزۈشتىكى ماھارەت ئاساسى.
CUDA بىلەن GPU يەنە پروگرامما رامكىسىنى قوللايدۇ ، مەسىلەن OpenMP ، OpenACC ، OpenCL ، شۇنداقلا CUDA غا بۇ خىل كودلارنى تۈزەلەيدىغان HIP. CUDA غا ئىشلىتىلگەن تۇنجى ئىسىم كومپيۇتېر بىرلىككە كەلگەن ئۈسكۈنىلەر قۇرۇلمىسىنىڭ قىسقارتىلمىسى. قانداقلا بولمىسۇن ، Nvidia كېيىن كۆپ ئىشلىتىلىدىغان قىسقارتىلمىنى تاشلىدى.
كۈچلۈك Nvidia گرافىك كارتىسى GTX 1080 Ti
قاراڭ: مىسىرنىڭ پەرقى & amp; كوپتىك مىسىر - بارلىق پەرقلەرCUDA ھەققىدە تېخىمۇ كۆپ
مەخسۇس كومپيۇتېر بىر تەرەپ قىلغۇچ بولۇش سۈپىتى بىلەن ، گرافىك بىر تەرەپ قىلىش بىرلىكى (GPU) ھەقىقىي ئېھتىياجنى قاندۇردى ۋاقىت ، كومپيۇتېرنى ئاساس قىلىدىغان 3D گرافىكلىق خىزمەت يۈكى.
پاراللېل ھالدا غايەت زور سانلىق مەلۇماتلارنى بىر تەرەپ قىلغاندا ، بۇ لايىھە ئالگورىزىم ئۈچۈن ئادەتتىكى مەقسەت مەركىزى بىر تەرەپ قىلىش ئورۇنلىرىدىن ئۈستۈن تۇرىدۇ ، مەسىلەن:
- شىفىرلىق hashفۇنكسىيەسى
- ماشىنا ئۆگىنىشى
- مولېكۇلا دىنامىك تەقلىد قىلىش
- فىزىكا ماتورى كەلگۈسىدە
- 3D گرافىكنىڭ تېز سۈرئەتتە كۆرسىتىلىشى
- سىن ھۆججىتىنىڭ فورماتلىرىنى تېز سۈرئەتتە ئۆزئارا ئالماشتۇرۇش
- شىفىرلاش ، شىفىرلاش ۋە پىرىسلاشنى تېزلىتىدۇ
- بىيو ئۇچۇر تېخنىكىسى ، مەسىلەن ، NGS DNA تەرتىپى BarraCUDA
- تارقىتىلغان ھېسابلاش ، مەسىلەن ئاقسىلنىڭ يەرلىك ئۆزگىرىشىنى ئالدىن پەرەز قىلىش
- داۋالاش ئانالىز تەقلىدلىرى ، مەسىلەن CT ۋە MRI سىكانىرلاش رەسىملىرىنى ئاساس قىلغان مەۋھۇم رېئاللىق
- فىزىكىلىق تەقلىد قىلىش ، بولۇپمۇ سۇيۇقلۇق دىنامىكىسى
- ماشىنا ئۆگىنىش مەسىلىسىدىكى نېرۋا تورى مەشىقى
- چىراي تونۇش
- تارقىتىلغان ھېسابلاش تۈرلىرى ، مەسىلەن [ئېلېكترونلۇق خەت قوغدالدى] ۋە باشقا تۈرلەر. BOINC
- مولېكۇلا دىنامىكىسى
- كان ئېچىش مەخپىي شىفىرى
- ھەرىكەت (SfM) يۇمشاق دېتالىنىڭ قۇرۇلمىسى
تېنزورنىڭ يادروسى نېمە؟
Tensor Cores دەپ ئاتىلىدىغان ئالاھىدە يادرو ئارىلاش ئېنىقلىق مەشىقىگە يول قويىدۇ. بۇ ئالاھىدە يادرونىڭ دەسلەپكى ئەۋلادلىرى بىرلەشتۈرۈلگەن كۆپەيتىش ھېسابلاش ئۇسۇلى بىلەن قىلىدۇ. بۇنىڭ بىلەن 4 x 4 FP16 ياكى FP32 ماترىسساغا ئىككى 4 x 4 FP16 ماترىسسا كۆپەيتىش ۋە قوشۇش مۇمكىن.
ئاخىرقى نەتىجە FP32 بولۇپ ، پەقەت ئازراقلا ئېنىقلىقنى يوقىتىدۇ ، ئارىلاشما ئىنچىكە ھېسابلاش گەرچە شۇنداق بولسىمۇ بېكىتىلگەن.كىرگۈزۈش ماترىسسا تۆۋەن ئېنىقلىقتىكى FP16 بولۇشى مۇمكىن.
ئەمەلىيەتتە ، بۇ مودېلنىڭ ئاخىرقى ئۈنۈمىگە ئازراق تەسىر كۆرسەتمەي ھېسابلاشنى كۆرۈنەرلىك تېزلىتىدۇ. بۇ سىغىمچانلىقى كېيىنكى مىكرو قۇرۇلما ئارقىلىق تېخىمۇ ئېنىق بولغان كومپيۇتېر نومۇرىغا كېڭەيتىلدى.
بىرىنچى ئەۋلاد V100 دىن باشلاپ ۋولتا مىكرو قۇرۇلما بىلەن تونۇشتۇرۇلدى ، ھەر بىر ئەۋلاد ئەۋلادلار بىلەن يېڭى GPU مىكرو قۇرۇلما بىلەن ھېسابلاش ئۈچۈن تېخىمۇ كۆپ كومپيۇتېر نومۇرى ئېنىق فورماتى تەمىنلەندى.
كېيىنكى بۆلەكتىكى ھەر بىر مىكرو قۇرۇلما ئەۋلادلىرى بىلەن Tensor Cores نىڭ ئىقتىدارى ۋە ئىقتىدارىنىڭ قانداق ئۆزگەرگەنلىكى ۋە ياخشىلانغانلىقى ھەققىدە توختىلىمىز.
تىتان V تەرىپىدىن ياسالغان گرافىكلىق تەسۋىرلەنگەن رەسىم
تېنزور مەركىزى قانداق ئىشلەيدۇ؟
بىرىنچى ئەۋلاد:
ۋولتا GPU مىكرو قۇرۇلمىسى بىرىنچى ئەۋلاد تېنزور مەركىزىگە كىرگۈزۈلدى. بۇ يادرولۇق ئارىلاشما ئېنىقلىق ۋە FP16 نومۇر فورماتى بىلەن مەشىقلەندۈرۈشنى مۇمكىن قىلدى.
بۇ بەزى GPU لارنىڭ teraFLOP كىرگۈزۈش مىقدارىدا 12 ھەسسە يۇقىرى كۆتۈرۈلۈشى مۇمكىن. ئالدىنقى قاتاردىكى V100 نىڭ 640 يادروسى ئالدىنقى بىر ئەۋلاد Pascal GPU لارغا قارىغاندا ئىقتىدار سۈرئىتىنى 5 ھەسسە ئاشۇرۇشتىن ۋاز كېچىدۇ.
ئىككىنچى ئەۋلاد:
Turing GPUs نىڭ ئوتتۇرىغا چىقىشى بىلەن ئىككىنچى ئەۋلاد تېنسور مەركىزى بارلىققا كەلدى. قوللايدىغان Tensor Core ئېنىقلىقلىرى تىزىملىكىگە Int8 ، Int4 ۋە Int1 قوشۇلدىئىلگىرى FP16 بىلەنلا چەكلەنگەن.
ئارىلاشما ئىنچىكە مەشىق تەرتىپلىرى سەۋەبىدىن ، GPU نىڭ ئىقتىدار كىرگۈزۈش ئۈنۈمى Pascal GPUs غا سېلىشتۇرغاندا 32 ھەسسە ئاشتى.
ئۈچىنچى ئەۋلاد:
Ampere GPU دىكى قۇرۇلما FP64 ، TF32 ۋە bfloat16 ئېنىقلىقلىرىنى قوللاش ئارقىلىق ۋولتا ۋە Turing مىكرو قۇرۇلما قۇرۇلمىسىنىڭ ئىلگىرىكى ئىلگىرىلەشلىرىنى كېڭەيتىدۇ.
چوڭقۇر ئۆگىنىش مەشىقى ۋە خۇلاسە پائالىيىتى بۇ قوشۇمچە فورماتلار ئارقىلىق تېخىمۇ تېزلىشىدۇ. مەسىلەن ، TF32 فورماتى FP32 غا ئوخشاش ئىقتىدار بىلەن تەمىنلەيدۇ ، شۇنىڭ بىلەن بىر ۋاقىتتا ھېچقانداق كودنى ئۆزگەرتمەيلا 20x تېزلىنىشكە كاپالەتلىك قىلىدۇ.
ئاندىن ، پەقەت بىر نەچچە قۇر كود بىلەنلا ، ئاپتوماتىك ئارىلاش ئېنىقلىقنى يولغا قويۇش قوشۇمچە 2x ئارقىلىق مەشىقنى تېزلىتىدۇ.
ئۈچىنچى ئەۋلاد NVLink چاقماق تېز سۈرئەتتە كۆپ GPU ئۆز-ئارا تەسىر كۆرسىتىش ، ئۈچىنچى ئەۋلاد Ray Tracing مەركىزى ۋە شالاڭ ماترىسسا ماتېماتىكا بىلەن شۇغۇللىنىش Ampere مىكرو قۇرۇلمىسىنىڭ قوشۇمچە تەرەپلىرى .
تۆتىنچى ئەۋلاد:
كەلگۈسىدىكى Hopper مىكرو قۇرۇلمىسىنى ئاساس قىلغان تۆتىنچى ئەۋلاد تېنسور مەركىزىنى ئېلان قىلىش پىلانلاندى. كېيىنكى H100 دىكى تۆتىنچى ئەۋلاد تېنزور مەركىزى. ئالدىنقى ئەۋلادلارغا قارىغاندا. »
RTX گرافىك كارتىسىگرافىكنى تېز سۈرئەتتە كۆرسىتىشكە ئىشلىتىلىدۇ ، چۈنكى ئۇنىڭدا تېنىزور يادروسى بار. ھەر ئىككى GPU دىكى 5120 CUDA يادروسىنىڭ ئەڭ چوڭ سىغىمى بىر GPU سائىتىگە بىر ئېنىق ئېنىقلىق كۆپەيتىش مەشغۇلاتى (مەسىلەن fp32: x + = y * z) (مەسىلەن تېسلا V100 PCIe چاستوتىسى 1.38Gz).
ھەر بىر جىددىيلىك يادروسى كىچىك ماترىسسا ئۈچۈن 4 × 4 كىچىك ماترىسسادا مەشغۇلات قىلىدۇ. ھەر بىر GPU سائىتىگە ، ھەر بىر سېنزور يادروسى بىر ماترىسسا كۆپەيتىش مەشغۇلاتىنى تاماملىيالايدۇ.
ئۇ ئىككى 4 × 4 FP16 ماترىسسانى كۆپەيتىدۇ ۋە ئاككۇمۇلياتورنى ھاسىل قىلىدىغان 4 × 4 FP32 ماترىسسانى قوشىدۇ (بۇمۇ fp32 4 × 4 ماترىسسا).
كىرگۈزۈش ماترىسكىسى fp16 بولغاچقا ، كۆپەيتىش نەتىجىسى ۋە ئاككۇمۇلياتور fp32 بولغاچقا ، ھېسابلاش ئۇسۇلى ئارىلاش ئېنىقلىق دەپ ئاتىلىدۇ.
توغرا ئاتالغۇ بەلكىم «4 × 4 ماترىسسا يادروسى» بولۇشى مۇمكىن ، ئەمما NVIDIA سېتىش ئەترىتى «تېنىزور مەركىزى» ئىشلىتىشنى تاللىدى.
تېڭشۈن قىسقىچە چۈشەنچە بېرىدۇ
GPU كارتىسى CUDA يادروسى VRAM GeForce GTX 1660 Ti 1536 6GB GeForce GTX 1660 دەرىجىدىن تاشقىرى 1408 6GB GeForce GTX 1660 1408 6GB GeForce GTX 1650 Super 1408 4GB GeForce GTX 1650 1024 ۋە896 4GB GeForce GTX 1060 3GB 1280 4GB GeForce GTX 1650 1280 3GB GeForce GTX 1060 6GB 768 6GB GeForce GTX 1050 Ti (3GB) 768 4GB GeForce GTX 1050 (2GB) 640 3GB GeForce GTX 960 1024 2GB GeForce GTX 950 786 2GB GeForce GTX 780 Ti 2880 2GB GeForce GTX 780 2304 3GB GeForce GTX 750 Ti 640 2 GB GeForce GTX 750 512 1GB ياكى 2 GB - Nvidia تەرىپىدىن ئىجاد قىلىنغان تېنىزور يادروسى GPU دا ئىشلىتىلىدۇ. «تېنىزور يادروسى» دەپ ئاتىلىدىغان ئالاھىدە يادرو ئارىلاش ئېنىقلىق مەشىقىگە يول قويىدۇ. بىرىنچى ئەۋلاد Tensor Cores ئارىلاش ئېنىقلىق ۋە FP16 نومۇر فورماتى بىلەن مەشىق قىلىشنى مۇمكىن قىلدى.
- بۇ بەزى GPU لارنىڭ teraFLOP كىرگۈزۈش مىقدارىدا 12 ھەسسە يۇقىرى كۆتۈرۈلۈشى مۇمكىن. قوللايدىغان Tensor Core ئېنىقلىقلىرى تىزىملىكىگە Int8 ، Int4 ۋە Int1 قوشۇلدى.
- ئارىلاشقانلىقتىنئېنىق مەشىق تەرتىپى ، GPU نىڭ ئىقتىدارى 32 ھەسسە يۇقىرى كۆتۈرۈلگەن. كەلگۈسىدىكى Hopper مىكرو قۇرۇلما ئاساسىدىكى تۆتىنچى ئەۋلاد Tensor Cores ئېلان قىلىنىش پىلانلانغان.
