CUDA ಮತ್ತು ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳು Nvidia ಎಂಬ ಕಂಪನಿಯು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದ ಉತ್ಪನ್ನಗಳಾಗಿವೆ. ಹಾಗಾದರೆ CUDA ಕೋರ್‌ಗಳು ಮತ್ತು ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳು ಯಾವುವು? CUDA ಎಂದರೆ ಕಂಪ್ಯೂಟ್ ಯುನಿಫೈಡ್ ಡಿವೈಸ್ ಆರ್ಕಿಟೆಕ್ಚರ್. Nvidia ಡೆವಲಪರ್‌ಗಳು ಹೇಳುವಂತೆ CUDA ಕೋರ್‌ಗಳು ನಿಮ್ಮ GPUಗಳು, ಸ್ಮಾರ್ಟ್‌ಫೋನ್‌ಗಳು ಮತ್ತು ನಿಮ್ಮ ಕಾರುಗಳಲ್ಲಿಯೂ ಇರುತ್ತವೆ.

CUDA ಕೋರ್‌ಗಳು ಒಂದು ಸಮಾನಾಂತರ ಕಂಪ್ಯೂಟಿಂಗ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಮತ್ತು ಅಪ್ಲಿಕೇಶನ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಇಂಟರ್ಫೇಸ್ (API) ಆಗಿದ್ದು, ಇದು ಸಾಮಾನ್ಯ ಉದ್ದೇಶದ ಪ್ರಕ್ರಿಯೆಗಾಗಿ ನಿರ್ದಿಷ್ಟ ರೀತಿಯ ಗ್ರಾಫಿಕ್ಸ್ ಪ್ರೊಸೆಸಿಂಗ್ ಯೂನಿಟ್‌ಗಳನ್ನು (GPU ಗಳು) ಬಳಸಲು ಸಾಫ್ಟ್‌ವೇರ್ ಅನ್ನು ಶಕ್ತಗೊಳಿಸುತ್ತದೆ.

ಎನ್ವಿಡಿಯಾದಿಂದ ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾದ ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳನ್ನು ಸಹ GPU ಗಳಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ. ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳು ಮಿಶ್ರ-ನಿಖರ ಕಂಪ್ಯೂಟಿಂಗ್ ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತವೆ, ನಿಖರತೆಯನ್ನು ಕಾಪಾಡಿಕೊಳ್ಳುವಾಗ ಥ್ರೋಪುಟ್ ಅನ್ನು ಹೆಚ್ಚಿಸಲು ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಕ್ರಿಯಾತ್ಮಕವಾಗಿ ಅಳವಡಿಸಿಕೊಳ್ಳುತ್ತವೆ.

ಸರಳವಾಗಿ ಹೇಳುವುದಾದರೆ, ಕೆಲವು ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಮಾಡಲು ಈ ಕೋರ್‌ಗಳು ನಿಮ್ಮ ಪಿಸಿಯಲ್ಲಿನ GPU ಗಳ ಪ್ರಮುಖ ಭಾಗವಾಗಿದೆ. CUDA ಕೋರ್ಗಳನ್ನು ಎರಡು ಸಂಖ್ಯೆಗಳನ್ನು ಗುಣಿಸಲು ಮತ್ತು ಅವುಗಳನ್ನು ಮತ್ತೊಂದು ಸಂಖ್ಯೆಗೆ ಸೇರಿಸಲು ಬಳಸಲಾಗುತ್ತದೆ.

ಆದರೆ ಟೆನ್ಸರ್ ಕೋರ್ ಒಂದೇ ಆದರೆ 4×4 ಮ್ಯಾಟ್ರಿಕ್ಸ್‌ಗಳೊಂದಿಗೆ. ಈ ಲೆಕ್ಕಾಚಾರಗಳು ಮೂಲಭೂತವಾಗಿ ನಿಮಗಾಗಿ ಗ್ರಾಫಿಕ್ಸ್ ಅನ್ನು ವೇಗವಾಗಿ ರೆಂಡರಿಂಗ್ ಮಾಡುತ್ತಿವೆ.

CUDA ಎಂದರೇನು?

ಕಂಪ್ಯೂಟ್ ಯುನಿಫೈಡ್ ಡಿವೈಸ್ ಆರ್ಕಿಟೆಕ್ಚರ್ ಇನ್ ಶಾರ್ಟ್ ಸಿಯುಡಿಎ ಎನ್‌ವಿಡಿಯಾ ಅಭಿವೃದ್ಧಿಪಡಿಸಿದೆ, ಜೂನ್ 23, 2007 ರಂದು ಬಿಡುಗಡೆಯಾಯಿತು, ಇದು ಒಂದು ಸಮಾನಾಂತರ ಕಂಪ್ಯೂಟಿಂಗ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್ ಮತ್ತು ಅಪ್ಲಿಕೇಶನ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಇಂಟರ್ಫೇಸ್ (API) ಆಗಿದೆ.

ಅದು. ಸಾಮಾನ್ಯ ಉದ್ದೇಶದ ಸಂಸ್ಕರಣೆಗಾಗಿ ನಿರ್ದಿಷ್ಟ ರೀತಿಯ ಗ್ರಾಫಿಕ್ಸ್ ಸಂಸ್ಕರಣಾ ಘಟಕಗಳನ್ನು (GPU) ಬಳಸಲು ಸಾಫ್ಟ್‌ವೇರ್ ಅನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುತ್ತದೆ, ಈ ವಿಧಾನವನ್ನು ಸಾಮಾನ್ಯ ಉದ್ದೇಶದ ಕಂಪ್ಯೂಟಿಂಗ್ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆಜಿಪಿಯುಗಳು (ಜಿಪಿಯು).

CUDA ಎನ್ನುವುದು ಸಾಫ್ಟ್‌ವೇರ್ ಲೇಯರ್ ಆಗಿದ್ದು ಅದು GPU ನ ವರ್ಚುವಲ್ ಸೂಚನಾ ಸೆಟ್ ಮತ್ತು ಕಂಪ್ಯೂಟ್ ಕರ್ನಲ್‌ಗಳ ಕಾರ್ಯಗತಗೊಳಿಸಲು ಸಮಾನಾಂತರ ಕಂಪ್ಯೂಟೇಶನಲ್ ಅಂಶಗಳಿಗೆ ನೇರ ಪ್ರವೇಶವನ್ನು ಒದಗಿಸುತ್ತದೆ. C, C++, ಮತ್ತು Fortran ಸೇರಿದಂತೆ ವಿವಿಧ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡಲು CUDA ಅನ್ನು ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾಗಿದೆ.

ವಿಭಿನ್ನ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಭಾಷೆಗಳೊಂದಿಗೆ ಕೆಲಸ ಮಾಡುವ ಸಾಮರ್ಥ್ಯವು ಸಮಾನಾಂತರ ಪ್ರೋಗ್ರಾಮಿಂಗ್‌ನಲ್ಲಿನ ಪರಿಣಿತರಿಗೆ GPU ಸಂಪನ್ಮೂಲಗಳ ಬಳಕೆಯನ್ನು ಸುಲಭಗೊಳಿಸುತ್ತದೆ, ನಾವು ಅದನ್ನು Direct3D ಅಥವಾ OpenGL ನಂತಹ ಹಿಂದಿನ API ಗಳಿಂದ ಪ್ರತ್ಯೇಕಿಸಿದರೆ, ಅದು ನಿಮಗೆ ಹೆಚ್ಚು ಸುಧಾರಿತ ಅಗತ್ಯವಿರುತ್ತದೆ. ಗ್ರಾಫಿಕಲ್ ಪ್ರೋಗ್ರಾಮಿಂಗ್‌ನಲ್ಲಿ ಕೌಶಲ್ಯ ಬೇಸ್.

CUDA ಜೊತೆಗಿನ GPU ಸಹ ಪ್ರೋಗ್ರಾಮಿಂಗ್ ಫ್ರೇಮ್‌ವರ್ಕ್‌ಗಳನ್ನು ಬೆಂಬಲಿಸುತ್ತದೆ, ಉದಾಹರಣೆಗೆ OpenMP, OpenACC, OpenCL, ಮತ್ತು HIP ಅಂತಹ ಕೋಡ್ ಅನ್ನು CUDA ಗೆ ಕಂಪೈಲ್ ಮಾಡಬಹುದು. CUDA ಗಾಗಿ ಬಳಸಿದ ಮೊದಲ ಹೆಸರು ಕಂಪ್ಯೂಟ್ ಯುನಿಫೈಡ್ ಡಿವೈಸ್ ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ಸಂಕ್ಷಿಪ್ತ ರೂಪವಾಗಿದೆ. ಆದಾಗ್ಯೂ, ಎನ್ವಿಡಿಯಾ ನಂತರ ಸಾಮಾನ್ಯವಾಗಿ ಬಳಸುವ ಸಂಕ್ಷಿಪ್ತ ರೂಪವನ್ನು ಕೈಬಿಟ್ಟಿತು.

ಪ್ರಬಲ Nvidia ಗ್ರಾಫಿಕ್ಸ್ ಕಾರ್ಡ್ GTX 1080 Ti

CUDA ಬಗ್ಗೆ ಇನ್ನಷ್ಟು

ಒಂದು ವಿಶೇಷವಾದ ಕಂಪ್ಯೂಟರ್ ಪ್ರೊಸೆಸರ್ ಆಗಿ, ಗ್ರಾಫಿಕ್ಸ್ ಪ್ರೊಸೆಸಿಂಗ್ ಯುನಿಟ್ (GPU) ನೈಜ ಅಗತ್ಯಗಳನ್ನು ಪೂರೈಸುತ್ತದೆ -ಸಮಯ, ಕಂಪ್ಯೂಟ್-ಇಂಟೆನ್ಸಿವ್ 3D ಗ್ರಾಫಿಕ್ಸ್ ವರ್ಕ್‌ಲೋಡ್‌ಗಳು.

ಸುಮಾರು 2012 GPU ಗಳು ವಿಕಸನಗೊಂಡವು ಮತ್ತು ದೊಡ್ಡ ಬ್ಲಾಕ್‌ಗಳಿಗೆ ಪರಿಣಾಮಕಾರಿ ಡೇಟಾ ಸಂಸ್ಕರಣೆಯನ್ನು ಸಕ್ರಿಯಗೊಳಿಸುವ ಹೆಚ್ಚು ಸಮಾನಾಂತರ ಬಹು-ಕೋರ್ ಸಿಸ್ಟಮ್‌ಗಳಾಗಿ ಮಾರ್ಪಟ್ಟಿವೆ.

ದತ್ತಾಂಶದ ಬೃಹತ್ ಬ್ಲಾಕ್‌ಗಳನ್ನು ಸಮಾನಾಂತರವಾಗಿ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವಾಗ, ಈ ವಿನ್ಯಾಸವು ಅಲ್ಗಾರಿದಮ್‌ಗಳಿಗಾಗಿ ಸಾಮಾನ್ಯ-ಉದ್ದೇಶದ ಕೇಂದ್ರೀಯ ಸಂಸ್ಕರಣಾ ಘಟಕಗಳಿಗೆ (CPUs) ಉತ್ತಮವಾಗಿದೆ, ಉದಾಹರಣೆಗೆ:

• ಕ್ರಿಪ್ಟೋಗ್ರಾಫಿಕ್ ಹ್ಯಾಶ್ಕಾರ್ಯಗಳು
• ಯಂತ್ರ ಕಲಿಕೆ
• ಆಣ್ವಿಕ ಡೈನಾಮಿಕ್ಸ್ ಸಿಮ್ಯುಲೇಶನ್‌ಗಳು
• ಭೌತಶಾಸ್ತ್ರ ಇಂಜಿನ್‌ಗಳು
• ವಿಂಗಡಣೆ ಕ್ರಮಾವಳಿಗಳು

CUDA ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ಉಪಯೋಗಗಳು ಈಗ ಮತ್ತು ಭವಿಷ್ಯದಲ್ಲಿ

• 3D ಗ್ರಾಫಿಕ್ಸ್‌ನ ವೇಗವರ್ಧಿತ ರೆಂಡರಿಂಗ್
• ವೀಡಿಯೊ ಫೈಲ್ ಫಾರ್ಮ್ಯಾಟ್‌ಗಳ ವೇಗವರ್ಧಿತ ಪರಸ್ಪರ ಪರಿವರ್ತನೆ
• ವೇಗವರ್ಧಿತ ಎನ್‌ಕ್ರಿಪ್ಶನ್, ಡೀಕ್ರಿಪ್ಶನ್ ಮತ್ತು ಕಂಪ್ರೆಷನ್
• ಬಯೋಇನ್‌ಫರ್ಮ್ಯಾಟಿಕ್ಸ್, ಉದಾ., NGS DNA ಅನುಕ್ರಮ BarraCUDA
• ವಿತರಿಸಿದ ಲೆಕ್ಕಾಚಾರಗಳು, ಪ್ರೊಟೀನ್‌ಗಳ ಸ್ಥಳೀಯ ಅನುಸರಣೆಯನ್ನು ಊಹಿಸುವುದು
• ವೈದ್ಯಕೀಯ ವಿಶ್ಲೇಷಣೆ ಸಿಮ್ಯುಲೇಶನ್‌ಗಳು, ಉದಾಹರಣೆಗೆ, CT ಮತ್ತು MRI ಸ್ಕ್ಯಾನ್ ಚಿತ್ರಗಳ ಆಧಾರದ ಮೇಲೆ ವರ್ಚುವಲ್ ರಿಯಾಲಿಟಿ
• ಭೌತಿಕ ಸಿಮ್ಯುಲೇಶನ್‌ಗಳು, ನಿರ್ದಿಷ್ಟವಾಗಿ ದ್ರವ ಡೈನಾಮಿಕ್ಸ್‌ನಲ್ಲಿ
• ಯಂತ್ರ ಕಲಿಕೆಯ ಸಮಸ್ಯೆಗಳಲ್ಲಿ ನ್ಯೂರಲ್ ನೆಟ್‌ವರ್ಕ್ ತರಬೇತಿ
• ಮುಖ ಗುರುತಿಸುವಿಕೆ
• ವಿತರಿಸಿದ ಕಂಪ್ಯೂಟಿಂಗ್ ಪ್ರಾಜೆಕ್ಟ್‌ಗಳು, ಉದಾಹರಣೆಗೆ [ಇಮೇಲ್ ರಕ್ಷಿತ] ಮತ್ತು ಇತರ ಯೋಜನೆಗಳು BOINC
• ಆಣ್ವಿಕ ಡೈನಾಮಿಕ್ಸ್
• ಮೈನಿಂಗ್ ಕ್ರಿಪ್ಟೋಕರೆನ್ಸಿಗಳು
• ಸ್ಟ್ರಕ್ಚರ್ ಫ್ರಮ್ ಮೋಷನ್ (SfM) ಸಾಫ್ಟ್‌ವೇರ್

ಟೆನ್ಸರ್ ಕೋರ್ ಎಂದರೇನು?

ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳು ಎಂಬ ವಿಶೇಷ ಕೋರ್‌ಗಳು ಮಿಶ್ರ-ನಿಖರ ತರಬೇತಿಗೆ ಅವಕಾಶ ನೀಡುತ್ತವೆ. ಈ ವಿಶೇಷ ಕೋರ್‌ಗಳ ಆರಂಭಿಕ ಪೀಳಿಗೆಯು ಇದನ್ನು ಫ್ಯೂಸ್ಡ್ ಮಲ್ಟಿಪ್ಲೈ-ಆಡ್ ಅಲ್ಗಾರಿದಮ್‌ನೊಂದಿಗೆ ಮಾಡುತ್ತದೆ. ಇದು 4 x 4 FP16 ಅಥವಾ FP32 ಮ್ಯಾಟ್ರಿಕ್ಸ್‌ಗೆ ಎರಡು 4 x 4 FP16 ಮ್ಯಾಟ್ರಿಕ್ಸ್‌ಗಳನ್ನು ಗುಣಿಸಲು ಮತ್ತು ಸೇರಿಸಲು ಸಾಧ್ಯವಾಗಿಸುತ್ತದೆ.

ಅಂತಿಮ ಫಲಿತಾಂಶವು FP32 ಆಗಿರುತ್ತದೆ ಮತ್ತು ಸ್ವಲ್ಪ ನಿಖರವಾದ ನಷ್ಟದೊಂದಿಗೆ, ಮಿಶ್ರ ನಿಖರವಾದ ಕಂಪ್ಯೂಟಿಂಗ್ ಅನ್ನು ಗೊತ್ತುಪಡಿಸಲಾಗಿದೆಇನ್‌ಪುಟ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಕಡಿಮೆ-ನಿಖರವಾದ FP16 ಆಗಿರಬಹುದು.

ಆಚರಣೆಯಲ್ಲಿ, ಇದು ಮಾದರಿಯ ಅಂತಿಮ ಪರಿಣಾಮಕಾರಿತ್ವದ ಮೇಲೆ ಕಡಿಮೆ ಪ್ರಭಾವದೊಂದಿಗೆ ಲೆಕ್ಕಾಚಾರಗಳನ್ನು ಗಮನಾರ್ಹವಾಗಿ ವೇಗಗೊಳಿಸುತ್ತದೆ. ಈ ಸಾಮರ್ಥ್ಯವನ್ನು ನಂತರದ ಮೈಕ್ರೋಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳು ಇನ್ನೂ ಕಡಿಮೆ ನಿಖರವಾದ ಕಂಪ್ಯೂಟರ್ ಸಂಖ್ಯೆ ಪ್ರಾತಿನಿಧ್ಯಗಳಿಗೆ ವಿಸ್ತರಿಸಲಾಗಿದೆ.

ಮೊದಲ ಪೀಳಿಗೆಯನ್ನು V100 ರಿಂದ ಪ್ರಾರಂಭವಾಗುವ ವೋಲ್ಟಾ ಮೈಕ್ರೋಆರ್ಕಿಟೆಕ್ಚರ್‌ನೊಂದಿಗೆ ಪರಿಚಯಿಸಲಾಯಿತು, ಪ್ರತಿ ಹಾದುಹೋಗುವ ಪೀಳಿಗೆಯೊಂದಿಗೆ ಹೊಸ GPU ಮೈಕ್ರೊ ಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳೊಂದಿಗೆ ಗಣನೆಗಾಗಿ ಹೆಚ್ಚಿನ ಕಂಪ್ಯೂಟರ್ ಸಂಖ್ಯೆಯ ನಿಖರ ಸ್ವರೂಪಗಳನ್ನು ಲಭ್ಯಗೊಳಿಸಲಾಯಿತು.

ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳ ಸಾಮರ್ಥ್ಯ ಮತ್ತು ಕಾರ್ಯಚಟುವಟಿಕೆಯು ಹೇಗೆ ಬದಲಾಗಿದೆ ಮತ್ತು ಪ್ರತಿ ಮೈಕ್ರೋಆರ್ಕಿಟೆಕ್ಚರ್ ಉತ್ಪಾದನೆಯೊಂದಿಗೆ ಸುಧಾರಿಸಿದೆ ಎಂಬುದರ ಕುರಿತು ನಾವು ಮುಂದಿನ ವಿಭಾಗದಲ್ಲಿ ಮಾತನಾಡುತ್ತೇವೆ.

ಟೈಟಾನ್ V ನಿಂದ ಸಚಿತ್ರವಾಗಿ ನಿರೂಪಿಸಲಾದ ಚಿತ್ರ

ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳು ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ?

ಮೊದಲ ತಲೆಮಾರು:

ವೋಲ್ಟಾ GPU ಮೈಕ್ರೊ ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ಮೊದಲ ತಲೆಮಾರಿನ ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳೊಂದಿಗೆ ಸೇರಿಸಲಾಗಿದೆ. ಈ ಕೋರ್‌ಗಳು ಮಿಶ್ರ ನಿಖರತೆ ಮತ್ತು FP16 ಸಂಖ್ಯೆಯ ಸ್ವರೂಪದೊಂದಿಗೆ ತರಬೇತಿ ನೀಡಲು ಸಾಧ್ಯವಾಗಿಸಿತು.

ಇದು ನಿರ್ದಿಷ್ಟ GPU ಗಳಿಗಾಗಿ teraFLOP ಥ್ರೋಪುಟ್‌ನಲ್ಲಿ 12x ವರೆಗೆ ವರ್ಧಕವನ್ನು ಹೊಂದಿರಬಹುದು. ಉನ್ನತ-ಶ್ರೇಣಿಯ V100 ನ 640 ಕೋರ್‌ಗಳು ಹಿಂದಿನ ಪೀಳಿಗೆಯ ಪ್ಯಾಸ್ಕಲ್ GPUಗಳಿಗಿಂತ ಕಾರ್ಯಕ್ಷಮತೆಯ ವೇಗದಲ್ಲಿ 5x ಹೆಚ್ಚಳವನ್ನು ನೀಡುತ್ತದೆ.

ಎರಡನೇ ತಲೆಮಾರು:

ಟ್ಯೂರಿಂಗ್ ಜಿಪಿಯುಗಳ ಪರಿಚಯದೊಂದಿಗೆ, ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳ ಎರಡನೇ ಪೀಳಿಗೆಯನ್ನು ಪರಿಚಯಿಸಲಾಯಿತು. Int8, Int4 ಮತ್ತು Int1 ಅನ್ನು ಬೆಂಬಲಿತ ಟೆನ್ಸರ್ ಕೋರ್ ನಿಖರತೆಗಳ ಪಟ್ಟಿಗೆ ಸೇರಿಸಲಾಗಿದೆ, ಅವುಗಳೆಂದರೆಹಿಂದೆ FP16 ಗೆ ಸೀಮಿತವಾಗಿತ್ತು.

ಮಿಶ್ರ ನಿಖರವಾದ ತರಬೇತಿ ಕಾರ್ಯವಿಧಾನಗಳ ಕಾರಣದಿಂದಾಗಿ, ಪ್ಯಾಸ್ಕಲ್ GPU ಗಳಿಗೆ ಹೋಲಿಸಿದರೆ GPU ನ ಕಾರ್ಯಕ್ಷಮತೆಯ ಥ್ರೋಪುಟ್ ಅನ್ನು 32 ಪಟ್ಟು ಹೆಚ್ಚಿಸಲಾಗಿದೆ.

ಮೂರನೇ ತಲೆಮಾರಿನ:

FP64, TF32, ಮತ್ತು bfloat16 ನಿಖರತೆಗಳಿಗೆ ಬೆಂಬಲವನ್ನು ಸೇರಿಸುವ ಮೂಲಕ ಆಂಪಿಯರ್ GPU ನಲ್ಲಿನ ಆರ್ಕಿಟೆಕ್ಚರ್ ವೋಲ್ಟಾ ಮತ್ತು ಟ್ಯೂರಿಂಗ್ ಮೈಕ್ರೋಆರ್ಕಿಟೆಕ್ಚರ್‌ಗಳ ಹಿಂದಿನ ಪ್ರಗತಿಗಳ ಮೇಲೆ ವಿಸ್ತರಿಸುತ್ತದೆ.

ಆಳವಾದ ಕಲಿಕೆಯ ತರಬೇತಿ ಮತ್ತು ನಿರ್ಣಯ ಚಟುವಟಿಕೆಗಳು ಈ ಹೆಚ್ಚುವರಿ ನಿಖರ ಸ್ವರೂಪಗಳಿಂದ ಹೆಚ್ಚು ವೇಗವನ್ನು ಪಡೆಯುತ್ತವೆ. ಉದಾಹರಣೆಗೆ, TF32 ಸ್ವರೂಪವು FP32 ನಂತೆಯೇ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ ಮತ್ತು ಯಾವುದೇ ಕೋಡ್ ಅನ್ನು ಬದಲಾಯಿಸದೆ 20x ವೇಗವನ್ನು ಖಾತರಿಪಡಿಸುತ್ತದೆ.

ನಂತರ, ಕೋಡ್‌ನ ಕೆಲವೇ ಸಾಲುಗಳೊಂದಿಗೆ, ಸ್ವಯಂಚಾಲಿತ ಮಿಶ್ರ ನಿಖರವಾದ ಅನುಷ್ಠಾನವು ಹೆಚ್ಚುವರಿ 2x ಮೂಲಕ ತರಬೇತಿಯನ್ನು ವೇಗಗೊಳಿಸುತ್ತದೆ.

ಪ್ರಜ್ವಲಿಸುವ ವೇಗದ ಬಹು-ಜಿಪಿಯು ಸಂವಹನಗಳನ್ನು ಸಕ್ರಿಯಗೊಳಿಸಲು ಮೂರನೇ ತಲೆಮಾರಿನ NVLink, ಮೂರನೇ ತಲೆಮಾರಿನ ರೇ ಟ್ರೇಸಿಂಗ್ ಕೋರ್‌ಗಳು ಮತ್ತು ವಿರಳ ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗಣಿತದೊಂದಿಗೆ ವಿಶೇಷತೆ ಆಂಪಿಯರ್ ಮೈಕ್ರೊ ಆರ್ಕಿಟೆಕ್ಚರ್‌ನ ಹೆಚ್ಚುವರಿ ಅಂಶಗಳಾಗಿವೆ .

ನಾಲ್ಕನೇ ತಲೆಮಾರು:

ಹಾಪರ್ ಮೈಕ್ರೋಆರ್ಕಿಟೆಕ್ಚರ್ ಆಧಾರಿತ ನಾಲ್ಕನೇ ತಲೆಮಾರಿನ ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳ ಭವಿಷ್ಯದ ಬಿಡುಗಡೆಯನ್ನು ಯೋಜಿಸಲಾಗಿದೆ. ಮುಂದಿನ H100 ನಲ್ಲಿ ನಾಲ್ಕನೇ ತಲೆಮಾರಿನ ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳು.

ಇದು ಮಾರ್ಚ್ 2022 ರಲ್ಲಿ ಬಿಡುಗಡೆಯಾಗುವ ನಿರೀಕ್ಷೆಯಿದೆ, FP8 ನಿಖರ ಸ್ವರೂಪಗಳನ್ನು ನಿರ್ವಹಿಸಲು ಸಾಧ್ಯವಾಗುತ್ತದೆ ಮತ್ತು NVIDIA ಪ್ರಕಾರ, ಬೃಹತ್ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು "ವಿಸ್ಮಯಕಾರಿ 30X ಮೂಲಕ ವೇಗಗೊಳಿಸುತ್ತದೆ ಹಿಂದಿನ ಪೀಳಿಗೆಯ ಮೇಲೆ.”

ಆರ್‌ಟಿಎಕ್ಸ್ ಗ್ರಾಫಿಕ್ಸ್ ಕಾರ್ಡ್ ಆಗಿದೆಟೆನ್ಸರ್ ಕೋರ್‌ಗಳನ್ನು ಹೊಂದಿರುವುದರಿಂದ ಗ್ರಾಫಿಕ್ಸ್ ಅನ್ನು ಅತ್ಯಂತ ವೇಗವಾಗಿ ರೆಂಡರಿಂಗ್ ಮಾಡಲು ಬಳಸಲಾಗುತ್ತದೆ.

CUDA ಕೋರ್‌ಗಳು ಮತ್ತು ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳ ನಡುವಿನ ವ್ಯತ್ಯಾಸ

ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳು ಪ್ರಸ್ತುತ ಟೈಟಾನ್ V ಮತ್ತು ಟೆಸ್ಲಾ V100 ಗೆ ಸೀಮಿತವಾಗಿವೆ. ಎರಡೂ GPUಗಳಲ್ಲಿನ 5120 CUDA ಕೋರ್‌ಗಳು ಒಂದು GPU ಗಡಿಯಾರಕ್ಕೆ ಒಂದು ಏಕ ನಿಖರ ಗುಣಾಕಾರ-ಸಂಗ್ರಹ ಕಾರ್ಯಾಚರಣೆಯ ಗರಿಷ್ಠ ಸಾಮರ್ಥ್ಯವನ್ನು ಹೊಂದಿವೆ (ಉದಾಹರಣೆಗೆ, fp32: x += y * z) ಪ್ರತಿ GPU ಗಡಿಯಾರ (ಉದಾ. Tesla V100 PCIe ಆವರ್ತನೆ 1.38Gz).

ಪ್ರತಿಯೊಂದು ಟೆನ್ಸರ್ ಕೋರ್ ಸಣ್ಣ ಮ್ಯಾಟ್ರಿಕ್ಸ್‌ಗಳಿಗೆ 4×4 ಸಣ್ಣ ಮ್ಯಾಟ್ರಿಕ್ಸ್‌ಗಳಲ್ಲಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತದೆ. ಒಂದು GPU ಗಡಿಯಾರಕ್ಕೆ, ಪ್ರತಿ ಟೆನ್ಸರ್ ಕೋರ್ ಒಂದು ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಗುಣಿಸಿ-ಸಂಗ್ರಹ ಕಾರ್ಯಾಚರಣೆಯನ್ನು ಪೂರ್ಣಗೊಳಿಸಬಹುದು.

ಇದು ಎರಡು 4×4 FP16 ಮ್ಯಾಟ್ರಿಕ್ಸ್‌ಗಳನ್ನು ಗುಣಿಸುತ್ತದೆ ಮತ್ತು 4×4 FP32 ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಅನ್ನು ಸೇರಿಸುತ್ತದೆ ಅದು ಸಂಚಯಕಕ್ಕೆ ಕಾರಣವಾಗುತ್ತದೆ (ಅದು ಕೂಡ fp32 4×4 ಮ್ಯಾಟ್ರಿಕ್ಸ್).

ಇನ್‌ಪುಟ್ ಮ್ಯಾಟ್ರಿಕ್ಸ್‌ಗಳು fp16 ಆಗಿರುವುದರಿಂದ ಗುಣಾಕಾರ ಫಲಿತಾಂಶಗಳು ಮತ್ತು ಸಂಚಯಕವು fp32 ಆಗಿರುವುದರಿಂದ, ಅಲ್ಗಾರಿದಮ್ ಅನ್ನು ಮಿಶ್ರ ನಿಖರತೆ ಎಂದು ಕರೆಯಲಾಗುತ್ತದೆ.

ಸರಿಯಾದ ಪದವು "4×4 ಮ್ಯಾಟ್ರಿಕ್ಸ್ ಕೋರ್‌ಗಳು" ಆಗಿರಬಹುದು, ಆದರೆ NVIDIA ಮಾರ್ಕೆಟಿಂಗ್ ತಂಡವು "ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳನ್ನು" ಬಳಸಲು ಆಯ್ಕೆ ಮಾಡಿದೆ.

ಸಂಕ್ಷಿಪ್ತವಾಗಿ ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳ ಸಂಪೂರ್ಣ ವಿವರಣೆ

CUDA ಕೋರ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿರುವ GPUಗಳು

ತೀರ್ಮಾನ

• CUDA ಮತ್ತು ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳು ಉತ್ಪನ್ನಗಳಾಗಿವೆ, ಇವೆರಡನ್ನೂ Nvidia ಎಂಬ ಕಂಪನಿಯು ಅಭಿವೃದ್ಧಿಪಡಿಸಿದೆ. CUDA ಎಂದರೆ ಕಂಪ್ಯೂಟ್ ಯುನಿಫೈಡ್ ಡಿವೈಸ್ ಆರ್ಕಿಟೆಕ್ಚರ್. ಈ CUDA ಕೋರ್‌ಗಳು ನಿಮ್ಮ GPUಗಳು, ಸ್ಮಾರ್ಟ್‌ಫೋನ್‌ಗಳು ಮತ್ತು ನಿಮ್ಮ ಕಾರುಗಳಲ್ಲಿಯೂ ಇರುತ್ತವೆ.
• ಎನ್ವಿಡಿಯಾದಿಂದ ಅಭಿವೃದ್ಧಿಪಡಿಸಲಾದ ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳನ್ನು ಸಹ GPU ಗಳಲ್ಲಿ ಬಳಸಲಾಗುತ್ತದೆ. "ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳು" ಎಂದು ಕರೆಯಲ್ಪಡುವ ವಿಶೇಷ ಕೋರ್‌ಗಳು ಮಿಶ್ರ-ನಿಖರ ತರಬೇತಿಗೆ ಅವಕಾಶ ನೀಡುತ್ತವೆ. ಮೊದಲ ತಲೆಮಾರಿನ ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳು ಮಿಶ್ರ ನಿಖರತೆ ಮತ್ತು FP16 ಸಂಖ್ಯೆಯ ಸ್ವರೂಪದೊಂದಿಗೆ ತರಬೇತಿ ನೀಡಲು ಸಾಧ್ಯವಾಗಿಸಿತು.
• ಇದು ನಿರ್ದಿಷ್ಟ GPU ಗಳಿಗಾಗಿ teraFLOP ಥ್ರೋಪುಟ್‌ನಲ್ಲಿ 12x ವರೆಗೆ ವರ್ಧಕವನ್ನು ಹೊಂದಿರಬಹುದು. Int8, Int4 ಮತ್ತು Int1 ಅನ್ನು ಬೆಂಬಲಿತ ಟೆನ್ಸರ್ ಕೋರ್ ನಿಖರತೆಗಳ ಪಟ್ಟಿಗೆ ಸೇರಿಸಲಾಗಿದೆ.
• ಮಿಶ್ರಣದ ಕಾರಣದಿಂದಾಗಿನಿಖರವಾದ ತರಬೇತಿ ಕಾರ್ಯವಿಧಾನಗಳು, GPU ನ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು 32 ಪಟ್ಟು ಹೆಚ್ಚಿಸಲಾಗಿದೆ. ಹಾಪರ್ ಮೈಕ್ರೋಆರ್ಕಿಟೆಕ್ಚರ್ ಆಧಾರಿತ ನಾಲ್ಕನೇ ತಲೆಮಾರಿನ ಟೆನ್ಸರ್ ಕೋರ್‌ಗಳ ಭವಿಷ್ಯದ ಬಿಡುಗಡೆಯನ್ನು ಯೋಜಿಸಲಾಗಿದೆ.

ಇತರೆ ಲೇಖನಗಳು