Teras CUDA dan Tensor ialah produk yang dibangunkan oleh sebuah syarikat bernama Nvidia. Jadi apakah itu teras CUDA dan teras Tensor? CUDA adalah singkatan kepada Compute Unified Device Architecture. Teras CUDA hadir dalam GPU, telefon pintar anda dan juga kereta anda, seperti yang dikatakan oleh pembangun Nvidia.

Teras CUDA ialah platform pengkomputeran selari dan antara muka pengaturcaraan aplikasi (API) yang membolehkan perisian menggunakan jenis unit pemprosesan grafik (GPU) khusus untuk pemprosesan tujuan umum.

Manakala teras tensor yang turut dibangunkan oleh Nvidia, juga digunakan dalam GPU. Teras Tensor membolehkan pengkomputeran ketepatan campuran, menyesuaikan pengiraan secara dinamik untuk meningkatkan daya pengeluaran sambil mengekalkan ketepatan.

Dengan kata mudah, teras ini merupakan bahagian penting GPU dalam komputer anda untuk melakukan pengiraan tertentu. Teras CUDA digunakan untuk mendarab dua nombor dan menambahnya kepada nombor lain.

Manakala teras Tensor adalah sama tetapi dengan matriks 4×4. Pengiraan ini pada asasnya menjadikan grafik lebih pantas untuk anda.

Apakah CUDA?

Compute Unified Device Architecture dalam ringkasnya CUDA yang dibangunkan oleh Nvidia, dikeluarkan pada 23 Jun 2007, ialah platform pengkomputeran selari dan antara muka pengaturcaraan aplikasi (API).

Itu membolehkan perisian menggunakan jenis unit pemprosesan grafik (GPU) khusus untuk pemprosesan tujuan umum, kaedah yang dikenali sebagai pengkomputeran tujuan umum padaGPU (GPU).

CUDA ialah lapisan perisian yang menyediakan akses terus kepada set arahan maya GPU dan elemen pengiraan selari untuk pelaksanaan kernel pengiraan. CUDA dibangunkan untuk berfungsi dengan bahasa pengaturcaraan yang berbeza termasuk C, C++, dan Fortran.

Keupayaan untuk bekerja dengan bahasa pengaturcaraan yang berbeza memudahkan pakar dalam pengaturcaraan selari untuk menggunakan sumber GPU jika kami membezakannya daripada API sebelumnya seperti Direct3D atau OpenGL, yang memerlukan anda mempunyai yang lebih maju. asas kemahiran dalam pengaturcaraan grafik.

GPU dengan CUDA juga menyokong rangka kerja pengaturcaraan, seperti OpenMP, OpenACC, OpenCL, dan juga HIP yang boleh menyusun kod tersebut kepada CUDA. Nama pertama yang digunakan untuk CUDA ialah akronim untuk Compute Unified Device Architecture. Walau bagaimanapun, Nvidia kemudiannya menggugurkan akronim yang biasa digunakan.

Kad Grafik Nvidia GTX 1080 Ti yang berkuasa

Lagi Mengenai CUDA

Sebagai pemproses komputer khusus, unit pemprosesan grafik (GPU) memenuhi keperluan sebenar -masa, beban kerja grafik 3D intensif pengiraan.

Kira-kira 2012 GPU berkembang dan telah menjadi sistem berbilang teras yang sangat selari yang membolehkan pemprosesan data yang berkesan untuk blok besar.

Apabila memproses blok besar data secara selari, reka bentuk ini lebih baik daripada unit pemprosesan pusat (CPU) tujuan umum untuk algoritma, seperti:

• cincang kriptografifungsi
• pembelajaran mesin
• simulasi dinamik molekul
• enjin fizik
• algoritma isihan

Penggunaan Seni Bina CUDA Sekarang dan pada Masa Hadapan

• Pemarahan dipercepatkan grafik 3D
• Penukaran saling dipercepatkan bagi format fail video
• Penyulitan, penyahsulitan dan pemampatan dipercepatkan
• Bioinformatik, cth., penjujukan DNA NGS BarraCUDA
• Pengiraan teragih, seperti meramalkan konformasi asli protein
• Simulasi analisis perubatan, contohnya, realiti maya berdasarkan imej imbasan CT dan MRI
• Simulasi fizikal, khususnya dalam dinamik bendalir
• Latihan rangkaian saraf dalam masalah pembelajaran mesin
• Pengecaman muka
• Projek pengkomputeran teragih, seperti [email protected] dan projek lain yang menggunakan BOINC
• Dinamik molekul
• Melombong mata wang kripto
• Perisian struktur daripada gerakan (SfM)

Apakah Teras Tensor?

Teras khusus yang dipanggil Teras Tensor membenarkan latihan ketepatan campuran. Penjanaan awal teras khusus ini melakukan ini dengan algoritma darab tambah bercantum. Ini memungkinkan untuk mendarab dan menambah dua matriks 4 x 4 FP16 kepada matriks 4 x 4 FP16 atau FP32.

Hasil muktamad ialah FP32 dengan hanya kehilangan sedikit ketepatan, pengkomputeran ketepatan campuran ditetapkan sedemikian walaupunmatriks input mungkin FP16 berketepatan rendah.

Dalam amalan, ini mempercepatkan pengiraan dengan ketara dengan pengaruh yang kecil terhadap keberkesanan akhir model. Kapasiti ini telah diperluaskan oleh microarchitectures kemudian kepada perwakilan nombor komputer yang kurang tepat.

Generasi pertama telah diperkenalkan dengan mikroarkitektur Volta bermula pada V100, lebih banyak format ketepatan nombor komputer disediakan untuk pengiraan dengan mikroarkitektur GPU baharu dengan setiap generasi yang berlalu.

Kita akan bercakap tentang cara kapasiti dan kefungsian Tensor Cores telah berubah dan bertambah baik dengan setiap penjanaan seni bina mikro dalam bahagian yang berikut.

Imej yang dihasilkan secara grafik yang dibuat oleh Titan V

Bagaimanakah Teras Tensor Berfungsi?

Generasi Pertama:

Seni bina mikro Volta GPU disertakan dengan Teras Tensor generasi pertama. Teras ini memungkinkan untuk berlatih dengan ketepatan campuran dan format nombor FP16.

Ini mungkin mempunyai peningkatan sehingga 12x ganda dalam daya pemprosesan teraFLOP untuk GPU tertentu. 640 teras V100 peringkat teratas memberikan peningkatan 5x ganda dalam kelajuan prestasi berbanding GPU Pascal generasi sebelumnya.

Generasi Kedua:

Dengan pengenalan Turing GPU, generasi kedua Tensor Cores telah diperkenalkan. Int8, Int4 dan Int1 telah ditambahkan pada senarai ketepatan Teras Tensor yang disokong, yangsebelum ini terhad kepada FP16.

Disebabkan oleh prosedur latihan ketepatan bercampur, prestasi prestasi GPU meningkat sehingga 32 kali ganda berbanding dengan GPU Pascal.

Generasi Ketiga:

Seni bina dalam GPU Ampere berkembang pada kemajuan terdahulu Volta dan Turing microarchitectures dengan menambahkan sokongan untuk ketepatan FP64, TF32 dan bfloat16.

Latihan pembelajaran mendalam dan aktiviti inferens dipercepatkan dengan lebih banyak lagi oleh format ketepatan tambahan ini. Sebagai contoh, format TF32 berfungsi sama seperti FP32 sambil juga menjamin kelajuan sehingga 20x tanpa mengubah sebarang kod.

Kemudian, dengan hanya beberapa baris kod, pelaksanaan ketepatan campuran automatik akan mempercepatkan latihan sebanyak 2x tambahan.

NVLink generasi ketiga untuk mendayakan interaksi berbilang GPU yang sangat pantas, teras Ray Tracing generasi ketiga dan pengkhususan dengan matematik matriks jarang adalah aspek tambahan dalam seni bina mikro Ampere .

Generasi Keempat:

Keluaran masa hadapan bagi generasi keempat Tensor Cores berasaskan mikroarkitektur Hopper telah dirancang. Teras Tensor generasi keempat dalam H100 seterusnya.

yang dijangka dikeluarkan pada Mac 2022, akan dapat mengendalikan format ketepatan FP8 dan, menurut NVIDIA, akan mempercepatkan model bahasa yang besar “dengan 30X yang menakjubkan berbanding generasi sebelumnya.”

Kad grafik RTX ialahdigunakan untuk memaparkan grafik dengan sangat pantas kerana ia mengandungi teras tensor.

Perbezaan Antara Teras CUDA dan Teras Tensor

Teras tensor kini terhad kepada Titan V dan Tesla V100. Teras CUDA 5120 pada kedua-dua GPU mempunyai kapasiti maksimum satu operasi darab terkumpul ketepatan tunggal (contohnya, dalam fp32: x += y * z) setiap jam GPU (cth. Tesla V100 PCIe frekuensi ialah 1.38Gz).

Setiap teras tensor beroperasi pada 4×4 matriks kecil untuk matriks kecil. Setiap satu jam GPU, setiap teras tensor boleh melengkapkan satu operasi terkumpul darab matriks.

Ia mendarab dua matriks 4×4 FP16 dan menambah matriks 4×4 FP32 yang menghasilkan penumpuk (iaitu juga matriks fp32 4×4).

Oleh kerana matriks input ialah fp16 manakala hasil pendaraban dan penumpuk ialah fp32, algoritma dikenali sebagai ketepatan campuran.

Istilah yang betul mungkin hanya "teras matriks 4×4", tetapi pasukan pemasaran NVIDIA memilih untuk menggunakan "teras tensor."

Tensor teras penjelasan penuh secara ringkas

GPU yang mengandungi teras CUDA

Kesimpulan

• Teras CUDA dan Tensor ialah produk, kedua-duanya dibangunkan oleh syarikat bernama Nvidia. CUDA adalah singkatan kepada Compute Unified Device Architecture. Teras CUDA ini terdapat dalam GPU, telefon pintar anda dan juga kereta anda.
• Manakala teras tensor, yang turut dibangunkan oleh Nvidia, juga digunakan dalam GPU. Teras khusus yang dipanggil "Tensor teras" membenarkan latihan ketepatan campuran. Generasi pertama Tensor Cores memungkinkan untuk berlatih dengan ketepatan campuran dan format nombor FP16.
• Ini mungkin mempunyai peningkatan sehingga 12x ganda dalam daya pemprosesan teraFLOP untuk GPU tertentu. Int8, Int4 dan Int1 telah ditambahkan pada senarai ketepatan Teras Tensor yang disokong.
• Disebabkan bercampurprosedur latihan ketepatan, prestasi GPU meningkat sehingga 32 kali ganda. Keluaran masa hadapan bagi Tensor Cores berasaskan mikroarkitektur Hopper generasi keempat dirancang.

Artikel Lain