ЦУДА и Тенсор језгра су производи које је развила компанија Нвидиа. Дакле, шта су ЦУДА језгра и Тенсор језгра? ЦУДА је скраћеница од Цомпуте Унифиед Девице Арцхитецтуре. ЦУДА језгра су присутна у вашим ГПУ-овима, паметним телефонима, па чак и вашим аутомобилима, како то кажу Нвидиа програмери.

ЦУДА језгра су паралелна рачунарска платформа и интерфејс за програмирање апликација (АПИ) који омогућава софтверу да користи специфичне типове графичких процесорских јединица (ГПУ) за обраду опште намене.

Док се тензорска језгра која је такође развила Нвидиа, такође користе у ГПУ-овима. Тензор језгра омогућавају рачунање мешовите прецизности, динамички прилагођавајући прорачуне како би се повећала пропусност уз задржавање тачности.

Једноставним речима, ова језгра су важан део ГПУ-а у вашем рачунару за обављање одређених прорачуна. ЦУДА језгра се користе за множење два броја и њихово додавање другом броју.

Док је језгро Тензора исто, али са матрицама 4×4. Ови прорачуни у основи брже приказују графику за вас.

Шта је ЦУДА?

Обједињена рачунарска архитектура уређаја укратко ЦУДА коју је развила Нвидиа, објављена 23. јуна 2007., је паралелна рачунарска платформа и интерфејс за програмирање апликација (АПИ).

То омогућава софтверу да користи специфичне типове графичких процесорских јединица (ГПУ) за обраду опште намене, метод познат као рачунарство опште намене наГПУ (ГПУ).

ЦУДА је софтверски слој који обезбеђује директан приступ виртуелном скупу инструкција ГПУ-а и паралелним рачунарским елементима за извршавање рачунарских језгара. ЦУДА је развијена за рад са различитим програмским језицима укључујући Ц, Ц++ и Фортран.

Могућност рада са различитим програмским језицима олакшава стручњацима за паралелно програмирање да користе ГПУ ресурсе ако их разликујемо од претходних АПИ-ја као што су Дирецт3Д или ОпенГЛ, што би захтевало да имате напреднији база вештина у графичком програмирању.

ГПУ са ЦУДА-ом такође подржава оквире за програмирање, као што су ОпенМП, ОпенАЦЦ, ОпенЦЛ, а такође и ХИП који може да компајлира такав код у ЦУДА. Прво име коришћено за ЦУДА је акроним за Цомпуте Унифиед Девице Арцхитецтуре. Међутим, Нвидиа је касније одбацила уобичајено коришћени акроним.

Моћна Нвидиа графичка картица ГТКС 1080 Ти

Више о ЦУДА-и

Као специјализовани рачунарски процесор, графичка процесорска јединица (ГПУ) задовољава потребе стварних -временска, рачунарски интензивна 3Д графичка оптерећења.

Око 2012. ГПУ-и су еволуирали и постали веома паралелни системи са више језгара који омогућавају ефикасну обраду података за велике блокове.

Када паралелно обрађује огромне блокове података, овај дизајн је супериорнији од централних процесорских јединица опште намене (ЦПУ) за алгоритме, као што су:

• криптографски хешфункције
• машинско учење
• симулације молекуларне динамике
• физички мотори
• алгоритми сортирања

Употреба ЦУДА архитектуре сада и у будућности

• Убрзано приказивање 3Д графике
• Убрзана међуконверзија формата видео датотека
• Убрзано шифровање, дешифровање и компресија
• Биоинформатика, нпр. НГС ДНК секвенцирање БарраЦУДА
• Дистрибуиране калкулације, као што је предвиђање природне конформације протеина
• Симулације медицинске анализе, на пример, виртуелна стварност заснована на ЦТ и МРИ сликама
• Физичке симулације, посебно у динамици флуида
• Обука неуронске мреже у проблемима машинског учења
• Препознавање лица
• Дистрибуирани рачунарски пројекти, као што су [емаил заштићени] и други пројекти који користе БОИНЦ
• Молекуларна динамика
• Ископавање криптовалута
• Софтвер за структуру покрета (СфМ)

Шта је тензорско језгро?

Специјализована језгра под називом Тенсор Цорес омогућавају обуку мешовите прецизности. Почетна генерација ових специјализованих језгара то ради помоћу спојеног алгоритма множења и додавања. Ово омогућава множење и додавање две 4 к 4 ФП16 матрице у 4 к 4 ФП16 или ФП32 матрицу.

Крајњи резултат ће бити ФП32 са само малим губитком прецизности, рачунање мешовите прецизности је означено као такво иакоулазне матрице могу бити ФП16 ниске прецизности.

У пракси, ово значајно убрзава прорачуне са малим утицајем на коначну ефикасност модела. Овај капацитет је проширен каснијим микроархитектурама до још мање прецизних компјутерских бројева.

Прва генерација је представљена са Волта микроархитектуром почевши од В100, све више формата за прецизност броја рачунара је било доступно за рачунање са новим ГПУ микроархитектурама са сваком генерацијом која пролази.

Говорићемо о томе како су се капацитет и функционалност Тенсор Цорес променили и побољшали са сваком генерацијом микроархитектуре у одељку који следи.

Графички приказана слика коју је направио Титан В

Како функционишу тензорска језгра?

Прва генерација:

Волта ГПУ микроархитектура је укључена у прву генерацију тензорских језгара. Ова језгра су омогућила обуку са мешовитом прецизношћу и форматом бројева ФП16.

Ово би могло имати до 12к повећање у тераФЛОП пропусности за одређене ГПУ-ове. 640 језгара врхунског В100 даје до 5к повећање брзине перформанси у односу на Пасцал ГПУ претходне генерације.

Друга генерација:

Са увођењем Туринг ГПУ-а, представљена је друга генерација тензорских језгара. Инт8, Инт4 и Инт1 су додати на листу подржаних Тенсор Цоре прецизности, које сураније ограничен на ФП16.

Због мешовитих поступака прецизне обуке, пропусност ГПУ-а је повећана до 32 пута у поређењу са Пасцал ГПУ-овима.

Трећа генерација:

Архитектура у Ампере ГПУ-у проширује ранија унапређења Волта и Туринг микроархитектура додавањем подршке за прецизности ФП64, ТФ32 и бфлоат16.

Обука дубоког учења и активности закључивања се много више убрзавају захваљујући овим екстра прецизним форматима. На пример, формат ТФ32 функционише слично као ФП32, а истовремено гарантује до 20к убрзања без промене кода.

Затим, са само неколико линија кода, аутоматска примена мешовите прецизности ће убрзати обуку за додатних 2к.

НВЛинк треће генерације који омогућава невероватно брзе мулти-ГПУ интеракције, трећа генерација језгара за праћење зрака и специјализација са математиком ретке матрице су додатни аспекти Ампере микроархитектуре .

Четврта генерација:

Планирано је будуће издање четврте генерације Тенсор језгара засноване на Хоппер микроархитектури. Четврта генерација Тенсор Цорес-а у наредној Х100.

која се очекује да буде објављена у марту 2022. године, моћи ће да обрађује ФП8 прецизне формате и, према НВИДИА-и, убрзаће огромне језичке моделе „за невероватних 30Кс у односу на претходну генерацију.”

РТКС графичка картица јекористи се за веома брзо приказивање графике јер садржи тензорска језгра.

Разлика између ЦУДА језгара и тензорских језгара

Тензорска језгра су тренутно ограничена на Титан В и Тесла В100. 5120 ЦУДА језгра на оба ГПУ-а имају максималан капацитет од једне прецизне операције множења-акумулације (на пример, у фп32: к += и * з) по такту ГПУ-а (нпр. Тесла В100 ПЦИе фреквенција је 1,38 Гз).

Свако тензорско језгро ради на малим матрицама 4×4 за мале матрице. По једном такту ГПУ-а, свако тензорско језгро може да заврши једну операцију множења-акумулације матрице.

Множи две 4×4 ФП16 матрице и додаје 4×4 ФП32 матрицу која резултира акумулатором (који је такође фп32 4×4 матрица).

Пошто су улазне матрице фп16 док су резултати множења и акумулатор фп32, алгоритам је познат као мешовита прецизност.

Тачан израз би вероватно био само „4×4 матрична језгра“, али НВИДИА маркетиншки тим је одлучио да користи „тензорска језгра“.

Тензорска језгра потпуно објашњење укратко

ГПУ-ови који садрже ЦУДА језгра

Закључак

• ЦУДА и Тенсор језгра су производи, оба развијена од стране компаније Нвидиа. ЦУДА је скраћеница од Цомпуте Унифиед Девице Арцхитецтуре. Ова ЦУДА језгра су присутна у вашим ГПУ-овима, паметним телефонима, па чак и вашим аутомобилима.
• Док се тензорска језгра, која је такође развила Нвидиа, такође користе у ГПУ-овима. Специјализована језгра названа „Тензорска језгра“ омогућавају обуку мешовите прецизности. Прва генерација тензорских језгара омогућила је обуку са мешовитом прецизношћу и форматом бројева ФП16.
• Ово би могло имати до 12к повећање пропусности тераФЛОП за одређене ГПУ-ове. Инт8, Инт4 и Инт1 су додати на листу подржаних Тенсор Цоре прецизности.
• Услед мешаногпрецизне процедуре обуке, перформансе ГПУ-а су повећане до 32 пута. Планирано је будуће издање четврте генерације Тенсор Цорес-а засноване на микроархитектури Хоппер.

Остали чланци