Революційні тензорні ядра NVIDIA - максимум продуктивності

Тензорні ядра NVIDIA – унікальний винахід, який дав поштовх багатьом інноваційним технологіям. Ядра здійснюють максимально точні і швидкі обчислення. Вони автоматично оптимізують свою роботу, щоб оптимально поліпшити якість результату. Однак так було в попередньому поколінні тензорних ядер. Третє покоління – це щось неймовірно продуктивне і нове.

Третє покоління тензорних ядер має більшу кількість можливостей в порівнянні з другим поколінням. Наприклад, нові ядра зменшують загальний час тренування алгоритмів штучного інтелекту в 10 разів з TF32 і прискорюють високопродуктивні обчислення в 2,5 рази з FP64.

Тензорні ядра третього покоління помітно змінили високопродуктивні обчислення. Оскільки ці ядра є основою сучасної науки, вони допомогли здійснити безліч нових відкриттів. Нові ядра виконують будь-які операції, навіть FP64. Вони збільшують кількість виконуваних обчислень за певний проміжок часу і при цьому зберігають оптимальну точність.

Компанія розробила SDK для високошвидкісних обчислень - набір компіляторів, бібліотек та інструментів, які оптимізують час розробки спеціалізованих додатків.

Тензорні ядра третього покоління використовуються в архітектурі Ampere (лінійка відеокарт RTX 30). A 100 (NVIDIA Ampere) помітно збільшує продуктивність, підтримує весь спектр операцій: TF32, FP64, FP16, INT8 і INT4. Такий підхід спрощує процес впровадження штучного інтелекту в наше повсякденне життя.

До речі, A100 пропонує більш високу точність TF32, до 20 разів прискорюючи інференс штучного інтелекту (без потреби внесення змін до коду).

Для наочності порівняємо можливості тензорних ядер в 3 різних архітектурах:

1. A100 – FP64, TF32, bfloat16, FP16, INT8, INT4, INT1.
2. Turing – FP16, INT8, INT4, INT1.
3. Volta – FP16.

Як ми бачимо, тензорні ядра A100 дуже сильно еволюціонували в порівнянні з попередніми поколіннями. Їх функціонал значно виріс, також як і потужність. З ядрами CUDA та ж ситуація – A100 підтримує FP64, FP32, FP16, bfloat16, INT8. Тензорні ядра третього покоління – основа сучасних дата-центрів, створена компанією NVIDIA.