Все новости
Это интересно
Сейчас читают
Технологии
Аватар Evernews Evernews

Самый мощный суперкомпьютер испытали в обучении языковой модели на триллион параметров

1
0
Поделиться
Телеграфировать

Основной проблемой стало параллельное использование ресурсов.

Самый мощный суперкомпьютер испытали в обучении языковой модели на триллион параметров

Исследователи из Национальной лаборатории Ок-Ридж использовали Frontier, самый быстрый суперкомпьютер в мире, для обучения большой языковой модели. В рамках эксперимента на Frontier обучили модель с триллионом параметров, это уровень актуальной версии ChatGPT.

Суперкомпьютер Frontier обладает производительностью в 1.19 экзафлопс, но для обучения ИИ использовали только 8% ускорителей, входящих в состав устройства. Как объясняют ученые, основной проблемой была не вычислительная мощность, а память.

Для обучения языковой модели с триллионом параметров требовалось минимум 14 терабайт памяти. Ее было более чем достаточно: суперкомпьютер Frontier состоит из 37888 ускорителей Radeon Instinct, каждый из которых оснащен 64 гигабайтами памяти.

Однако, отмечают ученые, возникла проблема: требовалось сделать так, чтобы множество ускорителей могли распределенно решать одну и ту же задачу, не тратя ресурсы на дублирование вычислений.

В итоге исследователям удалось добиться эффективности масштабирования в 87% для модели с триллионом параметров и 89% для модели со 175 миллиардами параметров.

Такая эффективность означает, что при желании суперкомпьютер можно целиком нагрузить обучением языковой модели и «накладные расходы» на обучение окажутся не слишком велики.

Читать далее
Планируете покупать GeForce RTX 50?
Куплю GeForce RTX 5090
609 голосов, 7.7%
Куплю GeForce RTX 5080
302 голоса, 3.8%
Куплю GeForce RTX 5070/5070 Ti
920 голосов, 11.6%
Куплю модель подешевле, когда ее покажут
561 голос, 7.1%
Я за AMD
898 голосов, 11.3%
ДОРОГОВАТО
4628 голосов, 58.4%
Теги: Технологии
Аватар Evernews
Evernews
8072 подписчика