Экспериментальный ИИ Anthropic ускорил переход с Nvidia на AMD с нескольких месяцев до трех дней

Не факт, что таким образом можно перенести любую модель, но пример интересный.

Компания Anthropic продемонстрировала возможности своей модели Claude Mythos Preview по адаптации нейросетей к ускорителям AMD. Экспериментальная модель смогла всего за три дня подготовить другую ИИ-модель к работе на ускорителях AMD Instinct MI355X.

Без использования ИИ, отмечают в компании, аналогичная задача занимает 6-12 месяцев. Перенос требует адаптации программного кода, настройки и оптимизации под особенности конкретного ускорителя.

Демонстрация Anthropic затрагивает одно из главных конкурентных преимуществ Nvidia — платформу CUDA. На протяжении многих лет разработчики использовали ее библиотеки и инструменты для создания и запуска ИИ-приложений, переход на железо AMD зачастую сопровождался масштабной переработкой ПО.

За много лет для экосистемы CuDA было создано множество инструментов для оптимизации, различных библиотек и обвязок, упрощающих использование нейросетей и привязывающих их к железу Nvidia. Например, библиотека NCCL для обмена данными между ускорителями тесно интегрирована с технологиями NVLink и InfiniBand.

Возможность автоматизировать такую адаптацию с помощью ИИ способна существенно снизить зависимость разработчиков от Nvidia. Впрочем, приведенный Anthropic пример касается конкретной задачи и конкретного ускорителя — не факт, что любую модель можно перенести так же быстро.