Почти триллион параметров: бывший технический директор OpenAI выпустила открытую ИИ-модель

Сейчас это самая крупная модель, подготовленная американской компанией.

Компания Thinking Machines Lab, основанная бывшим техническим директором OpenAI Мирой Мурати, выпустила свою первую модель искусственного интеллекта — Inkling. Модель получила насчитывает 975 миллиардов параметров, она и стала крупнейшей американской моделью с открытыми весами.

Одновременно разработчики анонсировали Inkling-Small — более компактную модель на 276 миллиардов параметров с 12 миллиардами активных параметров. Эта версия рассчитана на задачи, где низкая задержка важнее качества ответов.

Запуск полной версии Inkling потребует свыше 2 терабайт памяти, для менее мощных систем разработчики подготовили квантованную версию модели. Модель построена на архитектуре Mixture of Experts, в ее состав входят 258 экспертов, однако при создании каждого токена активируются только 6.

Такой подход снижает вычислительную нагрузку и позволяет крупной модели генерировать текст со скоростью, сопоставимой с DeepSeek V4 на аналогичном оборудовании.

Контекстное окно Inkling достигает 1 миллиона токенов, за счет этого система может анализировать большие программные проекты, длинные документы и крупные массивы данных. Thinking Machines обучила модель с нуля на Nvidia GB300 NVL72, использовав 45 триллионов токенов текста, изображений, аудио и видео.

Компания позиционирует Inkling как универсальную платформу для разработчиков ИИ-приложений и чат-ботов. Модель распространяется по лицензии Apache 2.0, разрешающей свободное использование и дообучение.