Почти триллион параметров: бывший технический директор OpenAI выпустила открытую ИИ-модель
Сейчас это самая крупная модель, подготовленная американской компанией.
Компания Thinking Machines Lab, основанная бывшим техническим директором OpenAI Мирой Мурати, выпустила свою первую модель искусственного интеллекта — Inkling. Модель получила насчитывает 975 миллиардов параметров, она и стала крупнейшей американской моделью с открытыми весами.
Одновременно разработчики анонсировали Inkling-Small — более компактную модель на 276 миллиардов параметров с 12 миллиардами активных параметров. Эта версия рассчитана на задачи, где низкая задержка важнее качества ответов.
Запуск полной версии Inkling потребует свыше 2 терабайт памяти, для менее мощных систем разработчики подготовили квантованную версию модели. Модель построена на архитектуре Mixture of Experts, в ее состав входят 258 экспертов, однако при создании каждого токена активируются только 6.
Такой подход снижает вычислительную нагрузку и позволяет крупной модели генерировать текст со скоростью, сопоставимой с DeepSeek V4 на аналогичном оборудовании.
Контекстное окно Inkling достигает 1 миллиона токенов, за счет этого система может анализировать большие программные проекты, длинные документы и крупные массивы данных. Thinking Machines обучила модель с нуля на Nvidia GB300 NVL72, использовав 45 триллионов токенов текста, изображений, аудио и видео.
Компания позиционирует Inkling как универсальную платформу для разработчиков ИИ-приложений и чат-ботов. Модель распространяется по лицензии Apache 2.0, разрешающей свободное использование и дообучение.
