Вышли модели Llama 4 Scout и Maverick — обещают до 10 миллионов токенов контекста

Такой объем контекстного окна будет только у самой скромной модели.

Компания Meta* выпустила новое поколение больших языковых моделей Llama — стали доступны первые модели LLama 4. Сейчас опубликованы модели Llama 4 Scout и Llama 4 Maverick, на подходе Llama 4 Behemoth.

Модель Scout получила 109 миллиардов параметров и 16 экспертов, она поддерживает контекстное окно до 10 миллионов токенов — это рекорд для современных публично доступных моделей. У Llama 4 Maverick контекст только в 1 миллион токенов, зато уже 128 экспертов.

10 миллионов токенов будет достаточно, чтобы модель ориентировалась в исходниках очень крупного проекта, одновременно храня в памяти всю его документацию. Этого объема хватит на несколько копий «Войны и мира».

Контекстное окно Llama 4 Behemoth не раскрывается, известно, что модель получит 2 триллиона параметров и 16 экспертов.

В Meta* обещают, что модель Llama 4 Scout будет нормально работать на одном ускорителе Nvidia H100. Согласно тестам, проведенным самой компанией, LLama 4 Scout обходит Gemma 3, Gemini 2.0 Flash-Lite и Mistral 3.1.

Llama 4 Maverick превосходит GPT-4o и Gemini 2.0 Flash, а пока не выпущенная Llama 4 Behemoth должна обходить GPT-4.5, Claude Sonnet 3.7 и Gemini 2.0 Pro как минимум в некоторых бенчмарках.

Модели Llama 4 выпущены под той же лицензией, что и предыдущие поколения нейросети. Компания не уточняет, когда станет доступна LLama 4 Behemoth и какое железо потребуется для ее работы.

* Компания Meta признана в России экстремистской организацией.