Все новости
Это интересно
Сейчас читают
Технологии
Аватар Evernews Evernews

Вышли модели Llama 4 Scout и Maverick — обещают до 10 миллионов токенов контекста

0
0
Поделиться
Телеграфировать

Такой объем контекстного окна будет только у самой скромной модели.

Вышли модели Llama 4 Scout и Maverick — обещают до 10 миллионов токенов контекста

Компания Meta* выпустила новое поколение больших языковых моделей Llama — стали доступны первые модели LLama 4. Сейчас опубликованы модели Llama 4 Scout и Llama 4 Maverick, на подходе Llama 4 Behemoth.

Модель Scout получила 109 миллиардов параметров и 16 экспертов, она поддерживает контекстное окно до 10 миллионов токенов — это рекорд для современных публично доступных моделей. У Llama 4 Maverick контекст только в 1 миллион токенов, зато уже 128 экспертов.

10 миллионов токенов будет достаточно, чтобы модель ориентировалась в исходниках очень крупного проекта, одновременно храня в памяти всю его документацию. Этого объема хватит на несколько копий «Войны и мира».

Контекстное окно Llama 4 Behemoth не раскрывается, известно, что модель получит 2 триллиона параметров и 16 экспертов.

В Meta* обещают, что модель Llama 4 Scout будет нормально работать на одном ускорителе Nvidia H100. Согласно тестам, проведенным самой компанией, LLama 4 Scout обходит Gemma 3, Gemini 2.0 Flash-Lite и Mistral 3.1.

Llama 4 Maverick превосходит GPT-4o и Gemini 2.0 Flash, а пока не выпущенная Llama 4 Behemoth должна обходить GPT-4.5, Claude Sonnet 3.7 и Gemini 2.0 Pro как минимум в некоторых бенчмарках.

Модели Llama 4 выпущены под той же лицензией, что и предыдущие поколения нейросети. Компания не уточняет, когда станет доступна LLama 4 Behemoth и какое железо потребуется для ее работы.

* Компания Meta признана в России экстремистской организацией.

Читать далее
За сколько вы готовы купить GTA VI?
До 8000 рублей
424 голоса, 5.9%
До 7000 рублей
130 голосов, 1.8%
До 6000 рублей
174 голоса, 2.4%
До 5000 рублей
713 голосов, 10.0%
До 4000 рублей
195 голосов, 2.7%
До 3000 рублей
334 голоса, 4.7%
До 2000 рублей
809 голосов, 11.3%
За любые деньги
401 голос, 5.6%
Ни за сколько, я пират
3979 голосов, 55.6%
Теги: Технологии
Аватар Evernews
Evernews
8074 подписчика