Все новости
Это интересно
Сейчас читают
Технологии
Аватар Evernews Evernews

СМИ: наращивание размеров нейросетей работает хуже, чем ожидалось

6
0
Поделиться
Телеграфировать

Прирост все еще есть, но исследователи рассчитывали, что он будет более значительным.

СМИ: наращивание размеров нейросетей работает хуже, чем ожидалось

Современные большие языковые модели прогрессируют во многом благодаря увеличению количества параметров и наращиванию мощностей, которые тратятся на обучение. Как пишет The Verge, прогнозируемый прирост «сообразительности» моделей начал расходиться с реальным.

Наращивание числа параметров модели все еще позволяет расширить ее возможности, но новые модели не показывают ожидавшегося роста производительности. С такой проблемой, утверждают источники, столкнулась команда Google DeepMind под руководством нобелевского лауреата Демиса Хассабиса.

Впрочем, пишет издание, проблему нельзя назвать уникальной. В том или ином виде, отмечает The Verge, расхождение реальной и прогнозируемой производительности новых моделей наблюдается у всех компаний, работающих над передовыми моделями.

Предполагается, что исследователи попытаются решить эту проблему с помощью моделей, способных рассуждать; первой такой моделью считается o1 от OpenAI. Модели такого типа работают медленнее, но выдают более качественные ответы.

Сама OpenAI сейчас якобы готовит к релизу модель под кодовым именем Orion — она может стать условной GPT-5. Некоторые источники считают, что модель выпустят до конца 2024 года, в самой компании это опровергают.

Читать далее
Как вам Assassins Creed Shadows?
Отличная игра
1389 голосов, 28.0%
Неплохая игра, могло быть лучше
374 голоса, 7.5%
Обычная игра
223 голоса, 4.5%
Ужасно, пожалел о покупке/скачивании
311 голосов, 6.3%
Не играл и не собираюсь
2658 голосов, 53.6%
Теги: Технологии
Аватар Evernews
Evernews
8074 подписчика