Все новости
Это интересно
Сейчас читают
Технологии
Аватар Evernews Evernews

СМИ: наращивание размеров нейросетей работает хуже, чем ожидалось

6
0
Поделиться
Телеграфировать

Прирост все еще есть, но исследователи рассчитывали, что он будет более значительным.

СМИ: наращивание размеров нейросетей работает хуже, чем ожидалось

Современные большие языковые модели прогрессируют во многом благодаря увеличению количества параметров и наращиванию мощностей, которые тратятся на обучение. Как пишет The Verge, прогнозируемый прирост «сообразительности» моделей начал расходиться с реальным.

Наращивание числа параметров модели все еще позволяет расширить ее возможности, но новые модели не показывают ожидавшегося роста производительности. С такой проблемой, утверждают источники, столкнулась команда Google DeepMind под руководством нобелевского лауреата Демиса Хассабиса.

Впрочем, пишет издание, проблему нельзя назвать уникальной. В том или ином виде, отмечает The Verge, расхождение реальной и прогнозируемой производительности новых моделей наблюдается у всех компаний, работающих над передовыми моделями.

Предполагается, что исследователи попытаются решить эту проблему с помощью моделей, способных рассуждать; первой такой моделью считается o1 от OpenAI. Модели такого типа работают медленнее, но выдают более качественные ответы.

Сама OpenAI сейчас якобы готовит к релизу модель под кодовым именем Orion — она может стать условной GPT-5. Некоторые источники считают, что модель выпустят до конца 2024 года, в самой компании это опровергают.

Читать далее
Как вам Clair Obscur: Expedition 33?
Кандидат на «Игру года»
1353 голоса, 36.9%
Хорошо, но могло быть лучше
377 голосов, 10.3%
Самая обычная игра
263 голоса, 7.2%
Ужасно, пожалел о покупке/скачивании
289 голосов, 7.9%
Не играл и не собираюсь
1385 голосов, 37.8%
Теги: Технологии
Аватар Evernews
Evernews
8074 подписчика