Все новости
Это интересно
Сейчас читают
Технологии
Аватар Evernews Evernews

СМИ: наращивание размеров нейросетей работает хуже, чем ожидалось

6
0
Поделиться
Телеграфировать

Прирост все еще есть, но исследователи рассчитывали, что он будет более значительным.

СМИ: наращивание размеров нейросетей работает хуже, чем ожидалось

Современные большие языковые модели прогрессируют во многом благодаря увеличению количества параметров и наращиванию мощностей, которые тратятся на обучение. Как пишет The Verge, прогнозируемый прирост «сообразительности» моделей начал расходиться с реальным.

Наращивание числа параметров модели все еще позволяет расширить ее возможности, но новые модели не показывают ожидавшегося роста производительности. С такой проблемой, утверждают источники, столкнулась команда Google DeepMind под руководством нобелевского лауреата Демиса Хассабиса.

Впрочем, пишет издание, проблему нельзя назвать уникальной. В том или ином виде, отмечает The Verge, расхождение реальной и прогнозируемой производительности новых моделей наблюдается у всех компаний, работающих над передовыми моделями.

Предполагается, что исследователи попытаются решить эту проблему с помощью моделей, способных рассуждать; первой такой моделью считается o1 от OpenAI. Модели такого типа работают медленнее, но выдают более качественные ответы.

Сама OpenAI сейчас якобы готовит к релизу модель под кодовым именем Orion — она может стать условной GPT-5. Некоторые источники считают, что модель выпустят до конца 2024 года, в самой компании это опровергают.

Читать далее
Как думаете, GTA VI выйдет в 2025 году?
Выйдет без переносов
1118 голосов, 19.5%
Выйдет, но после переноса
506 голосов, 8.8%
Нет, перенесут на 2026 год
2783 голоса, 48.7%
Нет, перенесут на 2026 год — а потом на 2027 год
1312 голосов, 22.9%
Теги: Технологии
Аватар Evernews
Evernews
8072 подписчика