Все новости
Это интересно
Сейчас читают
Технологии
Аватар Evernews Evernews

СМИ: наращивание размеров нейросетей работает хуже, чем ожидалось

6
0
Поделиться
Телеграфировать

Прирост все еще есть, но исследователи рассчитывали, что он будет более значительным.

СМИ: наращивание размеров нейросетей работает хуже, чем ожидалось

Современные большие языковые модели прогрессируют во многом благодаря увеличению количества параметров и наращиванию мощностей, которые тратятся на обучение. Как пишет The Verge, прогнозируемый прирост «сообразительности» моделей начал расходиться с реальным.

Наращивание числа параметров модели все еще позволяет расширить ее возможности, но новые модели не показывают ожидавшегося роста производительности. С такой проблемой, утверждают источники, столкнулась команда Google DeepMind под руководством нобелевского лауреата Демиса Хассабиса.

Впрочем, пишет издание, проблему нельзя назвать уникальной. В том или ином виде, отмечает The Verge, расхождение реальной и прогнозируемой производительности новых моделей наблюдается у всех компаний, работающих над передовыми моделями.

Предполагается, что исследователи попытаются решить эту проблему с помощью моделей, способных рассуждать; первой такой моделью считается o1 от OpenAI. Модели такого типа работают медленнее, но выдают более качественные ответы.

Сама OpenAI сейчас якобы готовит к релизу модель под кодовым именем Orion — она может стать условной GPT-5. Некоторые источники считают, что модель выпустят до конца 2024 года, в самой компании это опровергают.

Читать далее
Планируете покупать GeForce RTX 50?
Куплю GeForce RTX 5090
609 голосов, 7.7%
Куплю GeForce RTX 5080
302 голоса, 3.8%
Куплю GeForce RTX 5070/5070 Ti
920 голосов, 11.6%
Куплю модель подешевле, когда ее покажут
563 голоса, 7.1%
Я за AMD
898 голосов, 11.3%
ДОРОГОВАТО
4632 голоса, 58.5%
Теги: Технологии
Аватар Evernews
Evernews
8072 подписчика