Все новости
Это интересно
Сейчас читают
Технологии
Аватар Evernews Evernews

СМИ: наращивание размеров нейросетей работает хуже, чем ожидалось

6
0
Поделиться
Телеграфировать

Прирост все еще есть, но исследователи рассчитывали, что он будет более значительным.

СМИ: наращивание размеров нейросетей работает хуже, чем ожидалось

Современные большие языковые модели прогрессируют во многом благодаря увеличению количества параметров и наращиванию мощностей, которые тратятся на обучение. Как пишет The Verge, прогнозируемый прирост «сообразительности» моделей начал расходиться с реальным.

Наращивание числа параметров модели все еще позволяет расширить ее возможности, но новые модели не показывают ожидавшегося роста производительности. С такой проблемой, утверждают источники, столкнулась команда Google DeepMind под руководством нобелевского лауреата Демиса Хассабиса.

Впрочем, пишет издание, проблему нельзя назвать уникальной. В том или ином виде, отмечает The Verge, расхождение реальной и прогнозируемой производительности новых моделей наблюдается у всех компаний, работающих над передовыми моделями.

Предполагается, что исследователи попытаются решить эту проблему с помощью моделей, способных рассуждать; первой такой моделью считается o1 от OpenAI. Модели такого типа работают медленнее, но выдают более качественные ответы.

Сама OpenAI сейчас якобы готовит к релизу модель под кодовым именем Orion — она может стать условной GPT-5. Некоторые источники считают, что модель выпустят до конца 2024 года, в самой компании это опровергают.

Читать далее
Сколько вы тратите на игры за год?
Больше 100000 рублей
278 голосов, 5.5%
От 50000 до 100000 рублей
177 голосов, 3.5%
От 25000 до 50000 рублей
198 голосов, 3.9%
От 10000 до 25000 рублей
417 голосов, 8.2%
До 10000 рублей
1008 голосов, 19.9%
Нисколько, я пират. Йо-хо-хо!
2997 голосов, 59.1%
Теги: Технологии
Аватар Evernews
Evernews
8074 подписчика