Нейросети иногда можно «сделать умнее» без долгого дообучения — исследование

Похоже, такой подход будет работать только в некоторых сценариях.

Исследователи из Google и Калифорнийского университета в Беркли предложили способ повышения качества ответов больших языковых моделей, не требующий долгого и дорогого увеличения. В ходе тестов модель Gemini 1.5 Pro, вышедшая год назад, по качеству ответов обошла современную o1-preview.

Авторы научной работы предлагают достаточно простое решение проблемы масштабирования: модели предлагается сгенерировать некоторое количество ответов вместо одного, а потом самостоятельно выбрать из них самый лучший. Во время теста Gemini 1.5 Pro генерировала 200 ответов.

Кроме того, авторы исследования обнаружили, что самопроверка ответов самой моделью «автоматически» работает лучше по мере наращивания размера самой модели. Предполагалось, что будет наблюдаться обратный эффект.

Решение, предложенное исследователями, на первый взгляд поможет решить недавно всплывшую проблему: оказалось, по мере дообучения большие языковые модели умнеют не так быстро, как ожидалось. Однако, отмечают эксперты, тут тоже есть проблема.

Лучше всего предложенный подход будет работать в случаях, когда есть хорошая функция оценки — то есть можно достаточно легко определить качество ответа. Но этот подход вряд ли хорошо покажет себя, например, при генерации ответов, связанных с взаимодействием на естественном языке.