Рассуждающую модель уровня OpenAI o1 сделали за $50

До обучения с нуля дело все-таки не дошло.

Стартап OpenAI сейчас развивает семейство рассуждающих моделей o: две версии o1 уже выпущены, доступна o3-mini (o2 решили пропустить), на подходе полноценная версия o3. Исследователи из Стэнфорда и Вашингтонского университета решили выяснить, можно ли сделать подобную модель на базе открытых аналогов.

Оказалось — можно. В качестве подтверждения ученые выложили модель, получившую название s1: это рассуждающая модель с открытыми исходниками, по качеству ответов на математические вопросы сопоставимая с OpenAI o1-preview и DeepSeek R1.

Примечательно, что создание s1 обошлось энтузиастам примерно в $50. Об обучении модели с нуля речь не шла: исследователи взяли модель Gemini 2.0 Flash Thinking Experimental от Google, доступ к которой предоставляется бесплатно.

Модель s1 обучалась за счет дистилляции, то есть нейросеть учили на базе ответов Gemini 2.0 Flash Thinking Experimental. Предполагается, что похожим образом могла быть обучена модель R1 от DeepSeek, только в роли исходника были модели OpenAI.

Для обучения s1 использовали всего 1000 «тщательно отобранных» вопросов с ответами на них, сгенерированными моделью Google. Вместе с самими ответами модели исследователей скармливали и всю цепочку рассуждений.

Интересный момент: хотя OpenAI и ее конкуренты используют для создания рассуждающих моделей обучение с подкреплением, авторы s1 обошлись без него. Вместо этого ученые просто попросили модель имитировать определенное поведение и «подождать» — это почему-то повысило качество ответов.