Илон Маск: человеческие знания для обучения ИИ кончились в прошлом году

Миллиардер согласен, что надо искать новые подходы к обучению моделей.

Кстати, на сайте читать удобнее

Современные большие языковые модели придется обучать не только на данных, созданных людьми, считает миллиардер Илон Маск. Среди проектов Маска, участвовавшего в основании OpenAI, есть ИИ-стартап xAI.

По словам Маска, еще в 2024 году для обучения нейросетей уже использовали все данные, накопленные человечеством. Теперь, считает миллиардер, ИИ настало время обучать на синтетических данных, созданных другими моделями.

В прошлом году мы более-менее исчерпали совокупный запас человеческих знаний, доступный для обучения ИИ.

Илон Маск

Маск разделяет точку зрения Ильи Суцкевера, бывшего главного научного сотрудника OpenAI, покинувшего компанию и основавшего свой ИИ-стартап. Суцкевер тоже считает, что будущее — за синтетическими данными.

Данных больше не будет — мы достигли пика. Придется работать с теми данными, которые мы уже получили: интернет есть только один.

Илья Суцкевер

По информации источников The Wall Street Journal, для обучения топовых нейросетей могут использовать не только синтетические данные, но и данные, созданные экспертами-людьми специально для обучения ИИ. Такой подход якобы использует OpenAI.

Предполагается, что сейчас именно недостаток данных — это одна из основных проблем, мешающих создавать действительно прорывные нейросети. Оценить новый подход компаний к решению этой проблемы удастся уже в 2025 году: до конца года может состояться релиз условной GPT-5.