Нейросети сделали «лоботомию»: оказалось, память и логика ИИ четко разделены

Исследователям впервые удалось отделить одно от другого.

Исследователи из Goodfire.ai опубликовали научную работу, в которой рассказали об эксперименте с памятью и логикой современных больших языковых моделей. Ученые впервые доказали, что память и логика у нейросетей четко разделены.

В ходе экспериментов ученым удалось искусственно отключить части нейронной сети, отвечающие за запоминание данных. В результате модели почти полностью потеряли способность воспроизводить данные из датасетов, но не утратили способности рассуждать логически.

С другой стороны, выяснилось, что арифметические операции связаны с теми же частями сети, что и память. После «лоботомии» оказалось, что точность вычислений нейросетей упала до 66%.

Как отмечают ученые, это может объяснять, почему современные модели иногда ошибаются даже в достаточно простых вычислениях. Вероятно, нейросети не вычисляют ответ, а «вспоминают» его.

Эксперименты, проведенные учеными, могут пригодится при создании новых больших языковых моделей. Возможно, разработчики смогут делать нейросетям «контролируемую лоботомию», выборочно удаляя определенные фрагменты данных без нарушения функциональности модели.