Нейросеть-трансформер обучили на компьютере 1970-х годов

Модель, конечно, получилась очень маленькой — всего 1216 параметров.

Ветеран Microsoft Дэйв Пламмер наглядно доказал, что нейросети могут работать на чрезвычайно старом железе. В рамках эксперимента Пламмер обучил и запустил модель на базе архитектуры трансформера на компьютере PDP-11.

Эта система вышла еще в семидесятых: у PDP-11 всего 64 килобайта памяти, процессор выдает частоту 6 МГц. Тем не менее, на устройстве работает упрощенная версия трансформера Attention 11.

Для работы на таком железе модель пришлось сильно урезать: у нее только один слой и 1216 параметров. Система целиком реализована на ассемблере PDP-11, для обучения пришлось использовать дополнительную кэш-память.

Весь процесс обучения выполнению задачи обратного преобразования чисел занял около трех с половиной минут и потребовал 350 итераций. После этого нейросеть продемонстрировала стопроцентную точность.