В ИИ-серверах предложили заменить память на оптоволоконные петли

Звучит странно, но у Кармака есть довольно правдоподобное объяснение.

Со=основатель id Software Джон Кармак, в последнее время работающий с искусственным интеллектом, предложил необычный способ организации памяти в ИИ-серверах. Вместо традиционных чипов Кармак предлагает использовать оптику.

Современная оптика может передавать данные на скорости порядка 256 Тбит/сек при расстоянии в 200 километров. При передаче данных, отмечает Кармак, прямо «внутри» 200-километрового кабеля находится около 32 гигабайт информации.

Кармак предлагает использовать оптоволоконную петлю в качестве аналога кэша второго уровня, предназначенного для хранения весов нейросетей. Дело в том, что веса моделей при инференсе считываются последовательно, а при обучении — почти последовательно; это делает возможным использование оптики как потокового хранилища, постоянно «подпитывающего» данными ИИ-ускоритель.

В такой модели, отмечает Кармак, обычная память будет либо играть вспомогательную роль, либо вообще окажется не нужна. Кроме того, оптика гораздо энергоэффективнее обычной памяти.

Правда, нюансы здесь тоже есть. Кармак признает, что сотни километров оптоволокна обойдутся недешево, а необходимость ставить оптические усилители и DSP-процессоры может снизить энергоэффективность всей конструкции.

В качестве еще одного интересного направления Кармак упомянул возможность прямого подключения массивов флеш-памяти к ИИ-ускорителям. Такой подход потребовал бы стандартизации интерфейсов между производителями памяти и ускорителей, но в теории он осуществим.