Инференс ИИ-моделей ускорили в 100+ раз благодаря оптической связи

Осталось придумать что-нибудь с обучением моделей.

Исследователи Пекинского университета создали полностью оптическую систему связи для обмена данными между обычными электронными чипами. Разработка более чем в 100 раз ускоряет инференс нейросетей и использует примерно в 9 раз меньше вычислительных ресурсов, чем обычные системы связи.

Основой экспериментальной системы стали программируемые вентильные матрицы FPGA. Эти устройства можно настраивать для выполнения конкретных операций. Благодаря способности параллельно обрабатывать большие объемы данных их используют в различных беспилотниках, теперь очередь дошла и до ИИ.

Для объединения FPGA исследователи разработали кремниевый фотонный приемопередатчик с пропускной способностью 400 Гбит/с. Он преобразует электрические сигналы в оптические для передачи между чипами, а на принимающей стороне выполняет обратное преобразование.

Важный момент: таким образом можно ускорить только распределенный инференс нейросетей — то есть когда используется сразу несколько чипов. Для локального запуска на одной системе технология ничем не поможет.

Кроме того, речь идет именно об инференсе, то есть запуске уже обученной модели. Для обучения нейросетей ученым придется придумать что-нибудь еще.