К ИИ-серверам предложили удаленно подключать терабайты памяти

Потребуются не только сервера с памятью, но и особый сетевой адаптер.

Калифорнийский стартап Enfabrica, поддерживаемый Nvidia, анонсировал систему Emfasys, позволяющую увеличить объем памяти, доступной ИИ-серверам. Память предлагается подключать удаленно, поддерживается подключение до 18 терабайт DDR5.

Решение предназначено для повышения эффективности работы больших языковых моделей и других ресурсоемких задач на базе искусственного интеллекта, использующих очень большие объемы оперативной памяти.

В своей системе Enfabrica использует фирменный сетевой адаптер ACF-S SuperNIC с пропускной способностью 400 ГБ/сек и технологию RDMA over Ethernet, обеспечивающую прямой доступ к удаленной памяти с минимальной задержкой.

В компании обещают, что система не потребует изменения архитектуры серверов. ПО, необходимое для работы Emfasys, умеет работать с существующими ОС и аппаратным обеспечением.

Согласно внутренним тестам, проведенным Enfabrica, использование системы Emfasys позволяет снизить стоимость генерации токенов до 50% в задачах с длинным контекстом и высокой нагрузкой.

По словам представителей компании, сейчас Emfasys проходит закрытые тесты, о публичном релизе системы не сообщается. Enfabrica не уточнила, кто именно тестирует технологию и есть ли Nvidia в списке заинтересованных компаний.