AMD научилась заменять половину оперативной памяти в серверах дешевыми NVMe почти без потери скорости

Уменьшение объема памяти позволяет сохранить 99% производительности.

AMD готовит к запуску технологию Mext, позволяющую вдвое сократить объем оперативной памяти серверов EPYC вдвое с минимальными потерями производительности. Вместо дорогих модулей памяти Mext использует более дешевые NVMe-накопители.

Технология досталась AMD после приобретения одноименной компании. По словам бывшего генерального директора Mext Гэри Смердона, переход на NVMe может сократить стоимость серверов на величину до 83%; сейчас технология тестируется на 145 системах, экономия на памяти оценивается в $5 миллионов.

Принцип работы Mext основан на том, что значительная часть занятой оперативной памяти фактически простаивает. Даже при загрузке ОЗУ на 95% процессор может подолгу обходиться без обращения к большинству сохраненных в памяти данных — значит, если быстро ими жонглировать, то объем памяти можно снизить без падения производительности.

Mext переносит такие данные на NVMe, освобождая память для активных задач. Чтобы компенсировать разницу в скорости памяти и NVMe-накопителей, AMD использует нейросеть: она анализирует обращения процессора к памяти, прогнозирует будущие запросы и заранее грузит нужные данные с SSD в память.

Начальное обучение модели занимает менее одной секунды на одном ядре Epyc, затем модель постоянно адаптируется к рабочей нагрузке. GPU для работы Mext не требуется, в виртуализированных средах модель использует по одному процессорному ядру на каждую виртуальную машину.

AMD уже испытала технологию в нескольких ресурсоемких приложениях. В системе автоматизации проектирования Synopsys PrimeTime замена половины памяти на NVMe позволила сохранить 95% производительности. При сокращении оперативной памяти до 25% производительность упала до 80% от начального уровня.

Еще лучше Mext проявила себя в платформе обработки больших данных Apache Spark: при уменьшении объема памяти вдвое система сохранила 99% производительности. Разработчики также расширили поддержку на базы данных, программы для создания цифрового контента и приложения агентного ИИ.

Технология Mext будет доступна исключительно на платформах AMD и станет распространяться по платной лицензии через партнеров компании. Nvidia и другим компаниям, выпускающим ИИ-решения, придется придумывать что-то свое.