Microsoft показала ИИ-ускоритель Maia 200 и сервера на его базе

Сам чип выглядит достаточно скромно, сервер — другое дело.

Корпорация Microsoft показала собственный ИИ-ускоритель Maia 200, созданный для сервиса Azure. Ускоритель предназначен для инференса моделей в облачной инфраструктуре компании.

По сравнению с Maia 100 новый ускоритель обеспечивает примерно на 30% более высокую производительность в пересчёте на доллар цены. Microsoft называет Maia 200 самым энергоэффективным решением для инференса, которое компания когда-либо использовала.

С точки зрения энергопотребления Maia 200 выглядит скромнее топовых ускорителей: 750 Вт против 1.4 кВт у современных ускорителей Nvidia.

Чип для Maia 200 производится по 3-нм техпроцессу TSMC и содержит около 140 миллиардов транзисторов. Пиковая производительность достигает 10 петафлопс при работе с fp4.

Ускоритель Maia 200 несет на борту 216 гигабайт памяти HBM3e с пропускной способностью до 7 ТБ/с. Архитектура памяти разделена на несколько уровней, это должно повысить эффективность распределения нагрузки и снизить энергопотери при инференсе.

Microsoft уже использует Maia 200 в одном из дата-центров Azure, в обозримом будущем количество этих ускорителей в инфраструктуре компании будет активно наращиваться.