Оперативная память должна быть в дата-центрах, а не в ПК, считает глава OpenAI
Обычные ПК с большим объемом памяти для инференса — довольно ужасная идея.
Глава OpenAI Сэм Альтман раскритиковал использование больших объемов оперативной памяти в обычных ПК для локального запуска ИИ-моделей. Альтман считает, что гораздо разумнее направлять ресурсы такого рода в дата-центры.
Обсуждая возможность запуска открытых ИИ-моделей на обычных ПК, Альтман обратил внимание на низкую эффективность использования памяти в таких устройствах. По его словам, пользователи могут устанавливать десятки гигабайт памяти, но значительную часть времени эти ресурсы остаются невостребованными.
С точки зрения глобального распределения ресурсов ситуация, когда у каждого человека в ПК находится значительная часть ограниченных мировых запасов памяти, используемая лишь 5% времени, на самом деле довольно ужасна.
В условиях настолько острого дефицита ресурсов необходимо добиваться максимальной загрузки оборудования в облаке, но это почему-то противоречит интуитивным представлениям многих людей.
Позиция Альтмана совпадает с бизнес-моделью OpenAI. Вопреки названию, компания предпочитает использовать закрытые модели, работающие на ее собственных серверах, и крайне редко выпускает продукты с открытыми весами.
Теоретически распространение продвинутых нейросетей с открытыми весами может снизить аудиторию OpenAI и выручку компании. Практически для использования действительно продвинутых моделей потребуется такой объем памяти, который все равно недоступен обычному ПК.
Примечательно, что дефицит памяти, о котором говорит Альтман, возник как раз благодаря активному расширению ИИ-датацентров. Если верить SK Hynix, одному из производителей памяти, дефицит останется с нами до 2030 года.
- Стали известны предварительные цены на Seal 07 второго поколения: выросший седан заметили у дилеров
- В HoMM Olden Era пропатчили большой патч: Королеву-медузу ослабили, охрану банков существ усилили
- Гейб Ньюэлл оказался крупным ранним донором OpenAI
- Похоже, генератор роликов Sora тренировали на геймплее игр и кадрах с Twitch — это может быть незаконно

