Как ИИ-бум начался с двух GeForce GTX 580: вспоминает глава Nvidia

По современным меркам эти карты ни на что не годятся, но тогда все было иначе.

В подкасте Joe Rogan Experience глава Nvidia Дженсен Хуанг вспомнил, как зародилось современное машинное обучение, ставшее фундаментом всех актуальных ИИ-разработок. Дело было в начале 2010-х годов.

Тогда исследователи Университета Торонто Алекс Крижевский, Илья Суцкевер и Джеффри Хинтон работали над улучшением распознавания изображений. Им удалось создать нейросетевую архитектуру AlexNet, состоявшую из восьми слоев и примерно 60 миллионов параметров.

Сеть обучалась самостоятельно, используя комбинацию нескольких типов слоев. На тот момент, вспоминает Хуанг, такой подход был революционным.

Примечательно, что для обучения использовали не специализированные кластеры. Ученые просто взяли пару игровых видеокарт GeForce GTX 580 с 3 гигабайтами памяти каждая и объединили их в SLI.

Уже в те времена видеокарты Nvidia имели CUDA-ядра, позволявшие исследователям проводить вычисления, напрямую не связанные с обсчетом графики. Видимо, именно поэтому ученые и выбрали GeForce.

AlexNet превзошла существующие алгоритмы распознавания изображений более чем на 70%. Это событие положило начало буму глубокого обучения и показало, что именно GPU обладают необходимой вычислительной мощностью для работы с большими нейросетями.

В результате, вспоминает Хуанг, в Nvidia решили изменить стратегию и сделать ставку на искусственный интеллект. После успеха AlexNet компания начала активно инвестировать в ИИ-направление: уже в 2016 году появился первый суперкомпьютер DGX.

Спустя почти полтора десятка лет Nvidia регулярно поднимается на первую строчку в списке самых дорогих публичных компаний в мире. Капитализацию компании нарастил именно высокий интерес к ее ИИ-ускорителям.