ИИ научился удалять желчный пузырь: нейросеть подключили к роботу-хирургу Da Vinci

Нейросеть построена на популярной архитектуре трансформера.

Ученые из Университета Джонса Хопкинса впервые обучили хирургического робота Da Vinci выполнять операцию по удалению желчного пузыря с помощью искусственного интеллекта. Новая система получила название Surgical Robot Transformer-Hybrid.

Нейросеть, использованная учеными, построена на базе популярной архитектуры трансформера. Модель способна не просто повторять заданные действия, а учиться по видеозаписям и реагировать на человеческие команды в реальном времени.

Сама система состоит из двух моделей. Одна — это высокоуровневый модуль управления, занимающийся планированием задач, а вторая — низкоуровневый модуль, преобразующий задачи в указания для роботизированных манипуляторов.

Для обучения нейросети ученые разбили процесс удаления желчного пузыря на 17 этапов, а затем поручили ассистенту снова и снова выполнять эту операцию на трупах свиней. В результате было получено больше 17 часов видеозаписей.

Помимо записей операций на свиньях исследователи предоставили модели комментарии о ходе операций на естественном языке и информацию о том, как во время операций двигались манипуляторы робота.

После завершения обучения робот, управляемый ИИ, провел несколько операций (тоже не на людях) самостоятельно, все они закончились успешно. По словам исследователей, робот работал не хуже, чем когда им управлял человек — но был немного медленнее.

О проведении ИИ-операций на людях речь не идет. Компания, занимающаяся производством роботов Da Vinci, отказалась предоставить исследователям необходимые данные; возможно, ограничения удастся обойти благодаря самостоятельному сбору данных.