Медицинский ИИ Google поставил диагноз по вымышленной части мозга — возможно, виноваты сами медики

В компании говорят, что это просто опечатка, но врачи настроены скептически.

В мае 2024 года исследователи Google опубликовали научную работу, посвященную медицинскому ИИ Med-Gemini. Оказалось, работа содержит ошибку, ставящую возможности нейросети под вопрос.

Дело в том, что Med-Gemini поставила диагноз на основе несуществующей анатомической структуры мозга, basilar ganglia. Вероятнее всего, речь шла о basal ganglia, важной зоне мозга, отвечающей за моторику, эмоции и обучение.

Ошибку впервые обнаружил невролог и исследователь ИИ Брайан Мур. Он рассказал о проблеме в LinkedIn, после чего Google тихо отредактировала текст в своем блоге, посвященный Med-Gemini, но не стала вносить изменения в саму научную работу.

По словам представителей Google, ошибка была простой опечаткой и не повлияла на смысл диагноза. Врачи, с которыми пообщалась The Verge, считают иначе. Собеседники издания называют произошедшее тревожным сигналом.

Дело в том, что по мере распространения медицинских ИИ врачи могут перестать замечать их ошибки, особенно если в большинстве случаев ИИ демонстрирует высокий уровень точности. В теории такие незаметные ошибки могут представлять опасность для пациентов.

Само появление basilar ganglia в Google объясняют ошибкой самих медиков. Нейросеть обучалась на обезличенных медицинских данных, согласно заявлению Google, basilar ganglia вместо basal ganglia часто упоминается в реальных документах.

В разговоре с изданием представители Google отметили, что сотрудничают с медицинским сообществом и предупреждают об ограничениях своих моделей. Компания работает над улучшением медицинского ИИ.