Медицинские ИИ дискриминируют женщин и меньшинства — исследование

По какой-то причине нейросети дают таким пациентам худшие рекомендации.

Ученые из США и Великобритании обнаружили, что большие языковые модели, применяемые в медицинских сервисах, занижают серьезность симптомов у женщин и проявляют меньше эмпатии к пациентам из числа этнических меньшинств.

Исследования Массачусетского технологического института показали, что модели GPT-4, Llama 3 и Palmyra-Med нередко советовали женщинам лечиться самостоятельно вместо обращения к врачу.

Схожие выводы сделала Лондонская школа экономики. Ученые обнаружили, что модель Google Gemma, используемая в социальной сфере Великобритании, систематически занижала значимость жалоб женщин по сравнению с мужчинами.

В другом эксперименте ответы GPT-4, Llama 3 и Palmyra-Med на запросы о психическом здоровье звучали заметно менее сочувственно, если пациенты были азиатами или темнокожими.

Кроме того, выяснилось, что пациенты, писавшие с опечатками или странно формулировавшие то, что им нужно, на 7-9% чаще получали рекомендации не обращаться за медицинской помощью.

Исследователи связывают проблему с качеством исходных данных. Большинство моделей обучается на текстах из интернета, где регулярно высказываются определенные стереотипы. В результате ИИ, обученные на таких датасетах, могут вести себя не вполне корректно.

Компании-разработчики признают наличие проблемы. OpenAI заявила, что большинство исследований основано на ранних версиях GPT-4, а современные версии значительно улучшены. Google утверждает, что очень серьезно относится к риску дискриминации и внедряет методы защиты данных.