Исследование: программисты с ИИ-помощником чаще пишут небезопасный код

И одновременно испытывают большую уверенность в его безопасности.

Кстати, на сайте читать удобнее

Сейчас разработчикам доступно несколько систем-помощников, работающих на базе ИИ: например, Codex от OpenAI. Такие помощники обучены на больших массивах кода и могут генерировать крупные фрагменты исходников.

Группа исследователей из Стэнфордского университета решила выяснить, насколько безопасны такие помощники. Для этого исследователи собрали 47 разработчиков с разным уровнем опыта и предложили части из них решить ряд задач, используя Codex.

Оказалось, что разработчики с доступом к Codex писали небезопасный код чаще, чем их коллеги, работавшие самостоятельно. В то же время разработчики с ИИ-помощником были более уверены в безопасности своего кода, чем программисты, работавшие без участия ИИ.

Исследователи не считают, что программистам вообще не стоит пользоваться помощниками на базе ИИ: в задачах, не имеющих отношения к безопасности, они могут быть полезны. Но когда речь идет о безопасности, то код, сгенерированный ИИ, надо изучать особо тщательно.

Для улучшения качества генерации потенциально опасного кода исследователи предлагают ввести систему подсказок, позволяющих ИИ лучше понимать назначение кода, и дополнительно проверить, что в библиотеках, связанных с безопасностью, по умолчанию не используются значения, открытые для эксплойтов.