Anthropic помешает выдавать дешевые ИИ-модели за дорогие

Для этого разрабатывается технология криптографических отпечатков моделей.

Компания Anthropic представила исследовательский проект FlashProve, предназначенный для проверки подлинности ответов ИИ-моделей. Система позволит пользователям убедиться, что полученный результат действительно сгенерировала заявленная нейросеть.

FlashProve использует технологию доказуемого инференса, с помощью которой можно получить криптографическое подтверждение происхождения ответа ИИ. Принцип напоминает цифровую подпись электронной почты: получатель может проверить подлинность сообщения, даже если отправитель пытается выдать себя за другого человека.

С помощью технологии пользователь, работающий с моделью через сторонний API — например, площадку реселлера — сможет удостовериться, что общается именно с нужной версией модели, а не с ее имитиацией через более дешевую нейросеть.

Возможна и обратная ситуация: при тестировании производительности разработчик нейросети использует более мощный ИИ вместо заявленного, чтобы получить завышенные результаты. FlashProve позволит раскрыть и такое мошенничество.

Технологию также предлагают использовать для подтверждения выполнения специализированных задач: например, программист сможет доказать, что проверку его библиотеки на уязвимости действительно провела передовая модель ИИ для кибербезопасности. Аналогичным образом компании смогут подтверждать заявления об анализе бизнес-планов с помощью определенных нейросетей.

Для работы FlashProve создателям нейросетей потребуется публиковать уникальные цифровые отпечатки своих моделей. В Anthropic уверяют, что отпечатки не раскрывают веса нейросетей, благодаря этому технологию смогут использовать и разработчики закрытых коммерческих моделей, включая Anthropic и OpenAI.

Посмотреть на прототип технологии можно здесь.