ИИ слишком хорошо улучшает сам себя: Anthropic призвала ограничить скорость развития нейросетей

Уже сейчас нейросети создают свыше 80% кода компании.

Компания Anthropic, развивающая семейство нейросетей Claude, призвала ограничить скорость развития ИИ-систем. Основные опасения Anthropic вызывает рост способностей нейросетей к программированию сложных систем.

Компания связывает главный риск с тем, что будущие модели смогут перейти к рекурсивному самоулучшению — ситуации, когда нейросеть проектирует и создает улучшенную версию самой себя при минимальном участии человека.

Разработчики самой Anthropic сейчас пишут с помощью ИИ около 80% кода, попадающего в репозитории. До релиза системы Claude Code этот показатель был на уровне нескольких процентов.

Использование ИИ, отмечает компания, резко повысило эффективность работы ее сотрудников. Теперь обычный программист Anthropic за квартал пишет в 8 раз больше кода, чем писал в 2021-2025 годах.

Кроме того, Anthropic беспокоит проблема алаймента моделей и создания систем, запрещающих ИИ делать определенные вещи. Сейчас модели довольно редко нарушают правила, однако в Anthropic считают, что при смене поколений ИИ такие сбои могут накапливаться, становиться менее очевидными и хуже поддаваться анализу.

Хотя Anthropic и призывает притормозить с развитием ИИ, компания не готова делать это в одностороннем порядке. Anthropic может замедлить исследования, только если другие ведущие ИИ-компании сделают то же самое.

Представители OpenAI, Google DeepMind и других конкурентов Anthropic пока не отреагировали на эту инициативу.