ИИ заставили говорить «как пещерный человек», чтобы меньше платить за токены

Смысл сохраняется, но лишних слов получается гораздо меньше.

Разработчики нашли оригинальный способ снизить затраты на использование больших языковых моделей. С помощью плагина Caveman модели можно заставить отвечать предельно коротко — «как пещерный человек».

Идея проста: чем меньше слов генерирует модель, тем меньше расходуется токенов, а значит, обработка запроса дешевеет. Вместо типичных для чат-ботов фраз вроде «вы правы, я допустил ошибку» Caveman, пишет 404 Media, выражается в стиле «Халк крушить».

Создатель Caveman Юлиус Брюссе рассказал изданию, что задумался об идее плагина, когда активно пользовался Claude Code и заметил, что значительная часть токенов уходит на любезности, оговорки и так далее. Стало ясно, что тут можно сэкономить.

По оценке Брюссе, Caveman сокращает объем выходных токенов примерно на 65-75% и работает эффективнее, чем инструкция «будь кратким». При этом точность ответов не страдает — код генерируется корректно.

В тестах 404 Media плагин действительно сделал реплики Claude Code заметно короче. После проверки кода модель отвечала фразами вроде «Хотите изменения?» и «Использует официальный API, не скрейпинг». Когда журналист проверил, активен ли Caveman, Claude выдал: «Уже активен. Что нужно?».

Сейчас, утверждает Брюссе, Caveman используют или тестируют разработчики и инженеры из OpenAI, Nvidia, GitHub и других компаний. Сотрудник OpenAI Шейн Суини даже внес вклад в проект, добавив поддержку Codex.