Ученые раскритиковали решение DeepSeek по расширению контекста ИИ

Исследователи обнаружили, что такой подход сильно ухудшает результаты.

Исследователи из Японии и Китая поставили под сомнение эффективность метода DeepSeek-OCR, разработанного китайским ИИ-стартапом DeepSeek для работы с длинными текстами. Метод, считают ученые, на самом деле неэффективен.

В DeepSeek позиционировали DeepSeek-OCR как новый подход к преодолению одного из ключевых ограничений современных языковых моделей, так называемого бутылочного горлышка длинного контекста. Это ограничение мешает эффективно обрабатывать большие документы и длинные диалоги.

Разработчики предлагали сжимать текст за счёт перевода в визуальное представление. По оценке DeepSeek, такой подход позволял сокращать объём входных данных до 20 раз без потери смысла.

Исследователи, изучившие метод DeepSeek-OCR, пришли к выводу, что высокая производительность метода объясняется склонностью ИИ использовать статистические шаблоны, усвоенные при обучении на больших объемах текста. Это значит, что ИИ угадывает содержание визуального представления, а не анализирует его.

В ходе экспериментов выяснилось, что при наличии дополнительного текста, способного повлиять на ход рассуждений, точность ответов моделей с DeepSeek-OCR падала примерно до 20%. Традиционные языковые модели в тех же условиях демонстрировали точность выше 90%.

Представители DeepSeek пока не комментировали выпуск научной работы, ставящей под сомнение эффективность DeepSeek-OCR.