Самый серьезный сбой Cloudflare с 2019 был вызван большим файлом

Размер файла оказался слишком велик для прокси компании.

Компания Cloudflare опубликовала развернутый отчет о масштабном сбое, произошедшем 18 ноября. В результате сбоя инфраструктура Cloudflare несколько часов работала с перебоями, многие популярные сайты и сервисы оказались недоступны.

По словам сооснователя и генерального директора Cloudflare Мэттью Принса, сперва специалисты сервиса подумали, что инфраструктура Cloudflare атакована крупным ботнетом Aisuru — настолько глобальным было воздействие.

Быстрое расследование показало, что проблема имела технический характер. Один из конфигурационных файлов системы, отвечавшей за борьбу с ботами, внезапно увеличился вдвое и распространился по всей сети Cloudflare.

Этот файл используется системой машинного обучения, классифицирующей трафик и помогающей отличать обычных пользователей от ботов. Размер файла оказался таким, что прокси-сервера Cloudflare, фильтрующие трафик, начали падать из-за ограничения по используемой памяти.

В результате произошла цепочка сбоев в работе сервисов, отвечающих за маршрутизацию и фильтрацию трафика. Это, в свою очередь, привело к сбоям в работе основных CDN-серверов Cloudflare.

Увеличение размера проблемного файла оказалось связано с изменением прав доступа в базе данных ClickHouse. После обновления часть серверов начала выдавать дублирующие данные, раздувая размер файла сверх лимита.

По словам Принса, это был худший сбой Cloudflare с 2019 года. На полное восстановление работы инфраструктуры компании ушло около трех часов.

Сейчас Cloudflare работает над предотвращением подобных сбоев. Планируется усилить защиту от ошибок при генерации конфигурационных файлов и внедрить дополнительные уровни защиты.