GitHub объяснил почти восьмичасовое падение проблемами с масштабированием и Copilot

В итоге Copilot встал через несколько часов после остальных сервисов.

Сервис GitHub объяснил причину технических проблем 17 августа: в этот день различные API и веб-версия сервиса на протяжении порядка 8 часов работали с серьезными перебоями. Оказалось, на падение GitHub повлияло несколько факторов.

Сперва проблема возникла в американском датацентре GitHub: один из компонентов Istio уперся в лимит и перегрузил балансировщики нагрузки. Автомасштабирование не смогло вовремя компенсировать рост нагрузки из-за неправильной конфигурации.

Из-за возникших задержек сервисы GitHub начали активнее отправлять повторные запросы, создавая дополнительную нагрузку на балансировщики. Параллельно проявила себя ошибка в VS Code, из-за которой количество запросов к ИИ-сервису Copilot выросло примерно в 10 раз.

Чтобы разобраться с проблемами, инженеры GitHub переконфигурировали повторные запросы и заставили систему отклонять часть трафика к Copilot. В итоге Copilot восстанавливался на несколько часов дольше, чем остальные сервисы.

Теперь GitHub планирует изменить политики автомасштабирования, пересмотреть лимиты повторных запросов и провести аудит настроек Istio. Заодно будет исправлена ошибка в VS Code, создавшая шквал запросов к Copilot.