Microsoft раскрыла причину глобального сбоя облачных сервисов: ошибка появилась 4 месяца назад
Чтобы все поправить, компании пришлось выпустить обновление для Windows.
Microsoft выяснила причину масштабного сбоя облачных сервисов, произошедшего в середине ноября. Оказалось, проблема была вызвана ошибкой в ПО сетевых шлюзов компании, появившейся несколько месяцев назад.
По всей видимости, патч с ошибкой выкатили еще в июле 2026 года. Обновление прошло тесты, некоторое время все работало нормально, но в итоге 80% серверов проблемной инфраструктуры Microsoft перестали отвечать на запросы.
Проблемный код постепенно исчерпывал ресурсы процессора и оперативной памяти, причем на мощных серверах этот процесс шел быстрее. Примечательно, что тесты проводились на менее производительном железе — там проблему не засекли.
Сам сбой произошел из-за совпадения двух событий. Сперва сервис Microsoft Teams переключился на основной сетевой шлюз, обслуживающий Exchange Online, — это повысило нагрузку на серверы. Одновременно около 14% вычислительных мощностей шлюза вывели из эксплуатации.
В результате нагрузка достигла уровня, при котором ошибка, скрывавшаяся несколько месяцев, проявила себя. Перегруженные серверы переставали отвечать, система автоматически перенаправляла подключения на соседние сервера — и те сталкивались с аналогичной проблемой, вызывая дальнейшее перераспределение трафика.
Восстановить работу стандартными средствами Microsoft не удалось. Перезапущенные серверы немедленно получали новую порцию запросов и снова выходили из строя. В итоге для исправления проблемы пришлось подготовить специальное обновление Windows и раскатить его по серверам облачного сервиса.
Окончательный отчет о причинах аварии Microsoft намерена опубликовать 20 ноября.

