Google Cloud частично отключился из-за инженера, выдернувшего все кабели

Мы не знаем, было ли за это что-нибудь диверсанту.

Google раскрыла причину сбоя в облачном регионе us-central1-b, произошедшего 1 сентября. Как выяснилось, проблема возникла во время планового обслуживания: инженер компании отключил оптоволоконные линии, связывавшие часть инфраструктуры с внешней сетью.

Google отмечает, что ее дата-центры изначально проектируются с многоуровневым резервированием. Однако в этот раз архитектура оказалась бессильна перед человеческим фактором.

Согласно отчету компании, сотрудник дата-центра физически отключил все оптоволоконные линии, причем сделал это так быстро, что предупреждение о неверной операции пришло слишком поздно. В итоге виртуальные машины в регионе оказались полностью отрезаны от сети.

После обнаружения проблемы Google перенаправила трафик на доступные мощности в других регионах, а инженеры компании нашли отключенные линии и подключили оптику обратно. На восстановление работы региона ушло около четырех часов.

В отчете компании не поясняется, почему сотрудник дата-центра решил отключить все кабели связи и как Google намерена избежать таких инцидентов в будущем.