Падение Amazon Web Services объяснили сбоем DynamoDB

Система должна была восстановиться сама, но этого не случилось.

Компания Amazon опубликовала подробный технический отчет о масштабном сбое облачной платформы Amazon Web Services 20 октября. Платформа падала минимум дважды за день, в результате инцидента перестало работать множество игр и сервисов.

Компания пришла к выводу, что инцидент вызван ошибкой в базе данных DynamoDB. В Amazon Web Services эта база используется для управления DNS-записями и хранения информации о них.

Сбой начался в дата-центрах Amazon в Северной Виргинии, это один из ключевых регионов AWS. В этот день в DynamoDB произошел сбой, из-за которого одна из записей оказалась пустой.

В нормальных условиях механизм автоматического восстановления должен был устранить ошибку самостоятельно, однако из-за программной ошибки этого не произошло.

В результате тысячи сервисов, полагавшихся на подключение к DynamoDB, потеряли связь с базами данных, что вызвало цепную реакцию проблем в других системах AWS.

Amazon принесла клиентам извинения и пообещала сделать все возможное, чтобы повысить надежность инфраструктуры. Ошибка, из-за которой DynamoDB работала некорректно, уже исправлена.