В октябре сбой на стороне облачной инфраструктуры Яндекса затронул множество сервисов, работающих в этом облаке, в том числе сервисы any. Команда оперативно включилась в восстановление, чтобы минимизировать влияние ситуации на результаты партнеров.
Рассказываем, как мы восстановили ключевые сервисы, поддерживали связь с партнерами и какие изменения инфраструктуры готовим, чтобы снизить зависимость от отдельных облачных площадок.
Рассказываем, как мы восстановили ключевые сервисы, поддерживали связь с партнерами и какие изменения инфраструктуры готовим, чтобы снизить зависимость от отдельных облачных площадок.
Как проходят работы по восстановлению: основные этапы миграции
Хронология переноса инфраструктуры
9 октября
Начали рассматривать Selectel в качестве новой площадки для размещения инфраструктуры и составлять план миграции
↓
10 октября
Приступили к переносу сервисов
↓
10–17 октября
Развернули основную инфраструктуру в Selectel. Полностью перевести сервисы не удалось из-за нехватки доступных аппаратных ресурсов
↓
Следующий этап
Ожидаем выделения необходимых ресурсов от Selectel, чтобы продолжить перенос сервисов
Восстановили работу ключевых сервисов
Команда не стала ждать полного восстановления мощностей Яндекса и самостоятельно занялась устранением последствий инцидента.
С первых часов команда DevOps работала над восстановлением инфраструктуры. В первую очередь мы перенесли сервисы в те зоны Яндекса, которые продолжали работать. Это позволило вернуть доступность ключевых сервисов any и сократить время простоя для клиентов.
Восстановление отдельных компонентов платформы, в том числе аналитики в личном кабинете, потребовало дополнительных работ. Мы выделили их в отдельный этап, чтобы последовательно вернуть все возможности платформы.
С первых часов команда DevOps работала над восстановлением инфраструктуры. В первую очередь мы перенесли сервисы в те зоны Яндекса, которые продолжали работать. Это позволило вернуть доступность ключевых сервисов any и сократить время простоя для клиентов.
Восстановление отдельных компонентов платформы, в том числе аналитики в личном кабинете, потребовало дополнительных работ. Мы выделили их в отдельный этап, чтобы последовательно вернуть все возможности платформы.
Поддерживали связь с партнерами any
Во время инцидента для нас было важно своевременно информировать клиентов о происходящем. Менеджеры оставались на связи с партнёрами и сообщали статус восстановления именно их проектов. Такой формат помогал клиентам понимать, какие сервисы затронула ситуация и какие действия предпринимает команда.
Готовим переход инфраструктуры в Selectel
Мы начали подготовку к переносу инфраструктуры any в Selectel 9 октября. Уже 10 октября приступили к миграции, а с 10 по 17 октября развернули основную инфраструктуру на новой площадке.
Однако полноценно перенести все сервисы пока не удалось: для этого Selectel необходимо предоставить дополнительные аппаратные ресурсы. Сейчас мы ожидаем их выделения, после чего сможем продолжить миграцию.
Пока сервисы any продолжают работать на инфраструктуре Яндекса. Параллельно команда SRE занимается повышением отказоустойчивости текущей платформы: работает над тем, чтобы сервисы не зависели от одной зоны доступности. Это позволит сохранить их работу в случае сбоя на отдельной площадке: нагрузка сможет переключиться на другую зону.
Таким образом, мы одновременно решаем две задачи: повышаем устойчивость уже работающей инфраструктуры и готовим переход на новую площадку.
Если вопрос с доступностью ресурсов в Selectel не удастся решить, мы готовы рассмотреть альтернативные варианты размещения. Для нас приоритет — надежность и стабильная работа сервисов, а не привязка к конкретному провайдеру.
Однако полноценно перенести все сервисы пока не удалось: для этого Selectel необходимо предоставить дополнительные аппаратные ресурсы. Сейчас мы ожидаем их выделения, после чего сможем продолжить миграцию.
Пока сервисы any продолжают работать на инфраструктуре Яндекса. Параллельно команда SRE занимается повышением отказоустойчивости текущей платформы: работает над тем, чтобы сервисы не зависели от одной зоны доступности. Это позволит сохранить их работу в случае сбоя на отдельной площадке: нагрузка сможет переключиться на другую зону.
Таким образом, мы одновременно решаем две задачи: повышаем устойчивость уже работающей инфраструктуры и готовим переход на новую площадку.
Если вопрос с доступностью ресурсов в Selectel не удастся решить, мы готовы рассмотреть альтернативные варианты размещения. Для нас приоритет — надежность и стабильная работа сервисов, а не привязка к конкретному провайдеру.
Что это значит для партнеров
Мы продолжаем работать над восстановлением всех компонентов платформы и изменением инфраструктуры. Ключевые сервисы были возвращены в работу после переноса в доступные зоны Яндекса, а параллельная работа команды SRE помогает снизить зависимость от отдельной зоны доступности. Дальнейший переход в Selectel позволит продолжить работу над архитектурой, менее зависимой от отдельных облачных площадок.
Мы понимаем, насколько важна стабильная работа сервисов для бизнеса наших клиентов. Поэтому не ограничиваемся устранением последствий одного инцидента, а пересматриваем инфраструктурную архитектуру, чтобы снизить риски повторения подобных ситуаций.
Мы не можем полностью исключить сбои на стороне внешних провайдеров, но можем уменьшать зависимость от отдельных площадок и заранее готовить инфраструктуру к таким сценариям. Именно над этим сейчас работает команда any.
Мы понимаем, насколько важна стабильная работа сервисов для бизнеса наших клиентов. Поэтому не ограничиваемся устранением последствий одного инцидента, а пересматриваем инфраструктурную архитектуру, чтобы снизить риски повторения подобных ситуаций.
Мы не можем полностью исключить сбои на стороне внешних провайдеров, но можем уменьшать зависимость от отдельных площадок и заранее готовить инфраструктуру к таким сценариям. Именно над этим сейчас работает команда any.