Уважаемые клиенты и партнеры!
Надежность и стабильность GREEN-API всегда были для нас главным приоритетом. При выборе хостинга мы ориентировались в первую очередь на надежность, даже если стоимость была значительно выше других предложений на рынке. Именно поэтому мы разместили основную инфраструктуру в Яндекс Облаке и рассчитывали на защиту за счет разных зон доступности.
Произошедшее показало, что этих мер оказалось недостаточно. Мы столкнулись с потерей основной инфраструктуры, длительным простоем и необходимостью восстанавливать сервис практически с нуля.
Ниже расскажу, что произошло, почему восстановление заняло столько времени и какие изменения мы планируем.
Что произошло
8 октября произошла атака дронов на ЦОД Яндекса в Сасово, зона ru-central1-b. Пострадала часть нашей инфраструктуры, но критически важные серверы продолжили работу. Нам удалось быстро стабилизировать сервис.
11 октября случилась повторная атака дронов на ЦОД Яндекса во Владимире, зона ru-central1-a. На этот раз была выведена из строя основная часть нашей инфраструктуры. Пострадали микросервисы, базы данных и управляющие серверы Kubernetes-кластеров.
Потеря управляющих серверов не позволила нам быстро перераспределить нагрузку и подключить новые мощности. Нам пришлось заново разворачивать инфраструктуру, необходимую для работы сервиса.
Как мы восстанавливали GREEN-API
Наши DevOps-инженеры начали восстановление сразу после инцидента 11 октября. Первой задачей было найти провайдера, который сможет выделить необходимые серверные мощности.
Это оказалось непросто. В тот день спрос на серверы существенно вырос, а у многих компаний был выходной. Получить нужные ресурсы сразу и в полном объеме не удалось.
На выделенных серверах мы начали с нуля разворачивать отдельные Kubernetes-кластеры для WhatsApp, Telegram и MAX. Одновременно шло восстановление баз данных и конфигураций.
Все данные, необходимые для работы инстансов MAX, удалось восстановить из резервных копий. Поэтому пользователям MAX не пришлось повторно авторизовывать свои инстансы.
К сожалению, данные инстансов WhatsApp и Telegram восстановить из резервных копий не удалось. Эти данные были безвозвратно потеряны.
Центральная база данных также была уничтожена, но ее резервная копия сохранилась. Мы смогли восстановить базу с потерей данных за одни сутки.
Почему восстановление заняло три дня
Масштаб повреждений не позволял ограничиться перезапуском серверов или переносом отдельных компонентов. Нам пришлось получить новые мощности, заново развернуть кластеры для каждого мессенджера, восстановить центральную базу и проверить совместную работу всех компонентов.
Работу осложняли нехватка серверных ресурсов и потеря части конфигурационных файлов.
Дополнительное время потребовалось на восстановление центральной базы из резервной копии.
Обычно развертывание и полноценное тестирование одного Kubernetes-кластера занимает у нас около двух недель. В этот раз мы развернули три кластера за три дня.
К сожалению, выделенных серверных мощностей оказалось недостаточно для стабильной работы кластеров и мы наблюдали значительные перебои в работе сервисов. В течение последующих двух дней нам удалось стабилизировать работу сервиса GREEN-API.
Для команды это был большой объем работы в сложных условиях. Но мы понимаем, что для клиентов важен результат – работающий сервис. Три дня восстановления остаются недопустимо долгим сроком.
Что мы меняем
Мы вложили много усилий и средств в переход на Kubernetes. Однако сама по себе кластерная архитектура не защитила нас от одновременной потери критически важных компонентов у одного провайдера.
Наша основная ошибка заключалась в том, что мы слишком сильно полагались на надежность одного хостинга. Размещения в разных зонах доступности оказалось недостаточно.
Теперь мы планируем перейти к геораспределенной инфраструктуре у независимых провайдеров с зеркалированием баз данных. Наша цель – сохранить возможность продолжать работу или быстро восстанавливать ее при потере отдельного дата-центра или провайдера.
Это более сложное и более дорогое решение. Но произошедшее показало, что такие изменения необходимы для надежной работы GREEN-API.
Компенсация клиентам и партнерам
В качестве компенсации за простой мы готовы предоставить:
- Всем партнерам, чьи сервера пострадали в РФ – скидку 50% на счет за октябрь
- Всем клиентам – один дополнительный месяц обслуживания бесплатно
Мы понимаем, что эта компенсация не может полностью возместить последствия сбоя для вашего бизнеса. Но считаем необходимым поддержать клиентов и партнеров, которые столкнулись с проблемами из-за простоя с нашей стороны.
Наша ответственность
Вы доверили GREEN-API коммуникации со своими клиентами. Мы понимаем, что недоступность сервиса означает для вас остановку рабочих процессов, потерю денег и репутационные риски.
Мы подвели вас. Приносим извинения за длительный простой и потерю данных.
Наша задача сейчас – учесть причины произошедшего и изменить архитектуру так, чтобы снизить риск повторения такой ситуации и сократить время восстановления при авариях.
Спасибо за ваше терпение, поддержку и за то, что остаетесь с нами.
Андрей Шамин
Генеральный директор и основатель GREEN-API 