История одного пожара

Забегая вперед, хочу сказать, что всё прошло удачно. Данные восстановлены, а я благополучно вернулся домой. Но обо всем по порядку…

Воскресным утром 28 марта, в свой 25 день рождения, проснувшись, я обнаружил в телефоне десяток пропущенных смс-сообщений. Это были не поздравления, а сообщения от системы оповещения и некоторых клиентов, которые сообщали о недоступности сервера. Подойдя к компьютеру, я обнаружил, что недоступен не только мой сервер, но и весь дата центр Hosting.UA. Ни один из известных мне сайтов, размещенных в этом дата центре, не открывался.

Пожалуй, отдельно стоит остановиться на данных, которые там хранились. Это был не только блог, который вы сейчас читаете, но и несколько достаточно популярных форумов, больше десятка сайтов клиентов и ряд личных проектов. В общей сложности порядка 30-40 сайтов. Поскольку дата центр Hosting.UA в действительности, пока не загорелся, был неплохим местом для аренды серверов (доступные тарифы, адекватная тех.поддержка, прозрачная схема учета трафика), оборудование там арендовал не только я, но и несколько близких знакомых. С одним из таких «соседей» по дата центру мы заключили партнерское соглашение взаимного бэкапа. На мой сервер копировались его резервные копии, на его сервер мои. Так же существовала договоренность предоставить хостинг пострадавшему в случае сбоя сервера, на время его восстановления. В такой ситуации я был защищен от сбоя диска с помощью RAID1-массива («зеркало»), а от сбоя всего сервера с помощью резервного сервера по партнерскому соглашению. Ситуация, в которой под ударом окажутся оба сервера размещенные в разных частях дата-центра, казалась невозможной (например, падение метеорита или ядерная война).

Как все уже догадались, событие этого порядка и произошло. В дата-центре случился пожар. При этом безводная система пожаротушения не сработала. Были вызваны пожарные, которые тушили, всё что горело, обычной водой. Первые несколько дней никакой официальной информации от сотрудников дата-центра не поступало, а всё предположения о судьбе дата-центра строились исключительно из слухов, распространяющихся по интернету. В это время в дата-центре уже шли восстановительные работы. Прежде всего, само собой, восстанавливать начали виртуальный хостинг, т.к. соотношение «клиентов на сервер» на этих серверах было выше всего. Далее работы были продолжены уже для виртуальных серверов и в самую последнюю очередь для dedicated-серверов и colocation. Арендованный мной dedicated-сервер до сих пор не восстановили, хотя его восстановления для меня уже не актуально.

Пожар начался как раз из зоны, где размещался сервер моего партнера, который сгорел полностью и до тла. Со слов сотрудника дата-центра, мой основной сервер значительно пострадал, но вероятность восстановить данные с жестких дисков есть. Когда мне озвучили срок восстановления в 3-4 недели, было принято решение ехать в Одессу самому и спасать данные…

билет в один конец :)

Началась и закончилась поездка на автовокзале. Выяснилось, что автобус тот же путь преодолевает на 6 часов быстрее поезда.

Главный автовокзал Одессы

Офис Hosting.UA удалось найти довольно быстро, благодаря распечатанной заранее карты из программы ДубльГИС.

Офис компании Hosting.UA

В офисе мне предложили подписать несколько документов, в которых я соглашался с тем, что на момент передачи мне жесткий диск сервера исправен и все данные на нем в сохранности. На мой вопрос «какой же он исправный после пожара?!» мне кратко и лаконично ответил юрист компании Hosting.UA «к сожалению, этот документ - единственный способ получить доступ к жесткому диску сервера». Предела возмущению не было, но всё таки цель моей поездки – данные, а не поиск правды. Поэтому когда все необходимые документы были подписаны, а 400 гривен залога уплачены в кассу, я наконец отправился в дата центр.

Окна горевшей части дата центра сейчас выглядят примерно вот так:

Окна горевшего дата центра Hosting.UA

В интернете ходила неподтвержденная версия, что безводная система пожаротушения была намеренно отключена из-за частых ложных срабатываний. Как одна из причин этих срабатываний, предполагалась гарь и дым проникающий в ДЦ из расположенного за стенкой кафе, якобы по системе вентиляции. Звучит абсолютно фантастически, и на мой взгляд, является сплетнями и выдумкой далекой от реальности. Но после таких слухов, не пообедать в этом кафе я просто не мог. 🙂

Кафе в бизнес центре "Фабрика бизнеса"

Хорошая кухня, приемлемые цены, полчаса в ожидании сотрудника дата центра выдающего жесткие диски пролетели незаметно. В результате 20 часов проведенных в автобусе и половины дня езды по Одессе я всё таки увидел ЕГО!

Жесткий диск от сервера пострадавшего в пожаре

Сказать, что я был в шоке – ничего не сказать. Моему удивлению мягко говоря не было предела. Проделать такой путь чтобы получить на руки обугленную тушку жесткого диска – не лучший способ скоротать время. С такими абсолютно упадническими мыслями я отправился к гуру восстановления информации, который, на мой взгляд, совершил абсолютное чудо. После нескольких часов кропотливого труда жесткий диск заработал, и данные с него начали копироваться на специально приготовленный для этих целей новый внешний жесткий диск.

Копирование данных с пострадавшего диска

Дальше уже не было абсолютно ничего интересного. Я радовался как сумасшедший. Нашел хорошую гостиницу с беспроводным интернетом. Купил новый хостинг и начал восстанавливать на нем все проекты, которые были на старом сервере. Утром на вокзал и еще сутки в автобусе, которые я старался использовать максимально эффективно, насколько это позволила батарейка ноутбука. 🙂

Восстановление сайтов из салона автобуса

Впечатления от Украины и Одессы с одной стороны довольно смешанные, а с другой стороны весьма положительные.

Я вынес из этой поездки два основных тезиса:

  • данные лучше всего хранить в пяти местах на четырех континентах. Даже на тот случай, если «наши ученые ночью незаметно изменят ось земли и Америка окажется на дне океана» (с) В.В.Ж. 😀
  • Украина интересная страна с большими возможностями и богатым потенциалом. Все рассказы о Украине умирающей с одной стороны и загнивающей с другой – не имеют ничего общего с действительностью. По крайней мере, я за свое недолгое пребывание не заметил в этой стране ни «гнили», ни признаков «некроза». Все в Украине хорошо, на мой взгляд, если не сейчас, то в будущем

На сообщение “История одного пожара” комментариев 8

  1. Amor:

    Спасибо. Интересно было прочесть =)

  2. svds1:

    Хорошо написал, молодца) Мне по попроще было и не пришлось никуда ехать, благо всё висело на виртуалке.

  3. Калмыков Сергей:

    Да интересная история. И фото печеного hdd тоже впечатляет!
    А где теперь хостится сервер?

  4. Антон:

    Сейчас временной пристанище он нашел в Киевском дата центре. На следующей неделе все проекты переедут в крупный европейский дата центр.

  5. kpcp:

    рад что все закончилось хорошо.
    имхо на 4х разных континентах это конечно преувеличение. яб остановился на например серверах яндекса и гугла. способов создать из их емайлов фтп уже придумали море. может не так кошерно, зато более чем надежно

  6. Тигрица:

    Антоха, ты молодец!! Просто умочка! И с прошедшим тебя Днем Варения!:-*

  7. Антон:

    Спасибо за поздравления, Юля! 🙂

  8. MRAK:

    Молодца. Слов нет.