История одного пожара (О работе, О разном, Поездки) 12.04.2010
Забегая вперед, хочу сказать, что всё прошло удачно. Данные восстановлены, а я благополучно вернулся домой. Но обо всем по порядку…
Воскресным утром 28 марта, в свой 25 день рождения, проснувшись, я обнаружил в телефоне десяток пропущенных смс-сообщений. Это были не поздравления, а сообщения от системы оповещения и некоторых клиентов, которые сообщали о недоступности сервера. Подойдя к компьютеру, я обнаружил, что недоступен не только мой сервер, но и весь дата центр Hosting.UA. Ни один из известных мне сайтов, размещенных в этом дата центре, не открывался.
Пожалуй, отдельно стоит остановиться на данных, которые там хранились. Это был не только блог, который вы сейчас читаете, но и несколько достаточно популярных форумов, больше десятка сайтов клиентов и ряд личных проектов. В общей сложности порядка 30-40 сайтов. Поскольку дата центр Hosting.UA в действительности, пока не загорелся, был неплохим местом для аренды серверов (доступные тарифы, адекватная тех.поддержка, прозрачная схема учета трафика), оборудование там арендовал не только я, но и несколько близких знакомых. С одним из таких «соседей» по дата центру мы заключили партнерское соглашение взаимного бэкапа. На мой сервер копировались его резервные копии, на его сервер мои. Так же существовала договоренность предоставить хостинг пострадавшему в случае сбоя сервера, на время его восстановления. В такой ситуации я был защищен от сбоя диска с помощью RAID1-массива («зеркало»), а от сбоя всего сервера с помощью резервного сервера по партнерскому соглашению. Ситуация, в которой под ударом окажутся оба сервера размещенные в разных частях дата-центра, казалась невозможной (например, падение метеорита или ядерная война).
Как все уже догадались, событие этого порядка и произошло. В дата-центре случился пожар. При этом безводная система пожаротушения не сработала. Были вызваны пожарные, которые тушили, всё что горело, обычной водой. Первые несколько дней никакой официальной информации от сотрудников дата-центра не поступало, а всё предположения о судьбе дата-центра строились исключительно из слухов, распространяющихся по интернету. В это время в дата-центре уже шли восстановительные работы. Прежде всего, само собой, восстанавливать начали виртуальный хостинг, т.к. соотношение «клиентов на сервер» на этих серверах было выше всего. Далее работы были продолжены уже для виртуальных серверов и в самую последнюю очередь для dedicated-серверов и colocation. Арендованный мной dedicated-сервер до сих пор не восстановили, хотя его восстановления для меня уже не актуально.
Пожар начался как раз из зоны, где размещался сервер моего партнера, который сгорел полностью и до тла. Со слов сотрудника дата-центра, мой основной сервер значительно пострадал, но вероятность восстановить данные с жестких дисков есть. Когда мне озвучили срок восстановления в 3-4 недели, было принято решение ехать в Одессу самому и спасать данные…
(далее…)
.