О недавних событиях, которые вывели нас из рабочего графика на 2 недели.
Опыта мы получили очень много, но, блин, какой ценой. Всего 2 ошибки стоили нам довольно круглой суммы, нервов от недовольных клиентов, 2 недель авральной работы и примерно 1 года потерянных данных.
Сейчас подробнее.
7 августа у нас на сервере произошел сбой.
А именно, злоумышленники взломали один из сайтов (благодаря вирусу, который подцепил один из домашних компьютеров сотрудника) и стали рассылать СПАМ (разместили скрипты в одной папке и запускали их удаленно).
В определенный момент сервер завис из-за нехватки места и, как сказал, хостер лучше восстановить все сайты из резервной копии.
Я сказал: "да, делайте" - и ... через несколько часов получаю восстановленные сайты. Но, пробежав беглым взлядом по содержимому, стало понятно, что хостер развернул не актуальный бэкап, данные были за октябрь 2011 года.
Естественно я написал об этом хостеру, на что получил возмущение, что они уверены в актуальности данных и считают, что все в порядке. И убеждать в обратном их было бессмысленно.
Началась долгая переписка и ругания по телефону с хостером. В определенный момент в голову закралась страшная мысль, а вдруг они ошиблись при настройке бэкапов и все, что сохранилось - это данные от октября.
Через несколько дней переписки я получаю длинное письмо, которое с первых строк не предвещало ничего хорошего. В письме были оправдания, снятие с себя ответственности, перенос стрелок на меня и последнее .."Сожалеем, мы больше ничего сделать не можем. В качестве компенсации можем предоставить месяц бесплатного хостинга." Ничего так за потерю года работы предоставляют месяц хостинга.
Но не все было потеряно. Дело в том, что 3 августа мне восстанавливали задания планировщика из резервной копии и они были актуальными. Естественно я запросил, чтобы развернули бэкап от 2 августа и ... облом, сейчас он оказался не от 2 августа, а от октября 2011.
Что-то произошло с бэкапами за эти несколько дней. Хостер меня уверял в том, что это проблемы с моей памятью, но к счастью (для моего здоровья) это было не так :-).
Приведу пояснение хостера (для тех кто понимает в серверах все станет понятно): "У вас кончилось место на сервере, поэтому целостность бэкапов была нарушена". К этому не придраться, все правильно, такое может быть. Если бы не один факт - все бэкапы льются на другой сервер и каждые 10 дней делается полный снимок сервера, плюс жесткого ограничения на занимаемый объем нет. После этого красивая отмазка превращается в довольно сомнительный факт. И встает вопрос, почему из всех резервных копий извлекаются данные за одно и тоже число прошлого года?
Мы долго думали на эту тему и пришли к выводу, да такое могло произойти, но вероятнее всего что хостер первый раз при разворачивании бэкапа что-то намудрил и заменил содержимое. После консультации с другими специалистами в Linux данная версия перешла в разряд официальной.
Изучая юридическую сторону стало ясно, что хостер не отвечает за сохранность ваших данных и актуальность бэкапов. Он просто должен их делать, а что в них будет - это уже проблема владельца сайтов.
Поэтому: Делайте бэкапы самостоятельно.
Абсолютно неважно сколько вы денег платите хостеру, я платил 4000 руб/мес. и это не давало никаких привелегий.
К моему счастью у меня были бэкапы двух важных сайтов на домашнеме сервере. Почему двух, а не всех? Я всегда делал бэкапы всех сайтов, причем на двух уровнях - это на мой домашний сервер и на амазон. Но за последние полгода настройки резервного копирования на стороне сервера агавы по техническим причинам исчезали. Два раза я полностью восстанавливал настройки и очищал хранилище бэкапов. В третий раз успел настроить только два сайта, а остальные оставил на потом. Вот в этот самый момент и все произошло.
Все это еще раз подтверждает тот факт, что относиться к защите нужно серьезно и использовать все звенья защиты без исключений. Как только рвется одно звено, может рухнуть вся система.
Три главных вывода: