Хостинг NetAngels + DDoS + странное поведение техподдержки
N
_Nic
21:32, 09.03.2011
Наш сайт располагается на площадке указанного хостера, тариф "Лайт". 6 марта между 18 и 19 часами на наш сайт началась атака DDoS, в том, что кто-то решил атаковать наш сайт нашей вины нет. В результате чего сайт стал недоступен для обычных посетителей, учитывая, что хостер имеет возможность
фильтрации трафика до обработки запросов веб-сервером, была подана заявка с просьбой помочь в сложившейся ситуации, как оказалось возможностей обеспечения какой-либо защиты от DDoS у хостера не имеется (хотя думаю не первая атака для их площадки) и было предложено воспользоваться услугами
специализированных сервисов. Ну как бы и ладно. Через некоторое время сайт был отключен путем замены записи ДНС на 127.0.0.1. Когда были предприняты меры нашими специалистами и создана площадка с защитой от DDoS (примерно в час ночи 7го), оказалось, что доступ по ФТП, SSH и к базе данных MySQL были
тоже закрыты. На просьбы предоставить доступ по ФТП и к базе(так как важна была актуальная информация из базы) был ПОЧЕМУ-ТО получен отказ, точнее как бы просили подождать некоторое время, потом до утра, потом первой половины дня. Непонятно, почему нам нельзя было просто забрать свои же данные.
Примерно во втором часу дня был предложен переход на VDS с переносом сайта. Сам процесс занял часа полтора(!), и это при том, что была дорога каждая минута, так как сайт представляет собой интернет-магазин. После чего работоспособность сайта восстановилась через несколько минут, так как прокси, защищающий от атаки был готов еще ночью.
Таким образом, странное поведение техподдержки, которое привело к тому, что доступ к контенту сайта был закрыт с 1 до 15 часов 7го марта, стало немаловажной причиной неработоспособности интернет-магазина в пиковые по числу заказов утренне-дневные часы (ввиду специфики товара).
Считаю, что такое обслуживание, считается недопустимым и хостер примет меры, чтобы такого больше не повторилось
[Сообщение изменено пользователем 10.03.2011 01:18]
Примерно во втором часу дня был предложен переход на VDS с переносом сайта. Сам процесс занял часа полтора(!), и это при том, что была дорога каждая минута, так как сайт представляет собой интернет-магазин. После чего работоспособность сайта восстановилась через несколько минут, так как прокси, защищающий от атаки был готов еще ночью.
Таким образом, странное поведение техподдержки, которое привело к тому, что доступ к контенту сайта был закрыт с 1 до 15 часов 7го марта, стало немаловажной причиной неработоспособности интернет-магазина в пиковые по числу заказов утренне-дневные часы (ввиду специфики товара).
Считаю, что такое обслуживание, считается недопустимым и хостер примет меры, чтобы такого больше не повторилось
[Сообщение изменено пользователем 10.03.2011 01:18]
11:54, 10.03.2011
Убогий городишко, убогие сервисы, всё как обычно, аффтар как первый год тут живёт
U
123.
11:59, 10.03.2011
Не пользуйтесь местечковыми провайдерами
А федералы в принципе болт кладут на траблы клиентов (знаем...плавали....). Тут хоть както работали.
А
Антон™
12:27, 10.03.2011
Не пользуйтесь местечковыми провайдерами
Подавляющее большинство "федеральных" провайдеров в случае ddos-а на сайт, который размещается на shared хостинге, просто выключают этот сайт без разговоров. Местечковый провайдер всего за 1,5 часа с момента выполнения всех инструкций клиентом, обеспечил вновь его нормальную работу.
А
Антон™
12:27, 10.03.2011
Почему-то Вы очень однобоко излагаете ситуацию, игнорируя множество фактов. Придется восполнить пробелы для полноты картины.
1. Ваш сайт размещался на тарифе shared-хостинга. Этот тариф не предполагает предоставление выделенного IP, что является необходимым условием для успешной фильтрации трафика. Кроме того, этот тариф, в соответствии с договором, предполагает, что в случае монополизации ресурсов севера, а посещаемость в кол-ве 28 млн хитов за 2 часа или чуть более 3000 хитон в секунду для этого тарифа - это монополизация ресурсов, так вот в случае монополизации ресурсов аккаунт отключается. Это написано прямо в договоре.
2. Мы успешно отфильтровали трафик, ведь кроме вашего сайта ни один другой на этом сервере не пострадал. Вообще.
3. Но мы не отключили ваш аккаунт. Вместо этого мы написали вам письмо с описанием проблемы, а так же подробно описали путь ее решения для восстановления работы сайта. А именно, вам надо было написать заявку на переход на VDS, чтобы был выделенный IP, а затем обратиться в компанию, которая БЕСПЛАТНО отфильтрует ваш трафик, выдаст вам инструкцию, которую вы перешлете нам и мы вам все настроим. Инструкцию нам вы прислали в3:08 утра 15:08. Заявка на переход на VDS пришла в 13:36. Спустя 1,5 часа, в 15:07 Вам написали что заявка выполнена и перенос произведен. Опять же, полностью бесплатно. Вы считаете, что 1,5 часа на поднятие пустого VDS с нуля и перенос на него всех данных это
много? Я уверен, что большинство читающих эти строки за такое время с такой задачей не справятся.
Причем, до того, как была написана эта заявка, в течение всего утра 7го числа от вас к нам звонило независимо друг от друга 4 разных человека и все задавали одни и те же вопросы, причем некоторые задавали их в весьма неприятном тоне, как будто это мы виноваты, что кто-то устроил атаку на ваш сайт. И все это вместо того, чтобы написать заявку, как было написано в инструкции, которая была отправлена еще до полуночи.
Про смену IP на 127.0.0.1 вам так же было написано в самом первом письме с инструкциями и там же было написано для чего мы это сделали. Цитата:
К сожалению, для сохранения работоспособности сервера, где кроме вашего сайта размещаются сайты других наших клиентов, мы были вынуждены заблокировать доступ к вашему сайту а также изменить DNS-запись домена ******.ru так, чтобы она указывала на ip-адрес 127.0.0.1, с целью снизить объём поступающих на сервер запросов.
что при этом делаете вы: вы меняете ip-адрес обратно, вероятно считая что это лучший способ ускорить решение проблемы.
Что касается отсутствия доступа по ftp и т.п: никакой доступ не отключался. Если вы заходите на свой ftp/ssh не по адресу uXXXXX.netangels.ru, как написано в инструкции, а по адресу domain.ru, который уже указывает на 127.0.0.1, то естественно, что доступа у вас нет.
Итог следующий: если это такой способ сказать "спасибо" за то, что не смотря на ddos ваш сайт продолжил работу в довольно короткий срок, то конечно всегда пожалуйста.
Сообщение изменено: поправлено время
[Сообщение изменено пользователем 10.03.2011 15:03]
1. Ваш сайт размещался на тарифе shared-хостинга. Этот тариф не предполагает предоставление выделенного IP, что является необходимым условием для успешной фильтрации трафика. Кроме того, этот тариф, в соответствии с договором, предполагает, что в случае монополизации ресурсов севера, а посещаемость в кол-ве 28 млн хитов за 2 часа или чуть более 3000 хитон в секунду для этого тарифа - это монополизация ресурсов, так вот в случае монополизации ресурсов аккаунт отключается. Это написано прямо в договоре.
2. Мы успешно отфильтровали трафик, ведь кроме вашего сайта ни один другой на этом сервере не пострадал. Вообще.
3. Но мы не отключили ваш аккаунт. Вместо этого мы написали вам письмо с описанием проблемы, а так же подробно описали путь ее решения для восстановления работы сайта. А именно, вам надо было написать заявку на переход на VDS, чтобы был выделенный IP, а затем обратиться в компанию, которая БЕСПЛАТНО отфильтрует ваш трафик, выдаст вам инструкцию, которую вы перешлете нам и мы вам все настроим. Инструкцию нам вы прислали в
Причем, до того, как была написана эта заявка, в течение всего утра 7го числа от вас к нам звонило независимо друг от друга 4 разных человека и все задавали одни и те же вопросы, причем некоторые задавали их в весьма неприятном тоне, как будто это мы виноваты, что кто-то устроил атаку на ваш сайт. И все это вместо того, чтобы написать заявку, как было написано в инструкции, которая была отправлена еще до полуночи.
Про смену IP на 127.0.0.1 вам так же было написано в самом первом письме с инструкциями и там же было написано для чего мы это сделали. Цитата:
К сожалению, для сохранения работоспособности сервера, где кроме вашего сайта размещаются сайты других наших клиентов, мы были вынуждены заблокировать доступ к вашему сайту а также изменить DNS-запись домена ******.ru так, чтобы она указывала на ip-адрес 127.0.0.1, с целью снизить объём поступающих на сервер запросов.
что при этом делаете вы: вы меняете ip-адрес обратно, вероятно считая что это лучший способ ускорить решение проблемы.
Что касается отсутствия доступа по ftp и т.п: никакой доступ не отключался. Если вы заходите на свой ftp/ssh не по адресу uXXXXX.netangels.ru, как написано в инструкции, а по адресу domain.ru, который уже указывает на 127.0.0.1, то естественно, что доступа у вас нет.
Итог следующий: если это такой способ сказать "спасибо" за то, что не смотря на ddos ваш сайт продолжил работу в довольно короткий срок, то конечно всегда пожалуйста.
Сообщение изменено: поправлено время
[Сообщение изменено пользователем 10.03.2011 15:03]
N
_Nic
12:48, 10.03.2011
Если вы заходите на свой ftp/ssh не по адресу uXXXXX.netangels.ru, как написано в инструкции, а по адресу domain.ru, который уже указывает на 127.0.0.1, то естественно, что доступа у вас нет.
все настроено по инструкции на uXXXXX.netangels.ru, 6го доступ был, потом после выключения сайта, соединяться перестало.
А
Антон™
12:53, 10.03.2011
Повторю еще раз: все что было сделано нами, это ip-адрес для www.***.ru и для ***.ru был заменен на 127.0.0.1. Более ничего не блокировалось и не отключалось. В панели управления есть логи, Вы можете зайти и посмотреть весь перечень всех действий своих и наших администраторов.
13:03, 10.03.2011
На просьбы предоставить доступ по ФТП и к базе(так как важна была актуальная информация из базы) был ПОЧЕМУ-ТО получен отказ, точнее как бы просили подождать некоторое время, потом до утра, потом первой половины дня. Непонятно, почему нам нельзя было
просто забрать свои же данные.
Что касается отсутствия доступа по ftp и т.п: никакой доступ не отключался
Показания расходятся.
N
_Nic
13:06, 10.03.2011
1. Ваш сайт размещался на тарифе shared-хостинга. Этот тариф не предполагает предоставление выделенного IP, что является необходимым условием для успешной фильтрации трафика.
2.
Мы успешно отфильтровали трафик, ведь кроме вашего сайта ни один другой на этом сервере не пострадал. Вообще.
Взаимоисключающие параграфы? Ну про шаред, как бы и так понятно, написал же
Ну как бы и ладно.
Причем, до того, как была написана эта заявка, в течение всего утра 7го числа от вас к нам звонило независимо друг от друга 4 разных человека и все задавали одни и те же вопросы,
Ну, видимо, очень внятная инструкция по переходу на VDS исходила от суппорта, что 4 человека её осилили только к 13:36 ;-)
N
_Nic
13:09, 10.03.2011
Показания расходятся.
По факту из конвекса ни через фтп-клиента, ни через putty, уже настроенные и неоднократно используемые было не достучаться, мускул через веб был тоже недоступен.
Я так понимаю, что у хостера логи подробнее чем в панели и он сможет установить почему данные соединения получили отлуп.
А
Антон™
13:17, 10.03.2011
Взаимоисключающие параграфы? Ну про шаред, как бы и так понятно, написал же
Не вижу никакого взаимоисключения. Наша задача обеспечить бесперебойную работу сервера. Мы ее обеспечили. При этом у нас нет задачи обеспечить бесперебойную работу вашего сайта на shared'е. Мы отфильтровали весь трафик, который шел на ваш сайт, тем самым не пропустив ddos на сервер, когда упал бы не только ваш сайт, а еще более 1000 других.
Ну, видимо, очень внятная инструкция по переходу на
VDS исходила от суппорта, что 4 человека её осилили только к 13:36
Я могу процитировать письмо целиком. Там вполне понятно написано что сайт может продолжить работать только на VDS. Я так же могу поднять запись телефонных разговоров. Вы уверены что хотите все это в форуме увидеть?
13:18, 10.03.2011
По факту из конвекса ни через фтп-клиента, ни через putty, уже настроенные и неоднократно используемые было не достучаться, мускул через веб был тоже недоступен.
Ну, это вполне похоже на то, что туда были вбиты адреса домена 2 уровня, который завернули на 127.0.0.1.
N
_Nic
13:24, 10.03.2011
Ну, это вполне похоже на то, что туда были вбиты адреса домена 2 уровня
Нет.
Вы уверены что хотите все это в форуме увидеть?
Пока интереснее про доступ по фтп :-)
А
Антон™
13:27, 10.03.2011
По факту из конвекса ни через фтп-клиента, ни через putty, уже настроенные и неоднократно используемые было не достучаться, мускул через веб был тоже недоступен.
Я так понимаю, что у хостера логи подробнее чем в панели и он сможет установить почему данные соединения получили отлуп.
Я так понимаю, что у хостера логи подробнее чем в панели и он сможет установить почему данные соединения получили отлуп.
Гм.
Исходник:be3:/home/uXXXXX# last | grep uXXXXX uXXXXX pts/8 ****.convex.ru Sun Mar 6 19:45 - 00:30 (04:45) |
В логах ftp никаких попыток соединений после 19 часов 6го марта я не нашел.
А
Антон™
15:01, 10.03.2011
Так, оказывается я не туда посмотрел, когда написал
Это было не 3:08 утра, а 15:08 дня (блин, кто придумал показывать в формате am/pm время в панели управления)
То есть мы инструкции по настройке фильтрации от ddos получили ПОСЛЕ того, как VDS уже был настроен. Так во всей этой истории главным тормозным фактором были вообще не мы.
И все таки мне остался не понятным вот какой момент:
Я не нашел письменных обращений в СТП по этому поводу. Если Вы звонили по телефону в период с 00 часов по 09 утра 7го марта, то уточните, пожалуйста, примерное время Ваших звонков. Потому что не понятно кто и почему сказал что доступ будет только утром, учитывая что он был все время.
Инструкцию нам вы прислали в 3:08 утра,
Это было не 3:08 утра, а 15:08 дня (блин, кто придумал показывать в формате am/pm время в панели управления)
То есть мы инструкции по настройке фильтрации от ddos получили ПОСЛЕ того, как VDS уже был настроен. Так во всей этой истории главным тормозным фактором были вообще не мы.
И все таки мне остался не понятным вот какой момент:
На просьбы
предоставить доступ по ФТП и к базе(так как важна была актуальная информация из базы) был ПОЧЕМУ-ТО получен отказ, точнее как бы просили подождать некоторое время, потом до утра, потом первой половины дня.
Я не нашел письменных обращений в СТП по этому поводу. Если Вы звонили по телефону в период с 00 часов по 09 утра 7го марта, то уточните, пожалуйста, примерное время Ваших звонков. Потому что не понятно кто и почему сказал что доступ будет только утром, учитывая что он был все время.
N
_Nic
22:43, 10.03.2011
звонили по телефону в период с 00 часов по 09 утра 7го марта
Да, были звонки по поводу предоставления доступа по фтп и к базе в период с 00 до 02 часов, точнее время, к сожалению, не установить. Поэтому удивительно, что поддержка не отреагировала на указанные проблемы с доступом, раз, как заявляется, он был.
Реально VDS в понятной форме был предложен утром 7го, сменившим предыдущего специалистом, так что письмо, с подробными инструкциями можно и процитировать здесь, раз оно ускользнуло из нашего внимания (если было)
d
deployer
23:12, 10.03.2011
кто-то вату катает, лень вникать потом напишите в двух словах
А
Антон™
00:09, 11.03.2011
раз, как заявляется, он был.
Учитывая что я выше привел выдержку из lastlog сервера, где видно что ssh-сессия была открыта аж до 00:30, по-прежнему заявлять что его не было уже кажется странным.
Реально VDS в понятной форме был предложен утром 7го, сменившим предыдущего специалистом, так что письмо, с подробными инструкциями можно и процитировать здесь, раз оно ускользнуло из нашего внимания (если было)
Я уже цитировал часть этого письма, цитирую целиком (отправлено еще 6го числа
Сегодня, приблизительно в 18:30, на ваш сайт ***.ru началась DDoS-атака (denial of service), выглядящая как чрезвычайно большое количество обращений к сайту. Частота обращений составляет более 3000 обращений в секунду с
сотен различных ip-адресов. К сожалению, для сохранения работоспособности сервера, где кроме вашего сайта размещаются сайты других наших клиентов, мы были вынуждены заблокировать доступ к вашему сайту а также изменить DNS-запись домена ***.ru так, чтобы она указывала на ip-адрес 127.0.0.1, с целью
снизить объём поступающих на сервер запросов.
В подобных ситуациях мы рекомендуем клиенту переход на тарифный план VDS, где поток запросов на их сайты не влияет на работоспособность сайтов других клиентов. Кроме этого, вам также имеет смысл обратиться в какую-либо компанию, профессионально оказывающую услуги защиты от DDoS-атак. По нашему опыту, некоторые наши клиенты успешно сотрудничали с компанией highloadlab (http://highloadlab.ru), которые оказывают услуги по фильтрации (проксированию) трафика на атакуемые сайты, блокируя паразитные обращения и пропуская на оборудование хостинга только нормальные запросы.
К сожалению, в силу специфики необходимых для этого настроек, даже с подобной фильтрацией трафика сайт возможно запустить только на тарифном плане VDS -- по крайней мере, на время, пока на сайт идёт атака. Судя по вашему текущему тарифному плану, для нормальной работы сайта (без учёта DDoS) достаточно будет тарифа VDS-256, если вы воспользуетесь услугами какого-либо сервиса для фильтрации паразитных запросов DDoS, то размещения сайта на этом тарифном плане будет достаточно для возобновления его работы.
В подобных ситуациях мы рекомендуем клиенту переход на тарифный план VDS, где поток запросов на их сайты не влияет на работоспособность сайтов других клиентов. Кроме этого, вам также имеет смысл обратиться в какую-либо компанию, профессионально оказывающую услуги защиты от DDoS-атак. По нашему опыту, некоторые наши клиенты успешно сотрудничали с компанией highloadlab (http://highloadlab.ru), которые оказывают услуги по фильтрации (проксированию) трафика на атакуемые сайты, блокируя паразитные обращения и пропуская на оборудование хостинга только нормальные запросы.
К сожалению, в силу специфики необходимых для этого настроек, даже с подобной фильтрацией трафика сайт возможно запустить только на тарифном плане VDS -- по крайней мере, на время, пока на сайт идёт атака. Судя по вашему текущему тарифному плану, для нормальной работы сайта (без учёта DDoS) достаточно будет тарифа VDS-256, если вы воспользуетесь услугами какого-либо сервиса для фильтрации паразитных запросов DDoS, то размещения сайта на этом тарифном плане будет достаточно для возобновления его работы.
Письмо было отправлено на контактный e-mail, указанный в панели.
N
_Nic
09:21, 11.03.2011
цитирую целиком
Это и есть подробная инструкция и предложение выслать инструкцию по настройке на сервис защиты от атаки?
была открыта аж до 00:30
Только эта сессия
"зависла" в конце, не реагировала ни на какие действия, реконнект был безуспешным :-(
09:28, 11.03.2011
Только эта сессия "зависла" в конце, не реагировала ни на какие действия, реконнект был безуспешным
Это как бы намекает на iptables
странное поведение
техподдежрки
Если уж блокировать доступ файрволом, то можно было веб-сервером ограничиться. Или там какая-то автоматизация, и в ней это не предусмотрено?
[Сообщение изменено пользователем 11.03.2011 09:35]
А
Антон™
10:42, 11.03.2011
Это и есть подробная инструкция и предложение выслать инструкцию по настройке на сервис защиты от атаки?
А нужна еще более подробная инструкция? Типа "откройте браузер, напишите в адресной строке www.highloadlab.ru, прочитайте текст на открывшейся странице"? Так то еще ваши люди звонили по телефону и им устно более подробно разжевывали.
Это как бы намекает на iptables
Или на проблемы с провайдером
А
Антон™
10:44, 11.03.2011
Если уж блокировать доступ файрволом
Вот подумай головой: есть сервер shared. У него один общий для всех клиентов IP. Есть идея как в таком случае можно забанить одного клиента, чтобы у него доступа к серверу вообще не было, а всех остальных клиентов при этом не банить? У меня нет. Это надо ДО установления соединения угадать кто именно ломится. ipt_telepathy.ko разве что какой-нить?
11:10, 11.03.2011
Или на проблемы с провайдером
Конечно, нельзя исключить, что одновременно с DDoSом между конвексом и вами внезапно сломался канал, а к утру починился, и при этом техподдержка говорила что-то похожее на отказ разблокировать. Но на основную гипотезу не тянет.
Есть идея как в таком случае можно забанить одного клиента, чтобы у него доступа к серверу вообще не было, а всех остальных клиентов при этом не банить? У меня нет. Это надо ДО установления соединения
угадать кто именно ломится. ipt_telepathy.ko разве что какой-нить?
iptables -I INPUT -s адрес клиента (конвексовский) -j DENY
Вроде бы как-то так в этом вашем люнексе.
Но тут возникает вопрос "зачем".
[Сообщение изменено пользователем 11.03.2011 11:16]
А
Антон™
11:16, 11.03.2011
Но тут возникает вопрос "зачем".
Вот именно, незачем. Более того,
адрес клиента (конвексовский)
а что, у клиента один единственный адрес с которого он может подключиться и мы об этом совершенно точно знаем? Все-таки mod_telepathy?
Авторизуйтесь, чтобы принять участие в дискуссии.