Хостинг NetAngels + DDoS + странное поведение техподдержки

_Nic
21:32, 09.03.2011
Наш сайт располагается на площадке указанного хостера, тариф "Лайт". 6 марта между 18 и 19 часами на наш сайт началась атака DDoS, в том, что кто-то решил атаковать наш сайт нашей вины нет. В результате чего сайт стал недоступен для обычных посетителей, учитывая, что хостер имеет возможность фильтрации трафика до обработки запросов веб-сервером, была подана заявка с просьбой помочь в сложившейся ситуации, как оказалось возможностей обеспечения какой-либо защиты от DDoS у хостера не имеется (хотя думаю не первая атака для их площадки) и было предложено воспользоваться услугами специализированных сервисов. Ну как бы и ладно. Через некоторое время сайт был отключен путем замены записи ДНС на 127.0.0.1. Когда были предприняты меры нашими специалистами и создана площадка с защитой от DDoS (примерно в час ночи 7го), оказалось, что доступ по ФТП, SSH и к базе данных MySQL были тоже закрыты. На просьбы предоставить доступ по ФТП и к базе(так как важна была актуальная информация из базы) был ПОЧЕМУ-ТО получен отказ, точнее как бы просили подождать некоторое время, потом до утра, потом первой половины дня. Непонятно, почему нам нельзя было просто забрать свои же данные.
Примерно во втором часу дня был предложен переход на VDS с переносом сайта. Сам процесс занял часа полтора(!), и это при том, что была дорога каждая минута, так как сайт представляет собой интернет-магазин. После чего работоспособность сайта восстановилась через несколько минут, так как прокси, защищающий от атаки был готов еще ночью.
Таким образом, странное поведение техподдержки, которое привело к тому, что доступ к контенту сайта был закрыт с 1 до 15 часов 7го марта, стало немаловажной причиной неработоспособности интернет-магазина в пиковые по числу заказов утренне-дневные часы (ввиду специфики товара).
Считаю, что такое обслуживание, считается недопустимым и хостер примет меры, чтобы такого больше не повторилось



[Сообщение изменено пользователем 10.03.2011 01:18]
10 / 9
Не пользуйтесь местечковыми провайдерами :-)
13 / 7
11:54, 10.03.2011
Убогий городишко, убогие сервисы, всё как обычно, аффтар как первый год тут живёт :-D
3 / 9
123.
11:59, 10.03.2011
От пользователя Зуев-Халупин
Не пользуйтесь местечковыми провайдерами


А федералы в принципе болт кладут на траблы клиентов (знаем...плавали....). Тут хоть както работали.
10 / 0
Антон
12:27, 10.03.2011
От пользователя Зуев-Халупин
Не пользуйтесь местечковыми провайдерами

Подавляющее большинство "федеральных" провайдеров в случае ddos-а на сайт, который размещается на shared хостинге, просто выключают этот сайт без разговоров. Местечковый провайдер всего за 1,5 часа с момента выполнения всех инструкций клиентом, обеспечил вновь его нормальную работу.
17 / 2
Антон
12:27, 10.03.2011
Почему-то Вы очень однобоко излагаете ситуацию, игнорируя множество фактов. Придется восполнить пробелы для полноты картины.

1. Ваш сайт размещался на тарифе shared-хостинга. Этот тариф не предполагает предоставление выделенного IP, что является необходимым условием для успешной фильтрации трафика. Кроме того, этот тариф, в соответствии с договором, предполагает, что в случае монополизации ресурсов севера, а посещаемость в кол-ве 28 млн хитов за 2 часа или чуть более 3000 хитон в секунду для этого тарифа - это монополизация ресурсов, так вот в случае монополизации ресурсов аккаунт отключается. Это написано прямо в договоре.

2. Мы успешно отфильтровали трафик, ведь кроме вашего сайта ни один другой на этом сервере не пострадал. Вообще.

3. Но мы не отключили ваш аккаунт. Вместо этого мы написали вам письмо с описанием проблемы, а так же подробно описали путь ее решения для восстановления работы сайта. А именно, вам надо было написать заявку на переход на VDS, чтобы был выделенный IP, а затем обратиться в компанию, которая БЕСПЛАТНО отфильтрует ваш трафик, выдаст вам инструкцию, которую вы перешлете нам и мы вам все настроим. Инструкцию нам вы прислали в 3:08 утра 15:08. Заявка на переход на VDS пришла в 13:36. Спустя 1,5 часа, в 15:07 Вам написали что заявка выполнена и перенос произведен. Опять же, полностью бесплатно. Вы считаете, что 1,5 часа на поднятие пустого VDS с нуля и перенос на него всех данных это много? Я уверен, что большинство читающих эти строки за такое время с такой задачей не справятся.

Причем, до того, как была написана эта заявка, в течение всего утра 7го числа от вас к нам звонило независимо друг от друга 4 разных человека и все задавали одни и те же вопросы, причем некоторые задавали их в весьма неприятном тоне, как будто это мы виноваты, что кто-то устроил атаку на ваш сайт. И все это вместо того, чтобы написать заявку, как было написано в инструкции, которая была отправлена еще до полуночи.

Про смену IP на 127.0.0.1 вам так же было написано в самом первом письме с инструкциями и там же было написано для чего мы это сделали. Цитата:

К сожалению, для сохранения работоспособности сервера, где кроме вашего сайта размещаются сайты других наших клиентов, мы были вынуждены заблокировать доступ к вашему сайту а также изменить DNS-запись домена ******.ru так, чтобы она указывала на ip-адрес 127.0.0.1, с целью снизить объём поступающих на сервер запросов.

что при этом делаете вы: вы меняете ip-адрес обратно, вероятно считая что это лучший способ ускорить решение проблемы.

Что касается отсутствия доступа по ftp и т.п: никакой доступ не отключался. Если вы заходите на свой ftp/ssh не по адресу uXXXXX.netangels.ru, как написано в инструкции, а по адресу domain.ru, который уже указывает на 127.0.0.1, то естественно, что доступа у вас нет.

Итог следующий: если это такой способ сказать "спасибо" за то, что не смотря на ddos ваш сайт продолжил работу в довольно короткий срок, то конечно всегда пожалуйста.

Сообщение изменено: поправлено время

[Сообщение изменено пользователем 10.03.2011 15:03]
51 / 2
_Nic
12:48, 10.03.2011
От пользователя Антон™
Если вы заходите на свой ftp/ssh не по адресу uXXXXX.netangels.ru, как написано в инструкции, а по адресу domain.ru, который уже указывает на 127.0.0.1, то естественно, что доступа у вас нет.

все настроено по инструкции на uXXXXX.netangels.ru, 6го доступ был, потом после выключения сайта, соединяться перестало.
0 / 5
Антон
12:53, 10.03.2011
Повторю еще раз: все что было сделано нами, это ip-адрес для www.***.ru и для ***.ru был заменен на 127.0.0.1. Более ничего не блокировалось и не отключалось. В панели управления есть логи, Вы можете зайти и посмотреть весь перечень всех действий своих и наших администраторов.
4 / 0
От пользователя _Nic
На просьбы предоставить доступ по ФТП и к базе(так как важна была актуальная информация из базы) был ПОЧЕМУ-ТО получен отказ, точнее как бы просили подождать некоторое время, потом до утра, потом первой половины дня. Непонятно, почему нам нельзя было просто забрать свои же данные.


От пользователя Антон™
Что касается отсутствия доступа по ftp и т.п: никакой доступ не отключался

Показания расходятся.
0
_Nic
13:06, 10.03.2011
От пользователя Антон™
1. Ваш сайт размещался на тарифе shared-хостинга. Этот тариф не предполагает предоставление выделенного IP, что является необходимым условием для успешной фильтрации трафика.


От пользователя Антон™
2. Мы успешно отфильтровали трафик, ведь кроме вашего сайта ни один другой на этом сервере не пострадал. Вообще.


Взаимоисключающие параграфы? Ну про шаред, как бы и так понятно, написал же
От пользователя _Nic
Ну как бы и ладно.


От пользователя Антон™
Причем, до того, как была написана эта заявка, в течение всего утра 7го числа от вас к нам звонило независимо друг от друга 4 разных человека и все задавали одни и те же вопросы,

Ну, видимо, очень внятная инструкция по переходу на VDS исходила от суппорта, что 4 человека её осилили только к 13:36 ;-)
1 / 12
_Nic
13:09, 10.03.2011
От пользователя Зуев-Халупин
Показания расходятся.

По факту из конвекса ни через фтп-клиента, ни через putty, уже настроенные и неоднократно используемые было не достучаться, мускул через веб был тоже недоступен.
Я так понимаю, что у хостера логи подробнее чем в панели и он сможет установить почему данные соединения получили отлуп.
0 / 2
Антон
13:17, 10.03.2011
От пользователя _Nic
Взаимоисключающие параграфы? Ну про шаред, как бы и так понятно, написал же

Не вижу никакого взаимоисключения. Наша задача обеспечить бесперебойную работу сервера. Мы ее обеспечили. При этом у нас нет задачи обеспечить бесперебойную работу вашего сайта на shared'е. Мы отфильтровали весь трафик, который шел на ваш сайт, тем самым не пропустив ddos на сервер, когда упал бы не только ваш сайт, а еще более 1000 других.

От пользователя _Nic
Ну, видимо, очень внятная инструкция по переходу на VDS исходила от суппорта, что 4 человека её осилили только к 13:36

Я могу процитировать письмо целиком. Там вполне понятно написано что сайт может продолжить работать только на VDS. Я так же могу поднять запись телефонных разговоров. Вы уверены что хотите все это в форуме увидеть?
10 / 0
От пользователя _Nic
По факту из конвекса ни через фтп-клиента, ни через putty, уже настроенные и неоднократно используемые было не достучаться, мускул через веб был тоже недоступен.

Ну, это вполне похоже на то, что туда были вбиты адреса домена 2 уровня, который завернули на 127.0.0.1.
6 / 0
_Nic
13:24, 10.03.2011
От пользователя Зуев-Халупин
Ну, это вполне похоже на то, что туда были вбиты адреса домена 2 уровня

Нет.

От пользователя Антон™
Вы уверены что хотите все это в форуме увидеть?

Пока интереснее про доступ по фтп :-)
0 / 6
Антон
13:27, 10.03.2011
От пользователя _Nic
По факту из конвекса ни через фтп-клиента, ни через putty, уже настроенные и неоднократно используемые было не достучаться, мускул через веб был тоже недоступен.
Я так понимаю, что у хостера логи подробнее чем в панели и он сможет установить почему данные соединения получили отлуп.

Гм.
Исходник:
be3:/home/uXXXXX# last | grep uXXXXX
uXXXXX   pts/8        ****.convex.ru    Sun Mar  6 19:45 - 00:30  (04:45)    

В логах ftp никаких попыток соединений после 19 часов 6го марта я не нашел.
3 / 0
Антон
15:01, 10.03.2011
Так, оказывается я не туда посмотрел, когда написал
От пользователя Антон™
Инструкцию нам вы прислали в 3:08 утра,

Это было не 3:08 утра, а 15:08 дня (блин, кто придумал показывать в формате am/pm время в панели управления)
То есть мы инструкции по настройке фильтрации от ddos получили ПОСЛЕ того, как VDS уже был настроен. Так во всей этой истории главным тормозным фактором были вообще не мы.


И все таки мне остался не понятным вот какой момент:
От пользователя _Nic
На просьбы предоставить доступ по ФТП и к базе(так как важна была актуальная информация из базы) был ПОЧЕМУ-ТО получен отказ, точнее как бы просили подождать некоторое время, потом до утра, потом первой половины дня.

Я не нашел письменных обращений в СТП по этому поводу. Если Вы звонили по телефону в период с 00 часов по 09 утра 7го марта, то уточните, пожалуйста, примерное время Ваших звонков. Потому что не понятно кто и почему сказал что доступ будет только утром, учитывая что он был все время.
4 / 0
_Nic
22:43, 10.03.2011
От пользователя Антон™
звонили по телефону в период с 00 часов по 09 утра 7го марта

Да, были звонки по поводу предоставления доступа по фтп и к базе в период с 00 до 02 часов, точнее время, к сожалению, не установить. Поэтому удивительно, что поддержка не отреагировала на указанные проблемы с доступом, раз, как заявляется, он был.
Реально VDS в понятной форме был предложен утром 7го, сменившим предыдущего специалистом, так что письмо, с подробными инструкциями можно и процитировать здесь, раз оно ускользнуло из нашего внимания (если было)
0 / 2
deployer
23:12, 10.03.2011
кто-то вату катает, лень вникать потом напишите в двух словах :-D
2 / 1
Антон
00:09, 11.03.2011
От пользователя _Nic
раз, как заявляется, он был.

Учитывая что я выше привел выдержку из lastlog сервера, где видно что ssh-сессия была открыта аж до 00:30, по-прежнему заявлять что его не было уже кажется странным.
От пользователя _Nic
Реально VDS в понятной форме был предложен утром 7го, сменившим предыдущего специалистом, так что письмо, с подробными инструкциями можно и процитировать здесь, раз оно ускользнуло из нашего внимания (если было)

Я уже цитировал часть этого письма, цитирую целиком (отправлено еще 6го числа
Сегодня, приблизительно в 18:30, на ваш сайт ***.ru началась DDoS-атака (denial of service), выглядящая как чрезвычайно большое количество обращений к сайту. Частота обращений составляет более 3000 обращений в секунду с сотен различных ip-адресов. К сожалению, для сохранения работоспособности сервера, где кроме вашего сайта размещаются сайты других наших клиентов, мы были вынуждены заблокировать доступ к вашему сайту а также изменить DNS-запись домена ***.ru так, чтобы она указывала на ip-адрес 127.0.0.1, с целью снизить объём поступающих на сервер запросов.

В подобных ситуациях мы рекомендуем клиенту переход на тарифный план VDS, где поток запросов на их сайты не влияет на работоспособность сайтов других клиентов. Кроме этого, вам также имеет смысл обратиться в какую-либо компанию, профессионально оказывающую услуги защиты от DDoS-атак. По нашему опыту, некоторые наши клиенты успешно сотрудничали с компанией highloadlab (http://highloadlab.ru), которые оказывают услуги по фильтрации (проксированию) трафика на атакуемые сайты, блокируя паразитные обращения и пропуская на оборудование хостинга только нормальные запросы.

К сожалению, в силу специфики необходимых для этого настроек, даже с подобной фильтрацией трафика сайт возможно запустить только на тарифном плане VDS -- по крайней мере, на время, пока на сайт идёт атака. Судя по вашему текущему тарифному плану, для нормальной работы сайта (без учёта DDoS) достаточно будет тарифа VDS-256, если вы воспользуетесь услугами какого-либо сервиса для фильтрации паразитных запросов DDoS, то размещения сайта на этом тарифном плане будет достаточно для возобновления его работы.

Письмо было отправлено на контактный e-mail, указанный в панели.
0
_Nic
09:21, 11.03.2011
От пользователя Антон™
цитирую целиком

Это и есть подробная инструкция и предложение выслать инструкцию по настройке на сервис защиты от атаки?

От пользователя Антон™
была открыта аж до 00:30
Только эта сессия "зависла" в конце, не реагировала ни на какие действия, реконнект был безуспешным :-(
1 / 2
От пользователя _Nic
Только эта сессия "зависла" в конце, не реагировала ни на какие действия, реконнект был безуспешным :-(

Это как бы намекает на iptables :-)

От пользователя _Nic
странное поведение техподдежрки

Если уж блокировать доступ файрволом, то можно было веб-сервером ограничиться. Или там какая-то автоматизация, и в ней это не предусмотрено?

[Сообщение изменено пользователем 11.03.2011 09:35]
3 / 0
Антон
10:42, 11.03.2011
От пользователя _Nic
Это и есть подробная инструкция и предложение выслать инструкцию по настройке на сервис защиты от атаки?

А нужна еще более подробная инструкция? Типа "откройте браузер, напишите в адресной строке www.highloadlab.ru, прочитайте текст на открывшейся странице"? Так то еще ваши люди звонили по телефону и им устно более подробно разжевывали.

От пользователя Зуев-Халупин
Это как бы намекает на iptables

Или на проблемы с провайдером
0
Антон
10:44, 11.03.2011
От пользователя Зуев-Халупин
Если уж блокировать доступ файрволом

Вот подумай головой: есть сервер shared. У него один общий для всех клиентов IP. Есть идея как в таком случае можно забанить одного клиента, чтобы у него доступа к серверу вообще не было, а всех остальных клиентов при этом не банить? У меня нет. Это надо ДО установления соединения угадать кто именно ломится. ipt_telepathy.ko разве что какой-нить? :-D
4 / 0
От пользователя Антон™
Или на проблемы с провайдером

Конечно, нельзя исключить, что одновременно с DDoSом между конвексом и вами внезапно сломался канал, а к утру починился, и при этом техподдержка говорила что-то похожее на отказ разблокировать. Но на основную гипотезу не тянет.

От пользователя Антон™
Есть идея как в таком случае можно забанить одного клиента, чтобы у него доступа к серверу вообще не было, а всех остальных клиентов при этом не банить? У меня нет. Это надо ДО установления соединения угадать кто именно ломится. ipt_telepathy.ko разве что какой-нить? :-D

iptables -I INPUT -s адрес клиента (конвексовский) -j DENY

Вроде бы как-то так в этом вашем люнексе.

Но тут возникает вопрос "зачем".

[Сообщение изменено пользователем 11.03.2011 11:16]
2 / 1
Антон
11:16, 11.03.2011
От пользователя Зуев-Халупин
Но тут возникает вопрос "зачем".

Вот именно, незачем. Более того,
От пользователя Зуев-Халупин
адрес клиента (конвексовский)

а что, у клиента один единственный адрес с которого он может подключиться и мы об этом совершенно точно знаем? Все-таки mod_telepathy?
2 / 1
Авторизуйтесь, чтобы принять участие в дискуссии.