Необъясненный скачок в веб-трафике

Память является более легкой проблемой для управления (так как можно выделить ее базам данных), чем нападение, которое два из них положат на дисковом массиве. Если Вы собираетесь согнуть на одном сервере, удостоверьтесь, что Вы выделяете их так, они вытягивают от массивов отдельного диска. Иначе, когда они используют свои временные файлы для сортировки и больших запросов, Вы будете видеть тонну вращающих дисков.
Также удостоверьтесь, что Вы оставляете достаточно пространства в памяти не выделенным базам данных. Вашей операционной системе будет нужно некоторое место дыхания для всех других двоичных файлов, которые выполняются, которые не включены в базу данных выделенное пространство. Если Вы не сделаете то Вы будете время от времени видеть панику диспетчера памяти операционных систем и переключаться от стандартного свопинга страницы в кражу страницы.

0
задан 19 December 2009 в 03:16
2 ответа

неясно, что Вы проверяли с помощью ping-запросов/прослеживали и от где. Но если это было транзитным участком в середине вывода traceroute, то спрыгните с 190 мс к 1 600 мс, вероятно, означает перегрузку сети. Если это коррелирует к Вашему событию и переключению пути маршрутизации, возможно, что часть Вашей сети поставщиков подверглась нападению включая Ваш сервер.

Нет никакого единого решения Вашей проблемы. Существует много инструментов и подходов, как Бойскаут, Представление ведущих идей, Новый Пережиток, Nagios, и т.д. Все это зависит. Независимо от того, что Вы решаете сделать, просто не забывайте одну вещь, что, если Вы контролируете, что-то на сервере и с того сервера и того сервера становится недоступным, Вы освобождаете любые средства уведомить себя, что это снижается :)

2
ответ дан 4 December 2019 в 13:11

Я бы посмотрел, не исходят ли соединения от какого-нибудь поискового робота. Произошел всплеск количества подключений, исходящих от таких приложений, как http://www.majestic12.co.uk/

Эта конкретная служба действует как SETI @ Home или Folding @ Home и объединяет сканированные данные из распределенных пользователей обратно в центральное место. Majestic12 использует следующие браузерные агенты: http://www.majestic12.co.uk/projects/dsearch/mj12bot.php

Majestic, однако, следует правилам, настроенным в robots.txt, поэтому вы можете заблокировать это от сканирования вашего сайта, и есть также похожие поисковые роботы, которые работают в этом распределенном режиме.

Чтобы определить, было ли это так, вы можете посмотреть свои веб-журналы, чтобы попытаться определить пользовательский агент, с которым было установлено соединение . Хотя об этом не всегда сообщается правильно, он должен указывать и указывать, действительно ли трафик исходит от какого-то бота.

Если вы обнаруживаете, что соединения действительно исходили от какого-то веб-краулера, вы пытаетесь ограничить доступ к нему. с помощью файла robots.txt. Если все они поступили от определенного пользовательского агента, вы просите их не сканировать ваш сайт с помощью чего-то похожего на файл ниже.

Пользовательский агент: MJ12bot (или другой сканер)

Запретить: /

1
ответ дан 4 December 2019 в 13:11

Теги

Похожие вопросы