Бот перенаправляется на Google.com, когда запрашивает Myspace.com… что? [закрыто]

впервые на Serverfault.

У меня проблема с подключением к Myspace.com через мой сервер. Я использовал механизацию через Python для запуска бота (не для спама, поиска информации о музыкантах) на различных веб-сайтах. Он работал на моем сервере в течение нескольких недель, но где-то в последние пару дней Myspace, похоже, начал перенаправлять меня на Google.com (?), И когда я пингую их, я получаю адрес, который возвращает 403 в моем браузере:

64 bytes from 63.135.80.224: icmp_seq=1 ttl=242 time=31.6 ms
64 bytes from 63.135.80.224: icmp_seq=2 ttl=242 time=31.5 ms
64 bytes from 63.135.80.224: icmp_seq=3 ttl=242 time=31.6 ms

Честно говоря, мой бот игнорировал robots.txt и притворялся пользователем Mac, переодевшись в собственный пользовательский агент. Я подумал, что это не было неэтично, так как я вообще не занимаюсь спамом.

Просто ради удовольствия я запустил Mechanize с агентом пользователя Googlebot 2.1, чтобы попытаться очень быстро подключиться к Myspace.com, и также получил обратно Google.com. Теперь, когда я пингую его после этого, другой адрес, но также и ошибка 403:

64 bytes from 216.178.46.224: icmp_seq=1 ttl=243 time=37.1 ms
64 bytes from 216.178.46.224: icmp_seq=2 ttl=243 time=37.5 ms
64 bytes from 216.178.46.224: icmp_seq=3 ttl=243 time=37.3 ms

Итак, логика подсказывает мне, что они заблокировали меня.Мне интересно, есть ли способ решения этой проблемы. И если да, то почему они перенаправляют меня в Google?

Я также читал, что у других это происходило в результате некоторых временных проблем с DNS с географической привязкой. Кажется вероятным, поскольку у обеих компаний очень много серверов. У моего бота нет проблем с запуском локально с моего компьютера. Возможно?

Изменить: Если это актуально, он не бегает слишком часто, особенно в последние несколько дней. У меня не было его в расписании, так как я все еще его развиваю. Было два случая, когда я бегал с ним в течение часа или около того без перерыва, ни один из них не был на прошлой неделе, и у меня не было этой проблемы. Вроде только что возникла.

-4
задан 5 January 2012 в 14:35
1 ответ

Чтобы ответить на ваш вопрос, сеть, которой вы злоупотребляете (Myspace в этом примере), защищает себя, перенаправляя ваши атаки на сторонний веб-сайт, который может легко обрабатывать трафик.

Автоматическая инструмент, похожий на snort, обнаружил вашу активность. Все крупные сети занимаются таким мониторингом. Типичный ответ - просто заблокировать ваш трафик (это то, что делает мой мониторинг). Но простое перенаправление трафика на другой сайт также было бы разумным ответом, и возвращение кода ошибки 403, по-видимому, является их вежливым способом сказать вам, чтобы вы ушли.

4
ответ дан 5 December 2019 в 22:06

Теги

Похожие вопросы