Вопросы Теги

Странные поддомены в журнале доступа? [закрыто]

У меня Lighttpd установлен на сервере Ubuntu. Я только что проверил логи доступа от lighttpd для определенного домена. В этом домене есть только очень простой файл index.html , в котором написано «скоро». Ниже приведены 10 самых последних. Я этого не совсем понимаю. Почему боты поисковых систем пытаются использовать эти странные субдомены и URL-адреса? Я обнаружил, что следующие боты делают странные вещи: mail.ru, bing, baidu. Google и Yahoo не найдены в журналах. Я изменил домен на example.com , конечно, чтобы защитить его. 

217.69.133.239 power-steering-pump-ford.example.com - [31/Dec/2014:05:17:37 -0500] "GET /robots.txt HTTP/1.1" 404 345 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
217.69.133.240 power-steering-pump-ford.example.com - [31/Dec/2014:05:17:39 -0500] "GET /bedroom-boy-furniture-quality.html/ HTTP/1.1" 404 345 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
217.69.133.238 power-steering-pump-ford.example.com - [31/Dec/2014:05:17:44 -0500] "GET /10-car-hottest-top.html/ HTTP/1.1" 404 345 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
157.55.39.173 best-mixed-drink-recipes.example.com - [31/Dec/2014:05:26:43 -0500] "GET / HTTP/1.1" 200 187 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
217.69.133.234 cannon-printer-model-mp450.example.com - [31/Dec/2014:05:31:49 -0500] "GET /robots.txt HTTP/1.1" 404 345 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
217.69.133.240 cannon-printer-model-mp450.example.com - [31/Dec/2014:05:31:50 -0500] "GET / HTTP/1.1" 200 187 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
217.69.133.240 smart-car-bike-rack.example.com - [31/Dec/2014:05:31:52 -0500] "GET /robots.txt HTTP/1.1" 404 345 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
217.69.133.238 smart-car-bike-rack.example.com - [31/Dec/2014:05:31:54 -0500] "GET / HTTP/1.1" 200 187 "-" "Mozilla/5.0 (compatible; Linux x86_64; Mail.RU_Bot/2.0; +http://go.mail.ru/help/robots)"
202.46.53.179 winter-clothing-for-kids.example.com - [31/Dec/2014:05:52:05 -0500] "GET / HTTP/1.1" 200 230 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"
180.76.4.195 winter-clothing-for-kids.example.com - [31/Dec/2014:05:52:47 -0500] "GET / HTTP/1.1" 200 230 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"
-1
задан 16 March 2015 в 21:05
1 ответ

Эта проблема, по-видимому, просто вызвана обратными ссылками из того времени, когда домен ранее принадлежал. Проблема, кажется, усугубляется, потому что мой сервер настроен так, что любой поддомен возвращает 200 (без ошибок).

Чтобы решить эту проблему. Я изменю конфигурацию, чтобы ошибочные поддомены возвращали 404 и, возможно, сообщали о ложных ссылках поисковым системам, которые их проиндексировали.

Извините за использование ServerFault в качестве резиновой утки и спасибо за ваши отрицательные голоса.

1
ответ дан 5 December 2019 в 19:54

Теги

Похожие вопросы