3
ответа
AH01797: клиент отклонен конфигурацией сервера:/usr/share/doc
С тех пор долгое время (более чем месяц теперь) я вижу строки как следующее в апачских журналах: 180.76.15.138 - [24/Jun/2015:16:13:34 - 0400] "ПОЛУЧАЮТ /manual/de/mod/module-dict.html HTTP/1.1" 403 396 "-" "...
вопрос задан: 23 May 2017 15:41
3
ответа
пример хоста DNS fail2ban ignoreip?
Я хотел бы добавить ".googlebot.com" к игнорированию iplist для fail2ban, так как ignoreip объяснение упоминает хост DNS как принятый вход. Действительно ли это - соответствующий формат? # "ignoreip" может быть IP...
вопрос задан: 13 December 2013 06:34
2
ответа
Буду ли я блокировать IP-адрес какой-либо службы, связанной с Google?
На своих сайтах я создал сценарий, который отправляет мне электронное письмо каждый раз, когда новый IP-адрес, утверждающий, что это Google, посещает сайт.
Когда Я вижу электронное письмо, которое я иду, чтобы проверить (например, на whois.com), если э
вопрос задан: 23 April 2021 01:04
2
ответа
блокировать поддельных ботов Google [дубликат]
Как я могу заблокировать DDOS-атаки с помощью поддельных ботов Google? Я нашел в сети 2 решения. Но оба, похоже, также блокируют правильных ботов Google. # Блокировать поддельный Google, если он не исходит из диапазона их IP-адресов ...
вопрос задан: 2 November 2015 21:22
2
ответа
Страницы запроса Googlebot 1 сайта на другом сайте
Проблема: Используя Prerender.io для индексирования/хранившего страниц одного сайта я продолжаю добираться, путь запрашивает, чтобы только существовали на моем старом Примере сайта: на Предварительном рендеринге я буду видеть, что тот Googlebot запросил h
вопрос задан: 15 May 2015 14:17
1
ответ
Googelbot находит мой исходный URI, хотя у меня есть рабочая директива перезаписи [closed]
У меня есть: RewriteRule ^ Article / ([^ /] *) $ / article. php? newsid = $ 1 [L] Это означает, что URL должен быть //example.com/Article/855563
, но Google сканирует //example.com/article.php?newsid=855563.{{1} } Есть ...
вопрос задан: 15 March 2019 01:43
1
ответ
Apache: с соединениями Googlebot единственный процесс берет всю память сервера
После https://serverfault.com/questions/418735/unbelievable-issue-a-single-apache-process-takes-4-gb-of-memory я отправляю как новый вопрос, потому что я смог определить то, что это происходит когда...
вопрос задан: 13 April 2017 15:14
1
ответ
Заблокировать googlebot на определенной странице с помощью nginx
В настоящее время мы сканируем с большей скоростью, чем мы можем справиться. Кажется, я не могу заставить nginx блокировать сервер googlebot {location /ajax/sse.php {if ($ http_user_agent ~ * "Mozilla / 5 ....
вопрос задан: 23 March 2017 20:33
1
ответ
Как предотвратить Google Favicon бот, чтобы позвонить на мой сайт?
У меня есть URL-адрес серверной части, который я использую только для себя в Google Chrome. Это не публично. Однако по какой-то причине этот IP-адрес бота «Google Favicon», расположенный в Google, вызывает этот URL-адрес, который мне не нужен. Мой ...
вопрос задан: 20 April 2016 06:54
1
ответ
Конфигурация Apache VirtualHost не будет согласована
I имеют следующую конфигурацию, в которой Varnish действует как кэш между конечной точкой, обращенной извне (NGINX), и Apache. + ------- + + ------- + + ------ + с Varnish, действующим как кеш между конечной точкой, обращенной извне (NGINX), и Apache. +
вопрос задан: 7 April 2016 23:37
1
ответ
Разрешить Google обходить брандмауэр Nginx
Итак, я ищу систему, которая по существу возвращает 401 для каждого посетителя, который этого не делает. У меня есть определенный файл cookie. Я хотел бы сделать так, чтобы если посетитель / запрашивающий - это google, он не возвращает ...
вопрос задан: 24 February 2016 02:54
1
ответ
Веб-сайт перемещен на новый сервер - обновлен DNS - поисковые роботы по-прежнему обращаются к старому сайту по IP
Около десяти дней назад я переместил сайт - в основном доску обсуждений Joomla - на новый сервер с другим IP-адресом. Во время короткого запланированного простоя я реплицировал контент и завершил DNS ...
вопрос задан: 18 November 2015 22:26
1
ответ
Бот Google не может считать мой веб-сайт
Я получаю время от времени сообщение из бота Google, что он не может получить доступ к моему веб-сайту. За прошлые 24 часа Googlebot встретился с 1 ошибкой при попытке получить информацию DNS...
вопрос задан: 2 November 2015 15:07
1
ответ
Проблема с фильтрацией googlebot из журнала доступа apache
Хотя кажется, что это должно быть довольно просто, мне не удалось настроить apache так, чтобы запросы googlebot не сохранялись в журнале доступа. Я пробовал следующие строки: ...
вопрос задан: 7 April 2015 15:42
1
ответ
Как Google Can I Encourage для сканирования Нового Файла robots.txt?
Я просто обновил свой файл robots.txt на новом сайте; Google Webmaster Tools сообщает, что прочитал мой robots.txt за 2 дня до моего последнего обновления. мой последний robots.txt имел, "запретите: все" сырые данные. Есть ли любой путь I...
вопрос задан: 4 August 2014 21:30
1
ответ
Google-бот запускает совершенно нормальный файл robots.txt, а затем несуществующий файл robots.txt [дубликат]
У меня есть два доменных имени, указывающих на один и тот же виртуальный сервер. Один из них, http://ilarikaila.com, - это рабочий сайт с брошюрами, который я сделал для друга. Я использовал другой, http://teemuleisti.com, чтобы ...
вопрос задан: 15 May 2014 12:02
1
ответ
Почему googlebot запрашивает robots.txt с моего сервера SSH?
Я выполняю ossec на своем сервере, и периодически я получаю предупреждение как это: Полученный Из: Правило myserver->/var/log/auth.log: 5 701 запущенный (уровень 8)-> "Возможное нападение на ssh сервер (или версия...
вопрос задан: 19 November 2013 21:46
1
ответ
Наклон Googlebot получает доступ к моему ответу инструментов веб-мастера сайта Недостижимый robots.txt
Когда я пытаюсь выбрать свой сайт, поскольку googlebot в веб-мастере оснащает его, возвращают Недостижимый robots.txt, после того, как занимаются расследованиями, я понял, что бот Google видит мой сервер: tcpdump | grep возвраты google It это...
вопрос задан: 27 October 2013 15:57
1
ответ
Бот Google влюбился в мои 404 страницы
Каждый день мой журнал доступа смотрит вид этого: 66.249.78.140 - [21/Oct/2013:14:37:00 +0200] "ПОЛУЧАЮТ /robots.txt HTTP/1.1" 200 112 "-" "Mozilla/5.0 (совместимый; Googlebot/2.1; +http://www.google.com/bot....
вопрос задан: 22 October 2013 01:21
1
ответ
Nginx Googlebot переписывают правила, переставшие работать с 404
Наш сайт на основе Углового, который делает его почти полностью JavaScript базирующийся, поэтому мы должны служить статическим снимкам HTML Googlebot для него для проверки нас. В данный момент мы имеем...
вопрос задан: 26 July 2013 17:45
1
ответ
апачи переписывают синтаксис
Попытка заблокировать бота Google и других от доступа к некоторым моим сайтам. Вещь, у меня есть одно поле, которое имеет тонну виртуальных файлов хоста, которые делают не что иное как делают передачу прокси в другие серверы. Я был бы...
вопрос задан: 20 March 2013 17:53
1
ответ
Идентификатор страницы постепенного увеличения Googlebot
Таким образом, вот пример хита, я добираюсь от googlebot: 66.249.73.171 - [19/Feb/2013:16:12:39 - 0500] "ДОБИРАЮТСЯ/eghm-blah.php? pid=2855 HTTP/1.1" 200 1684 "-" "Mozilla/5.0 (совместимый; Googlebot/2....
вопрос задан: 19 February 2013 23:21
1
ответ
Googlebot неоднократно ищет файлы, которые не находятся на моем сервере
Я размещаю сайт для волонтерской организации. Я переместил сайт в WordPress, но это был не всегда тот путь. Я подозреваю однажды, что это было взломано плохо. Мой файл регистрации ошибок Apache вырос до...
вопрос задан: 13 November 2012 04:51
1
ответ
Как зафиксировать googlebot Возможность соединения Сервера
Я получаю 'ошибку' Возможности соединения Сервера в инструменте веб-мастера Google. Я подозреваю, что это из-за правил iptables, что я установил для противостояния некоторым DDos-атакам, thugh я не уверен, какие правила могли быть релевантными. Это...
вопрос задан: 24 July 2012 01:06