Как избежать отправки электронных писем поисковому роботу Google
На моем веб-сайте есть раздел, доступ к которому ограничен для пользователей, зарегистрировавшихся с действительным адресом электронной почты. У меня есть запросы с поддельными электронными письмами, и я не хочу отправлять электронные письма на несуществующие -адреса, чтобы они не увеличили показатель отказов и не навредили моей репутации отправителей.
Электронные письма:
kwqchvznypecdv@hnwbkfod.my
kwqchvzny.pecdv@hnwbk.fod
kWQcHVzn%40ypEcDvh.NwB
В последнем есть %40, объект HTML для @. Электронные письма представляют собой усечения одной и той же последовательности символов.
Проверка IP-адресов запросов с обратным DNS, все три запроса исходят от cache.google.com. Если запросы исходят от поискового робота Google, я ожидаю, что эти адреса электронной почты будут задокументированы, но я не смог найти никаких ссылок.
Если это поисковый робот Google, я хочу, чтобы он проиндексировал веб-сайт, избегая при этом отправки адресов электронной почты на поддельные адреса. Я уже реализовал фильтрацию по адресу в поисках этой последовательности символов.
Существует ли список поддельных адресов, которые поисковые роботы используют для получения доступа и индексации скрытых страниц?
Обновление
После ответа и комментария, указывающего на подтверждение того, что Googlebot является поисковым роботом , я подтвердил, что это не так:
$ host 212.113.167.197
197.167.113.212.in-addr.arpa domain name pointer cache.google.com.
$ host cache.google.com
Host cache.google.com not found: 3(NXDOMAIN)
Таким образом, это действительно выглядит как злонамеренный пользователь, что объясняет, почему этот адрес электронной почты не задокументирован как исходящий от Google.
Проверка IP-адреса запросов с обратным DNS, все три запроса исходят от
cache.google.com.
При выполнении обратного просмотра не забудьте проверить, указывает ли прямой поиск имени хоста на исследуемый IP-адрес -.
> host 66.249.66.1
1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.
> host crawl-66-249-66-1.googlebot.com
crawl-66-249-66-1.googlebot.com has address 66.249.66.1
Когда обратная и прямая записи DNS совпадают, как в этом примере, можно доверять этому. В противном случае у вас может быть неаккуратный администратор или пример попытки злоумышленника скрыть свое происхождение.
Используйте запрос Whois для IP-адреса -, а не обратный поиск DNS, чтобы определить владельца при расследовании злоупотреблений.
Что бы ни разрешала обратная DNS-запись, особенно IP-адрес -злоумышленника, это не всегда достоверная информация.
Обратите внимание, что владелец диапазона IP-адресов -может установить любое значение для обратных записей DNS. Нет никаких ограничений в том, что они могут использовать только имена хостов, которыми они владеют, а также нет каких-либо присущих им технических ограничений, согласно которым обратная запись DNS должна совпадать с прямой записью DNS.
(Хотя большинство добросовестных провайдеров пытаются обеспечить это, когда они позволяют своим клиентам настраивать настраиваемые записи обратного DNS на общедоступном -IP-адресе, который они используют.)
Создание фальшивой обратной DNS-записи — это уловка из арсенала, которую некоторые злоумышленники могут использовать, чтобы скрыть свои следы и/или выглядеть более безобидно при попытке обойти контроль доступа.