Итак, я ищу систему, которая по существу возвращает 401 для каждого посетителя, который не У меня есть определенный файл cookie. Я хотел бы сделать так, чтобы если посетитель / запрашивающий был Google, он не возвращал 401.
Итак, вот следующий код, который у меня есть, и он, похоже, не работает, но я не уверен, почему.
По сути, я прошу его проверить cookie, а затем проверить, не Google ли это, через пользовательские агенты.
Если оба верны, он вернет 401.
Вероятно, Google все еще остается получение 401, когда я получаю свой веб-сайт с помощью инструментов веб-мастера.
Это называется маскировкой, и ваш сайт будет исключен из списка Google, если они поймают вас на этом.
https://support.google.com/webmasters/answer/66355?hl = ru
Маскировка - это практика представления различного контента или URL-адресов пользователям-людям и поисковым системам. Маскировка считается нарушением рекомендаций Google для веб-мастеров, поскольку она дает нашим пользователям результаты, отличные от их ожиданий.