robots.txt перенаправляет на страницу по умолчанию
Привет,
Обычно, если я набираю в адресной строке «oneofmysites.com/robots.txt», любой браузер будет отображать содержимое robots.txt. Как видите, это довольно стандартное поведение .
У меня есть только один веб-сервер, которого нет. Вместо этого robots.txt выполняет перенаправление на веб-страницу по умолчанию (т. Е. Thesiteinquestion.com/). Это заметное различие (только одно из семи сайтов) меня беспокоит.
Вопросы: Это повод для беспокойства? Если да, то какова вероятная ошибка, которую я упускаю?
Примечания:
- Это единственный сайт с отдельным поставщиком услуг, который я использовать.
- CentOS версии 6.10 (окончательная)
- Webmin
- права доступа к файлу robots.txt 644
В зависимости от конфигурации сервера, .txt файлы могут быть запрещены. Возможно, что где-то в конфигурационном файле или в каком-то .htaccess есть правило, которое определяет, не соответствует ли url определенному шаблону (например, .html, .php, .htm и т.д.), а затем перенаправляет остальные на индексную страницу web-корня.
.Чтобы добавить немного информации, веб-провайдер вовсе не вынужден соблюдать стандарт robots.txt, таким образом, может делать с ним все, что захочет, и, как сказал Серж, его можно перенаправить куда угодно
. Кроулер должен прочитать robots.txt и следовать его ограничениям, но веб-сервер не может этого сделать.
.htaccess (или файл подтверждения сервера) может быть использован для исключения гусениц, которые не соответствуют требованиям, если вы знаете, кто они.