Что происходит, если веб-сайт не имеет файла robots.txt?
Существует ли причина, это должен быть один из тех двух? Оба являются относительно сформировавшимися. Но это зависит от приложения, таким образом, необходимо было бы на самом деле установить и настроить их с рассматриваемым приложением для наблюдения то, что производительность и совместимость для каждого. Моно может выполнить просто целую и невредимую легкую рыбачью плоскодонку для большинства вещей, но Ваше приложение может иметь тот один бит функциональности или найти, что один незначительный сбой, который внезапно заставляет его проверить или отказать. Так же для Вина.
Я исследовал бы виртуализацию как возможное решение также; запущение приложения в Virtualbox на рабочей станции или VMware, которого ESXI или Xen в соответствующих системах в "собственной" среде гарантируют совместимости (если это - приложение рабочей станции, Вы могли бы даже выполнить его в бесшовном режиме, таким образом, это похоже просто на другое приложение).
Если можно дать некоторый фон на рассматриваемом приложении, это может помочь.
Цель a robots.txt файл должен не допустить поисковые роботы в определенные части Вашего веб-сайта. Не наличие того должно привести ко всему Вашему индексируемому содержанию.
Импликация из первого комментария, что вопрос о Meta состоял в том что robots.txt файл существовал, но был недоступен (по любой причине), а не не являющийся там вообще. Это могло бы вызвать поисковые роботы некоторые проблемы, но это - предположение.
У меня нет a robots.txt на моем блоге (сам разместил установку Wordpress) и это индексируется.
Robots.txt является строго добровольной конвенцией среди поисковых систем; они свободны проигнорировать его, или реализовать его всегда они выбирают. Тем не менее запрещая случайного паука, ища адреса электронной почты и т.п., они в значительной степени все уважение это. Его формат и логика очень, очень просты, и правило по умолчанию, позволяют (так как можно только запретить). Сайт без robots.txt будет полностью индексирован.
У меня не было robots.txt на десятках доменов, которые я еще имел зарегистрированный, некоторые 1994, и никогда не имел проблемы с ними помещаемый в google/yahoo и т.д.
Даже мой личный веб-сайт получает 150-200 пользователей в день от Google и не имеет файла robots.txt.
(Любите трехминутное требование паузы между ответом на вопросы. Затем я получу капчу робота. Иногда просто не стоит пытаться быть полезным.)
robots.txt является абсолютно дополнительным. Если Вы будете иметь один, то совместимые стандартами поисковые роботы будут уважать его, если у Вас не будет ни одного, все не запрещенное в элементах HTML-META (Википедия) crawlable.
Сайт будет индексирован без ограничений. пауки будут следовать за тем, что они находят. я не думаю, что Вы хотите это. некоторые пауки как Baidu могут быть очень агрессивными об этом. это может даже оценить даже URL в кодах JavaScript.
вот подробная информация. http://www.robotstxt.org/orig.html
PS также, у Вас будут многие 404, входит в систему Ваш веб-сервер. это - также недостаток при чтении журналов. И не забывайте помещать favicon.ico файл. это - другой глупый файл, который все браузеры требуют на каждой странице.
(Я не мог найти способ добавить комментарий, но) кроме того, я хотел бы добавить, что не наличие robots.txt является также проблемой в том смысле, что Вы не сможете обеспечить Карту сайта для него. Помните, что Карта сайта только расположена или ими указываемый в файле Robots.txt или посредством прямого представления к поисковым системам, но конечно последние средства, необходимо сделать это один за другим, вместо того, чтобы просто иметь все быстро, находят его.