Как использовать Robots.txt в оптимизации поисковой системы (SEO)
Введите, "Запретите: / имя папки"
для любой папки, содержащей файлы, Вы не хотите, чтобы поисковые системы проверили.Или, введите, "Запретите:/filename.filetype"
для любой страницы или файла Вы не хотите, чтобы поисковые системы индексировали.
Примечание следующего примера:
* Disallow: /private/
* Disallow: /private/image01.jpg
Оставьте хост или дочерний доменный пробел - он будет затем относиться к родительскому домену (к чему Вы обращаетесь как MYDOMAIN). FQDN автозаполнится MYDOMAIN - оставляют его, как. MX FQDN должен быть именем хоста, которое Google предоставил Вам, и затем присвойте соответствующий номер. Создайте одну такую запись MX для каждой записи, которую они попросили, чтобы Вы добавили.