Wordpress - Yoast SEO - robots.txt
Я только что читал на сайте Yoast здесь о том, как должен выглядеть правильный файл robots.txt с последними методами SEO. В своем примере Yoast использует следующее:
User-Agent: *
Disallow: /suggest/?*
Что именно делает строка Disallow: / offer /? * ?
Что именно делает строка Disallow: / offer /? *?
disallow и ? * заблокирует поисковым системам доступ к любому URL-адресу, имеющему ? в нем.
Запретить в целом: / offer /? * Заблокирует доступ поисковых систем к URL-адресам, например yourwebsiteexample.com/suggest/?any.php=34
, другими словами, поисковым системам не будет разрешен доступ другие URL-адреса с ?
yourwebsiteexample.com/anyother/?any.php=34 <--- это будет забито поисковыми системами
больше примеров https://geoffkenyon.com/how-to-use-wildcards-robots-txt/