AdCrawler НЕ является тем же, как Хлебают, который является что использование Yahoo создать их индекс. AdCrawler:
Недавно, Yahoo! запустил другой поисковый робот (названный “Yahoo!-AdCrawler”), который также проверит целевые страницы рекламодателя YSM. Этот поисковый робот разработан, чтобы помочь нам сделать оценки релевантности этих страниц, который помогает нам соответствовать рекламе к определенным поисковым запросам.
Его совершенно безопасное для Вас для блокирования это - и настоятельно рекомендовано.
Похоже, что 8.0.4 не поддерживает это. После обновления до 8.2.x появилась новая опция Scrubs
, где вы можете установить расписание.