Вы установили Perl? AFAIK ActivePerl является тем, который все используют.
Обычно да, если это встречает Ваши требования/потребности, если нет определенные конфликты, можно найти с их определениями и/или подходами. Благоразумный маршрут должен контролировать очень тесно во время его начального внедрения, чтобы гарантировать, что он соответствует Вашим потребностям, не представляя непредвиденного/неожиданного влияния стороны.
Вы - более обеспеченное использование robots.txt
управлять ботами хорошего поведения и запрашивать ограничение уровня на злых ботов. Вы не можете использовать ничего управляемого клиентом для плохо себя ведомых ботов, потому что они могут изменить себя для уклонения от фильтров.