Настройте .htaccess, чтобы заблокировать индексацию бота, но позволить каталог браузера, listing/viewing

Ваш файл .htaccess не может волшебным образом отличить «настоящих» пользователей от «ботов». Поскольку с точки зрения веб-сервера различий нет.

Однако, как правило, боты будут уважать содержимое robots.txt , а веб-браузеры - нет.

В качестве альтернативы, если у вас есть способ определить, что является ботом, а что нет, вы можете включить это правило в свою конфигурацию .htaccess . Распространенной тактикой является применение набора RewriteRules, которые фильтруют на основе сообщенного заголовка User-Agent . Например, пользовательский агент, содержащий слово «googlebot», , вероятно, запущен Google.

User-Agents.org содержит список популярных идентификаторов пользовательских агентов. Но помните, что содержимое этого заголовка устанавливается человеком, который запускает бот / браузер, и может содержать все, что он захочет. Так, например, злоумышленники обычно копируют строку User-Agent из популярного браузера или, возможно, популярной поисковой системы. Так что на это нельзя полагаться.