nslcd с domain.com и sub .domain.com

Используйте псевдоним

Создайте два файла, robots.txt и robots_http.txt, и добавьте их в свой http VirtualHost:

Alias "/robots.txt" "/path/to/documentroot/robots_http.txt"

Если вы не можете или не хотите изменять "основную" конфигурацию Apache, но вам нужно сделать это в файле .htaccess , вы можете использовать RewriteRule с RewriteCond , который проверяет HTTPS.

Что-то вроде:

RewriteEngine On

RewriteCond %{HTTPS} "on"
RewriteRule robots.txt robots_https.txt [L]

, вероятно, должно работать (я не тестировал).

Обратите внимание, что это основано на на Apache, выполняющем завершение HTTPS. Если завершение HTTPS выполняется на обратном прокси-сервере до этого, то условие, вероятно, будет другим (и будет зависеть от конфигурации обратного прокси и Apache).