У Вас в основном есть две опции:
Для первой опции необходимо создать файл robots.txt в корне веб-хоста. Это будет включать что-то как:
User-agent: *
Disallow: /path/to/mp3s
Что касается второй опции, необходимо использовать mod_rewrite и создать .htacess файл или добавить что-то что-то как этот к конфигурации:
RewriteEngine On
RewriteBase /
ReWriteCond %{REQUEST_URI} ^/path/to/mp3s/.*
RewriteCond %{HTTP_REFERER} !^$
RewriteCond %{HTTP_REFERER} !^http://(.+\.)?example.com/.*$ [NC]
RewriteRule .*\.(mp3)$ - [F,NC]
Это предотвратит любого посетителя, не происходящего из Вашего веб-сайта для доступа к файлам MP3 (т.е., никакое глубокое соединение).
Я рекомендовал бы использовать оба метода одновременно, поскольку никакая индексация от поисковой системы не препятствует тому, чтобы файлы были найдены другими поисковыми роботами (игнорирующий robots.txt), и переписать правило не препятствует тому, чтобы поисковые роботы получили доступ файлам, только посетители, происходящие из страницы результатов поиска.
sub vcl_recv {
if (req.url ~ "\.(cur|gif|jpg|jpeg|swf|css|js|flv|mp3|mp4|pdf|ico|png)(\?.*|)$") {
unset req.http.cookie;
unset req.http.Accept-Encoding;
unset req.http.Vary;
}
}
Если Ваши запросы будут содержать cookie, то они будут переданы бэкенду по умолчанию. Удаление кодирования и варьируется, нормализует вещи немного больше так, чтобы Вы не должны были поддерживать несколько копий своих изображений в кэше. Кроме того, я думаю 100G, могло бы быть немного чрезмерным для Вашего запоминающего устройства, Вы могли бы рассмотреть что-то ближе на сумму RAM, которую Вы имеете в машине.