Репликация или?
imo необходимо изменить правила как следующее:
#is the path correct? your comment stats something else
RewriteRule ^/content/(js|css)/([a-z]+)-([0-9]+)\.(js|css) /content/$1/$2.$4
# rewrite all www.example.com to example.com
RewriteCond %{HTTP_HOST} ^www\.example\.com [NC]
RewriteRule ^/(.*) http://example.com/$1 [R=301,L]
для получения большего количества информации смотрите на эту директиву и следующее. после включения регистрирующейся попытки всего этого снова и взгляда на журналы.
Вы проверили, соответствуют ли случай Вашего regex и случай Ваших файлов?
Ваши данные действительно изменяются так очень? Вы могли предложить ботам меньше часто-обновленной-версии своего веб-сайта на предложенном более дешевом сервере? Вы могли бы затем смочь обновить те данные в течение ночи или что-то.
Зеркальное отражение базы данных для SQL Server действительно не позволяет Вам использовать вторичное устройство для запросов - если Вы не используете снимки базы данных для доступа только для чтения, и это - функция Версии для предприятий. Вещи изменяются со следующим выпуском SQL Server, но это - все еще некоторое свободное время.
Зеркальное отражение базы данных также для каждой базы данных, поэтому если у Вас есть несколько баз данных, которые составляют решение - необходимо зеркально отразить их всех.
Репликация больше о перемещении подмножества данных - многие могли бы не согласиться с этим. Чем больше данных Вы смещаете с любой технологией, тем в большем количестве пропускной способности Вам нужно - или это начнет отставать.
Возможно, одно решение состояло бы в том, чтобы предложить ботам больше статического содержания Вашего веб-сайта, который периодически обновляется через процесс.
"Не сегментируйте" пауков.
Попытка "сегментировать" пауков WWW борется против владельцев пауков WWW, которые хотят, в максимально возможной степени, чтобы их пауки видели то, что все остальные видят. Спуститесь по тому маршруту, и Вы окажетесь в постоянной гонке вооружений с владельцами пауков.
Проверьте свой дизайн сайта.
Высокий трафик паука является иногда симптоматическим для плохого дизайна сайта. Например: Гиперссылки, URL которых содержат идентификаторы сессии, заставят пауков видеть и проверять единственные страницы многократно. Проверьте свое содержание журналы сервера HTTP на то, каков трафик паука на самом деле. Если вещи проверяются много раз, варьируясь только такими вещами как идентификаторы сессии, то корректируют Ваш сайт, чтобы не иметь эту проблему. См. технические инструкции Google для большего количества ошибок в этой вене, чтобы проверить на и зафиксировать.
Используйте инструменты, предоставленные Вам как заключительный курорт.
Google обеспечивает кнопку регулятора для своего уровня проверки в ее Инструментах Веб-мастера. Если Вы проверили, что Ваш сайт придерживается технических инструкций, и Ваш дизайн сайта не является первопричиной высокого трафика проверки, используйте Инструменты Веб-мастера. Но обратите внимание, что, если Вы продолжаете иметь необходимость сделать, это, каждые 90 дней, для подавления уровня проверки на статическом содержании затем там наиболее вероятно что-то не так с дизайном сайта, который Вы не нашли и зафиксировали.
Спасибо за ответ. Я предполагаю, что буду давать репликации выстрел и видеть, как она идет. Будет только иметь репликацию, работающую ночью.
@JdeBP я уже попытался делать это и даже попытался установить уровни проверки на минуту. Не помог в моем случае. Кроме того, это почти для 4 000 веб-сайтов.