Идеальный файл robots.txt для установки gitweb? [закрыто]
Я размещаю несколько репозиториев git на git.nomeata.de, используя gitweb (и gitolite). Иногда появляется паук поисковой машины и начинает работать с интерфейсом. Хотя я обычно хочу, чтобы мои репозитории git отображались в поисковых системах, я не хочу полностью их блокировать. Но они не должны вызывать дорогостоящие операции, такие как создание снимков архива, поиск или генерация различий.
Какой файл robots.txt лучше всего подходит для такой установки?
2
задан Joachim Breitner
10 May 2013 в 11:28
Ссылка
1 ответ
Думаю, это хорошая вики для сообщества. Пожалуйста, расширите этот файл robots.txt, если считаете, что его можно улучшить:
User-agent: *
Disallow: /*a=search*
Disallow: /*/search/*
Disallow: /*a=blobdiff*
Disallow: /*/blobdiff/*
Disallow: /*a=commitdiff*
Disallow: /*/commitdiff/*
Disallow: /*a=snapshot*
Disallow: /*/snapshot/*
Disallow: /*a=blame*
Disallow: /*/blame/*
2