Пауки Google постоянно являются сканированием сети. У них есть несколько машин, которые проверяют их значительный индекс и добавляют новые страницы ко всему этому время.

Причины это быстро:

• У них есть тонны машин, делающих проверку на смешных скоростях
• Они имеют тонны в наличии пропускной способности
• У них уже есть гигантский индекс страниц для поиска так, он экономит время, ища новое содержание. Они могут запросить ранее индексируемые ссылки и проанализировать их для новых ссылок на проверку.
• Они делали это в течение многих лет и точно настроили их алгоритм сканирования. Они продолжают работать над ним по сей день для создания его еще лучше.
• Определенные сайты индексируются чаще в зависимости от определенных факторов, PR (PageRank), являющийся большим. Если Ваш сайт будет иметь высокий PR, то Вы будете видеть, что он обновил быстро. Вот почему Вы будете часто видеть, что вопросы о Суперпользователе поднимаются в результатах поиска спустя минуты после того, как их спросят.

Править:

... среди многих других факторов.

Google имеет распространенность пространства и пропускной способности. Не делайте Вы волнуетесь о них! По состоянию на январь 2008 Google сортировал (в среднем) 20PB день. 20PB (петабайты) 20 000 терабайт или 20 миллионов гигабайтов. Теперь это просто сортирует, это не все их данные, это - часть его.

Интересный вопрос подошел при выполнении экспериментов в таком масштабе: Куда Вы помещаете 1PB отсортированных данных? Мы писали это в 48 000 жестких дисков (мы не использовали полную мощность этих дисков, хотя), и каждый раз мы выполнили наш вид, по крайней мере одному из наших дисков удалось повредиться (это не удивительно вообще, учитывая продолжительность теста, количество дисков, включенных, и ожидаемое время жизни жестких дисков). Для проверки мы бережно хранили наш отсортированный петабайт, мы попросили, чтобы Google File System записал три копии каждого файла к трем различным дискам.

Просто невероятный.