Синхронизирующие учетные записи пользователей по нескольким серверам Linux
Если бы инструменты веб-мастера сказали, что это не блокировалось robots.txt, то я сказал бы, что у Вас, должно быть, была ошибка в Вашем файле robots.txt. Google определенно соблюдает Агент пользователя, таким образом, что-то еще должно быть неправильным. Можно проверить robots.txt в некоторых деталях через страницы справки под Google Webmaster Tools.
Индексное удаление занимает 24-48 часов, по моему опыту, хотя я видел, что он происходит всего за 5 часов.
Я бы порекомендовал начать использовать систему управления конфигурацией (на данный момент два хороших варианта - Puppet и Chef) для развертывания данных пользователей / групп на ваших серверах.
В идеале, вы ' d иметь один центральный сервер LDAP или NIS, но из-за вашего распределенного характера использование системы управления конфигурацией для синхронизации ваших локальных баз данных пользователей / групп было бы лучшим вариантом для вас.
Вы можете использовать LDAP для централизованного управления пользователями с репликами на всех серверах. И некоторая кластерная файловая система для домашних каталогов, например: GlusterFS или XtreemFS.
Вам необходимо взвесить стоимость настройки сервера LDAP и количество пользователей. Как отмечали другие, если у вас всего несколько пользователей, придерживайтесь простого решения.
Если вы хотите настроить LDAP, также можно настроить сервер LDAP на репликацию между сайтами и настроить локальные машины на их локальный LDAP.
Инструкции для репликации OpenLDAP.