Что практический путь состоит в том, чтобы зеркально отразить блок Amazon S3?
То, что Вы видите, наиболее вероятно реакция Вашего клиента на ICMP, недостижимый портом отправленный сервером после получения первого SYN-пакета TCP для порта, который не принимает соединения. Это - корректное поведение и позволяет клиенту быстро говорить Вам так.
Если Вы на самом деле имеете в виду хитрость, поскольку в "этом хосте является несуществующим, мертвым или в режиме офлайн и не отправляет ничего вообще", настраивает Ваш брандмауэр для отбрасывания (в противоположность отклонению) любых пакетов к этому порту. Принятие netfilter/iptables:
iptables -I INPUT -p tcp --dport 22 -j DROP
Это приводит к клиенту, зависающему некоторое время, поскольку это не может решить, в пути ли ответ или несуществующий.
Примечание: Это на самом деле уничтожит все соединения немедленно, включая рабочие. Предупреждение переключателя Molly!
Дисковый Сервер Джунглей выезда. Это работает и с Amazon S3 и с Облачными Файлами Rackspace. Вы могли смонтировать S3 и CF в различных местоположениях в Вашей файловой системе и затем использовать rsync между двумя.
-
1Спасибо, но я должен был упомянуть, что ищу решение, которое я могу выполнить как задание крона на поле Linux. Я обновил вопрос. – Ben 29 September 2010 в 15:16
У меня была та же проблема, поэтому я создал небольшую программу, специально разработанную для зеркалирования одной корзины S3 в другую; Я называю это s3s3mirror.
Сначала я попробовал подход «s3cmd sync», но у меня было ведро с сотнями тысяч объектов, а «s3cmd sync» просто сидела там, ничего не делая, но потребляя все больше и больше памяти, пока моя система не умерла . Я разработал s3s3mirror таким образом, чтобы сразу приступить к работе, использовать 100 параллельных потоков (настраиваемых) и скромно использовать процессор и память. Если я сам так говорю, это чертовски быстро.
Я сделал это доступным на github под лицензией Apache. Если вы решите заняться этим, дайте мне знать, что вы думаете, и если есть что-то, что можно улучшить.
Вот ссылка: https: // github. com / cobbzilla / s3s3mirror
спасибо!
- jonathan.
Amazon теперь имеет поддерживаемый инструмент для этого, aws cli.
Он может зеркалироваться в любом направлении между локальным и удалённым, или между двумя s3 местоположениями.
К сожалению, он не имеет прямой поддержки для не-S3 местоположений, таких как rackspace, но я подумал, что это будет полезным ответом для некоторых, кто находит этот вопрос. Как и я, до того, как я его нашел. В частности,
aws s3 sync s3://some/s3/path /some/local/path
Вы можете настроить Minio server, open source и S3 совместимый API. Вы можете настроить его на EC2 или на любом облачном провайдере в качестве альтернативного сервера и, используя Minio clients mc mirror, периодически принимать зеркало S3. Вы можете автоматизировать написание простого cron-скрипта.
Надеюсь, это поможет. Отказ от ответственности: Я работаю для Minio
Для онлайн-синхронизации сегментов вы можете использовать межрегиональную репликацию. Таким образом, все обновления исходного сегмента будут автоматически синхронизироваться с сегментом S3 в другом регионе: https://docs.aws.amazon.com/AmazonS3/latest/dev/crr.html
Имейте в виду, что для этого необходимо включить управление версиями для корзины, поэтому, если вы часто обновляете / удаляете объекты в корзинах, вам нужно включить политику жизненного цикла для удаления старых объектов.