Перенос больших данных из AWS S3 в Azure
У нас 85 ТБ данных в корзине AWS S3. Как лучше всего переместить его в Azure?
Сейчас я вижу два варианта:
- Купить AWS Snowball Edge . Смогу ли я импортировать с него данные в Azure?
- Чтобы купить Azure Data Box . Смогу ли я экспортировать на него данные из AWS?
Еще одна трудность заключается в том, что данные представляют собой миллионы небольших файлов (изображений), поэтому AWS будет взимать плату за запросы GET и Azure за запросы PUT, если мы выберем соответствующие устройства ?
Я бы позвонил в Amazon и Azure, чтобы обсудить новейшие услуги по перемещению этих данных.
Исходя из моего опыта, у вас есть два варианта:
- По проводной передаче данных с использованием Лазурный . Azure предлагает службу под названием Фабрика данных Azure , которая поддерживает перемещение данных от ряда поставщиков и служб в Azure. Вам придется заплатить за получение, размещение, передачу данных и т. Д.
- Устройства передачи данных . И Amazon, и Azure поддерживают использование физических устройств для экспорта / импорта данных в свое облако. Вы должны заказать услугу экспорта на Amazon, которая будет доставлена на Snowball. Затем вы должны скопировать данные из Snowball на физические диски, которые вы отправляете в Azure для импорта.
85 ТБ - это не большой объем данных сегодня (85 ПБ было бы), поэтому время передачи данных, вероятно, будет меньше для по сети по сравнению с экспортом из Amazon, копируйте данные, а затем импортируйте в Azure. Учитывая реальный мир, это, вероятно, займет неделю по сети и месяц для экспорта / импорта. При этом не учитывается время, необходимое для проверки того, что данные были переданы без ошибок. Эта фаза, вероятно, займет еще одну-две недели.
Для строго безналичного перевода вы можете использовать такой продукт, как Диск Cloud Berry Labs, который позволит вам отображать S3 и хранилище Azure в виде буквенных дисков. Затем вы можете просто копировать между ними. Я считаю, что клиентская версия сделает все, что вам нужно, поскольку вам не нужно предоставлять общий доступ к диску в сети.
Одно замечание по поводу этого программного обеспечения: оно буферизует файлы при передаче, поэтому окна могут показывать, что передача завершена, однако в очереди оно все еще может переноситься, особенно с большими файлами, которые необходимо выполнить. загрузка нескольких частей.