Как я могу контролировать постепенную загрузку файлов с помощью cron или подобного? [closed]

У меня есть несколько терабайт данных, которые мне нужно скопировать на S3 / Glacier по медленному каналу. Я хочу загрузить, скажем, с 9 вечера до 9 утра и продолжить с того места, где оно было остановлено. Есть ли бесплатные программы, с которыми это можно было бы легко сделать? Я мог бы использовать s3cmd / s3sync для загрузки, но есть ли простой способ контролировать это с помощью cron? Я в порядке с задержкой в ​​несколько дней, так как у меня есть статические данные, и я просто добавляю еще один уровень избыточности.

Не лучше ли просто запустить процесс и убить его, а затем перезапустить синхронизацию? В основном я ищу стандартную систему, но, вероятно, я мог бы просто написать несколько сценариев оболочки. Я использую Ubuntu и хочу использовать стандартные инструменты Linux.

0
задан 16 May 2015 в 12:17
1 ответ

Конечно, любая загрузка в террабайтном диапазоне займет некоторое время, насколько медленным является ваш "медленный" восходящий канал?

Загрузка 1 террабайта по восходящей линии связи 10 Мбит займет 1024 * 1024 = 1048576 секунд = 290 часов = 12 полных дней.

Я бы посмотрел на массовую загрузку Amazon, отправив устройство NAS

Взгляните на http://aws.amazon.com/importexport/

1
ответ дан 4 December 2019 в 17:58

Теги

Похожие вопросы