Разделите свой загружаемый набор, например, на 26 наборов по первой букве имени файла, если именование достаточно статистически сбалансировано, и используйте один загрузчик на каждый набор параллельно.
Между прочим, некоторые из облака у инструментов загрузки есть проблема с использованием памяти при загрузке огромных наборов файлов, так что следите и за этим ...
Если это разовая загрузка, мне нравится турболифт . Просто убедитесь, что вы уменьшили параллелизм, чтобы предотвратить высокую нагрузку на сервер (например, - cc 4
), и используйте - внутренний
для загрузки через Service Net.
турболифт будет использовать много CPU и RAM, если вы не уменьшите параллелизм (серьезно: вы можете вывести из строя свой сервер, если вы этого не сделаете!). Это замечательно, если у вас мощный сервер, но не очень хорошо, если у вас маленький сервер.