rsync или sftp?
Для больших файлов как этот использовать rsync с --inplace или --partial-dir= опции так, чтобы, если передача приводит часть к сбою путь через (из-за неожиданного отбрасывания соединения, например) можно было легко возобновиться, просто повторно выполнив ту же команду.
Я склонен использовать rsync для большинства общих передач, не только ситуаций, где его более полные способности к синхронизации на самом деле необходимы, когда это доступно. Это не менее безопасно, чем sftp если работается ssh (который это обычно), и не менее эффективный.
Я думаю основное преимущество sftp (и связанное scp) тот из того, чтобы обычно быть доступным где угодно где ssh доступно, так примерно любой Linux/BSD/similar клиент или установка сервера, тогда как rsync не имеет тенденцию быть установленным по умолчанию.
scp/sftp/rsync являются медленными когда дело доходит до фактической передачи файлов, даже на Nehalems, поскольку шифрование является настоящим тяжелым бременем. Дополнительно у меня есть впечатление это scp/ssh установите их собственные волшебные опции сокета как размер окна TCP, и являются всегда медленными (истративший в 50-70MB/s на локальных путях на 10 Гбит/с).
Специально для больших файлов и WANs это волнует меня, я не понимаю, почему любой думает, что он более умен затем базовый стек TCP от ОС.
Я изучил бы GridFTP Инструментария Globus (это - FTP на стероидах), который использует сеансы TCP параллели/мультипотока для объемных передач и также отлично настраивается на WAN. Можно поддержать GridFTP полноценным PKI или использовать ssh для учетных данных и инициирования сессии. Выполнения соединяют скорость проводом на 10 Гбит/с и могут масштабироваться горизонтально и сбалансированы с загрузки в случае необходимости, но это - действительно что-то, что это необходимо для TBs данных.
править: Да, существуют патчи SSH, которые фиксируют опции окна и представляют пустой шифр для передачи и только используют шифрование для ключевого обмена и учетных данных, но у Вас должны быть оба разделителя соединения, чтобы иметь это сборка SSH, чтобы в полной мере воспользоваться им.