Ускорение rsync по кому-то

Я думаю, что у Вас есть неверное толкование rsync алгоритма и как инструмент должен быть применен.

Преимущество производительности Rsync прибывает из выполнения передач дельты - то есть, перемещая только измененные биты в файл. Для определения измененных битов файл должен быть считан источником и узлами назначения и контрольными суммами блока, сравненными для определения который измененные биты. Это - "волшебная" часть rsync - сам rsync алгоритм.

Когда Вы монтируете целевой объем с SMB и используете rsync для копирования файлов с того, что Linux "рассматривает" как локальный источник и локальное место назначения (оба смонтировались на той машине), самые современные rsync версии переключают на 'целый файл' режим копии и выключают алгоритм копии дельты. Это - "победа", потому что с алгоритмом копии дельты на rsync считал бы весь целевой файл (по проводу от NAS) для определения то, что изменили биты файла.

"Правильный путь" для использования rsync состоит в том, чтобы выполнить rsync сервер на одной машине и rsync клиент на другом. Каждая машина считает файлы из своего собственного локального устройства хранения данных (который должен быть очень быстрым), договоритесь о том, что биты файлов изменили и только передают те биты. Они путь Вы используете rsync суммы сфабрикованного 'CP'. Вы могли выполнить то же самое с 'CP', и это, вероятно, будет быстрее.

Если Ваши поддержки устройства NAS, выполняющие rsync сервер (или клиент) затем, Вы находитесь в бизнесе. Если Вы просто собираетесь смонтировать его на исходной машине с помощью SMB затем, Вы могли бы также просто использовать 'CP' для копирования файлов.

попробуйте это, это думает, что aleast дает Вам на 10% больше что скорость Ваше получение http://www.thegeekstuff.com/2009/09/linux-remote-backup-using-rsnapshot-rsync-utility/

Запахи как Вы имеют более дешевый NAS. Это могло также быть от Вашей сетевой пропускной способности...

"Стандартный" потребительский NAS действительно слаб когда дело доходит до тяжелого IO, который является тем, что Вы пытаетесь сделать здесь. Это мог также быть дешевый переключатель, подключающий Ваш ПК и Ваш NAS, который не достаточно силен для обработки всех пакетов правильно.

Это кажется, что метки времени являются Вашей проблемой, поскольку эта страница имеет отношение:

http://www.goodjobsucking.com/?p=16

Предлагаемое решение состоит в том, чтобы добавить

--modify-window=1

к rsync параметрам.

Мысль я добавил бы свои 2 пункта здесь.

Мой брат только что установил NAS Buffalo в своей офисной сети. Он теперь смотрит на удаленные резервные копии, так, чтобы был должен офис сгореть дотла, по крайней мере, у него все еще есть все свои бизнес-документы в другом месте (много сотен миль далеко).

Мое первое препятствие должно было получить VPS, который он имеет (маленький Linux виртуальный частный сервер, ничто слишком раскормленное) к коммутируемому доступу как пользователь VPN к его широкополосному маршрутизатору (он использует Draytek для этого) так, чтобы это само могла быть часть его VPN, и таким образом, это может, затем может получить доступ к NAS непосредственно, безопасным способом. Отсортировали это и работающий блестяще.

Следующая проблема затем передавала файлы с NAS на сервер VPS. Я начался путем выполнения Samba, монтируются и столкнулся точно с тем же (или еще хуже) проблема, которую Вы описали. Я сделал пробный прогон rsync, и он принял 1 час 30 минут только для разработки, какие файлы он собирался передать, потому что, поскольку Evan говорит, в соответствии с этим методом, другой конец не является rsync, таким образом, он должен сделать, много вызовов/чтений системы регистрации на Samba монтируются (через соединение PPTP/tunnelled с круговой задержкой приблизительно 40 мс). Абсолютно неосуществимый.

Мало я знал, что Buffalo на самом деле выполняет rsync демона так, с помощью этого вместо этого, весь пробный прогон занимает только 1 минуту 30 секунд для 87k файлов в общей сложности 50 ГБ. Очевидно, для передачи 50 ГБ файлов (из NAS, который находится на широкополосной линии связи с только 100k/sec исходящая пропускная способность) - другой вопрос полностью (это займет несколько дней), но, однажды начальная буква rsync завершен, любые возрастающие резервные копии должны быть освещением смазки (его данные не собираются изменяться очень ежедневно).

Мое предложение является использованием достойный NAS, который поддерживает rsync по причинам, которые Evan сказал выше. Это решит все Ваши проблемы.

Да, вы можете ускорить это. Вам нужно сделать так, чтобы источник или место назначения выглядели как удаленный компьютер, например, указав его как « localhost: ».

Вы заявили, что монтируете общий ресурс SMB локально. Это делает источник или назначение похожим на локальный путь к rsync. На странице руководства rsync указано, что копии, в которых исходный и конечный пути являются локальными, будут копировать весь файл. Об этом говорится в параграфе для параметра "--whole-file" на странице руководства. Поэтому дельта-алгоритм не используется. Использование обходного пути « localhost: » восстановит функциональность дельта-алгоритма и ускорит передачу.

Есть два потенциальных источника проблемы: либо вы используете неверные параметры командной строки, либо ваш NAS имеет проблемы с метками времени (или и то, и другое :-). Пожалуйста, проверьте эту ветку «rsync to NAS копирует все каждый раз» для получения дополнительной информации.