rsync уже, изменяющий существующие файлы

По умолчанию rsync прочитает весь файл как по исходному, так и по целевому назначению, чтобы проверить, что они идентичны. Это не потребляет пропускную способность сети, так как будет сравниваться только хэш-значение. Но он действительно тратит время на чтение с диска.

В одном сценарии использования я нашел это ужасно неэффективным, так как исходные файлы были только добавлены к ним. Я использовал --size-only, что мне помогло.

Есть еще несколько вариантов, которые выглядят так, как будто они могут быть применимы, --append и --append-verify, но я не тестировал их сам.

Не похоже, что у вас есть каталог с большим количеством маленьких файлов, так что время, чтобы прочитать список каталогов с диска и прочитать статистику каждого файла, не должно быть большой проблемой.

почему вы говорите, что каждый раз это занимает больше времени? Как такое возможно?

может быть, это программа, которая генерирует файлы, которые к ним прикасаются?

попробуйте с --checkum: пропустите по контрольной сумме, а не по времени и размеру, посмотрите, не изменит ли это что-нибудь (я бы не оставил эту опцию, потому что она каждый раз читает каждый файл с диска, слишком дорого, я просто предлагаю ей найти проблему)

(и, возможно, попробуйте отладить с помощью опции -t, которая сохраняет время модификации)

Думаю, добавление -t в список аргументов поможет.

Для проверки этого можно добавить --[itemize-changes к аргументам (без -t). Если я правильно вас понял, то в каждой строке

man 1 rspec это будет показывать T-флаг:

A t означает, что время модификации отличается и обновляется к ценности отправителя (требует... иногда). Альтернативное значение Т означает, что время модификации будет установлено на время переноса, что случается, когда файл/символ/устройство обновляется без --time и когда меняется сим-ссылка, а приемник не может установить время. (Примечание: при использовании клиента rsync 3.0.0 вы можете увидеть флаг s в сочетании с t вместо правильного T-флага для этой установки времени. failure.)

После этого добавьте -t к команде (сохраните --[itemize-changes) и вы получите t-флаг на каждой строке. В следующем запуске список будет содержать только новые файлы.

Это мой пример запуска:

krissi@host ~/tmp/rsync % l *
dst:
total 0

src:
total 0
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 bar
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 foo
-rw-r--r-- 1 krissi users 0 Jul 13 18:19 later
krissi@host ~/tmp/rsync % rsync -vzr --itemize-changes src/ dst/
sending incremental file list
>f+++++++++ bar
>f+++++++++ foo
>f+++++++++ later

sent 174 bytes  received 69 bytes  486.00 bytes/sec
total size is 0  speedup is 0.00
krissi@host ~/tmp/rsync % l *
dst:
total 0
-rw-r--r-- 1 krissi users 0 Jul 13 18:21 bar
-rw-r--r-- 1 krissi users 0 Jul 13 18:21 foo
-rw-r--r-- 1 krissi users 0 Jul 13 18:21 later

src:
total 0
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 bar
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 foo
-rw-r--r-- 1 krissi users 0 Jul 13 18:19 later
krissi@host ~/tmp/rsync % rsync -vzr --itemize-changes src/ dst/
sending incremental file list
>f..T...... bar
>f..T...... foo
>f..T...... later

sent 174 bytes  received 69 bytes  486.00 bytes/sec
total size is 0  speedup is 0.00
krissi@host ~/tmp/rsync % rsync -vzr --itemize-changes src/ dst/
sending incremental file list
>f..T...... bar
>f..T...... foo
>f..T...... later

sent 174 bytes  received 69 bytes  486.00 bytes/sec
total size is 0  speedup is 0.00
krissi@host ~/tmp/rsync % rsync -vzrt --itemize-changes src/ dst/
sending incremental file list
.d..t...... ./
>f..t...... bar
>f..t...... foo
>f..t...... later

sent 177 bytes  received 72 bytes  498.00 bytes/sec
total size is 0  speedup is 0.00
krissi@host ~/tmp/rsync % rsync -vzrt --itemize-changes src/ dst/
sending incremental file list

sent 66 bytes  received 12 bytes  156.00 bytes/sec
total size is 0  speedup is 0.00
krissi@host ~/tmp/rsync % l *
dst:
total 0
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 bar
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 foo
-rw-r--r-- 1 krissi users 0 Jul 13 18:19 later

src:
total 0
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 bar
-rw-r--r-- 1 krissi users 0 Jul 13 18:05 foo
-rw-r--r-- 1 krissi users 0 Jul 13 18:19 later