Вычислите контрольную сумму MD5 каталога

Если вы хотите увидеть, чем отличаются (если есть) между двумя каталогами, rsync вам подойдет.

rsync --archive --dry-run --checksum --verbose /source/directory/ /destination/directory

Здесь будут перечислены все файлы, которые отличаются.

The cfv application is quite useful, not only it can check and create MD5 checksums, it can also do CRC32, sha1, torrent, par, par2.

to create a CRC32 checksum file for all files in current directory:

cfv -C

to create a MD5 checksum file for all files in current directory:

cfv -C -t md5 -f "current directory.md5sums"

To create a separate checksum file for each sub directory:

cfv -C -r

To create a "super" checksum file containing files in all sub directories:

cfv -C -rr

Кажется, я уже отвечал на этот вопрос раньше таким ответом:

find . -xtype f -print0 | xargs -0 sha1sum | cut -b-40 | sort | sha1sum

дает: b1a5b654afee985d5daccd42d41e19b2877d66b1

идея состоит в том, что вы хешируете все файлы, вырезаете хэши по одному в строке, отсортируйте их и хеш, который дает один хеш. это не зависит от имен файлов.

You could create MD5 sums of every single files, order these checksums alphabetically and has them (with or without newlines). Since MD5 is cryptographic, it should work just fine with hashes of hashes.

There should be a certain order to things, otherwise you will get different results for equal dirs.

And you should consider that adding some file to one dir will completely change the result, even if it was just a .directory of .DS_Store file.

В качестве конкретного случая допустим, что вы хотите скопировать некоторые файлы из каталога1 в каталог2, а затем хотите проверить успешность копии, используя сравнение md5.

Во-первых. cd в directory1 и введите:

find -type f -exec md5sum "{}" \; > ~/Desktop/md5sum.txt

, который создаст справочный файл, содержащий сумму md5 для каждого файла в directory1. Как только это будет сделано, все, что вам нужно сделать, это перейти в каталог directory2 и ввести:

md5sum -c ~/Desktop/md5sum.txt

Программа md5sum выбирает каждый путь из файла md5sum.txt, вычисляет md5sum этого файла в папке назначения и затем сравнивает его с суммой он хранится в файле.

После завершения процесса вы получите сводку типа «Так и так много файлов не совпадают» или что-то в этом роде.

Мне нужно было проверить целостность резервных копий / зеркал, содержащих большое количество файлов, и в итоге я написал программу командной строки под названием MassHash. Он написан на Python. Также доступна программа запуска GTK +. Вы можете проверить это ...

http://code.google.com/p/masshash/

У меня это сработало: (запустите его, находясь в интересующем вас каталоге)

md5deep -rl . | awk '{print $1}' | sort -n | md5sum

Я использовал hashdeep, поскольку объяснено в этом ответе askubuntu: Проверить правильность скопированных файлов :

Для вычисления контрольных сумм:

 $ cd <directory1>
 $ hashdeep -rlc md5 . > ~/hashOutput.txt

Чтобы проверить и перечислить различия:

 $ cd <directory2>
 $ hashdeep -ravvl -k ~/hashOutput.txt .
 hashdeep: Audit passed
    Input files examined: 0
   Known files expecting: 0
           Files matched: 13770
 Files partially matched: 0
             Files moved: 0
         New files found: 0
   Known files not found: 0

У этого есть преимущество перед md5deep в том, что он будет показывать переименованные (перемещенные), добавлены и удалены файлы, а также устранена проблема с файлами длины 0, указанными в нижней части http://www.meridiandiscovery.com/how-to/validating-copy-results-using-md5deep .

Однострочный:

find directory -exec md5sum {} \; 2>&1 | sort -k 2 | md5sum

Это список всех файлов и каталогов и получает md5sum для каждого. Затем получает md5sum для всего.

Здесь решен хитрый бит, что md5sum не может вычислить сумму для каталога, но он сообщает нам следующее: md5sum: dir / sub_dir: Это каталог . Мы просто перемещаем это сообщение в стандартный вывод.