Я рекомендую wireshark, если Вы работаете в доверяемой среде. Это работает везде, легко установить, имеет хорошую поддержку и многофункционально. Основная оборотная сторона - то, что это пострадало от уязвимостей системы обеспечения безопасности, поэтому если Вы используете его, совершенствуете его.
Существует fdupes. Но я обычно использую комбинацию find . -type f -exec md5sum '{}' \; | sort | uniq -d -w 36
Хорошо существует FSlint - который я не использовал для этого особенно случай, но я должен смочь обработать его: http://en.flossmanuals.net/FSlint/Introduction
Вы почти наверняка не хотите к разности каждую пару файлов. Вы, вероятно, хотели бы использовать что-то как md5sums для получения всех контрольных сумм всех файлов и канала, что в некоторый другой инструмент, который только сообщит дублирующиеся контрольные суммы.