Linux + удаляет дублирующийся IP из файла
В текущее время я не думаю, что можно сделать это со сквидом. Потенциал там:
Мы полагаем, что технически возможно реализовать динамическое поколение сертификата для прозрачных соединений. Выполнение так требует переворачивающихся вверх дном шагов обработки транзакции Сквида, так, чтобы безопасное соединение с сервером было установлено перед безопасным соединением с клиентом. Реализация будет трудной, но она позволит Сквиду получать имя сервера из сертификата сервера и использования что генерировать поддельный сертификат сервера, чтобы дать клиенту. Качественные патчи или одобренное спонсорство.
Источник: посмотрите раздел ограничений http://wiki.squid-cache.org/Features/DynamicSslCert
Я знаю о по крайней мере одном коммерческом решении, которое делает это. Может быть больше.
Я считаю, что для вас подойдет такая простая вещь, как 'sort -u'
#sort -u /tmp/test
172.17.200.1 3.3.3.3
172.17.200.2 3.3.3.4
172.17.200.3 3.3.3.5
172.17.200.4 3.3.3.7
172.17.200.5 3.3.3.8
255.255.255.0 255.255.255.111
Дополнительную информацию можно найти на странице руководства 'sort':
-u, --unique
with -c, check for strict ordering; without -c, output only the first of an equal run