Вы могли объединить свое программирование и опыт брандмауэра во что-то связанная безопасность. Алгоритмы для адаптивной угрозы, контролирующей на разных уровнях модели OSI, чего-то как этот.
Я проверил бы тип контента, возвращенный рассматриваемыми URL. Это кажется, что каждый передает "текст/HTML" и другой "текст/плоскость"... возможно, в Вашей конфигурации прокси Вам нужна к frob некоторая установка типа контента.