Sooo ответ - "это, не был должен".
Более длинный ответ в форме вопроса: поведение прокси, которое Вы показываете, там очень подобно прокси, в котором имя хоста является частью запроса. Вы рассматриваете сервер как прокси, или Вы просто ловите трафик от прокси?
Как правило, когда клиенты запрашивают содержание, они запрашивают относительный URL и предоставляют Хост: заголовок.
Клиент просит у прокси-сервера http://fullsomethingname.fqdn.com только, когда цель настроена как прокси, и я должен был отладить странное поведение на основе этого прежде.
Таким образом от этого, мы можем сказать с некоторой гарантией, что у Вас есть прокси где-нибудь в соединении. Скрипач, который работает прокси, количествами.
Я предложил бы, как Ochoto, пробуя Завихрение или WFETCH или WGET или любой другой простой uninterrupted-by-WinInet-or-IE's-browser-settings-or-proxy-cache клиент, чтобы быть абсолютно бесспорным.
На самом деле, если Вы хотите абсолютную уверенность:
Если Вы действительно хотите, можно добавить HTTP.SYS, прослеживающий также просто в придачу.
Если
Затем затем, затем затем, гм, о, жаль, я потерял свой ход мыслей.
Думаю, ответ будет зависеть от того, что вам нужно делать с этими данными. Если вы ищете обработку (поиск) в реальном времени, то вам, вероятно, понадобится (масштабируемая) поисковая система, например Elasticsearch или Solr. Вот две ссылки, с которых можно начать работу над этими двумя:
Это с Elasticsearch: http://blog.sematext.com/2013/09/24/presentation-on-centralizing-logs/
Это с Solr: http://blog.sematext.com/2013/ 11/11 / presentation-solr-for-indexing-and-search-logs /
Если вам нужна пакетная обработка, вам, вероятно, будет лучше с Hadoop. Хотя у вас может быть дизайн, который может делать и то, и другое. А поисковые системы включают все больше и больше аналитических возможностей, как, например, Elasticsearch с агрегатами.