Как сделать Аналог для парсинга только одной недели журналов?
Изолируйте сарай и сделайте его погодой трудный. Вложите капитал в маленький нагреватель и AC. Если Вы не хотели бы жить там 24/7, то ни один не будет Ваше оборудование ПК. Хорошо последним является небольшое преувеличение. Ваш ПК будет в порядке по более широкому диапазону температур затем, Вы были бы, но Вы получаете идею.
Я только что начал использовать аналог и reportmagic сам..
Я захватил это из практического руководства в документах:
Можно также включать дату в имя ФАЙЛА ЖУРНАЛА, при помощи следующих кодов.
Дата %D месяца
Имя месяца %m, на английском языке
Число месяца %M
%y двухразрядный год
Год из четырех знаков %Y
Час %H
Минута %n
День %w недели, на английском языкеТак, например,
ФАЙЛ ЖУРНАЛА access_log%Y%M.logбудет искать файл журнала access_log200109.log, если это будет сентябрь 2001. Используемая дата на самом деле До настоящего времени, если Вы были указаны, и иначе время запуска программы. Так, например, можно посмотреть на все файлы журнала прошлого месяца с командами
Который должен дать Вам немного справки в установке точно, какие файлы журнала Вы хотите проанализировать. Кроме того, существует эта соответствующая запись, которая назначает "В" и "С" дат:
Существует также еще одна пара команд, которая принадлежит этой категории, а именно, ОТ> и К командам. Они указывают период времени для ограничения анализа. Самое простое использование этих команд ОТ yyMMdd или ОТ yyMMdd:hhmm, где yy представляет последнее> две цифры года (аналог предполагает, что год между 1970 и 2069), MM представляет месяц, dd является датой, гд час и мм минута. Так, например, к> анализируют только запросы с 1-го июля 1999 до 13:00 15-го июня 2000, я использовал бы конфигурацию
ОТ 990 701
К 000615:1300С другой стороны, каждому из компонентов можно предшествовать + или - для представления времени относительно времени, в которое была вызвана программа. В этом случае дата может иметь больше чем 2 цифры. Это позволяет конструкции как
ОТ-01-00+01 # от завтра в прошлом году
К-00-0131 # в конец прошлого месяца (хорошо, даже если в прошлом месяце не имел 31 дня),
ОТ-00-00-112
К-00-00-01 # статистическим данным в течение прошлых 16 недель
ОТ-00-00-00:-06+01 # статистика в течение прошлых 6 часовСуществуют сокращения командной строки +F и +T для ОТ и ДО команд; например, +T-00-00-01:1800 взгляды на статистику до 18:00 вчера.-F и-T выключают от и до, также, как и ОТ ПРОЧЬ и К ПРОЧЬ.
С теми можно, вероятно, получить то, в чем Вы нуждаетесь. Я рисковал бы образованным предположением, что Ваш ответ кладет в "ОТ" и "ДО" .cfg записей.
Как еще одна альтернатива, Вы могли всегда пропускать тех, которые выше и просто писать сценарий пакетной обработки, который будет перемещаться/архивировать или удалять на предыдущей неделе файлов журнала-out_ значения по умолчанию "\LogFiles\W3SVC1" местоположение, чтобы сказать, что-то как "D:\IIS-Logfiles-Archive", и затем выполнить аналоговый анализатор в течение дня. Некоторый псевдокод, который мог бы помочь Вам начать и перемещающийся в правильное направление, был бы:
(и снова, это - псевдокод. Грубый, ужасный и соответствия как влажный шерстяной свитер. Там, вероятно, разве потребность не состоит в том, чтобы удалить каталог, но я ворчу из другого сценария, который я использую, mmmkay?:)
сетевая остановка all_your_webservices_here
CD C:\WINDOWS\system32\LogFiles\W3SVC1
del/f/q.
CD c:\
ул./s/q C:\WINDOWS\system32\LogFiles\W3SVC1
mkdir C:\WINDOWS\system32\LogFiles\W3SVC1
сетевой запуск all_your_webservices_here
"C:\Program Files\analog 6.0\analog.exe" && rmagic
Извините, это длится немного, там то, если у Вас есть установленный reportmagic и работающий также. Если Вы не делаете, я ВЫСОКО рекомендую это. Делает аналог симпатичным, управление отпечатками. Mmm, Мммм хороший. Как суп или что-то.:)
Однако я собираюсь предположить, что Вы желаете ограничить анализ неделей, потому что он берет навсегда для аналога для парсинга журналов. (Это - полностью случайное предположение, и окрашенный моим мнением, потому что я сортирую/своего рода пилы то же самое, первоначально настраивая его :)
Следует иметь в виду, после того как Вы анализируете ряд файлов журнала, (скажите, что ценность нескольких дней или ценность недели) он может требовать времени, однако повторно выполнение аналога для исследования любого после файлов журнала чрезвычайно быстро. Подводить итог; создайте запланированную задачу для аналога для выполнения один раз в день и это, в то время как выполненная начальная буква займет время, каждое последовательное выполнение будет намного быстрее, чем первое.
HTH, помощник...
-
1ничего себе, спасибо! Я буду использовать ОТ-00-00-7 ДО-00-00-01, спасибо. я имею также reportmagic, я люблю его – Magnetic_dud 15 June 2009 в 18:18
-
2Эй, никакой помощник забот.. You' ре, очень приветствующееся, довольное, я мог предоставить руку! – Greg Meehan 15 June 2009 в 18:20
-
3поскольку, кому интересно: необходимо записать ОТ-00-00-07 ДО-00-00-01 с ДВУМЯ цифрами, иначе вход будет проигнорирован – Magnetic_dud 15 June 2009 в 18:33
Чувак, я просто думал об этом после регистрации. Возможно, это поможет немного больше, начиная с большинства ссылок на, "Вот то, как Bob сделал свою конфигурацию и здесь - как Jerry сделал его здесь, который хорош и все, и т.д." больше не действительны.
В надеждах, что это может выручить Вас немного больше, вот мой analog.cfg файл:
"#" ниже БЫЛ производством и стал тестом.
"#"
ФАЙЛ ЖУРНАЛА "#" C:\WINDOWS\system32\LogFiles\W3SVC1\ex%y%M%D.*
"#"
"#" Это работало, но только дало нам один файл журнала за один раз.
"#"
"#" ниже является тестом.
"#"
ФАЙЛ ЖУРНАЛА "#" C:\WINDOWS\system32\LogFiles\W3SVC1*.log
"#"
Вышеупомянутое "#" работало, потому что мы хотим проанализировать ВСЕ файлы журнала,
"#" последовательно. Придерживаясь этого на данный момент.
"#"
"#"
"#", который записывает Эта строка, сколько времени это взяло для генерации отчетов.
"#"
ВРЕМЯ ВЫПОЛНЕНИЯ НА
"#"
"#" Эта строка сбрасывает файл журнала к localtime. Требовал времени к
"#" выясняют также.
"#"
LOGTIMEOFFSET-360
ФАЙЛ ЖУРНАЛА C:\WINDOWS\system32\LogFiles\W3SVC1*.log
"#"
"#", который Эта строка говорит "аналогу" выводить, это производится в "читаемый компьютер"
формат "#", чтобы reportmagic использовал. Если мы не использовали это, мы были бы
"#" говорят этому производить его в формате HTML для человека, или читаемый браузером
формат "#".
"#"
ВЫХОДНОЙ КОМПЬЮТЕР
"#"
"#", который Эта строка говорит аналогу конкретно, ГДЕ вывести, это производится.
"#"
OUTFILE D:\inetpub\wwwroot\stats\report.dat
"#"
"#", который Эти строки говорят аналогу, куда диаграммы идут.
"#"
LOCALCHARTDIR "D:\inetpub\wwwroot\stats\charts\%Y.%M."
CHARTDIR "строит диаграмму / % Y. % M".
"#"
"#" Эти строки устанавливают симпатичный текст в HTML
"#"
ИМЯ ХОСТА" [Интранет моей компании]"
HOSTURL http://mycompany_intranet
"#"
"#", который Эти строки говорят аналогу, как разрешить, что это - имена хостов. Мы
"#" должен работать над ними некоторые, потому что файл "dnscache.txt"
"#" просто продолжает расти, когда это работает и приводит к нам наличие
"#" для проявления некоторого обслуживания. Я не мог заставить это решать
"#" НЕПОСРЕДСТВЕННО из сети, однако я уверен, что это возможно
. "#"
ЗАПИСЬ DNS
DNSFILE dnscache.txt
DNSLOCKFILE dnslock.txt
DNSGOODHOURS 8
"#"
"#" Здесь является некоторой предварительной установкой, pre-module-load опции, которые мы должны установить в самом начале.
"#" Они отчасти похожи на тех выше, но можно считать их метатегами или метапеременными.
"#"
Страницы REQLINKINCLUDE
REFLINKINCLUDE *
REDIRREFLINKINCLUDE *
FAILREFLINKINCLUDE *
ПОДЛОБ /
ВЫДЕЛИТЕ ПОДТИПЫ в .gz.Z
"#" Добавляют, какой бы ни из этих типов страниц Вы имеете на своем сервере или других.
PAGEINCLUDE *.shtml
PAGEINCLUDE *.html
PAGEINCLUDE *.asp
PAGEINCLUDE *.jsp
PAGEINCLUDE *.js
PAGEINCLUDE *.cfm
PAGEINCLUDE *.css
PAGEINCLUDE *.pl
PAGEINCLUDE *.php
PAGEINCLUDE *.swf
TYPEALIAS .html ".html [язык разметки гипертекста]"
TYPEALIAS .htm ".htm [язык разметки гипертекста]"
TYPEALIAS .shtml ".shtml [проанализированный сервером HTML]"
TYPEALIAS .ps ".ps [PostScript]"
TYPEALIAS .gz ".gz [сжатые файлы Gzip]"
TYPEALIAS .tar.gz ".tar.gz [Сжатые архивы]"
TYPEALIAS .jpg ".jpg [графика JPEG]"
TYPEALIAS .jpeg ".jpeg [графика JPEG]"
TYPEALIAS .gif ".gif [графика GIF]"
TYPEALIAS .png ".png [графика PNG]"
TYPEALIAS .txt ".txt [простой текст]"
TYPEALIAS .cgi ".cgi [сценарии CGI]"
TYPEALIAS .pl ".pl [сценарии Perl]"
TYPEALIAS .css ".css [каскадные таблицы стилей]"
TYPEALIAS .class ".class [файлы класса Java]"
TYPEALIAS .pdf ".pdf [переносимый формат документа Adobe]"
TYPEALIAS .zip ".zip [Архивы Zip]"
TYPEALIAS .hqx ".hqx [файлы Macintosh BinHex]"
TYPEALIAS .exe ".exe [Исполняемые файлы]"
TYPEALIAS .wav ".wav [звуковые файлы WAV]"
TYPEALIAS .avi ".avi [фильмы AVI]"
TYPEALIAS .arc ".arc [Сжатые архивы]"
TYPEALIAS .mid ".mid [Файлы звукозаписи в формате MIDI]"
TYPEALIAS .mp3 ".mp3 [звуковые файлы MP3]"
TYPEALIAS .doc ".doc [документ Microsoft Word]"
TYPEALIAS .rtf ".rtf [формат RTF]"
TYPEALIAS .mov ".mov [Быстрый фильм Времени]"
TYPEALIAS .mpg ".mpg [фильм MPEG]"
TYPEALIAS .mpeg ".mpeg [фильм MPEG]"
TYPEALIAS .asp ".asp [активные страницы сервера]"
TYPEALIAS .jsp ".jsp [страницы сервера Java]"
TYPEALIAS .cfm ".cfm [Cold Fusion]"
TYPEALIAS .php ".php [PHP]"
TYPEALIAS .js ".js [код JavaScript]"
"#" x=General
"#" 1=Yearly W=Weekly D=Daily Q=Quarterly m=Monthly d=DailySum
"#" H=Hourly h=HourlySum w=HoursOfWeek 4=15minly 6=15minlySum 5=5minly
"#" 7=5minlySum
"#" o=Domain Z=Organisat. S=Host s=RefSite f=ReferrerURL
N=SearchQuery B=Browser "#" n=SearchWord b=BrowserSum p=OS
"#" i=Dir. r=File t=FileType z=FileSize c=Status
I=Failure L=FailHost K=FailRef E=Redir l=RedirHost k=RedirRef "#"
"#" v=VHost R=RedirVHost M=FailVHost u=User j=RedirUser J=FailUser
Y=IntSearchQuery P=ProcTime "#" y=IntSearchWord
WEEKBEGINSON В ПОНЕДЕЛЬНИК
MARKCHAR +
REPSEPCHAR ни один
COMPSEP ""
RAWBYTES ПРОЧЬ
BYTESDP 2
NOROBOTS НА
SEARCHCHARCONVERT НА
BARSTYLE i
PNGIMAGES НА
HTMLPAGEWIDTH 65
ASCIIPAGEWIDTH 76
MINGRAPHWIDTH 15
ALLCHART НА
ALLGRAPH P
"#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#"
СЕРВИСНЫЕ ОТЧЕТЫ "О #" - КАК ХОРОШО МЫ ПОСТАВЛЯЕМ СТРАНИЦЫ "#"
"#" "#"
Состояние "#" - были ли страницы поставлены хорошо или привели "#" к сбою
"#" Proctime - время для диспетчеризации файлов "#"
Отказ "#" - люди запрашивают эти страницы, и он привел "#" к сбою
"#" Failhost, Failref - отказы явились результатом ссылок на эти хосты на эти URL "#"
"#" Redir - люди запросили эти файлы, но были перенаправлены "#"
"#" Redirhost, redirref - перенаправления явились результатом ссылок на эти хосты и URL "#"
"#" "#"
СЕДЛА "#", ДИАГРАММА, SORTBY, ПОЛ, SUB, ARGS, LINKINCLUDE - как выше "#"
"#" 304ISSUCCESS - 304 Не Измененный означает, что пользователь видел кэшируемую копию: т.е. успех! "#"
"#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#""#"
REPORTORDER x1QmWDdHwh4657oZSlLujJkKfsNnBbpvRMcPztiEIYyr
ДОМЕН НА
DOMCHART НА
DOMCOLS PQ
СТРАНИЦЫ DOMSORTBY
DOMFLOOR-500p
СУБДОМЕН...
СТРАНИЦЫ SUBDOMSORTBY
SUBDOMFLOOR 1.5%p
КАТАЛОГ НА
DIRCHART НА
DIRCOLS PQc
"#"
"#", Исключая все "локальные" каталоги и каталоги "изображений", согласно веб-команде
запрос "#".
"#"
DIREXCLUDE */local
DIREXCLUDE / изображения
"#"
DIRSORTBY PAGES7
SUBDIRSORTBY PAGES7
DIRFLOOR 0q
SUBDIRFLOOR 0q
SUBDIR/////
ТИП ФАЙЛА НА
TYPECHART НА
TYPECOLS Rb
БАЙТЫ TYPESORTBY
ВЫДЕЛИТЕ ПОДТИПЫ в .gz.Z
РАЗМЕР НА
SIZECHART НА
SIZECOLS SCR
ОРГАНИЗАЦИЯ НА
ОРГАНИЗАЦИОННАЯ ДИАГРАММА НА
Свинец ORGCOLS
СТРАНИЦЫ ORGSORTBY
ORGFLOOR-500p
СТРАНИЦЫ SUBORGSORTBY
SUBORG.... com
SUBORGFLOOR 25.0%p
ХОСТ НА
HOSTCHART НА
Свинец HOSTCOLS
СТРАНИЦЫ HOSTSORTBY
HOSTFLOOR-500p
BROWSERREP НА
BROWREPCHART НА
BROWREPCOLS Rb
ЗАПРОСЫ BROWREPSORTBY
BROWREPFLOOR-400r
BROWSERSUM НА
BROWSUMCHART НА
BROWSUMCOLS PQq
BROWSUMSORTBY PAGES7
BROWSUMFLOOR-200q
ПОДЛОБ///
SUBBROWSORTBY PAGES7
SUBBROWFLOOR-400q
СОСТОЯНИЕ НА
STATUSCHART НА
STATUSCOLS R
АЛФАВИТНЫЙ STATUSSORTBY
STATUSFLOOR-200r
304ISSUCCESS НА
OSREP НА
OSCHART НА
Windows OSCHARTEXPAND
OSCOLS PQq
OSSORTBY PAGES7
OSFLOOR-200q
SUBOSSORTBY PAGES7
SUBOSFLOOR-500q
PROCTIME НА
PROCTIMECOLS R
PROCTIMECHART НА
ПОЛЬЗОВАТЕЛЬ НА
USERCOLS Rb
USERCHART НА
ЗАПРОСЫ USERSORTBY
USERFLOOR-500r
ЗАПРОС НА
REQCHART НА
REQCOLS RSc
REQSORTBY REQUESTS7
REQFLOOR 0.5%s
REQARGSSORTBY REQUESTS7
REQARGSFLOOR 0.5%s
REQEXCLUDE *
REQINCLUDE *.html
REQINCLUDE *.htm
REQINCLUDE *.zip
REQINCLUDE *.gz
REQINCLUDE *.Z
REQINCLUDE .pdf
REQLINKEXCLUDE/cgi-bin/
REQLINKEXCLUDE / сценарии /*
REQLINKINCLUDE *
REQLINKINCLUDE *.zip
REQLINKINCLUDE *.pdf
ОТКАЗ НА
FAILCHART НА
RS FAILCOLS
FAILSORTBY REQUESTS7
FAILFLOOR-300s
FAILARGSSORTBY REQUESTS7
10-е FAILARGSFLOOR
FAILLINKEXCLUDE *
FAILHOST НА
FAILHOSTCHART НА
RS FAILHOSTCOLS
FAILHOSTSORTBY REQUESTS7
FAILHOSTFLOOR-500s
FAILUSER НА
FAILUSERCOLS R
FAILUSERCHART НА
ЗАПРОСЫ FAILUSERSORTBY
FAILUSERFLOOR-400r
FAILREF НА
FAILREFCHART НА
RS FAILREFCOLS
FAILREFSORTBY REQUESTS7
FAILREFFLOOR-300s
FAILREFARGSSORTBY REQUESTS7
10-е FAILREFARGSFLOOR
FAILREFLINKINCLUDE *
REDIR НА
REDIRCHART НА
REDIRCOLS SR
REDIRSORTBY REQUESTS7
REDIRFLOOR-300s
REDIRARGSSORTBY REQUESTS7
REDIRARGSFLOOR 500 с
REDIRHOST НА
REDIRHOSTCHART НА
REDIRHOSTCOLS SR
REDIRHOSTSORTBY REQUESTS7
REDIRHOSTFLOOR-500s
REDIRREF НА
REDIRREFCHART НА
RS REDIRREFCOLS
REDIRREFSORTBY REQUESTS7
REDIRREFFLOOR-300s
REDIRREFARGSSORTBY REQUESTS7
REDIRREFARGSFLOOR 500 с
REDIRREFLINKINCLUDE *
REFSITE НА
REFSITECHART НА
REFSITECOLS PQ
REFSITESORTBY PAGES7
REFSITEFLOOR-500q
REFDIRSORTBY PAGES7
REFDIRFLOOR 50.5%q
ССЫЛАЮЩИЙСЯ ДОМЕН НА
REFCHART НА
REFCOLS PQ
REFSORTBY PAGES7
REFLINKINCLUDE *
REFFLOOR-500q
REFARGSSORTBY PAGES7
REFARGSFLOOR 50.5%q
VHOST НА
VHOSTCHART НА
VHOSTCOLS Rb
VHOSTFLOOR-200b
БАЙТЫ VHOSTSORTBY
REDIRVHOST НА
REDIRVHOSTCHART НА
REDIRVHOSTCOLS R
REDIRVHOSTFLOOR-200r
ЗАПРОСЫ REDIRVHOSTSORTBY
REDIRUSER НА
REDIRUSERCOLS R
REDIRUSERCHART НА
ЗАПРОСЫ REDIRUSERSORTBY
REDIRUSERFLOOR-200r
SEARCHWORD НА
SEARCHWORDCHART НА
SEARCHWORDCOLS PQq
SEARCHWORDSORTBY PAGES7
SEARCHWORDFLOOR 1.5%q
SEARCHQUERY НА
SEARCHQUERYCHART НА
SEARCHQUERYCOLS Q
SEARCHQUERYSORTBY PAGES7
SEARCHQUERYFLOOR-500q
INTSEARCHQUERY НА
INTSEARCHQUERYCOLS R
INTSEARCHQUERYCHART НА
INTSEARCHQUERYFLOOR-300r
ЗАПРОСЫ INTSEARCHQUERYSORTBY
INTSEARCHWORD НА
INTSEARCHWORDCOLS R
INTSEARCHWORDCHART НА
INTSEARCHWORDFLOOR-400r
ЗАПРОСЫ INTSEARCHWORDSORTBY
Снова, надежда это помогает также и удача, помощник!
Для специализированного парсинга файлов журнала существует хороший сценарий, отправленный по http://www.biterscripting.com/SS_WebLogParser.html. Это записано для журналов веб-сервера, но можно использовать его в качестве начальной точки для записи собственного синтаксического анализатора журнала для журналов любого вида.
Patrick