Какой-либо способ остановить людей от img “структурирование” Вашего сайта?

Необходимо будет ответить еще на несколько вопросов, прежде чем мы сможем действительно дать Вам предложение. Для начала, Вы желаете хранить необработанные данные в течение 5 лет? Или действительно ли прокрученные данные достаточно хороши? Это имеет значение больше, чем Вы могли бы думать, и одна только эта функция может определить, каковы Ваши опции.

Когда Вы говорите о 5-летнем отрезке времени, Вы почти всегда говорите об отклоняющейся информации, это идет в свернутый, и Вы будете терять точность со временем. Если Вы не свертываете данные, Вы имеете дело с чудовищным объемом данных, и очень немного систем (оба программных и аппаратных обеспечения) смогут обработать его.

К счастью вот почему RRDtool и Круговые базы данных (RRD) были изобретены. Если Вы не распознаете его, это хорошо. Вы не можете знать имя, но если Вы посмотрите на инструменты с открытым исходным кодом, то Вы будете видеть практически все созданное сверху его. Почти любая программа с открытым исходным кодом, которая отклоняется данные со временем и дает Вам симпатичные графики, вероятно, использует RRDtool под капотом. RRDtool создает зафиксированные измеренные базы данных, которые автоматически свертывают данные, и хранилища прикрепили точность к указанным пределам. Например, у Вас мог бы быть он, хранят ценность 30 дней данных в 5-минутной точности, ценность 90 дней данных в 30-минутной точности, ценность 180 дней данных в точности 1 часа, 365 дней данных в точности 1 дня, 3 года данных в точности 1 недели, и 10 лет данных в точности 1 месяца. Это все настраивается, и когда-либо время, Вы добавляете новую точку данных, она вычисляет список данные.

Теперь, после того как Вы выясняете наверняка, каковы Ваши требования хранения данных, необходимо выяснить, как Вы планируете контролировать системы. Если существует большое разнообразие устройств, особенно если существует много сетевых устройств, SNMP является стандартом. Кроме того, существует много устройств, которые не могут контролироваться ничем кроме SNMP, таким образом, по крайней мере некоторый уровень поддержки SNMP важен (примерами является UPS, генераторы, принтеры, и т.д.). Если у Вас есть много серверов, можно хотеть пойти с основанной на агенте системой, где Вы устанавливаете контролирующий агент на каждом устройстве, которое будет контролироваться. Это будет часто давать Вам более подробную информацию, но значительно увеличивает управление, наверху требуемое.

Затем, необходимо знать то, что спроектированный рост вне, "что обрабатывает X и что обрабатывает 10 раз X". Даже в перечисленных хостах 1k, 1k является чрезвычайно другим зверем, чем хосты 10k. Много систем обработает 1k, но когда Вы приблизитесь к 10k, много раз Вам будет нужна распределенная система для совместного использования загрузки. Кроме того, Вы упоминаете 100 переменных на систему, которую Вы хотите контролировать... действительно ли Вы уверены в этом? Нет всего этого многих систем контроля, которые поддерживают контроль что много переменных. Это - большая информация для получения по запросу от каждого устройства.

Наконец, необходимо рассмотреть намного больше, чем система контроля, когда Вы начинаете приближаться к крупным масштабам. Отступление 100 переменных битов данных формирует 1k (или 10k), устройства с 5-минутным разрешением собираются потребовать некоторой довольно серьезной пропускной способности. Будьте подготовлены к этому, или Вы могли найти, что Ваша система контроля негативно влияет на Вашу сеть. Это особенно важно, если Вам распространяли Ваши системы через несколько сайтов, и Вы пересекаете каналы WAN.

Существует несколько систем С открытым исходным кодом, которые делают ставку на требование того, чтобы быть конкурентоспособным в этом контрольном масштабе большой сети, но не многих. Nagios был вокруг в течение долгого времени и, как было известно, контролировал 1k + системы. Zenoss предлагает и основной продукт с открытым исходным кодом и коммерчески поддерживаемый продукт, и пытается бросить вызов некоторым "крупным нападающим". Zabbix является полностью открытым исходным кодом с компанией, поддерживающей его предлагающий поддержку.

Когда дело доходит до крупных компаний с тысячами устройств/систем, которым нужен контроль, тем не менее, крупнейшие плееры являются Spectrum/eHealth/Unicenter CA, комплектом Tivoli IBM, OpenView HP. Каждый из них может обработать огромные масштабы, но также и идти с огромными ценами.

Примечание: Мое Дневное задание является реализацией и обслуживанием контрольных инструментов сети, где мы контролируем по 5k сетевым устройствам и 8k серверам. Нахождение инструментов, которые работают хорошо в этих масштабах, трудно.