Как Вы тестируете новую почтовую систему фильтрации?

Тестирование электронного письма, фильтрующего продукт, кажется, намного более трудно, которым это звучит на поверхности. Как я думал об этом, я обрисовал в общих чертах свои идеи и разломал их на определенные проблемные области.

Доставка

Первая часть тестирования связана с насмешкой предоставления электронного письма к системе фильтрации. Потенциально, система фильтрации может взять любое из следующих (и вероятно больше вещей, которые я забываю), во внимание:

• Определенные детали протокола SMTP (сделал отправителя, делают HELO, EHLO, и что с именем или IP, и т.д.),
• Атрибуты DNS передающего домена (делает это, решают, записи SPF, записи доменных ключей),
• Достижимость MX отправителя (для проверки обратного пути)
• Исходный IP-адрес сервера, передающего сообщение
• Содержание сообщения
• "Мнение", что сторонние базы данных или "подписи" дают о любом вышеупомянутом (DNSBLs, собственные базы данных "репутации", и т.д.)

Копирование предоставления сообщений к инструменту фильтрации становится менее представительным для действительности, если бы каким-либо из этих факторов не является то же как, что произошло бы во время "реальной" доставки. Отправка полученной входящей электронной почты к фильтрации подстраивает способом, который не моделирует исходный IP-адрес передающего сервера, например, препятствует той способности продукта фильтрации действовать на тот фактор (выполнение его DNSBL, и т.д.). Аналогично, отправка отложенных сообщений к фильтрации (говорите Вы, имеет "консервированный" корпус сообщений для тестирования с), произведет ложное впечатление поведения, потому что атрибуты DNS отправителя и любых сторонних баз данных или подписей, возможно, изменились со времени сообщение было первоначально отправлено (отправитель изменил их записи SPF для предотвращения ложных положительных сторон, сторонний сервис "поместил в черный список" отправителя, и т.д.).

Я утверждал бы, что это невозможно к полностью действительности макета, как это приходит к доставке. Бывший рядом, собираясь быть довольно трудным, если Вы намереваетесь моделировать IP-адрес передающего сервера (и я не знаю ни о ком "с полки" решение, которое делает это... и получавший довольно хорошие результаты DNSBLs, я был бы обеспокоен не моделированием IP-адреса передающего сервера.) В конечном счете, необходимо будет просто стать настолько близкими, как можно предоставить.

Устройство хранения данных

У Вас есть к сохраненному фильтрованная электронная почта где-нибудь, если Вы намереваетесь проанализировать результаты. Без устройства хранения данных некоторого вида нет никакого хорошего способа на самом деле просмотреть результаты. Несомненно, фильтрующее программное обеспечение генерирует статистику, но это, конечно, улучшило бы мой уровень комфорта, если бы я видел фильтрованные сообщения.

Некоторые продукты фильтрации имеют встроенную возможность хранения (как MailMarshal, например). Другие продукты ожидают иметь почтовую систему для поставки в и не имеют никакой возможности хранения. Для тестирования тех продуктов, и чтобы не разрушить производственную почтовую систему необходимо будет создать некоторую вторичную почтовую инфраструктуру для хранения тестовых результатов фильтрации.

Если лицензирование расхода является беспокойством, можно использовать свободные и инструменты с открытым исходным кодом для предотвращения расхода лицензирования несения. Это может представить кривую обучения для персонала тестирования.

Более замысловатое "программное обеспечение для совместной работы" - почтовые системы типа могут представить собой проблему в насмешке из-за их зависимостей от других сервисов. Exchange Server потребует, чтобы Вы к макету инфраструктура Active Directory разместили почтовые ящики. Другое "программное обеспечение для совместной работы" - почтовые системы типа (Примечания, Groupwise, и т.д.) будут иметь свои собственные связанные степени трудности при создании параллельных инфраструктур.

Анализ

Вдобавок к насмешке доставки и хранению результатов у Вас также должен быть человеческий анализ точности фильтрации (отмечающий как спам, удаление, регистрация папке "Junk E-mail", и т.д.). Это, вероятно, идет высказывание w/o, но потребности человека проверить результаты фильтрации начиная со смысла этого осуществления состоят в том, чтобы протестировать способность компьютера отфильтровать результаты. (Я знаю, это пошло w/o, говорящий..., но я могу просто услышать, что кто-то говорит, "Но ожидать! Мы запишем сценарий для тестирования точности..."),

Анализ фильтрации проблематичен передовой, по моему мнению, как масштаб. Для любой большой группы конечных пользователей, фильтруя анализ будет вне способностей отдельной или небольшой группы тестеров (или, более вероятно, они будут просто "выборочная проверка" и надежда на лучшее). Кроме того, у тестера может быть другая идея того, что нужно считать "спамом", чем настоящий пользователь получения (кто действительно хочет получить те глупые рекламные электронные письма от их компании по прокату автомобилей или "слово словаря дня"). Идентификация, очевидно, неудавшихся сообщений, вероятно, довольно легка (poronographic электронные письма в "Ящике входящих сообщений", сообщения от известных Клиентов в папке "Junk E-mail", и т.д.), но существует, конечно, потенциал для тонкости.

Я не думаю, что существует 100%-я замена для действительности - Вы просто оказываетесь перед необходимостью быть рядом и надеяться, что Ваша установка тестирования отражает действительность достаточно тесно, чтобы дать Вам точную оценку производительности фильтра.