Заставьте IIS 6 ISAPI dll игнорировать виртуальные каталоги

Вы не можете. Microsoft конкретно заявляет в Обзоре Фильтра ISAPI:

Фильтры ISAPI всегда работают на сервере IIS, фильтруя каждый запрос, пока они не находят тот, который они должны обработать. Способность исследовать и изменить и входящие и исходящие потоки данных делает фильтры ISAPI мощными и гибкими.

Чтобы быть выборочными, возможно, необходимо скорее использовать Расширение ISAPI, так как в этом случае сам URL указывает DLL, к которому направлен запрос. В этом случае DLL должен обработать сам весь запрос.