загруженные модули не означают хорошо настроенную виртуальную машину. Насколько точно настроена виртуальная машина, которую вы тестируете?
Используя RHEL 5, мост и virtio_net, я получаю задержку ~ 0,1 мс между физическими хостами и ~ 0,18 мс при пинге изнутри виртуальной машины. Простой мост, никаких оптимизаций или изменений, и довольно старый стек RHEL 5.