Отключите oom уничтожителя и посмотрите, каков конечный результат. Также опубликуйте информацию от использования памяти процесса как применимую. Взгляните на вывод pmap также, чтобы помочь дешифровать. Я выполнил очень большую "кучу" Java под 64-разрядным RHEL5 и никогда не замечаемым эта проблема.
Хотя технически вы можете указать запись MX на IP-адрес, многие места вам не позволят, поэтому просто создайте запись A с именем mail и укажите ее на свой IP-адрес для домена, а затем укажите MX запись к этому.