Проверьте этот ответ, где у кого-то была подобная проблема, оказался, что это был iptables порождение узкого места. Выключите любые брандмауэры и посмотрите то, что Вы получаете!
Проверьте события и разделите журналы на обоих концах. Это поможет локализовать проблему. Кроме того, требуется дополнительная информация об ОС на обоих концах.