Почему делает мой прогон программы в 2-4 раза медленнее на VPS?
Аварийные 21 являются decryption_failed (см. RFC 2246, разделите 7.2). Это - очень нечетное предупреждение для получения и обычно указывает на ошибку в стеке SSL.
Когда Вам установили SSLVerifyClient, сервер действительно отправляет CertificateRequest, который я принимаю. И клиент принимает решение не отправить тот? Это должно, конечно, все хорошо работать.
Как случайная мысль, если это - сервер FreeBSD, удостоверяются, что Вы не скомпилировали Apache против неправильных заголовков OpenSSL (т.е. если Ваши порты OpenSSL 1.0.0, и система 0.9.8).
Само определение VPS отвечает на ваш вопрос:
Это виртуальный частный сервер. Вы используете оборудование совместно с другими.
(Вы просто не можете их видеть, в зависимости от настроек).
И, естественно, в интересах провайдера VPS загружать систему до определенной степени, в для увеличения своей прибыли.