Мог быть Ваш IP, был помещен в черный список предыдущим владельцем IP Вашего VPS. Характерный для неуправляемого VPS, который будет поставлен под угрозу спаммером или другим blackhat действием в дикой природе.
Править: Кроме того, удостоверьтесь, что Ваш обратный DNS (rDNS) настраивается правильно, поскольку большим серверам SMTP будет нужно это, чтобы проверить, что Вы - то, кто Вы говорите, что Вы.
Попробуйте:
sftp -o PubkeyAuthentication=no <user>@<server>
Это должно отключить желание использовать ваш открытый ключ для этого сеанса.