Я думаю, что необходимо использовать перенаправление портов, которое уже может сделать SSH:
ssh -L 5900:example.com:5900 me@gateway
Это передаст порт 5900 от Вашей локальной машины до example.com через шлюз. Теперь просто "vncviewer localhost" от Вашей локальной машины.
Ключ может быть в двоичном формате, вам просто нужно посмотреть, как преобразовать его в нужный формат (если это правильный ключ). Вы можете использовать следующую ссылку, чтобы узнать, как это сделать:
http://help.globalscape.com/help/secureserver3/Converting_an_incompatible_traditional_PEM_encoded_encrypted_private_key.htm
Обычным (например, более частым) форматом, используемым ключевыми (и другими) файлами SSL, является PEM, который является форматом в кодировке ASCII.
Закрытый ключ pem выглядит следующим образом:
-----BEGIN RSA PRIVATE KEY-----
MIICXQIBAAKBgQD1z3Uy/si24d4HNYMPWOOYxMore+gibberishLorem+IpsumEE
OmegOdOMYGOdLiO8RB9A8fqZor0MMLF1u5IZJ56dttPCFwI6esXQIDAQABUUUUUU
-----END RSA PRIVATE KEY-----
]