Что самый компактный путь состоит в том, чтобы сохранить защищенный паролем ключ RSA?

На самом деле-passout проигнорирован. Последнее предложение справки для-des3 в странице справочника

Эти опции могут только использоваться с выходными файлами формата PEM.

Утилиты OpenSSL просто не имеют дело с ключами non-PEM формат.

Для длины ключа, почему Вы заботитесь, сделал ли base64 ее 1/3 дольше? Для большинства файловых систем это все еще будет меньше чем одним блоком, таким образом, не будет никакого фактического изменения в количестве используемого дискового пространства.