Аутентификация сертификата SSH для пользователя без корневого каталога

Нет, если рассматриваемое поле Solaris не было установкой довольно экзотическим/странным способом нет никакого способа для Вас указать открытый ключ для использования.

Принятие мы говорим об обычном scp клиенте, который является частью OpenSSH, оно сам по себе, не примет пароль нев интерактивном режиме.

Одно решение могло бы состоять в том, чтобы записать Вашему собственному scp "клиенту". Таким образом, соедините что-то в своем любимом языке сценариев, с помощью подходящего модуля/библиотеки, позволив паролю быть вставленными нев интерактивном режиме.