Проблемы SSH: файл ключей и файл хоста, не работающий как ожидалось

Когда я вхожу в сервер с ключом

ssh -i /home/me/.ssh/id_rsa server

все обходится без помощи незначительного сбоя. Ключ авторизовывается на сервере. Однако, если я пытаюсь сделать то же из сценария оболочки, я получаю запрос пароля. То же происходит, когда я пробую к scp использование файла ключей:

scp -i /home/me/.ssh/id_rsa file server:

Я также создал ~/.ssh/config для хоста:

Host server
    hostname server
    IdentityFile /home/me/.ssh/id_rsa

Когда я пробую к SSH в только с ssh server Я также получаю запрос пароля. Файлу ключей, ssh конфигурация и authorized_keys сервера установили полномочия на 600.

Что я могу сделать для разрешения этого?

Править

То же также происходит с sshfs.

sshfs -o IdentityFile=/home/me/.ssh/id_rsa server:/directory mountpoint

от cli хорошо работает. Когда это находится в сценарии оболочки, я получаю запрос пароля.