Вы всегда можете использовать поиск по ssh:
scp user@hostname:`ssh user@hostname "find folderA -name \"targetFile\" "` .
Это открывает два SSH-соединения, поэтому вам будет предложено ввести пароль дважды, если вы не настроили незащищенные ключевые файлы.
Конечно, при использовании rsync просто исключите все, а затем укажите только имя нужного файла:
$ rsync --exclude="*" --include="filename" -e ssh user@remote:path/to/folderA/ .