Как загрузить мои файлы на мой новый vps сервер Linux?

Вы соединяете использование SSH? Раз так... используйте filezilla на своем клиентском рабочем столе. Никакая потребность установить что-либо на сервере. Соединитесь с сервером на порте 22 (не 21).

http://filezilla-project.org/download.php

Вы более, чем вероятный, если это уже не установка, устанавливаете FTP-сервер, я предложил бы ProFTP, Ваш VPS шел с панелью управления или просто SSH? Если t прибыл без панели управления, смотрят на webmin. Оба из тех свободны.