Я даю +1 статьям Slicehost. Они - то, что запустило меня с моего VPS, даже если Вы не используете Slicehost. Легкий следовать.
Если Вы хотите придерживаться чего-то, что поддерживается на Ubuntu, Вы могли использовать KVM.