Очень вероятно, что Dreamhost использует сценарий собственной разработки, и это вероятно, что необходимо будет сделать также. Необходимо смочь сделать это без слишком большого количества суеты в ударе или жемчуге.
В проверке svc.startd страницы справочника я не вижу, что stderr регистрируется как причина отказа. Проверьте раздел SERVICE FAILURE страницы справочника, чтобы помочь диагностировать.
На основе сообщения Вы добавили, похоже, что метод запуска испытывает таймаут. Сценарий запуска сервиса, помещая ту программу ("сервер Java. CustomServer") в фоновом режиме так, чтобы это могло выйти?