Поскольку эти настройки GRUB работают с видеорежимами BIOS, есть вероятность, что VMware BIOS (сильно модифицированный BIOS Phoenix) не поддерживает то, что вы просите.
Помогает ли вам запись сообщества VMWare Workstation 11 + Debian 8 = GRUB gfxpayload проблема и пустой экран ?
Цитата из принятого ответа:
Попробуйте добавив
vmwgfx.enable_fbdev = 1
в командную строку ядра и посмотрите, решит ли это проблему.