Обратите внимание, что выбранный ответ только работает, если Вы интересуетесь получением некоторого HTML непосредственно от URL. Если необходимо пробраться через некоторый материал UI, прежде чем Вы доберетесь до страницы, в которой Вы нуждаетесь, я рекомендовал бы выполнить Селен на бездисплейном X-сервере. Я делаю это для проекта теперь, он работает как очарование.
Надеюсь, это поможет.
С уважением,
Sebastiaan