Как установить прокси для phantomjs/ghostdriver в python webdriver?

Я пытаюсь выяснить, как перенаправить мои запросы через HTTP-прокси.

Я инициализирую webdriver следующим образом:

user_agent = 'my user agent 1.0'
DesiredCapabilities.PHANTOMJS['phantomjs.page.settings.userAgent'] = user_agent
driver = webdriver.PhantomJS()

Я просмотрел документы и источник и не могу найти способ использовать прокси-сервер с phantomjs через webdriver.

Любые предложения?

Ответ 1

Ниже приведен пример того, как установить прокси для PhantomJs в Python. Вы можете изменить тип прокси: socks5/http.

service_args = [
    '--proxy=127.0.0.1:9999',
    '--proxy-type=socks5',
    ]
browser = webdriver.PhantomJS('../path_to/phantomjs',service_args=service_args)

Ответ 2

Я выкопал немного, и я обнаружил, что функциональность есть, но она не отображается. Поэтому для его исправления требуется удобный ключ для обезьян. Вот решение, которое работает для меня, пока эта функциональность не будет полностью раскрыта в вызове webdriver.

ИЗМЕНИТЬ: кажется, что в настоящее время выставлены службы_арги, вам больше не нужно использовать сериал monkey patch для использования прокси-сервера... см. @alex-чешский ответ о том, как использовать.

from selenium import webdriver
from selenium.webdriver.phantomjs.service import Service as PhantomJSService

phantomjs_path = '/usr/lib/node_modules/phantomjs/lib/phantom/bin/phantomjs'
# monkey patch Service temporarily to include desired args
class NewService(PhantomJSService):
    def __init__(self, *args, **kwargs):
        service_args = kwargs.setdefault('service_args', [])
        service_args += [
            '--proxy=localhost:8080',
            '--proxy-type=http',
        ]
        super(NewService, self).__init__(*args, **kwargs)
webdriver.phantomjs.webdriver.Service = NewService
# init the webdriver
self.driver = webdriver.PhantomJS(phantomjs_path)
# undo monkey patch
webdriver.phantomjs.webdriver.Service = PhantomJSService

Также полезны следующие настройки, особенно при использовании прокси-сервера, который может занять очень много времени.

max_wait = 60
self.driver.set_window_size(1024, 768)
self.driver.set_page_load_timeout(max_wait)
self.driver.set_script_timeout(max_wait)

Ответ 3

Ниже описано, как сделать то же самое с Webdriver в Ruby. Я не мог найти его нигде в сети, пока я не выкопал исходный код:

phantomjs_args = [ '--proxy=127.0.0.1:9999', '--proxy-type=socks5']
phantomjs_caps = { "phantomjs.cli.args" => phantomjs_args }
driver = Selenium::WebDriver.for(:phantomjs, :desired_capabilities => phantomjs_caps)

Ответ 4

Мне пришлось передавать учетные данные как в service_args, так и в качестве заголовка proxy-auth. Я не верю, что phantomjs правильно передает proxy auth.

service_args = [
    "--ignore-ssl-errors=true",
    "--ssl-protocol=any",
    "--proxy={}".format(proxy),
    "--proxy-type=http",
]

caps = DesiredCapabilities.PHANTOMJS

authentication_token = "Basic " + base64.b64encode(b'{}:{}'.format(username, password))

caps['phantomjs.page.customHeaders.Proxy-Authorization'] = authentication_token

self.driver = webdriver.PhantomJS(
        service_args=service_args,
        desired_capabilities=caps,
        executable_path="./phantomjs-2.1.1-linux-x86_64/bin/phantomjs")

Если структура прокси определяется как http://username:[email protected]:port

Я бы поставил под угрозу, что первые auth-параметры не передаются в качестве заголовка прокси-сервера, поэтому вам нужно сделать это вручную.