При использовании прокси с phantomjs он использует пользовательский агент python по умолчанию.
Запуск: Python 3.5.1 на ubuntu 14.04
service_args = []
if self.proxy:
service_args.extend([
'--proxy={}:{}'.format(self.proxy.host, self.proxy.port),
'--proxy-type={}'.format(self.proxy.proto),
])
if self.proxy.username and self.proxy.password:
service_args.append(
'--proxy-auth={}:{}'.format(self.proxy.username, self.proxy.password)
)
dcap = dict(DesiredCapabilities.PHANTOMJS)
dcap["phantomjs.page.settings.userAgent"] = (
"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/53 "
"(KHTML, like Gecko) Chrome/15.0.87"
)
self.webdriver = webdriver.PhantomJS(service_args=service_args, desired_capabilities=dcap)
И ошибка:
Сообщение: Сообщение об ошибке = > 'Не удается найти элемент с селектором css '#navcnt td.cur' ', вызванный Request = > { "заголовки": { "Accept": "приложения/JSON", "Accept-Encoding": "идентичность", "соединение": "закрыть", "Content-Length": "105", "Content-Type": "приложения/JSON; кодировка = UTF-8", "Хост": "127.0.0.1:39281", "User-Agent": "Python-urllib/3.5" }...
В аналогичном вопросе было высказано предположение, что проблема вызвана провайдером прокси, установив пользовательский агент на уровне сервера, однако я сомневаюсь, что здесь дело, так как я могу его модифицировать с использованием прокси с хром.