Запросы python возвращают другую веб-страницу из браузера или urllib

Я использую запросы для очистки веб-страницы для некоторого контента.
Когда я использую

import requests  
requests.get('example.org')

Я получаю другую страницу от той, которую получаю, когда я использую свой браузер или используя

import urllib.request
urllib.request.urlopen('example.org')

Я попытался использовать urllib, но это было очень медленно.
В сравнительном тесте я сделал это на 50% медленнее, чем requests!!

Как вы решаете это?

ОТВЕТЫ

Ответ 1

После многих исследований я обнаружил, что сайт передает cookie в заголовок, прикрепленный к первому посетителю только на сайте.

поэтому решение состоит в том, чтобы получить файлы cookie с запросом head, а затем отправить их с помощью запроса get

import requests  
# get the cookies with head(), this doesn't get the body so it FAST
cookies = requests.head('example.com')
# send get request with the cookies
result = requests.get('example.com', cookies=cookies)

Теперь это быстрее, чем urllib + тот же результат:)