Я изучаю использование Python Selenium и BeautifulSoup для веб-соскабливания. В настоящее время я пытаюсь очистить горячие поиски в тенденциях поиска Google http://www.google.com/trends/hottrends#pn=p5
Это мой текущий код. Тем не менее, я понял, что полный html не загружен, и у меня есть только контент из последних нескольких дат. Что я могу сделать, чтобы исправить эту проблему?
from selenium import webdriver
from bs4 import BeautifulSoup
googleURL = "http://www.google.com/trends/hottrends#pn=p5"
browser = webdriver.Firefox()
browser.get(googleURL)
content = browser.page_source
soup = BeautifulSoup(content)
print soup