Как получить JSON с веб-страницы в Python script

Получает следующий код в одном из моих скриптов:

#
# url is defined above.
#
jsonurl = urlopen(url)

#
# While trying to debug, I put this in:
#
print jsonurl

#
# Was hoping text would contain the actual json crap from the URL, but seems not...
#
text = json.loads(jsonurl)
print text

Что я хочу сделать, это получить материал {{.....etc.....}}, который я вижу в URL-адресе, когда загружаю его в Firefox в свой script, чтобы я мог проанализировать значение из него. У меня Googled тонна, но я не нашел хороший ответ о том, как фактически получить материал {{...}} из URL-адреса, заканчивающегося на .json, в объект в Python script.

ОТВЕТЫ

Ответ 1

Получить данные из URL-адреса, а затем вызвать json.loads например.

Пример Python2:

import urllib, json
url = "http://maps.googleapis.com/maps/api/geocode/json?address=google"
response = urllib.urlopen(url)
data = json.loads(response.read())
print data

Пример Python3:

import urllib.request, json 
with urllib.request.urlopen("http://maps.googleapis.com/maps/api/geocode/json?address=google") as url:
    data = json.loads(url.read().decode())
    print(data)

Результат приведет к следующему:

{
"results" : [
    {
    "address_components" : [
        {
            "long_name" : "Charleston and Huff",
            "short_name" : "Charleston and Huff",
            "types" : [ "establishment", "point_of_interest" ]
        },
        {
            "long_name" : "Mountain View",
            "short_name" : "Mountain View",
            "types" : [ "locality", "political" ]
        },
        {
...

Ответ 2

Я предполагаю, что вы действительно хотите получить данные из URL-адреса:

jsonurl = urlopen(url)
text = json.loads(jsonurl.read()) # <-- read from it

Или, посмотрите JSON-декодер в библиотеке requests.

import requests
r = requests.get('someurl')
print r.json() # if response type was set to JSON, then you'll automatically have a JSON response here...

Ответ 3

Это получает диету в формате JSON с веб-страницы с Python 2.X и Python 3.X:

#!/usr/bin/env python

try:
    # For Python 3.0 and later
    from urllib.request import urlopen
except ImportError:
    # Fall back to Python 2 urllib2
    from urllib2 import urlopen

import json


def get_jsonparsed_data(url):
    """
    Receive the content of ``url``, parse it as JSON and return the object.

    Parameters
    ----------
    url : str

    Returns
    -------
    dict
    """
    response = urlopen(url)
    data = response.read().decode("utf-8")
    return json.loads(data)


url = ("http://maps.googleapis.com/maps/api/geocode/json?"
       "address=googleplex&sensor=false")
print(get_jsonparsed_data(url))

Смотрите также: Пример чтения и записи для JSON

Ответ 4

Я нашел, что это самый простой и эффективный способ получить JSON с веб-страницы при использовании Python 3:

import json,urllib
data = urllib.urlopen("https://api.github.com/users?since=100").read()
output = json.loads(data)
print (output)

Ответ 5

Все, что делает вызов urlopen() (согласно docs), возвращает объект, подобный файлу. После этого вам нужно вызвать его метод read(), чтобы фактически вывести данные JSON по сети.

Что-то вроде:

jsonurl = urlopen(url)

text = json.loads(jsonurl.read())
print text

Ответ 6

Нет необходимости использовать дополнительную библиотеку для разбора json...

json.loads() возвращает словарь.

Итак, в вашем случае просто text["someValueKey"]

Ответ 7

В Python 2 json.load() будет работать вместо json.loads()

import json
import urllib

url = 'https://api.github.com/users?since=100'
output = json.load(urllib.urlopen(url))
print(output)

К сожалению, это не работает в Python 3. json.load - это всего лишь оболочка json.loads, которая вызывает read() для файлового объекта. Для json.loads требуется строковый объект, а выход urllib.urlopen(url).read() - это объект байтов. Поэтому нужно получить кодировку файла, чтобы заставить ее работать на Python 3.

В этом примере мы запрашиваем заголовки для кодирования и возвращаемся к utf-8, если мы его не получаем. Объект заголовков отличается между Python 2 и 3, поэтому его нужно выполнять разными способами. Использование requests позволило бы избежать всего этого, но иногда вам нужно придерживаться стандартной библиотеки.

import json
from six.moves.urllib.request import urlopen

DEFAULT_ENCODING = 'utf-8'
url = 'https://api.github.com/users?since=100'
urlResponse = urlopen(url)

if hasattr(urlResponse.headers, 'get_content_charset'):
    encoding = urlResponse.headers.get_content_charset(DEFAULT_ENCODING)
else:
    encoding = urlResponse.headers.getparam('charset') or DEFAULT_ENCODING

output = json.loads(urlResponse.read().decode(encoding))
print(output)