Пример кода:
>>> import json
>>> json_string = json.dumps("ברי צקלה")
>>> print json_string
"\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"
Проблема: она не читаема человеком. Мои (умные) пользователи хотят проверять или даже редактировать текстовые файлы с помощью дампов JSON (и я бы предпочел не использовать XML).
Есть ли способ сериализации объектов в строки JSON UTF-8 (вместо \uXXXX)?
Используйте переключатель ensure_ascii=False на json.dumps(), затем закодируйте значение в UTF-8 вручную:
>>> json_string = json.dumps("ברי צקלה", ensure_ascii=False).encode('utf8')
>>> json_string
b'"\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94"'
>>> print(json_string.decode())
"ברי צקלה"
Если вы пишете в файл, просто используйте json.dump() и оставьте его для файлового объекта для кодирования:
with open('filename', 'w', encoding='utf8') as json_file:
json.dump("ברי צקלה", json_file, ensure_ascii=False)
Предостережения для Python 2
Для Python 2 есть еще несколько предостережений, которые необходимо учитывать. Если вы записываете это в файл, вы можете использовать io.open() вместо open() для создания файлового объекта, который кодирует значения Unicode для вас во время записи, а затем используйте json.dump() для записи в этот файл:
with io.open('filename', 'w', encoding='utf8') as json_file:
json.dump(u"ברי צקלה", json_file, ensure_ascii=False)
Обратите внимание, что в модуле json есть ошибка, где флаг ensure_ascii=False может создавать смесь объектов unicode и str. Временное решение для Python 2:
with io.open('filename', 'w', encoding='utf8') as json_file:
data = json.dumps(u"ברי צקלה", ensure_ascii=False)
# unicode(data) auto-decodes data to unicode if str
json_file.write(unicode(data))
В Python 2 при использовании байтовых строк (тип str), закодированных в UTF-8, обязательно также установите ключевое слово encoding:
>>> d={ 1: "ברי צקלה", 2: u"ברי צקלה" }
>>> d
{1: '\xd7\x91\xd7\xa8\xd7\x99 \xd7\xa6\xd7\xa7\xd7\x9c\xd7\x94', 2: u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'}
>>> s=json.dumps(d, ensure_ascii=False, encoding='utf8')
>>> s
u'{"1": "\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4", "2": "\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4"}'
>>> json.loads(s)['1']
u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'
>>> json.loads(s)['2']
u'\u05d1\u05e8\u05d9 \u05e6\u05e7\u05dc\u05d4'
>>> print json.loads(s)['1']
ברי צקלה
>>> print json.loads(s)['2']
ברי צקלה
Написать в файл
import codecs
import json
with codecs.open('your_file.txt', 'w', encoding='utf-8') as f:
json.dump({"message":"xin chào việt nam"}, f, ensure_ascii=False)
Для печати на стандартный ввод
import codecs
import json
print(json.dumps({"message":"xin chào việt nam"}, ensure_ascii=False))
UPDATE: Это неправильный ответ, но все же полезно понять, почему это неправильно. См. Комментарии.
Как насчет unicode-escape?
>>> d = {1: "ברי צקלה", 2: u"ברי צקלה"}
>>> json_str = json.dumps(d).decode('unicode-escape').encode('utf8')
>>> print json_str
{"1": "ברי צקלה", "2": "ברי צקלה"}
Обходной путь python 2 Peters 'не работает в случае края:
d = {u'keyword': u'bad credit \xe7redit cards'}
with io.open('filename', 'w', encoding='utf8') as json_file:
data = json.dumps(d, ensure_ascii=False).decode('utf8')
try:
json_file.write(data)
except TypeError:
# Decode data to Unicode first
json_file.write(data.decode('utf8'))
UnicodeEncodeError: 'ascii' codec can't encode character u'\xe7' in position 25: ordinal not in range(128)
Он разбился на .decode('utf8') часть строки 3. Я исправил эту проблему, сделав программу намного проще, избегая этого шага, а также специальный корпус ascii:
with io.open('filename', 'w', encoding='utf8') as json_file:
data = json.dumps(d, ensure_ascii=False, encoding='utf8')
json_file.write(unicode(data))
cat filename
{"keyword": "bad credit çredit cards"}
Следующее - мое понимание var, читающего ответ выше и google.
# coding:utf-8
r"""
@update: 2017-01-09 14:44:39
@explain: str, unicode, bytes in python2to3
#python2 UnicodeDecodeError: 'ascii' codec can't decode byte 0xe4 in position 7: ordinal not in range(128)
#1.reload
#importlib,sys
#importlib.reload(sys)
#sys.setdefaultencoding('utf-8') #python3 don't have this attribute.
#not suggest even in python2 #see:http://stackoverflow.com/questions/3828723/why-should-we-not-use-sys-setdefaultencodingutf-8-in-a-py-script
#2.overwrite /usr/lib/python2.7/sitecustomize.py or (sitecustomize.py and PYTHONPATH=".:$PYTHONPATH" python)
#too complex
#3.control by your own (best)
#==> all string must be unicode like python3 (u'xx'|b'xx'.encode('utf-8')) (unicode disappeared in python3)
#see: http://blog.ernest.me/post/python-setdefaultencoding-unicode-bytes
#how to Saving utf-8 texts in json.dumps as UTF8, not as \u escape sequence
#http://stackoverflow.com/questions/18337407/saving-utf-8-texts-in-json-dumps-as-utf8-not-as-u-escape-sequence
"""
from __future__ import print_function
import json
a = {"b": u"中文"} # add u for python2 compatibility
print('%r' % a)
print('%r' % json.dumps(a))
print('%r' % (json.dumps(a).encode('utf8')))
a = {"b": u"中文"}
print('%r' % json.dumps(a, ensure_ascii=False))
print('%r' % (json.dumps(a, ensure_ascii=False).encode('utf8')))
# print(a.encode('utf8')) #AttributeError: 'dict' object has no attribute 'encode'
print('')
# python2:bytes=str; python3:bytes
b = a['b'].encode('utf-8')
print('%r' % b)
print('%r' % b.decode("utf-8"))
print('')
# python2:unicode; python3:str=unicode
c = b.decode('utf-8')
print('%r' % c)
print('%r' % c.encode('utf-8'))
"""
#python2
{'b': u'\u4e2d\u6587'}
'{"b": "\\u4e2d\\u6587"}'
'{"b": "\\u4e2d\\u6587"}'
u'{"b": "\u4e2d\u6587"}'
'{"b": "\xe4\xb8\xad\xe6\x96\x87"}'
'\xe4\xb8\xad\xe6\x96\x87'
u'\u4e2d\u6587'
u'\u4e2d\u6587'
'\xe4\xb8\xad\xe6\x96\x87'
#python3
{'b': '中文'}
'{"b": "\\u4e2d\\u6587"}'
b'{"b": "\\u4e2d\\u6587"}'
'{"b": "中文"}'
b'{"b": "\xe4\xb8\xad\xe6\x96\x87"}'
b'\xe4\xb8\xad\xe6\x96\x87'
'中文'
'中文'
b'\xe4\xb8\xad\xe6\x96\x87'
"""
Здесь мое решение с помощью json.dump():
def jsonWrite(p, pyobj, ensure_ascii=False, encoding=SYSTEM_ENCODING, **kwargs):
with codecs.open(p, 'wb', 'utf_8') as fileobj:
json.dump(pyobj, fileobj, ensure_ascii=ensure_ascii,encoding=encoding, **kwargs)
где для параметра SYSTEM_ENCODING установлено значение:
locale.setlocale(locale.LC_ALL, '')
SYSTEM_ENCODING = locale.getlocale()[1]
Начиная с Python 3.7, следующий код работает нормально:
from json import dumps
result = {"symbol": "ƒ"}
json_string = dumps(result, sort_keys=True, indent=2, ensure_ascii=False)
print(json_string)
Выход:
{"symbol": "ƒ"}
Используйте кодеки, если это возможно,
with codecs.open('file_path', 'a+', 'utf-8') as fp:
fp.write(json.dumps(res, ensure_ascii=False))
Если вы загружаете строку JSON из файла & Содержимое файла арабские тексты. Тогда это будет работать.
{
"key1" : "لمستخدمين",
"key2" : "إضافة مستخدم"
}
with open(arabic.json, encoding='utf-8') as f:
# deserialises it
json_data = json.load(f)
fh.close()
# json formatted string
json_data2 = json.dumps(json_data, ensure_ascii = False)
# If have to get the JSON index in Django Template file, then simply decode the encoded string.
json.JSONDecoder().decode(json_data2)
сделанный! Теперь мы можем получить результаты в виде индекса JSON с арабским значением.
Спасибо за оригинальный ответ здесь. Python 3 следующая строка кода:
print(json.dumps(result_dict,ensure_ascii=False))
было в порядке. попробуйте не писать слишком много текста в коде, если это не обязательно
Использование security_ascii = False в json.dumps - правильное направление для решения этой проблемы, как указывает Мартийн. Однако это может вызвать исключение:
UnicodeDecodeError: 'ascii' codec can't decode byte 0xe7 in position 1: ordinal not in range(128)
Для установки правильной настройки sys.getdefaultencoding() вам нужны дополнительные настройки на сайтах site.py или sitecustomize.py. site.py находится под lib/python2.7/, а файл sitecustomize.py находится под lib/python2.7/site-packages.
Если вы хотите использовать site.py, под def setencoding(): измените первый, если 0: на, если 1: так что python будет использовать локаль вашей операционной системы.
Если вы предпочитаете использовать файл sitecustomize.py, который может не существовать, если вы его не создали. просто поместите эти строки:
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
Затем вы можете сделать китайский выход json в формате utf-8, например:
name = {"last_name": u"王"}
json.dumps(name, ensure_ascii=False)
Вы получите строку с кодировкой utf-8, а не \u экранированную строку json.
Чтобы проверить кодировку по умолчанию:
print sys.getdefaultencoding()
Вы должны получить "utf-8" или "UTF-8", чтобы проверить настройки site.py или sitecustomize.py.
Обратите внимание, что вы не можете выполнить sys.setdefaultencoding( "utf-8" ) на интерактивной консоли python.