Я пытаюсь написать некоторые строки в файл (строки были переданы мне парсером HTML BeautifulSoup).
Я могу использовать "print" для их отображения, но когда я использую file.write(), я получаю следующую ошибку:
UnicodeEncodeError: 'ascii' codec can't encode character u'\xa3' in position 6: ordinal not in range(128)
Как я могу разобрать это?
Эта ошибка возникает, когда вы передаете строку Unicode, содержащую неанглийские символы (символы Unicode за пределами 128), к чему-то, что ожидает ASCII-байта. Кодировка по умолчанию для Python bytestring - ASCII, "которая обрабатывает ровно 128 (английских) символов". Вот почему попытка конвертировать символы Unicode за пределы 128 приводит к ошибке.
Юникод()
unicode(string[, encoding, errors])
имеет юникод подписи (строка [, кодировка, ошибки]). Все его аргументы должны быть 8-битными.
Первый аргумент преобразуется в Unicode с использованием указанной кодировки; , если вы не учитываете аргумент кодирования, для преобразования используется кодировка ASCII, поэтому символы более 127 будут считаться ошибками
например
s = u'La Pe\xf1a'
print s.encode('latin-1')
или
write(s.encode('latin-1'))
будет кодировать с использованием latin-1
Да, примерно 99,9% пользователей-ветеранов Python видели это раньше.
Если я нахожу "python unicode" в Google, я получаю около 14 миллионов результатов; первый http://docs.python.org/howto/unicode.html официальный документ, который описывает всю ситуацию в мучительных подробностях; а четвертый - http://farmdev.com/talks/unicode/, который является более практичным обзором, который в значительной степени даст вам ответ, а также убедитесь, что вы понимаете, что происходит.
Вам действительно нужно прочитать и понять эти виды обзоров, как бы долго они ни казались. Там действительно не обойтись. Текст сложный. Нет такой вещи, как "простой текст", в течение многих лет не было разумного факсимиле, и этого никогда не было, хотя мы проводили десятилетия, делая вид, что есть. Но Unicode по крайней мере стандарт.
Вам также следует прочитать http://www.joelonsoftware.com/articles/Unicode.html.
Ответ на ваш вопрос - "использование кодеков". Приложенный код также показывает некоторую магию gettext, FWIW. http://wiki.wxpython.org/Internationalization
import codecs
import gettext
localedir = './locale'
langid = wx.LANGUAGE_DEFAULT # use OS default; or use LANGUAGE_JAPANESE, etc.
domain = "MyApp"
mylocale = wx.Locale(langid)
mylocale.AddCatalogLookupPathPrefix(localedir)
mylocale.AddCatalog(domain)
translater = gettext.translation(domain, localedir,
[mylocale.GetCanonicalName()], fallback = True)
translater.install(unicode = True)
# translater.install() installs the gettext _() translater function into our namespace...
msg = _("A message that gettext will translate, probably putting Unicode in here")
# use codecs.open() to convert Unicode strings to UTF8
Logfile = codecs.open(logfile_name, 'w', encoding='utf-8')
Logfile.write(msg + '\n')
Несмотря на то, что Google полна ударов по этой проблеме, мне было довольно сложно найти это простое решение (оно действительно находится в документах Python об Unicode, но, скорее, заурядно).
Итак... HTH...
GAJ