Python: преобразование из ISO-8859-1/latin1 в UTF-8

Ответ 1

Попробуйте сначала его декодировать, а затем кодировать:

apple.decode('iso-8859-1').encode('utf8')

Ответ 2

Это обычная проблема, поэтому здесь достаточно тщательная иллюстрация.

Для строк без юникода (т.е. без префикса u как u'\xc4pple') необходимо декодировать из собственной кодировки (iso8859-1/latin1, если только изменено с загадочной функцией sys.setdefaultencoding) до unicode, затем кодируйте в набор символов, который может отображать символы, которые вы хотите, в этом случае я бы рекомендовал UTF-8.

Во-первых, вот удобная функция полезности, которая поможет осветить шаблоны строки и юникода Python 2.7:

>>> def tell_me_about(s): return (type(s), s)

Простая строка

>>> v = "\xC4pple" # iso-8859-1 aka latin1 encoded string

>>> tell_me_about(v)
(<type 'str'>, '\xc4pple')

>>> v
'\xc4pple'        # representation in memory

>>> print v
?pple             # map the iso-8859-1 in-memory to iso-8859-1 chars
                  # note that '\xc4' has no representation in iso-8859-1, 
                  # so is printed as "?".

Декодирование строки iso8859-1 - преобразование простой строки в unicode

>>> uv = v.decode("iso-8859-1")
>>> uv
u'\xc4pple'       # decoding iso-8859-1 becomes unicode, in memory

>>> tell_me_about(uv)
(<type 'unicode'>, u'\xc4pple')

>>> print v.decode("iso-8859-1")
Äpple             # convert unicode to the default character set
                  # (utf-8, based on sys.stdout.encoding)

>>> v.decode('iso-8859-1') == u'\xc4pple'
True              # one could have just used a unicode representation 
                  # from the start

Немного больше иллюстраций - с "Ä"

>>> u"Ä" == u"\xc4"
True              # the native unicode char and escaped versions are the same

>>> "Ä" == u"\xc4"  
False             # the native unicode char is '\xc3\x84' in latin1

>>> "Ä".decode('utf8') == u"\xc4"
True              # one can decode the string to get unicode

>>> "Ä" == "\xc4"
False             # the native character and the escaped string are
                  # of course not equal ('\xc3\x84' != '\xc4').

Кодирование в UTF

>>> u8 = v.decode("iso-8859-1").encode("utf-8")
>>> u8
'\xc3\x84pple'    # convert iso-8859-1 to unicode to utf-8

>>> tell_me_about(u8)
(<type 'str'>, '\xc3\x84pple')

>>> u16 = v.decode('iso-8859-1').encode('utf-16')
>>> tell_me_about(u16)
(<type 'str'>, '\xff\xfe\xc4\x00p\x00p\x00l\x00e\x00')

>>> tell_me_about(u8.decode('utf8'))
(<type 'unicode'>, u'\xc4pple')

>>> tell_me_about(u16.decode('utf16'))
(<type 'unicode'>, u'\xc4pple')

Связь между unicode и UTF и latin1

>>> print u8
Äpple             # printing utf-8 - because of the encoding we now know
                  # how to print the characters

>>> print u8.decode('utf-8') # printing unicode
Äpple

>>> print u16     # printing 'bytes' of u16
���pple

>>> print u16.decode('utf16')
Äpple             # printing unicode

>>> v == u8
False             # v is a iso8859-1 string; u8 is a utf-8 string

>>> v.decode('iso8859-1') == u8
False             # v.decode(...) returns unicode

>>> u8.decode('utf-8') == v.decode('latin1') == u16.decode('utf-16')
True              # all decode to the same unicode memory representation
                  # (latin1 is iso-8859-1)

Исключения Unicode

 >>> u8.encode('iso8859-1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 0:
  ordinal not in range(128)

>>> u16.encode('iso8859-1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xff in position 0:
  ordinal not in range(128)

>>> v.encode('iso8859-1')
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc4 in position 0:
  ordinal not in range(128)

Можно обойти их, перейдя из конкретной кодировки (latin-1, utf8, utf16) в unicode, например. u8.decode('utf8').encode('latin1').

Поэтому, возможно, можно было бы использовать следующие принципы и обобщения:

• тип str представляет собой набор байтов, который может иметь один из нескольких кодировок, таких как Latin-1, UTF-8 и UTF-16
• Тип unicode - это набор байтов, который может быть преобразован в любое количество кодировок, чаще всего UTF-8 и latin-1 (iso8859-1)
• команда print имеет свою собственную логику кодирования, установлена ​​в sys.stdout.encoding и по умолчанию используется UTF-8
• Перед конвертированием в другую кодировку необходимо декодировать a str в unicode.

Конечно, все это изменяется в Python 3.x.

Надеюсь, что это озарение.

Дальнейшее чтение

• Персонажи против байтов, Тим Брей.

И очень иллюстративные наставления Армина Ронахера:

• Обновленное руководство по Unicode на Python (2 июля 2013 г.)
• Подробнее о Unicode в Python 2 и 3 (5 января 2014 года)
• UCS vs UTF-8 как внутренняя кодировка строк (9 января 2014 г.)
• Все, что вы не хотели знать о Unicode в Python 3 (12 мая 2014 г.)

Ответ 3

Декодирование в Юникод, кодирование результатов в UTF8.

apple.decode( 'latin1'). Закодировать ( 'utf8')

Ответ 4

Для Python 3:

bytes(apple,'iso-8859-1').decode('utf-8')

Я использовал это для текста, некорректно закодированного как iso-8859-1 (показывая такие слова, как VeÅ\x99ejnà ©) вместо utf-8. Этот код создает правильную версию Veřejné.

Ответ 5

concept = concept.encode('ascii', 'ignore') concept = MySQLdb.escape_string (concept.decode( 'latin1'). Закодировать ( 'utf8'). Rstrip())

Я делаю это, я не уверен, что это хороший подход, но он работает каждый раз!