Python обнаруживает строковое байтовое кодирование

У меня около 1000 имен файлов, прочитанных os.listdir() некоторые из них закодированы "utf-8", а некоторые - "cp1252".

Я хочу декодировать их все в unicode для дальнейшей обработки в моем script. Есть ли способ заставить исходную кодировку правильно декодировать в Юникод?

Пример:

for item in os.listdir(rootPath):

    #Convert to Unicode
    if isinstance(item, str):
        item = item.decode('cp1252')  # or item = item.decode('utf-8')
    print item

Ответ 1

если ваши файлы находятся в cp1252 и utf-8, тогда есть простой способ.

import logging
def force_decode(string, codecs=['utf8', 'cp1252']):
    for i in codecs:
        try:
            return string.decode(i)
        except UnicodeDecodeError:
            pass

    logging.warn("cannot decode url %s" % ([string]))

for item in os.listdir(rootPath):
    #Convert to Unicode
    if isinstance(item, str):
        item = force_decode(item)
    print item

В противном случае существует обнаружение charset lib.

Python - обнаружение кодировки и преобразование в utf-8

https://pypi.python.org/pypi/chardet

Ответ 2

Использовать библиотеку шрифтов. Это супер легко

import chardet

the_encoding = chardet.detect('your string')['encoding']

и что это!