Как я могу прочитать текстовый файл utf-8 закодированный в Mathematica?
Вот что я делаю сейчас:
text = Import["charData.txt", "Text", CharacterEncoding -> "UTF8"];
но он говорит мне, что
$CharacterEncoding::utf8: "The byte sequence {240} could not be interpreted as a character in the UTF-8 character encoding"
и т.д. Я не знаю, почему. Я считаю, что файл действителен utf-8.
Вот файл, который я пытаюсь прочитать:
Краткая версия: функциональность Mathematica UTF-8 не работает для кодов символов с более чем 16 бит. Вместо этого используйте кодировку UTF-16, если это возможно. Но имейте в виду, что обработка Mathematica 17-битных кодов символов обычно неэффективна. Далее следует длинная версия.
Как отмечают многочисленные комментаторы, проблема связана с поддержкой Mathematica для символов Unicode, коды которых больше 16 бит. Первым таким символом в указанном текстовом файле является U + 20B9B (𠮛), который появляется в строке 10.
Некоторые версии интерфейса Mathematica (например, 8.0.1 на 64-разрядной Windows 7) могут обрабатывать соответствующий символ при вводе напрямую:
In[1]:= $c="𠮛";
Но мы сталкиваемся с проблемой, если попытаемся создать символ из Юникода:
In[2]:= 134043 // FromCharacterCode
During evaluation of In[2]:= FromCharacterCode::notunicode:
A character code, which should be a non-negative integer less
than 65536, is expected at position 1 in {134043}. >>
Out[2]= FromCharacterCode[134043]
Тогда возникает вопрос, что Математика считает код для этого персонажа?
In[3]:= $c // ToCharacterCode
BaseForm[%, 16]
BaseForm[%, 2]
Out[3]= {55362,57243}
Out[4]//BaseForm= {d842, df9b}
Out[5]//BaseForm= {1101100001000010, 1101111110011011}
Вместо одного значения Unicode, как можно было бы ожидать, мы получаем два кода, которые совпадают с представлением UTF-16 этого символа. Mathematica также может выполнять обратное преобразование:
In[6]:= {55362,57243} // FromCharacterCode
Out[6]= 𠮛
Что же представляет собой концепция Mathematica кодировки UTF-8 этого символа?
In[7]:= ExportString[$c, "Text", CharacterEncoding -> "UTF8"] // ToCharacterCode
BaseForm[%, 16]
BaseForm[%, 2]
Out[7]= {237,161,130,237,190,155}
Out[8]//BaseForm= {ed, a1, 82, ed, be, 9b}
Out[9]//BaseForm= {11101101, 10100001, 10000010, 11101101, 10111110, 10011011}
Внимательный читатель обнаружит, что это кодировка UTF-8 кодировки UTF-16 символа. Может ли Mathematica декодировать эту, гм, интересную кодировку?
In[10]:= ImportString[
ExportString[{237,161,130,237,190,155}, "Byte"]
, "Text"
, CharacterEncoding -> "UTF8"
]
Out[10]= 𠮛
Да, это возможно! Но... так что?
Как насчет реального выражения UTF-8 этого символа:
In[11]:= ImportString[
ExportString[{240, 160, 174, 155}, "Byte"]
, "Text"
, CharacterEncoding -> "UTF8"
]
Out[11]= $CharacterEncoding::utf8: The byte sequence {240} could not be
interpreted as a character in the UTF-8 character encoding. >>
$CharacterEncoding::utf8: The byte sequence {160} could not be
interpreted as a character in the UTF-8 character encoding. >>
$CharacterEncoding::utf8: The byte sequence {174} could not be
interpreted as a character in the UTF-8 character encoding. >>
General::stop: Further output of $CharacterEncoding::utf8 will be suppressed
during this calculation. >>
ð ®
... но мы видим ошибку, указанную в исходном вопросе.
Как насчет UTF-16? UTF-16 не входит в список допустимых кодировок символов, но "Unicode" is. Поскольку мы уже видели, что Mathematica, по-видимому, использует UTF-16 в качестве своего собственного формата, дайте ему вихрь (используя big-endian UTF-16 с байтом-порядком):
In[12]:= ImportString[
ExportString[
FromDigits[#, 16]& /@ {"fe", "ff", "d8", "42", "df", "9b"}
, "Byte"
]
, "Text"
, CharacterEncoding -> "Unicode"
]
Out[12]= 𠮛
Это работает. В качестве более полного эксперимента я перекодировал цитированный текстовый файл из вопроса в UTF-16 и успешно импортировал его.
Документация Mathematica в значительной степени не содержит информации по этому вопросу. Интересно отметить, что упоминание о Unicode в Mathematica, по-видимому, сопровождается предположением, что коды символов содержат 16 бит. См., Например, ссылки на Unicode в Необработанные кодовые обозначения.
Вывод из этого состоит в том, что поддержка Mathematica для перекодирования UTF-8 отсутствует/ошибка для кодов длиной более 16 бит. UTF-16, кажущийся внутренний формат Mathematica, кажется, работает правильно. Итак, если вы имеете возможность повторно кодировать ваши файлы, и вы можете согласиться с тем, что результирующие строки на самом деле будут в формате UTF-16, а не в строках Unicode.
Postscript
Спустя некоторое время после написания ответа я попытался снова открыть ноутбук Mathematica, который его содержит. Каждое появление проблемного персонажа в записной книжке было уничтожено и заменено тарабарщиной. Я думаю, есть еще несколько ошибок Unicode, которые можно сгладить, даже в Mathematica 8.0.1;)