Проблемы с MongoDB PHP UTF-8

Предположим, что мне нужно вставить следующий документ:

{
    title: 'Péter'
}

(обратите внимание на é)

Это дает мне ошибку, когда я использую следующий PHP-код...:

$db->collection->insert(array("title" => "Péter"));

... потому что это должно быть utf-8.

Поэтому я должен использовать эту строку кода:

$db->collection->insert(array("title" => utf8_encode("Péter")));

Теперь, когда я запрашиваю документ, мне все равно придется его декодировать...:

$document = $db->collection->findOne(array("_id" => new MongoId("__someID__")));
$title = utf8_decode($document['title']);

Есть ли способ автоматизировать этот процесс? Могу ли я изменить кодировку символов MongoDB (я переношу базу данных MySQL, использующую cp1252 West Europe (latin1)?

Я уже рассматривал изменение заголовка Content-Type, проблема в том, что все статические строки (hardcoded) не являются utf8...

Спасибо заранее! Тим

ОТВЕТЫ

Ответ 1

JSON и BSON могут только кодировать/декодировать допустимые строки UTF-8, если ваши данные (включая входные данные) не являются UTF-8, вам необходимо преобразовать их, прежде чем передавать их в любую зависимую от JSON систему, например:

$string = iconv('UTF-8', 'UTF-8//IGNORE', $string); // or
$string = iconv('UTF-8', 'UTF-8//TRANSLIT', $string); // or even
$string = iconv('UTF-8', 'UTF-8//TRANSLIT//IGNORE', $string); // not sure how this behaves

Лично я предпочитаю первый вариант, см. справочную страницу iconv(). К другим альтернативам относятся:

Вы всегда должны убедиться, что ваши строки закодированы в кодировке UTF-8, даже представленные пользователем, однако, поскольку вы упомянули о том, что вы переходите из MySQL в MongoDB, попробовали ли вы экспортировать свою текущую базу данных в CSV и используете импорт сценарии, которые идут с Монго? Они должны справиться с этим...

EDIT: Я упомянул, что BSON может обрабатывать только UTF-8, но я не уверен, что это точно так, я имею смутное представление о том, что BSON использует UTF-16 или UTF-32 для кодирования/декодирования данных, но я не могу проверить это сейчас.

Ответ 2

Как сообщает @gates, все строковые данные в BSON кодируются как UTF-8. MongoDB предполагает это.

Еще один ключевой момент, который не отвечает ни на адрес ответа: PHP не поддерживает Unicode. По состоянию на 5.3, во всяком случае. Предполагается, что PHP 6 будет работать с Unicode. Это означает, что вам нужно знать, какая кодировка используется вашей операционной системой по умолчанию и какая кодировка используется PHP.

Вернемся к вашему первоначальному вопросу: "Есть ли способ автоматизировать этот процесс?"... мое предложение состоит в том, чтобы убедиться, что вы всегда используете UTF-8 в своем приложении. Конфигурация, ввод, хранение данных, презентация, все. Тогда "автоматическая" часть состоит в том, что большая часть вашего PHP-кода будет проще, поскольку она всегда предполагает UTF-8. Никаких преобразований не требуется. Черт, никто не сказал, что автоматизация была дешевой.:)

Вот вроде в сторону. Если вы создали небольшой PHP script, чтобы протестировать этот код insert(), выяснить, какая кодировка вашего файла, а затем конвертировать в UTF-8 перед вставкой. Например, если вы знаете, что файл ISO-8859-1, попробуйте следующее:

$title = mb_convert_encoding("Péter", "UTF-8", "ISO-8859-1");
$db->collection->insert(array("title" => $title));

См. также

Ответ 3

Могу ли я изменить кодировку символов MongoDB...

В BSON данные не хранятся. В соответствии с спецификацией BSON вся строка UTF-8.

Теперь, когда я запрашиваю документ, мне все равно придется его декодировать...: Есть ли способ автоматизировать этот процесс?

Похоже, вы пытаетесь вывести данные на веб-страницу. Необходимость "декодировать" текст, который был уже закодирован, кажется неправильным.

Может ли эта проблема вывода быть проблемой конфигурации с Apache + PHP? UTF8 + PHP не является автоматическим, быстрый поиск в Интернете привел несколько руководств по этой теме.