PHP DOMDocument loadHTML неправильно кодирует UTF-8

Я пытаюсь разобрать HTML-код с использованием DOMDocument, но когда я это делаю, я внезапно теряю свою кодировку (по крайней мере, так оно мне кажется).

$profile = "<div><p>various japanese characters</p></div>";
$dom = new DOMDocument();
$dom->loadHTML($profile); 

$divs = $dom->getElementsByTagName('div');

foreach ($divs as $div) {
    echo $dom->saveHTML($div);
}

В результате этого кода я получаю кучу символов, которые не являются японскими. Однако, если я это сделаю:

echo $profile;

отображается правильно. Я попробовал saveHTML и saveXML, и ни один из них не отображается правильно. Я использую PHP 5.3.

Что я вижу:

ã¤ãªãã¤å·ã·ã«ã´ã«ã¦ãã¢ã¤ã«ã©ã³ãç³»ã®å®¶åº­ã«ã9人åå¼ã®5çªç®ã¨ãã¦çã¾ãããå½¼ãå«ãã¦4人ã俳åªã«ãªã£ããç¶è¦ªã¯æ¨æã®ã»ã¼ã«ã¹ãã³ã§ãæ¯è¦ªã¯éµä¾¿å±ã®å®¢å®¤ä¿ã ã£ããé«æ ¡æ代ã¯ã­ã£ãã£ã®ã¢ã«ãã¤ãã«å¤ãã¿ãæè²è³éãåããªããã«ããªãã¯ç³»ã®é«æ ¡ã¸é²å­¦ã

Что должно быть показано:

イリノイ州シカゴにて、アイルランド系の家庭に、9人兄弟の5番目として生まれる。彼を含めて4人が俳優になった。父親は木材のセールスマンで、母親は郵便局の客室係だった。高校時代はキャディのアルバイトに勤しみ、教育資金を受けながらカトリック系の高校へ進学

EDIT: я упростил код до пяти строк, чтобы вы могли проверить его самостоятельно.

$profile = "<div lang=ja><p>イリノイ州シカゴにて、アイルランド系の家庭に、</p></div>";
$dom = new DOMDocument();
$dom->loadHTML($profile);
echo $dom->saveHTML();
echo $profile;

Вот html, который возвращается:

<div lang="ja"><p>イリノイ州シカゴã«ã¦ã€ã‚¢ã‚¤ãƒ«ãƒ©ãƒ³ãƒ‰ç³»ã®å®¶åº­ã«ã€</p></div>
<div lang="ja"><p>イリノイ州シカゴにて、アイルランド系の家庭に、</p></div>

Ответ 1

DOMDocument::loadHTML будет обрабатывать вашу строку как находящуюся в ISO-8859-1, если вы не DOMDocument::loadHTML иначе. Это приводит к тому, что строки UTF-8 интерпретируются неправильно.

Если ваша строка не содержит объявления кодировки XML, вы можете добавить его, чтобы строка была обработана как UTF-8:

$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML('<?xml encoding="utf-8" ?>' . $profile);
echo $dom->saveHTML();

Если вы не можете знать, будет ли строка уже содержать такое объявление, в SmartDOMDocument есть обходной путь, который должен вам помочь:

$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML(mb_convert_encoding($profile, 'HTML-ENTITIES', 'UTF-8'));
echo $dom->saveHTML();

Это не лучший обходной путь, но, поскольку не все символы могут быть представлены в ISO-8859-1 (как эти катаны), это самая безопасная альтернатива.

Ответ 2

Проблема в saveHTML() и saveXML(), они оба не работают правильно в Unix. Они не сохраняют символы UTF-8 правильно при использовании в Unix, но работают в Windows.

Обходной путь очень прост:

Если вы попробуете по умолчанию, вы получите ошибку, которую вы описали

$str = $dom->saveHTML(); // saves incorrectly

Все, что вам нужно сделать, это сохранить следующим образом:

$str = $dom->saveHTML($dom->documentElement); // saves correctly

Эта строка кода поможет вам правильно сохранить символы UTF-8. Используйте тот же обходной путь, если вы используете saveXML().


Обновление

В соответствии с предложением "Джека М" в разделе комментариев ниже и подтверждением "Pamela" и "Marco Aurélio Deleu", следующий вариант может работать в ваш случай:

$str = utf8_decode($dom->saveHTML($dom->documentElement));

Примечание

  1. Английские символы не вызывают проблем при использовании saveHTML() без параметров (поскольку английские символы сохраняются как однобайтовые символы в UTF-8)

  2. Проблема возникает, когда у вас есть многобайтовые символы (например, китайский, русский, арабский, иврит и т.д.)

Я рекомендую прочитать эту статью: http://coding.smashingmagazine.com/2012/06/06/all-about-unicode-utf8-character-sets/. Вы поймете, как работает UTF-8 и почему у вас такая проблема. Это займет у вас около 30 минут, но это хорошо проведенное время.

Ответ 3

Убедитесь, что реальный исходный файл сохранен как UTF-8 (возможно, вы даже захотите попробовать не рекомендуемые символы спецификации с UTF-8).

Также в случае HTML убедитесь, что вы указали правильную кодировку с помощью тегов meta:

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

Если это CMS (как вы отметили свой вопрос с помощью Joomla), вам может потребоваться настроить соответствующие настройки для кодирования.

Ответ 4

Вы можете префикс строки, применяющей кодировку utf-8, например:

@$doc->loadHTML('<?xml version="1.0" encoding="UTF-8"?>' . "\n" . $profile);

И вы можете продолжить с кодом, который у вас уже есть, например:

$doc->saveXML()

Ответ 5

Мне потребовалось некоторое время, чтобы выяснить, но вот мой ответ.

Прежде чем использовать DomDocument, я бы использовал file_get_contents для извлечения URL-адресов, а затем обработал их строковыми функциями. Возможно, это не лучший способ, но быстрый. Убедившись, что Дом был таким же быстрым, я сначала попробовал следующее:

$dom = new DomDocument('1.0', 'UTF-8');
if ($dom->loadHTMLFile($url) == false) { // read the url
    // error message
}
else {
    // process
}

Это не удалось эффектно сохранить кодировку UTF-8, несмотря на правильные метатеги, настройки php и все остальные средства, предлагаемые здесь и в других местах. Вот что работает:

$dom = new DomDocument('1.0', 'UTF-8');
$str = file_get_contents($url);
if ($dom->loadHTML(mb_convert_encoding($str, 'HTML-ENTITIES', 'UTF-8')) == false) {
}

и т.д.. Теперь все правильно с миром. Надеюсь, это поможет.

Ответ 6

Вы должны подать DOMDocument версию своего HTML с заголовком, который имеет смысл. Также как HTML5.

$profile ='<?xml version="1.0" encoding="'.$_encoding.'"?>'. $html;

возможно, это хорошая идея, чтобы ваш html был как можно более эффективным, так что вы не попадаете в проблемы, когда вы начнете запрос... вокруг:-) и избегайте htmlentities!!!! Это необходимое и лишнее тратить ресурсы. держите свой код безумным!!!!

Ответ 7

Работает для меня:

$dom = new \DOMDocument;
$dom->loadHTML(utf8_decode($html));
...
return  utf8_encode( $dom->saveHTML());

Ответ 8

Я использую php 7.3.8 на Манджаро, и я работал с персидским контентом. Это решило мою проблему:

$html = 'hi</b><p>سلام<div>の家庭に、9 ☆';
$doc = new DOMDocument('1.0', 'UTF-8');
$doc->loadHTML(mb_convert_encoding($html, 'HTML-ENTITIES', 'UTF-8'));
print $doc->saveHTML($doc->documentElement) . PHP_EOL . PHP_EOL;

Ответ 9

Используйте его для правильного результата

$dom = new DOMDocument();
$dom->loadHTML('<meta http-equiv="Content-Type" content="text/html; charset=utf-8">' . $profile);
echo $dom->saveHTML();
echo $profile;

Эта операция

mb_convert_encoding($profile, 'HTML-ENTITIES', 'UTF-8');

Это плохо, потому что специальные символы, такие как & lt;, & delta; может быть в $profile, и они не будут конвертировать два раза после mb_convert_encoding. Это отверстие для XSS и неправильный HTML.

Ответ 10

Проблема заключается в том, что при добавлении параметра в функцию DOMDocument:: saveHTML() вы теряете кодировку. В некоторых случаях вам нужно избегать использования параметра и использовать старую строковую функцию, чтобы найти то, что вы ищете.

Я думаю, что предыдущий ответ работает на вас, но поскольку это обходное решение не сработало для меня, я добавляю этот ответ, чтобы помочь ppl, который может быть в моем случае.

Ответ 11

Попробуйте использовать utf8_encode