Perl: tr///не выполняет то, что я ожидаю, тогда как s///

Я хочу удалить диакритические знаки в некоторых строках. tr/// должен выполнять работу, но не работает (см. ниже). Я думал, что у меня проблема с кодировкой/декодированием, но я заметил, что s/// работает, как я ожидаю. Может ли кто-нибудь объяснить, почему?

Вот пример результатов, которые я получаю:

my $str1 = 'èîü';
my $str2 = $str1;
$str1 =~ tr/î/i/;
print "$str1\n"; # => i�iii�
$str2 =~ s/î/i/;
print "$str2\n"; # => èiü

Обратите внимание, что tr/// также изменил первый и третий символы строки, а не только среднюю.

Изменить: Я использую Ubuntu 16.04 с рабочей средой Mate.

ОТВЕТЫ

Ответ 1

Если у вас нет use utf8;, но вы просматриваете код с помощью текстового редактора utf8, вы не видите его так, как видит perl. Вы считаете, что у вас есть один символ в левой половине ваших s/// и tr///, но поскольку он содержит несколько байтов, perl видит его как несколько символов.

Что вы думаете, perl видит:

my $str1 = "\xE8\xEE\xFC";
my $str2 = $str1;
$str1 =~ tr/\xEE/i/;
print "$str1\n";
$str2 =~ s/\xEE/i/;
print "$str2\n";

Что perl на самом деле видит:

my $str1 = "\xC3\xA8\xC3\xAE\xC3\xBC";
my $str2 = $str1;
$str1 =~ tr/\xC3\xAE/i/;
print "$str1\n";
$str2 =~ s/\xC3\xAE/i/;
print "$str2\n";

С s///, поскольку ни один из символов не является оператором регулярного выражения, вы просто выполняете поиск подстроки. Вы ищете многосимвольную подстроку. И вы находите это, потому что то же самое, что произошло в вашем s///, также происходит в ваших строковых литералах: персонажи, которые, по вашему мнению, находятся там, действительно отсутствуют, но многосимвольная последовательность.

В tr///, с другой стороны, несколько символов не рассматриваются как последовательность, они рассматриваются как набор. Каждый символ (байт) обрабатывается отдельно, когда он найден. И это не дает вам желаемых результатов, потому что изменение отдельных байтов строки utf8 никогда не будет тем, что вы хотите.

Тот факт, что вы можете запустить простой ASCII-ориентированный поиск подстроки, который ничего не знает об utf8 и получить правильный результат в строке utf8, считается хорошей функцией обратной совместимости utf8, в отличие от других кодировок, таких как ucs2/utf16 или ucs4.

Решение состоит в том, чтобы указать perl, что источник кодируется с использованием UTF-8, добавляя use utf8;. Вам также нужно будет закодировать ваши выходы в соответствии с ожидаемыми вами терминалами.

use utf8;                             # The source is encoded using UTF-8.
use open ':std', ':encoding(UTF-8)';  # The terminal provides/expects UTF-8.
my $str1 = 'èîü';
my $str2 = $str1;
$str1 =~ tr/î/i/;
print "$str1\n";
$str2 =~ s/î/i/;
print "$str2\n";

Ответ 2

Это работает как ожидалось для меня:

use v5.10;
use utf8;
use open qw/:std :utf8/;

my $str1 = 'èîü';
my $str2 = $str1;
$str1 =~ tr/î/i/;
say $str1; # èiü
$str2 =~ s/î/i/;
say $str2; # èiü

Прагма use utf8 позволяет UTF-8 для литералов в исходном коде, прагма use open изменяет STDOUT на UTF-8.