Поскольку MySQL 5.1 не поддерживает 4 байтовые последовательности UTF-8, мне нужно заменить/удалить 4 байтовых последовательности в этих строках.
Я ищу чистый способ заменить эти символы.
Библиотеки Apache заменяют символы вопросительным знаком в этом случае, хотя эквивалент ASCII будет приятнее, конечно.
N.B. Вход осуществляется из внешних источников (имена электронной почты), и обновление базы данных не является решением на данный момент.
В результате мы решили реализовать следующий метод в Java для этой проблемы. Basicaly заменяет символы более высоким кодовым числом, а затем последним 3-байтовым UTF-8 char.
Расчеты смещения заключаются в том, чтобы оставаться в кодовых точках Юникода.
public static final String LAST_3_BYTE_UTF_CHAR = "\uFFFF";
public static final String REPLACEMENT_CHAR = "\uFFFD";
public static String toValid3ByteUTF8String(String s) {
final int length = s.length();
StringBuilder b = new StringBuilder(length);
for (int offset = 0; offset < length; ) {
final int codepoint = s.codePointAt(offset);
// do something with the codepoint
if (codepoint > CharUtils.LAST_3_BYTE_UTF_CHAR.codePointAt(0)) {
b.append(CharUtils.REPLACEMENT_CHAR);
} else {
if (Character.isValidCodePoint(codepoint)) {
b.appendCodePoint(codepoint);
} else {
b.append(CharUtils.REPLACEMENT_CHAR);
}
}
offset += Character.charCount(codepoint);
}
return b.toString();
}
Еще одно простое решение - использовать регулярное выражение [^\u0000-\uFFFF]. Например, в java:
text.replaceAll("[^\\u0000-\\uFFFF]", "\uFFFD");
5 байтовых последовательностей utf-8 начинаются с 111110xx-байтовых и 6-байтовых последовательностей utf-8, начиная с 1111110x-байта. Важно отметить, что никакие последующие байты 1-4-байтных последовательностей utf-8 содержат байты, большие, поскольку последующие байты всегда имеют форму 10xxxxxx.
Поэтому вы можете просто пройти через байты, и каждый раз, когда вы видите байта вида 111110xx, тогда выдается только "?" в выходной поток/массив, пропуская следующие 4 байта от входа; аналог для 6-байтовых последовательностей.