"Вы имели в виду" функцию в базе данных словаря

У меня таблица таблицы ~ 300.000; который включает технические термины; запрашивается с использованием индексов PHP и MySQL + FULLTEXT. Но когда я ищу неправильный напечатанный термин; например, "гиперпект"; естественно, не дает никаких результатов.

Мне нужно "скомпоновать" небольшие ошибки записи и получить ближайшую запись из базы данных. Как я могу выполнить такую функцию? Я знаю (на самом деле, узнал сегодня) о алгоритмах Левенштейна, Soundex и Metaphone, но в настоящее время не имеет надежной идеи реализовать это для запросов к базе данных.

С уважением. (Извините за мой плохой английский, я стараюсь изо всех сил)

Ответ 1

См. эту статью о том, как вы можете реализовать расстояние Levenshtein в хранимой функции MySQL.

Для потомков авторское предложение должно сделать это:

CREATE FUNCTION LEVENSHTEIN (s1 VARCHAR(255), s2 VARCHAR(255))
  RETURNS INT
    DETERMINISTIC
      BEGIN
        DECLARE s1_len, s2_len, i, j, c, c_temp, cost INT;
        DECLARE s1_char CHAR;
        DECLARE cv0, cv1 VARBINARY(256);
        SET s1_len = CHAR_LENGTH(s1), s2_len = CHAR_LENGTH(s2), cv1 = 0x00, j = 1, i = 1, c = 0;
        IF s1 = s2 THEN
          RETURN 0;
        ELSEIF s1_len = 0 THEN
          RETURN s2_len;
        ELSEIF s2_len = 0 THEN
          RETURN s1_len;
        ELSE
          WHILE j <= s2_len DO
            SET cv1 = CONCAT(cv1, UNHEX(HEX(j))), j = j + 1;
          END WHILE;
          WHILE i <= s1_len DO
            SET s1_char = SUBSTRING(s1, i, 1), c = i, cv0 = UNHEX(HEX(i)), j = 1;
            WHILE j <= s2_len DO
                SET c = c + 1;
                IF s1_char = SUBSTRING(s2, j, 1) THEN SET cost = 0; ELSE SET cost = 1; END IF;
                SET c_temp = CONV(HEX(SUBSTRING(cv1, j, 1)), 16, 10) + cost;
                IF c > c_temp THEN SET c = c_temp; END IF;
                SET c_temp = CONV(HEX(SUBSTRING(cv1, j+1, 1)), 16, 10) + 1;
                IF c > c_temp THEN SET c = c_temp; END IF;
                SET cv0 = CONCAT(cv0, UNHEX(HEX(c))), j = j + 1;
            END WHILE;
            SET cv1 = cv0, i = i + 1;
          END WHILE;
        END IF;
        RETURN c;
      END

Он также поставляет вспомогательный метод LEVENSHTEIN_RATIO, который будет оценивать отношение разных/общих символов, а не прямое расстояние редактирования. Например, если это 60%, то три пятых символов в исходном слове отличаются от слова назначения.

CREATE FUNCTION LEVENSHTEIN_RATIO (s1 VARCHAR(255), s2 VARCHAR(255))
  RETURNS INT
    DETERMINISTIC
      BEGIN
        DECLARE s1_len, s2_len, max_len INT;
        SET s1_len = LENGTH(s1), s2_len = LENGTH(s2);
        IF s1_len > s2_len THEN SET max_len = s1_len; ELSE SET max_len = s2_len; END IF;
        RETURN ROUND((1 - LEVENSHTEIN(s1, s2) / max_len) * 100);
      END

Ответ 2

Из комментариев http://dev.mysql.com/doc/refman/5.0/en/udf-compiling.html

теперь я загружаю пакет из репозитория mysql udf http://empyrean.lib.ndsu.nodak.edu/~nem/mysql/

wget http://empyrean.lib.ndsu.nodak.edu/~nem/mysql/udf/dludf.cgi?ckey=28

ll

tar -xzvf dludf.cgi\?ckey\=28

gcc -shared -o libmysqllevenshtein.so mysqllevenshtein.cc -I/usr/include/mysql/

mv libmysqllevenshtein.so /usr/lib

mysql -uroot -pPASS

mysql> use DATABASE

mysql> CREATE FUNCTION levenshtein RETURNS INT SONAME 'libmysqllevenshtein.so';

mysql> select levenshtein(w1.word,w2.word) as dist from word w1, word w2 where ETC........... order by dist asc limit  0,10;

Ответ 3

Я предлагаю вам генерировать типовые варианты ввода запроса.

то есть. hyperpext > {hyperpeext, hipertext,...} и т.д.

Один из них должен быть правильным написанием (особенно для обычных орфографических ошибок)

То, как вы определяете наиболее вероятное совпадение, - это поиск по каждому из индексов, который указывает вам частоту документа этого термина. (смысл?)

Ответ 4

Почему бы не добавить столбец таблицы для хранения слова в его альтернативной форме (например, Soundex)? Таким образом, если ваш первый SELECT не находит точное совпадение, вы можете выполнить второй поиск, чтобы искать соответствующие альтернативные формы.

Трюк состоит в том, чтобы кодировать каждое слово, чтобы ошибки с ошибками превращались в одну и ту же альтернативную форму.