Синонимы с использованием Lucene

Каков наилучший способ обработки синонимов (фраз) с помощью Lucene? Особенно, когда мне нужно выполнить такие запросы, как: a ИЛИ b ИЛИ c NOT d

Как добавить новое поле под названием "синонимы" для каждого документа при индексировании? Это значение поля будет иметь список всех синонимов. Он будет добавлен в документ только тогда, когда в этом документе есть какой-либо синонимы.

Затем я выполнил бы поисковый запрос "ИЛИ", который будет искать ключевое слово поиска в этом поле вместе с другими полями.

Может ли этот подход хорошо работать для любого запроса?

FYI, Синонимы в моем приложении полностью настраиваются, а не из английского словаря... т.е. "Глобальный лидер в области финансов" также может означать "Лучший инвестиционный банк" или "Финансовая компания Fortune 500" и т.д. И т.д.

Просьба предложить.

Спасибо.

ОТВЕТЫ

Ответ 1

Есть вклад в проект Lucene под названием "wordnet". Согласно его документации:

В этом пакете используются синонимы, определенные WordNet, для создания индекса Lucene, который их хранит, что, в свою очередь, может использоваться для расширения запроса. Обычно вы запускаете Syns2Index для создания индекса запроса/ "базы данных", а затем вызываете SynExpand.expand(...) для расширения запроса.

Он включает в себя образец того, что он делает:

Если вы передадите запрос "большая собака", он распечатает:

Запрос: big adult^0.9 bad^0.9 bighearted^0.9 boastful^0.9 boastfully^0.9 bounteous^0.9 bountiful^0.9 braggy^0.9 crowing^0.9 freehanded^0.9 giving^0.9 grown^0.9 grownup^0.9 handsome^0.9 large^0.9 liberal^0.9 magnanimous^0.9 momentous^0.9 openhanded^0.9 prominent^0.9 swelled^0.9 vainglorious^0.9 vauntingly^0.9 dog andiron^0.9 blackguard^0.9 bounder^0.9 cad^0.9 chase^0.9 click^0.9 detent^0.9 dogtooth^0.9 firedog^0.9 frank^0.9 frankfurter^0.9 frump^0.9 heel^0.9 hotdog^0.9 hound^0.9 pawl^0.9 tag^0.9 tail^0.9 track^0.9 trail^0.9 weenie^0.9 wiener^0.9 wienerwurst^0.9

Вы видите, что исходные слова ( "большой" и "собака" ) не имеют привязки к ним. Синонимы, однако, имеют взвешивание (0,9), которое вы можете настроить самостоятельно.

Он поставляется в комплекте со стандартным распределением Lucene в каталоге "contrib".

Ответ 2

Вы можете получить объект Query после разбора строки запроса ввода с помощью QueryParser.parse().

В большинстве случаев запрос верхнего уровня представляет собой логический запрос с подзапросами в качестве его дочерних элементов. Вы можете рекурсивно перебирать объект запроса. Когда вы нажмете объект TermQuery или PhraseQuery, вы можете получить запрос (sub) и заменить этот объект запроса логическим объектом запроса, состоящим из его синоимов, если таковые имеются.

По существу, вы преобразовываете исходный запрос

a OR b AND c

to

(a OR synA) OR (b OR synB1 OR synB2) AND c

Работа в объекте запроса гарантирует, что вы просто заменяете листовые узлы запроса новыми запросами и не играете с произвольно сложной иерархией запросов.

Ответ 3

Я предпочитаю запускать поиск, используя всю введенную фразу, и весит все, что было тяжелее, чем следующая серия поисков. Затем мне нравится повторять каждое слово во фразе и искать с этим результатом, получая более низкий балл. Затем я объединяю баллы для всех предметов, возвращаемых более одного раза, и сортировать результаты соответственно. Это может быть не самый лучший способ сделать это на 100%... но в прошлом это отлично работало для меня.