Итак, я пытаюсь создать что-то с помощью поисковой системы Bloodhound, и я заметил, что у нее есть эти два токенизатора, данные и запрос.

Пример кода инициализатора, приведенный в документации, выглядит следующим образом:

var engine = new Bloodhound({
  local: ['dog', 'pig', 'moose'],
  queryTokenizer: Bloodhound.tokenizers.whitespace,
  datumTokenizer: Bloodhound.tokenizers.whitespace
});

Что делают эти два токенизатора?

ИЗМЕНИТЬ

Документация Bloodhound определяет следующие два:

datumTokenizer - функция с сигнатурой (datum), которая преобразует базу данных в массив токенов. Обязательный параметр.

queryTokenizer. Функция с сигнатурой (query), которая преобразует запрос в массив токенов. Обязательный параметр.

Он все еще не объясняет, в чем разница между Datum и Query.