В настоящее время я использую Kosen Tokenizer для создания индекса слова, а затем сопоставляя этот индекс слова с импортированным словарем GloVe для создания матрицы внедрения. Тем не менее, проблема заключается в том, что это, по-видимому, лишает одно из преимуществ использования вложения слова-вектора, поскольку при использовании обучаемой модели для предсказаний, если она сталкивается с новым словом, которое не в индексе слова токенизатора, оно удаляет его из последовательности,
#fit the tokenizer
tokenizer = Tokenizer()
tokenizer.fit_on_texts(texts)
word_index = tokenizer.word_index
#load glove embedding into a dict
embeddings_index = {}
dims = 100
glove_data = 'glove.6B.'+str(dims)+'d.txt'
f = open(glove_data)
for line in f:
values = line.split()
word = values[0]
value = np.asarray(values[1:], dtype='float32')
embeddings_index[word] = value
f.close()
#create embedding matrix
embedding_matrix = np.zeros((len(word_index) + 1, dims))
for word, i in word_index.items():
embedding_vector = embeddings_index.get(word)
if embedding_vector is not None:
# words not found in embedding index will be all-zeros.
embedding_matrix[i] = embedding_vector[:dims]
#Embedding layer:
embedding_layer = Embedding(embedding_matrix.shape[0],
embedding_matrix.shape[1],
weights=[embedding_matrix],
input_length=12)
#then to make a prediction
sequence = tokenizer.texts_to_sequences(["Test sentence"])
model.predict(sequence)
Итак, есть ли способ, по которому я могу использовать токенизатор для преобразования предложений в массив и по-прежнему использовать как можно больше слова GloVe, а не только те, которые отображаются в моем учебном тексте?
Редактирование: при дальнейшем созерцании, я предполагаю, что одним из вариантов было бы добавить текст или тексты в тексты, в которые помещается токенизатор, который включает в себя список ключей в словаре перчаток. Хотя это может испортить некоторые статистические данные, если я хочу использовать tf-idf. Есть ли предпочтительный способ сделать это или другой лучший подход?