Я создаю чатбот, поэтому мне нужно векторизовать ввод пользователя с помощью Word2Vec.
Я использую предварительно подготовленную модель с 3 миллионами слов от Google (GoogleNews-vectors-negative300).
Итак, я загружаю модель с помощью Gensim:
import gensim
model = gensim.models.KeyedVectors.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True)
Проблема заключается в том, что загрузка модели занимает около 2 минут. Я не могу позволить пользователю так долго ждать.
Итак, что я могу сделать, чтобы ускорить время загрузки?
Я думал о том, чтобы поместить каждый из 3 миллионов слов и их соответствующий вектор в базу данных MongoDB. Это наверняка ускорит все, но интуиция подскажет мне, что это не очень хорошая идея.