У меня есть модель weka, которая хранится в S3 размером около 400 МБ. Теперь у меня есть набор записей, на которых я хочу запустить модель и выполнить предсказание.
Для выполнения предсказания, что я пробовал,
-
Загрузите и загрузите модель в качестве статического объекта, передайте ее всем исполнителям. Выполните операцию карты по предсказанию RDD. → Не работает, как в Weka для выполнения прогноза, объект модели должен быть изменен, а для трансляции требуется копия только для чтения.
-
Загрузите и загрузите модель в качестве статического объекта и отправьте ее исполнителю в каждой операции с картой. -→ Работа (неэффективна, как и в каждой операции с картой, я прохожу 400 МБ объекта)
-
Загрузите модель на драйвер и загрузите ее на каждом исполнителе и кешируйте ее там. (Не знаю, как это сделать)
Кто-нибудь знает, как я могу загрузить модель для каждого исполнителя один раз и кэшировать ее так, чтобы для других записей я не загружал ее снова.
Благодаря Нехе