Я пытаюсь использовать модели Tensorflow из HDFS, используя проект Tensorflow Serving.
Я запускаю shadoworflow, обслуживающий контейнер-контейнер док-станции 1.10.1 https://hub.docker.com/r/tensorflow/serving
Я могу видеть, что repo-ретрансляция с использованием метода endorflow/serve ссылается на Hadoop по адресу https://github.com/tensorflow/serving/blob/628702e1de1fa3d679369e9546e7d74fa91154d3/tensorflow_serving/model_servers/BUILD#L341
"@org_tensorflow//tensorflow/core/platform/hadoop:hadoop_file_system"
Это ссылка на
Я установил следующие переменные среды:
- HADOOP_HDFS_HOME, чтобы указать на мой дом HDFS (/etc/hadoop в моем случае).
- MODEL_BASE_PATH установлен в "hdfs://tensorflow/models"
- MODEL_NAME установлен для имени модели, которую я хочу загрузить
Я монтирую Hadoop домой в контейнер докеров и могу проверить его с помощью docker exec.
Когда я запускаю контейнер докера, я получаю следующее в журналах:
tensorflow_serving/sources/storage_path/file_system_storage_path_source.cc:369] FileSystemStoragePathSource encountered a file-system access error: Could not find base path hdfs://tensorflow/models/my_model for servable my_model
Я нашел примеры Tensorflow, которые тренируются с использованием HDFS, но не используют модели HDFS, используя Tensorflow Serving.
Может ли обслуживание Tensorflow обслуживать модели HDFS? Если да, то как вы это делаете?