Как развертывать и обслуживать прогнозы с использованием TensorFlow от API?

Из учебника Google мы знаем, как обучать модель в TensorFlow. Но каков наилучший способ сохранить обученную модель, а затем выполнить предсказание, используя базовый минимальный api python на рабочем сервере.

Мой вопрос в основном основан на лучших практиках TensorFlow для сохранения модели и прогнозирования на реальном сервере без ущерба для скорости и памяти. Поскольку сервер API будет работать в фоновом режиме навсегда.

Будет оценен небольшой фрагмент кода python.

Ответ 1

TensorFlow Serving - это высокопроизводительная система с открытым исходным кодом для моделей машинного обучения, предназначенная для производственных сред и оптимизированная для TensorFlow. Исходный выпуск содержит примеры серверов С++ и Python на основе gRPC. Базовая архитектура показана на диаграмме ниже.

введите описание изображения здесь

Чтобы быстро начать работу, ознакомьтесь с учебником.