Контекст:
У меня есть простой классификатор, основанный на tf.estimator.DNNClassifier, который принимает текстовые и выходные вероятности над тэгами намерений. Я могу обучить экспорт модели в обслуживаемый, а также обслуживать сервисы, используя функцию тензорного потока. Проблема в том, что этот сервисный файл слишком большой (около 1 ГБ), поэтому я хотел попробовать несколько преобразований графа тензорного потока, чтобы попытаться уменьшить размер файлов, которые будут обслуживаться.
Проблема:
Я понимаю, как взять saved_model.pb
и использовать freeze_model.py для создания нового .pb
файла, который можно использовать для вызова преобразований. Результат этих преобразований (файл .pb
также) не является обслуживающим и не может использоваться с использованием функции tensorflow.
Как разработчик может перейти от:
saved model -> graph transforms -> back to a servable
Там есть документация, которая предполагает, что это, безусловно, возможно, но отнюдь не интуитивно понятно из документов о том, как это сделать.
Что я пробовал:
import tensorflow as tf
from tensorflow.saved_model import simple_save
from tensorflow.saved_model import signature_constants
from tensorflow.saved_model import tag_constants
from tensorflow.tools.graph_transforms import TransformGraph
with tf.Session(graph=tf.Graph()) as sess_meta:
meta_graph_def = tf.saved_model.loader.load(
sess_meta,
[tag_constants.SERVING],
"/model/path")
graph_def = meta_graph_def.graph_def
other_graph_def = TransformGraph(
graph_def,
["Placeholder"],
["dnn/head/predictions/probabilities"],
["quantize_weights"])
with tf.Graph().as_default():
graph = tf.get_default_graph()
tf.import_graph_def(other_graph_def)
in_tensor = graph.get_tensor_by_name(
"import/Placeholder:0")
out_tensor = graph.get_tensor_by_name(
"import/dnn/head/predictions/probabilities:0")
inputs = {"inputs": in_tensor}
outputs = {"outputs": out_tensor}
simple_save(sess_meta, "./new", inputs, outputs)
Моя идея состояла в том, чтобы загрузить обслуживаемый, извлечь graph_def из meta_graph_def, преобразовать graph_def, а затем попытаться воссоздать обслуживаемый. Это, по-видимому, неправильный подход.
Есть ли способ успешно выполнить преобразования (чтобы уменьшить размер файла при выводе) на графике из экспортируемого обслуживаемого, а затем воссоздать обслуживаемый с преобразованным графом?
Благодарю.
Обновление (2018-08-28):
Найдено contrib.meta_graph_transform(), который выглядит многообещающим.
Обновление (2018-12-03):
Связанная проблема github, которую я открыл, кажется, решена в подробном сообщении в блоге, которое указано в конце билета.