Использование предварительно подготовленного inception_resnet_v2 с Tensorflow

Я пытаюсь использовать предварительно подготовленную модель inception_resnet_v2, выпущенную Google. Я использую их определение модели (https://github.com/tensorflow/models/blob/master/slim/nets/inception_resnet_v2.py) и заданную контрольную точку (http://download.tensorflow.org/models/inception_resnet_v2_2016_08_30.tar.gz), чтобы загрузить модель в тензорном потоке, как показано ниже. [Загрузите извлечение файла контрольной точки и загрузите образцы изображений dog.jpg и panda.jpg, чтобы проверить этот код] -

import tensorflow as tf
slim = tf.contrib.slim
from PIL import Image
from inception_resnet_v2 import *
import numpy as np

checkpoint_file = 'inception_resnet_v2_2016_08_30.ckpt'
sample_images = ['dog.jpg', 'panda.jpg']
#Load the model
sess = tf.Session()
arg_scope = inception_resnet_v2_arg_scope()
with slim.arg_scope(arg_scope):
  logits, end_points = inception_resnet_v2(input_tensor, is_training=False)
saver = tf.train.Saver()
saver.restore(sess, checkpoint_file)
for image in sample_images:
  im = Image.open(image).resize((299,299))
  im = np.array(im)
  im = im.reshape(-1,299,299,3)
  predict_values, logit_values = sess.run([end_points['Predictions'], logits], feed_dict={input_tensor: im})
  print (np.max(predict_values), np.max(logit_values))
  print (np.argmax(predict_values), np.argmax(logit_values))

Однако результаты этого кода модели не дают ожидаемых результатов (класс 918 предсказан независимо от входного изображения). Может ли кто-нибудь помочь мне понять, в чем я ошибаюсь?

Спасибо!

Ответ 1

Начальные сети ожидают, что входное изображение будет иметь цветные каналы, масштабированные от [-1, 1]. Как видно здесь.

Вы можете либо использовать существующую предварительную обработку, либо в своем примере просто масштабировать изображения самостоятельно: im = 2*(im/255.0)-1.0 перед подачей их в сеть.

Без масштабирования вход [0-255] намного больше, чем ожидает сеть, и смещения всей работы очень сильно предсказывают категорию 918 (комиксы).