Как правильно комбинировать API-интерфейс Dasaset TensorFlow и Keras?

Ответ 1

В действительности существует более эффективный способ использования Dataset без необходимости преобразования тензоров в массивы numpy. Однако это не (пока?) В официальной документации. Из примечания к выпуску, это функция, введенная в Keras 2.0.7. Возможно, вам придется установить keras >= 2.0.7, чтобы использовать его.

x = np.arange(4).reshape(-1, 1).astype('float32')
ds_x = Dataset.from_tensor_slices(x).repeat().batch(4)
it_x = ds_x.make_one_shot_iterator()

y = np.arange(5, 9).reshape(-1, 1).astype('float32')
ds_y = Dataset.from_tensor_slices(y).repeat().batch(4)
it_y = ds_y.make_one_shot_iterator()

input_vals = Input(tensor=it_x.get_next())
output = Dense(1, activation='relu')(input_vals)
model = Model(inputs=input_vals, outputs=output)
model.compile('rmsprop', 'mse', target_tensors=[it_y.get_next()])
model.fit(steps_per_epoch=1, epochs=5, verbose=2)

Несколько отличий:

• Поставьте аргумент tensor на уровень Input. Keras будет считывать значения из этого тензора и использовать его в качестве входа для соответствия модели.
• Поставьте аргумент target_tensors в Model.compile().
• Не забудьте преобразовать x и y в float32. При нормальном использовании Keras сделает это преобразование для вас. Но теперь вам придется сделать это самостоятельно.
• Размер партии указывается при построении Dataset. Используйте steps_per_epoch и epochs для управления, когда останавливать установку модели.

Короче говоря, используйте Input(tensor=...), model.compile(target_tensors=...) и model.fit(x=None, y=None, ...), если ваши данные должны быть прочитаны из тензоров.

Ответ 2

Обновление 09 июня 2018

• Начиная с Tensorflow 1.9, можно передать объект tf.data.Dataset непосредственно в keras.Model.fit() и он будет действовать аналогично fit_generator.
• Полный пример можно найти в этой сути.

# Load mnist training data
(x_train, y_train), _ = tf.keras.datasets.mnist.load_data()
training_set = tfdata_generator(x_train, y_train,is_training=True)

model = # your keras model here              
model.fit(
    training_set.make_one_shot_iterator(),
    steps_per_epoch=len(x_train) // 128,
    epochs=5,
    verbose = 1)

• tfdata_generator - это функция, которая возвращает итеративный tf.data.Dataset.

def tfdata_generator(images, labels, is_training, batch_size=128):
  '''Construct a data generator using 'tf.Dataset'. '''

  def map_fn(image, label):
      '''Preprocess raw data to trainable input. '''
    x = tf.reshape(tf.cast(image, tf.float32), (28, 28, 1))
    y = tf.one_hot(tf.cast(label, tf.uint8), _NUM_CLASSES)
    return x, y

  dataset = tf.data.Dataset.from_tensor_slices((images, labels))

  if is_training:
    dataset = dataset.shuffle(1000)  # depends on sample size
  dataset = dataset.map(map_fn)
  dataset = dataset.batch(batch_size)
  dataset = dataset.repeat()
  dataset = dataset.prefetch(tf.contrib.data.AUTOTUNE)

  return dataset

Старое решение:

В дополнение к ответу @Yu-Yang вы также можете изменить tf.data.Dataset чтобы он стал генератором для fit_generator следующим образом

from tensorflow.contrib.learn.python.learn.datasets import mnist

data   = mnist.load_mnist()
model  = # your Keras model
model.fit_generator(generator = tfdata_generator(data.train.images, data.train.labels),
                    steps_per_epoch=200,
                    workers = 0 , # This is important
                    verbose = 1)


def tfdata_generator(images, labels, batch_size=128, shuffle=True,):
    def map_func(image, label):
        '''A transformation function'''
        x_train = tf.reshape(tf.cast(image, tf.float32), image_shape)
        y_train = tf.one_hot(tf.cast(label, tf.uint8), num_classes)
        return [x_train, y_train]

    dataset  = tf.data.Dataset.from_tensor_slices((images, labels))
    dataset  = dataset.map(map_func)
    dataset  = dataset.shuffle().batch(batch_size).repeat()
    iterator = dataset.make_one_shot_iterator()

    next_batch = iterator.get_next()
    while True:
        yield K.get_session().run(next_batch)

Ответ 3

Решения @Yu_Yang и @Dat-Nguyen работают нормально. Можно сделать так, чтобы решение @Yu-Yang поддерживало проверочный набор во время обучения, используя итераторы с возможностью подачи и передавая дескриптор проверочного набора в качестве "данных" проверки. Это немного запутанно, но это работает.

Вы также можете преобразовать модель Keras в оценщик, они поддерживают наборы данных:

estimator = tf.keras.estimator.model_to_estimator(keras_model=model,
                                                  model_dir=model_dir)
input_name = model.layers[0].input.op.name

def input_fn(dataset):
    dataset = dataset.map(lambda X,y: {input_name: X}, y)
    return dataset.make_one_shot_iterator().get_next()

train_spec = tf.estimator.TrainSpec(
    input_fn=lambda: input_fn(train_set), max_steps=100)
eval_spec = tf.estimator.EvalSpec(
    input_fn=lambda: input_fn(test_set))

tf.estimator.train_and_evaluate(estimator, train_spec, eval_spec)

Ответ 4

Вот решение, если вы создаете набор данных TensorFlow с использованием библиотеки Pandas. Обратите внимание, что этот код не будет работать без tf.reshape() поскольку по какой-то причине тензоры, поступающие из tf.py_func(), не имеют информации о форме. Так что это не работает с tuple. У кого-нибудь есть обходной путь?

def _get_input_data_for_dataset(file_name):
     df_input=pd.read_csv(file_name.decode(),usecols=['Wind_MWh'])            

     X_data = df_input.as_matrix()

     return X_data.astype('float32', copy=False)

X_dataset = tf.data.Dataset.from_tensor_slices(file_names)
X_dataset = X_dataset.flat_map(lambda file_name: tf.data.Dataset.from_tensor_slices(
                            tf.reshape(tf.py_func(_get_input_data_for_dataset,[file_name], tf.float32),[-1,1])))

X_dataset = X_dataset.batch(5)
X_iter = X_dataset.make_one_shot_iterator()
X_batch = X_iter.get_next()
input_X1 = Input(tensor= X_batch ,name='input_X1')

y1 = Dense(units=64, activation='relu',kernel_initializer=tf.keras.initializers.Constant(1),name='layer_FC1')(input_X1)

Ответ 5

Одним из важных наблюдений из моего недавнего опыта является использование tf.keras вместо нативных keras. У меня работает тф> 1.12.

Надеюсь, что это может помочь и другим.

Ответ 6

Другие ответы хороши, однако важно отметить, что использование from_tensor_slices напрямую с большими массивами numpy может быстро заполнить вашу память, поскольку, IIRC, значения копируются в график как tf.constants. По моему опыту, это приведет к молчаливому провалу, когда в конечном итоге начнется тренировка, но не произойдет никаких улучшений в потере и т.д.

Лучший способ - использовать заполнители. Например, вот мой код для создания генератора изображений и их целевых объектов:

def create_generator_tf_dataset(self, images, onehots, batch_size):
    # Get shapes
    img_size = images.shape
    img_size = (None, img_size[1], img_size[2], img_size[3])
    onehot_size = onehots.shape
    onehot_size = (None, onehot_size[1])

    # Placeholders
    images_tensor = tf.placeholder(tf.float32, shape=img_size)
    onehots_tensor = tf.placeholder(tf.float32, shape=onehot_size)

    # Dataset
    dataset = tf.data.Dataset.from_tensor_slices((images_tensor, onehots_tensor))
    # Map function (e.g. augmentation)
    if map_fn is not None:
        dataset = dataset.map(lambda x, y: (map_fn(x), y), num_parallel_calls=tf.data.experimental.AUTOTUNE)
    # Combined shuffle and infinite repeat
    dataset = dataset.apply(
        tf.data.experimental.shuffle_and_repeat(len(images), None))  
    dataset = dataset.batch(batch_size)
    dataset = dataset.prefetch(1)

    # Make the iterator
    iterator = dataset.make_initializable_iterator()
    init_op = iterator.initializer
    next_val = iterator.get_next()

    with K.get_session().as_default() as sess:
        sess.run(init_op, feed_dict={images_tensor: images, onehots_tensor: onehots})
        while True:
            inputs, labels = sess.run(next_val)
            yield inputs, labels