В keras можно загружать только одну партию в памяти за один раз, так как у меня есть 40-гигабайтный набор данных.
Если набор данных мал, я могу использовать ImageDataGenerator для пакетов генераторов, но из-за большого набора данных я не могу загрузить все изображения в памяти.
Есть ли какой-либо метод в keras, чтобы сделать что-то похожее на следующий код tensorflow:
path_queue = tf.train.string_input_producer(input_paths, shuffle= False)
paths, contents = reader.read(path_queue)
inputs = decode(contents)
input_batch = tf.train.batch([inputs], batch_size=2)
Я использую этот метод для сериализации входных данных в тензорном потоке, но я не знаю, как достичь этой задачи в Keras.