Я работаю над CNN более чем сотнями ГБ изображений. Я создал функцию тренировки, которая откусывает 4Gb куски этих изображений и вызывает fit
по каждой из этих частей. Я волнуюсь, что я только тренируюсь на последнем фрагменте не по всему набору данных.
Фактически, мой псевдокод выглядит следующим образом:
DS = lazy_load_400GB_Dataset()
for section in DS:
X_train = section.images
Y_train = section.classes
model.fit(X_train, Y_train, batch_size=16, nb_epoch=30)
Я знаю, что API и форумы Keras говорят, что это будет тренироваться по всему набору данных, но я не могу интуитивно понять, почему сеть не переучивается только последнему учебному блоку.
Некоторая помощь в понимании этого будет очень оценена.
Бест, Джо