Иногда я сталкиваюсь с проблемой:
ООМ при выделении тензора с формой
e.q.
ООМ при выделении тензора с формой (1024, 100, 160)
Где 1024 - размер моей партии, а я не знаю, что остальные. Если я уменьшу размер партии или количество нейронов в модели, она будет работать нормально.
Существует ли общий способ расчета оптимального размера пакета на основе модели и памяти графического процессора, чтобы программа не вылетала?
Короче говоря: я хочу максимально возможный размер пакета с точки зрения моей модели, который поместится в моей памяти GPU и не приведет к сбою программы.