Я просто пытаюсь выяснить, как я могу использовать Caffe. Для этого я просто просмотрел различные файлы .prototxt в папке примеров. Есть один вариант, который я не понимаю:
# The learning rate policy
lr_policy: "inv"
Возможные значения:
"fixed""inv""step""multistep""stepearly""poly"Может кто-нибудь объяснить эти варианты?
Если вы заглянете в файл /caffe-master/src/caffe/proto/caffe.proto (вы можете найти его в Интернете здесь), вы увидите следующие описания:
// The learning rate decay policy. The currently implemented learning rate
// policies are as follows:
// - fixed: always return base_lr.
// - step: return base_lr * gamma ^ (floor(iter / step))
// - exp: return base_lr * gamma ^ iter
// - inv: return base_lr * (1 + gamma * iter) ^ (- power)
// - multistep: similar to step but it allows non uniform steps defined by
// stepvalue
// - poly: the effective learning rate follows a polynomial decay, to be
// zero by the max_iter. return base_lr (1 - iter/max_iter) ^ (power)
// - sigmoid: the effective learning rate follows a sigmod decay
// return base_lr ( 1/(1 + exp(-gamma * (iter - stepsize))))
//
// where base_lr, max_iter, gamma, step, stepvalue and power are defined
// in the solver parameter protocol buffer, and iter is the current iteration.
Общепринятой практикой является снижение скорости обучения (lr) по мере продвижения процесса оптимизации/обучения. Однако неясно, как именно скорость обучения должна быть уменьшена в зависимости от номера итерации.
Если вы используете DIGITS в качестве интерфейса для Caffe, вы сможете визуально увидеть, как различные варианты влияют на скорость обучения.
исправлено: скорость обучения сохраняется на протяжении всего учебного процесса.
inv: скорость обучения затухает как ~ 1/T 
шаг: скорость обучения кусочно-постоянной, отбрасывая каждую итерацию X
multistep: кусочно-постоянная при произвольных интервалах
Вы можете точно определить, как скорость обучения вычисляется в функции SGDSolver<Dtype>::GetLearningRate (solvers/sgd_solver.cpp line ~ 30).
Недавно я наткнулся на интересный и нетрадиционный подход к настройке скорости обучения: Лесли Н. Смит работает "Нет более увлекательной обучающей скорости, угадывающей игры" . В своем докладе Лесли предлагает использовать lr_policy, который чередуется между уменьшением и увеличением скорости обучения. Его работа также предлагает, как реализовать эту политику в Caffe.