learning rate decay: staircase vs linear

학습의 phase (epoch, training steps)가 증가할 때 optimization의 파라미터인 learning rate를 점차 감소시켜 높은 learning rate에서는 찾을 수 없는 global optima를 찾고자 하는 전략

learning rate를 특정 epoch 혹은 step에 계단처럼 뚝뚝 끊어 떨어뜨리는 기법

staircase가 적용되지 않는다면, learning rate은 매 step마다 일정량 decay되면서 완만한 곡선의 형태로 내려가게 됨

staircase=True인 경우, 완만하게 하강하는 learning rate보다도 이론적으로 더 많은 gradient를 이동하게 됨

staircase=True인 경우, objective function이 위아래로 요동치는 현상(oscillation)이 더 눈에 띄게 발생함

staircase decay와 linear decay간에 큰 loss / accuracy 차이는 알아보기 힘듦,

예상과는 달리 staircase learning rate decay 뿐만 아니라 linear decay에도 validation 시 fluctuation이 있음