기울어진 방향으로 일정 거리만 가겠다는 단순한 방법
W는 갱신할 가중치 매개변수, dL/dW는 W에 대한 손실 함수의 기울기
η(이타)는 학습률을 의미하는데, 실제로는 0.01이나 0.001과 같은 값을 미리 정해서 사용
공이 가속도에 영향을 받아 바닥을 구르듯 행동
αv는 물체가 아무런 힘을 받지 않을 때 서서히 하강시키는 역할 (α는 0.9 등의 값으로 설정) -> 지면 마찰이나 공기 저항
V(velocity)는 (가)속도
움직임을 줄여나가는 방식, 지그재그 형태의 움직임이 갈수록 줄어듦
h는 기울기 값을 제곱하여 계속 더해줌
모멘텀과 AdaGrad
두기법을 융합한 아이디어에서 출발한 기법
현존하는 대부분의 모델에서 가장 점수가 잘 나옴
