Activation Function -sigmoid Function -tanh Function -absolute Function -ReLU Function AlexNet Argumentation BackPropagation 역파장. Batch Normalization normalization을 하는 이유 입력 변수가 선형적으로 결합된다면 적어도 이론 상으로는 입력을 표준화하는 것이 거의 필요하지 않습니다. 그 이유는 해당 weight 와 bias 를 변경하여 입력 벡터를 재조정하면 이전과 완전히 똑같은 결과를 남길 수 있기 때문입니다. 그러나 입력을 표준화 하면 학습을 더 빨리하고 지역 최적의 상태에 빠지게 될 가능성을 줄이는 다양한 실용적인 이유가 있습니다. 또한, 표준화 된 입력을 통해 Gradient Descent 및 Bayesian estimation 을 보다 편리하게 수행 할 수 있습니다. Batch Normalization Algorithm mean = 평균 variance = 분산 gamm a = Scalar factor, Scale beta = Shift factor, Shift (bias 역할 대체 가능) 장점 기존 Deep Network 에서는 learning rate 를 너무 높게 잡을 경우 gradient 가 explode/vanish 하거나, 나쁜 local minimal 에 빠지는 문제가 있었다. 이는 parameter 들의 scale 때문인데, Batch Normalization 을 사용할 경우 propagation 할 때 parameter 의 scale 에 영향을 받지 않게 된다. 따라서, learning rate 를 크게 잡을 수 있게 되고 이는 빠른 학습을 가능케 한다. Dropout을 같이 사용하지 말 것. 직관적 이해 아래와 같이 ...