My DevLog

Normalization 정리 **작성 중 Normalization의 가장 대표적인 4가지 메소드이다. Feature map의 크기를 결정하는 파라미터는 (N, C, H, W)의 4차원으로 구성되는데 이를 3차원 그림으로 표현하기 위해 H, W를 1개의 차원으로 축소하여 나타낸 것이다. 실제로는 위와 같이 왼쪽에 색칠된 부분이 오른쪽 feature map과 동일한 부분에 해당된다. 즉 N(batch) 차원을 없애고 보는것이 우리가 흔히 아는 feature map의 표현이 된다. 4가지 방법을 각각 살펴보자. 1. Batch Normalization(BN) 위 그림을 보면 이해가 쉽다. 각 feature map 별로 평균과 분산을 구하는 방식이다. 이때 featuer map안의 location 정보는 사라..