My DevLog

Normalization 정리 **작성 중 Normalization의 가장 대표적인 4가지 메소드이다. Feature map의 크기를 결정하는 파라미터는 (N, C, H, W)의 4차원으로 구성되는데 이를 3차원 그림으로 표현하기 위해 H, W를 1개의 차원으로 축소하여 나타낸 것이다. 실제로는 위와 같이 왼쪽에 색칠된 부분이 오른쪽 feature map과 동일한 부분에 해당된다. 즉 N(batch) 차원을 없애고 보는것이 우리가 흔히 아는 feature map의 표현이 된다. 4가지 방법을 각각 살펴보자. 1. Batch Normalization(BN) 위 그림을 보면 이해가 쉽다. 각 feature map 별로 평균과 분산을 구하는 방식이다. 이때 featuer map안의 location 정보는 사라..

📚 Stanford cs231n CNN Architectures LeNet ConvNet을 최초로 도입 우편번호, 숫자 등에 사용됨 AlexNet ReLU 첫 도입 dropout 도입 VGG 더 깊은 네트워크, 작은 필터 사용 GoogLeNet 22개의 layer 깊지만 효율은 증대 inception module 사용 FC layer 삭제 ResNet Very deep networks using residual connections residual block들을 쌓아올려 구성 SENet(Squeeze-and-Excitation Networks) adaptive feature map reweighting 이용 feature recalibration 적용 Wide Residual Networks 발전된 Re..

📚 Stanford cs231n Training Neural Networks I Activation Functions Neural Network에서 뉴런으로 전달된 입력값이 연산 후 최종적으로 활성화 함수와 연산되고 다음 뉴런으로 전달된다. 다양한 Activation functions들의 예시 Sigmoid Function 입력을 받아서 0-1 사이의 값으로 만든다. 입력이 크면 1에 가깝고, 작으면 0에 가깝다. Sigmoid 함수의 문제점 포화된 뉴런이 gradient를 죽인다(vanishing gradient) x가 아주 크거나 작을 때 gradient가 0이 된다. 함수의 출력값이 0을 중심으로 하지 않는다(not zero-centered) exp()함수가 계산이 오래 걸린다 tanh Functi..

📚 Stanford cs231n Convolutional Neural Networks 1. History of Convolutional Neural Networks Mark 1 Perceptron Chain Rule을 이용한 back propagation 발견 AlexNet CNN 등장 -> 우체국에서 번호 인식 2. Convolutional Neural Networks Fully Connected Layer 학습한 데이터를 기반으로 분류를 하는 Layer 보통 CNN의 마지막에 Output 출력을 위해 활용된다 Convolutional Layer 입력된 이미지에서 테두리, 선, 색 등 이미지의 특징을 감지하기 위한 Layer 각 이미지는 filter와의 연산(내적, dot product)를 통해 새로운..

📚 Stanford cs231n Introduction to Neural Networks Pros Back Propagation 할 때 사용 가능 Complex Function에 유용 -> CNN, Neural Turing Machine Chain Rule을 재귀적으로 사용 -> 모든 변수에 대한 gradient 계산하기 위해 예제 Backpropagation Chain-Rule x, y를 입력으로 받아 z를 출력하는 함수 x가 있다고 할 때 f = (x + y)z로 정의할 수 있다. 이때, x에 대한 L의 기울기, y에 대한 L의 기울기를 chain-rule을 통해 구할 수 있다. 각각의 변수에 대해 기울기(편미분값)을 구하기 위해서 Chain-rule 사용 Upstream Gradient, Local..

📚 Stanford cs231n Loss Functions and Optimization ✅ TODO ✔ Define a loss function that quantifies our unhappiness with the scores across the training data ✔ Come up with a way of efficiently find the parameters that minimize the loss function(optimization) W가 좋은지 안 좋은지 정량화 해주는 것이 바로 Loss function 이다. 그리고 이를 좋은 쪽으로 발전시키는 것을 Optimization이라 한다. 예제를 단순화 시켜 3개의 class 만 있다고 가정하자. 세 이미지에 대한 W 값을 보면 자동차..

📚 Stanford cs231n Introduction to CNN for Visual Recognition ✅ A brief history of computer vision about 540 m years ago: number of animal species exploded ⇒ 동물들이 볼 수 있게 된 이후 변화 발생 ⇒ 살아남기 위해 더 빠른 진화가 필요 Mechanical vision ⇒ Camera Obscura Using electropysiology What’s visual processing mechanism like in mammals => 고양이의 뇌를 관찰하여 특정 방향으로 움직일 때 oriented edges에 반응하는 세포 발견 Block world ⇒ simplify the vis..