[이미지] Convolutional Neural Network - 대표적인 CNN 모델

- LeNet(1990)

 

LeNet

 

LeNet는 이미지 분류용 CNN 중에 조상격으로 CNN초기에 CNN의 기본 구조를 잘 하였습니다. 
LeNet은 CNN을 처음으로 개발한 얀 르쿤(Yann Lecun) 연구팀이 1998년에 개발한 CNN 알고리즘의 이름이다.

우편번호를 인식하기 위해 개발한 모델이며, LeNet-5 버전까지 개발되었습니다.

 

 

 

- AlexNet(2012)

 

AlexNet

 

LeNet 개발 이후 CNN 분야에서 획기적인 모델이 나오지 않다가 2012년 ImageNet Challenge에 등장한 AlexNet이 기존 모델의 성능을 큰 폭으로 상회하며, CNN을 한번 더 발전 시키는 계기가 되었습니다.

이 때 처음으로 CNN 모델에 ReLU 활성화 함수를 적용하였고 딥러닝 모델 학습에 GPU를 활용하였습니다.

이후로 사실상 모든 딥러닝 모델은 GPU로 학습하게 되었습니다.

 

 

 

- VGNet(2014)

 

하지만 AlexNet의 단점은 레이어를 깊게 쌓지 못한다는 단점이 있었습니다. 그로 인해 성능의 한계가 있었습니다.

 

VGGNet

 

그래서 AlexNet의 단점을 개선하여 모델의 층을 더 많이 쌓을 수 있는 모델인 VGGNet이 등장하였습니다.

VGGNet은 커널 사이즈를 모두 3 X 3으로 통일하였으며, Parameter 수 증가를 억제하여 모델 층을 더 많이 쌓을 수 있게 하였습니다.

그렇다면 왜 모델 층을 더 쌓기 위해 노력했을까요?

그것은 층이 많을수록(즉, 모델이 깊을수록) 일반적으로 모델의 성능이 향상되기 때문이었습니다.

 

 

 

- ResNet(2015)

 

ResNet

 

VGGNet 등장 이후 Layer 개수를 최대 152개까지 늘린 ResNet이 등장하였습니다. 이로 인해 CNN 모델의 성능은 더 증가하게 되었습니다. 

이 때 우리가 집중해야될 점은 이렇게 Layer가 많은데도 불구하고 Vanishing Gradient 문제가 나타나지 않는다는 것입니다.

• Vanishing Gradient(기울기 소실)
  • 역전파 과정에서 기울기 값이 점점 작아지다 0에 수렴하면서 발생
  • 모델 학습에 오랜 시간이 걸리거나 아얘 학습이 멈추게된다.

 

그렇다면 ResNet은 어떻게 Vanishing Gradient  문제를 해결하였을까요?

 

 

 

- Residual Connection

 

Residual Connection

 

바로 Residual Connection이라는 새로운 구조를 만들었기 때문입니다.

Residual Connection은 Vanishing Gradient 문제를 해결하기 위한 구조입니다.

이를 통해 Layer의 개수를 극적으로 늘릴 수 있었는데, 기존 convolutional Layer들을 입력 Feature Map이 통과하였다면 여기서는 우회로를 통해 통과하여 Convolutional Layer의 Feature Map과 더해졌습니다.

이때문에 기울기의 값이 항상 1 이상이 되어 기울기 소실 문제를 방지하였습니다.

 

 

 

- 분류 작업이 아닌 경우에 사용하는 모델은?

 

 

앞서 설명한 모델은 모두 분류 모델이었습니다. 그렇다면 분류 작업이 아닌 경우에 사용하는 모델은 어떻게 구성할까요?

일반적으로 분류모델과 유사하게 CNN을 구성하지만 모델의 출력값, 손실 함수, 데이터셋 구성 등 기존의 분류 모델에 적용하던 값들이 완전히 다르게 이루어지게 됩니다.

분류작업에 사용하지 않는 모델은 예를들면 YOLO, R-CNN, U-Net 등이 있습니다.

 

 

 

 

 

 

# 출처 및 참고자료

 

엘리스 AI 트랙 7기 - [이론] Convolutional Neural Network