[딥러닝 기초] 2장 딥러닝 학습의 문제점 - 딥러닝 모델 학습의 문제점

- 데이터 증가와 딥러닝 모델의 한계점

 

 

실생활 문제 데이터의 차원이 증가하고, 구조가 복잡해졌습니다.

즉, 이로인해 다양한 문제가 발생하게 되고 , 기술려그이 부족으로 딥러닝 기술은 실질적인 한계를 마주하게 됩니다.

 

 

 

- 다양한 문제점

 

위에서 설명한 것처럼 데이터 문제 이외에도 딥러닝 모델을 훈련시키면서 발생하는 다양한 문제점이 존재합니다.

1. 학습속도 문제
2. 기울기 소실 문제
3. 초기값 설정 문제
4. 과적합 문제

 

 

 

 

- 1. 학습 속도 문제

 

우선 학습 속도 문제에 대해서 알아보겠습니다. 

 

왜 딥러닝을 진행하면서 학습 속도의 문제가 발생하게 될까요?

그건 바로 데이터의 개수를 통해 알 수 있습니다.

최근에 데이터의 양이 과거에 비해 폭발적으로 증가하면서 우리가 여러개의 과목을 공부하면 그만큼 시간이 더 오래 걸리듯이 딥러닝 모델 역시 학습할 때 걸리는 시간이 함께 증가하게 됩니다.

 

 

 

 

- 2. 기울기 소실 문제

 

이 문제는 앞에서 기울기에 대한 개념을 설명하면서 딥러닝 모델이 가지는 문제 중 하나라고 설명했습니다.

 

 

기울기 소실(Vanishing Gradient)에 대해 다시 한번 설명하면 딥러닝 모델이 더 깊고 더 넓은 망으로 구성 될 수록 모델이 학습하는 과정에서 가중치가 곱해질 수록 출력값과 멀어지게 되고 이때 기울기가 0에 수렴하게되어 학습이 잘 안되는 현상이 발생하게 됩니다.

 

 

 

- 3. 초기값 설정 문제

 

 

딥러닝 모델을 학습 시키기 전 이전 포스팅에서 설명했던 것처럼 사람이 직접 설정해주는 값을 하이퍼 파라미터라고 말했었는데, 이러한 하이퍼 파라미터의 값이 어떤 값이냐에 따라 성능 차이가 매우 크게 발생하게 됩니다.

 

 

 

- 4. 과적합 문제

 

 

과적합 문제란 간단하게 설명하면 딥러닝 모델이 훈련 데이터(training data)에 과하게 최적화되어 테스트 데이터(test data)를 넣어 모델에 대한 평가를 진행할 때 모델 성능이 저하되는 현상을 말하게 됩니다.

즉, 기존의 훈련 데이터에 대해서는 높은 정확도를 나타내게 되지만 새로운 데이터가 들어올 경우 모델의 성능이 현저하게 떨어지게 됩니다.

 

 

 

- 1990년대 두 번째 AI 겨울

 

 

따라서 앞서 설명한 4가지 큰 문제점으로 인해 첫 번째 AI 겨울이 끝나고 대 호황을 누리면서 발전하던 AI는 다시 두 번째의 겨울을 맞이하게 됩니다.

 

 

 

 

 

 

# 출처

 

엘리스 AI 트랙 7기 - [강의자료]  딥러닝 학습의 문제점