[딥러닝 기초] 1장 퍼셉트론 - 딥러닝 개론

1. 딥러닝 개론

- 인공지능, 머신러닝, 딥러닝 

 

인공지능과 머신러닝, 딥러닝의 관계

 

간단하게 표현하면 인공지능은 머신러닝과 딥러닝을 포괄적으로 나타내는 용어입니다.

머신러닝이란 인공지능을 구현하는 방식 중 하나이며 기계가 일일이 코드로 명시하지 않은 동작을 데이터로 부터 학습해 실행 할 수 있도록 하는 알고리즘을 연구하는 분야입니다.

딥러닝은 머신러닝 기법 중 하나인 인공신경망을 기반하여, 많은 양의 데이터를 학습해 뛰어난 성능을 이끌어내는 연구분야입니다.

 

 

- 딥러닝의 정의

 

 

딥러닝이란? 

머신러닝의 여러 방법론 중 하나이며, 인공신경망에 기반하여 컴퓨터에게 사람의 사고방식을 가리치는 방법을 나타냅니다. 

 

 

 

- 인공 신경망의 정의

 

인공신경망의 간단한 구조

 

인공신경망이란?

생물학의 신경망에서 영감을 얻은 학습 알고리즘이며, 사람의 신경 시스템을 모방하여 구성하였다.

 

 

 

- 사람의 신경 시스템(Neuron System)

 

뉴런의 집합

사람의 신경 시스템은 뉴런(Neuron)이라는 신경계를 구성하는 세포로 구성되어 있습니다. 

 

뉴런의 구성요소

 

뉴런(Neuron)은 위 사진과 같이 구성되어 있으며, 두뇌의 가장 작은 정보처리 단위입니다.

이러한 뉴런(Neuron)이 여러개 모여 신경 시스템을 구성하고, 이 시스템으로 인해 우리는 몸을 움직일 수 있습니다.

 

 

 

- 인공 신경망의 특징

 

인공 신경망의 학습 과정

 

따라서 이와 같이 인공 신경망을 구성할 수 있고, 이러한 인공 신경망은 모델 스스로 데이터의 특성을 학습하여 지도학습, 비지도학습 상관없이 모든 학습에 적용할 수 있습니다.

 

 

 

- 딥러닝의 역사

 

딥러닝의 역사 간단하게 정리한 표

 

1) 퍼셉트론

딥러닝의 역사는 1958년 Perceptron의 선형 모델의 등장으로부터 발전하기 시작하였습니다. 

 

2) 제1차 침체기(First AI Winter) : XOR함수 

이 때 당시 Perceptron의 등장으로 인해 AND와 OR 연산을 구분할 수 있었기 때문에 많은 호황을 누리고 있었습니다. 하지만 Perceptron의 경우 가장 치명적인 문제가 있었는데  XOR 함수와 같이 베타적 논리합 연산이 불가능 하다는 단점이 있었습니다.

베타적 논리합은 아래 그림에서처럼, 서로 같은 값이면 거짓을 반환하고, 서로 다른값이면 참을 반환하는 연산입니다.

 

베타적 논리합

 

이 문제는 선형 모델로는 절대로 표현할 수 없었으며, 이러한 한계로 인해 이 문제가 해결 될 때까지 인공지능 분야는 첫번째 침체기를 맞이하게 됩니다.

 

3) Boom times

1986년 다층 퍼셉트론(MLP, Multi-Layerd Perceptron)의 개발을 통해 길고 긴 1차 침체기가 끝이나고 인공지능은 다시한번 번영을 누리게 됩니다.

 

다층 퍼셉트론과 이를 통해 XOR문제를 해결한 예

 

인공지능 이론의 뿌리는 이 때 대부분 만들어졌으며, 이 때의 이론을 바탕으로 현재 여러 방면으로 인공지능이 발달하고 있습니다. 

뿐만 아니라, 내부 표현을 가진 심층 신경망을 훈련하는데 주요 알고리즘인 역전파(Back-Propagation) 알고리즘의 구현도 성공했다는 것입니다.

하지만 이와 동시에 MLP에서 Vanishing Gradient Problem이라는 한계가 도출되면서 2차 침체기를 맞이하게 됩니다.

 

 

4) 제 2차 침체기(Second AI Winter) : Vanishing Gradient Problem

Vanishing Gradient Problem란? 기울기 소실 문제를 나타내며 이는 Chain Rule에 의해 곱해지면서 가중치의 대한 값이 수정될 때 이 값이 점점 작아지면서 결과적으로 0에 가까워지는 문제를 나타냅니다.

 

sigmoid함수

MLP(Multi-Layerd Perceptron)에서 사용하는 함수 중 하나인 Sigmoid함수를 나타낸 것인데 다음 그래프와 같이 양 끝단의 값이 0으로 수렴하거나 1로 수렴하는 모습을 볼 수 있습니다. 이 경우 인공지능 학습이 제대로 이뤄지지 않거나 인공지능 학습 시간이 상당히 오래 걸리게 되는 문제가 발생하게 되었습니다.

 

5) 현재까지의 딥러닝

제 2차 침체기에서 벗어날 수 있었던 것은 2006년에 저프리 힌턴의 심층 신뢰망(DBN, Deep-Belif Network)의 등장으로 현재의 딥러닝 번영기를 맞이할 수 있었습니다.

심층 신뢰망은 RBM을 여러 개의 층으로 구성된 신경망이라고 정의할 수 있으며, 탐욕적인 층별 사전훈련(Greedy layer-wise pretrainig)알고리즘을 적용하여, 역전파시에 가중치가 0에 가까워지는 문제를 해결하였습니다.

 

심층 신뢰망의 구조

 

 

 

 

 

# 출처 

[DeepLearning 101] 1. 딥러닝의 역사

https://m.blog.naver.com/slykid/221801288143

[DeepLearning 101] 1. 딥러닝의 역사

엘리스 AI 트랙 딥러닝의 기초 1 강의 - 퍼셉트론 강의자료