[1주차] 딥러닝 기초모델 : MLP

 

MLP - Multi Layer Perceptron

가장 기초가되는 Feed Forward ANN (artificial neuron network) 모형이다. - 인공지능 모형의 기본!

 

 

MLP는 세가지 요소가 들어간다

MLP

Input에는 input 값이 들어가고

Hidden에서는 input의 관계들을 학습한다.

 

 

비선형 모형을 학습하기 위한 가장 기본적인 딥러닝 모형이다.

일반 ARIMA 모형과는 다르게 노이즈나 Missing Value에도 잘 대처할 수 있다.

여러 형태의, 여러개의 input 을 받을 수 있다. Multi-step 예측 가능하다.

 

 

MLP의 시계열 데이터에서의 한계

지속적인 생각을 하지 못한다.

예를들어 영화의 매 순간 일어나는 사건을 분류할 때 이제까지 일어났던 사건을 바탕으로 예측하지 못하고 순간 순간의 상황만을 판단하여 예측한다는 뜻이다. RNN은 이 문제를 해결하는데 스스로를 반복하면서 이전 단계에서 얻은 정보가 지속적으로 기억되도록 한다.

 

이러한 것들을 극복하기 위해서 MLP보다는 복잡하지만 시계열 데이터나 context를 이해할 수 있는 딥러닝 모형을 배워볼 것이다.

 

 

 

 

딥러닝 기초 구성

딥러닝은 여러 단계를 거쳐 결정을 만들어내는 선형 모델의 일반화된 모습이다.

단층 Perceptron - single layer

x값을 넣어서 y를 예측하고 싶어한다.

x값이 여러 개 이기 때문에 w값 (기울기) 값들을 학습하게 된다.

 

 

다층 Perceptron

Hidden layer 라는 딥러닝의 핵심 구조가 들어가게 된다!

MLP에서는 먼저 중간 단계를 구성하는 Hidden Unit을 계산하고 이를 이용하여 최종 결과를 산출하기 위해

다시 가중치(w) 합을 계산한다. 여러개의 가중치 합을 계산할때에 일반 선형모델보다 강력하게 만들기 위해

각 hidden unit의 개수를 정하고 이들의 가중치 합을 계산 → "비선형" 활성 함수(Activation Function) 적용→ 가중치 값으로 y 도출

 

요약: x 넣고 가중치 넣어서 값을 도출하는 것이 아닌 hidden unit에서 가중치 합을 한 번 더 계산하도록!

x에서 y로 바로 넘어가는 것이 아닌 x에서 중간 hidden 값을 거치며 비선형 관계를 학습하고 y값을 도출한다.

 

 

1) 단층                                                                     2) 다층(Hidden layer가 하나)

 

 

왜 딥러닝이라고 부르냐?

퍼셉트론이 여러가지 layer를 가질 수 있다. 원하는 만큼 쌓을 수 있다!

대규모의 신경망이 생기면서 딥러닝이라고 불리게 되었다.

 

RNN - Recurrent Neuron Network

- 되풀이되는, 반복되는, 재발되는

시간, 순서 라는 개념이 들어간 딥러닝의 가장 지초가 되는 모형이다.

특히 시계열 데이터를 사용한다면 RNN은 무조건적으로 사용해야한다고 봐야한다.

 

기본컨셉

지금 순간(t) 그 전 순간(t-1)을 바탕으로 (context)이해한다.

과거를 생각하고 기억하면서 지금의 상황을 판단하는 것이다.

RNN은 스스로를 반복하면서 이전 단계서 얻은 정보가 지속적으로 기억되도록 한다.

RNN

RNN의 구조

RNN은 기존의 ANN과는 다르게 덩어리진 Unit들이 이루어져있는 사슬이다.

Input x_txt​를 받아서 h_tht​(hidden unit 값)를 내보낸다. 다음단계에서의 network가 이전단계의 정보를 받는다는것을 의미!

RNN unit chain

각 유닛에서 다음과 같은 복잡한 수학식이 나온다.

함수의 가장 기본개념인 y=f(x) 를 본따고 있다.

색깔친 부분들이 f(x)를 수식하는 숫자들이고 이 숫자들을 반복해서 학습시킨다고 생각하면 쉽다.

예측하고자하는 값: y_t

예측하기원하는 시점: t

예측의 input값: h_t (전 단계의 hidden unit 값 - 이전 상태로 현재 상태를 예측)

 

 

이후의 강의에서 나오는데, activation function 을 통해서 다음 단계에서의 hidden unit이 나오게 된다. (??)

 

지금의 상태값(h_t)은 전 단계의 hidden unit, state(h_t-1) 값을 받고 지금의 input 값(x_t)을 받아

지금의 y값을 예측한다.

 

현재시점의 input인 x_t만을 받는게 아니라 과거 시점의 상태인 h_{t-1} 이 들어간다.

이러한 순서(sequence)가 반복되면서 t=0의 input과 상태가 어느정도는 t시점까지 기억되고 연결되어지며 어느정도 chain 형태를 이루게 된다.

 

 

 

RNN 장점

1) RNN은 Sequence길이에 상관없이 Input과 Output을 받아들일 수 있다.

One-to-One의 기본개념을 넘어서서 One-to-many, many-to-one, many-to-many등

다양한 형태를 받아들일수 있어 NLP(자연어 처리-natural language processing)에 특히 활용도가 높다.

2) sequence 데이터를 다룬다. sequence가 다이나믹하다면 RNN 모형이 기초가 되어야한다.

 

예를들어 사진을 통해 여러단어들을 예측할수도, 여러단어들로 하나의 숫자로 표현되는 감성점수를 예측할수도, 단어들을 통해 다음단어들을 예측할 수도 있다.

예를 들면 Google의 이메일 자동완성 기능이 이런 모형을 통해 구현될 수도 있다.

 

 

RNN 한계

하지만 이렇게 유용하고 쓸모있는 RNN의 단점은 짧은 기간에 의존하게 되는 구조상의 문제에 있다.

예를들어 "The clouds are in the sky"의 경우는 sky를 예측하기위해 4단어 전의 cloud의 정보가 필요한데 상대적으로 짧아서 큰 문제가 되지 않는다. 하지만 현재시점의 정보를 예측하기 위해서 더 많은 문맥을 이해하고 멀리있는 단어들을 기억할 필요가 있을수 있다. 

 

 

스파르타 강의 예시