[1주차] LSTM

LSTM - Long Short-Term Memory Network

RNN의 변형된 모델로 긴 기간의 의존도 역시 학습할 수 있도록 설계되어 있다.

 

 

LSTM의 특징 및 장점

RNN은 우리가 배웠듯이 반복모듈이 단 하나의 Layer를 가지고 있지만

LSTM은 4개의 Layer가 서로 정보를 주고받도록 설계되어있다.

LSTM의 핵심은 C_t 라고 표현되는 "Cell State"이다.

말 그대로 상태를 전달 해주는 컨베이어와 같은 역할이다. 이 컨베이어벨트에서 각 t 의 데이터가 추가되면서 상태 정보가 바뀔수도, 그대로 흐르게만 할 수도 있다.

 

C_t를 바꿀지 결정하는 인자는 "Gate"인데 총 3개의 gate를 가지고 있고 이 문들이 cell state를 제어하기도 하고 보호하기도 합니다. 정보의 전달을 중요도에 따라 강도를 조절하면서 컨베이어벨트에 전달한다.

 

 

Forget Gate는 불필요한 과거정보를 잊기위한 Gate,

Input Gate는 저장할 새 정보를 결정한다. 이때 과거의 cell state인 C_{t-1}를 업데이트할때 처음엔 곱셈으로 잊기로 했던 과거정보를 삭제하고 덧셈으로 새 정보를 업데이트한다.

Output gate에서는 최종적으로 output(예측결과값)을 cell state를 바탕으로 필터된 값을 내보내게 된다.

 

 

LSTM 실습

- RNN의 한 형태인 LSTM을 통한 Univariate, Multivariate, Single step, Multistep 기후 예측을 실습

1-10 다시듣기