[Boost Camp] 1WEEK.5Days -RNN

1.시퀀스 데이터

• 소리, 문자열, 주가 등의 데이터를 시퀀스(sequence)데이터로 분류한다

- 시계열(time-series)데이터는 시간 순서에 따라 나열된 데이터로 시퀀스 데이터에 속한다.

ex> 소리, 문자열, 주가 등의 데이터를 시퀀스데이터로 분류한다.

 

• 시퀀스의 정보를 갖고 앞으로 발생할 데이터의 확률분포를 다루기 위해 조건부확률을 이용할 수 있다.

• 이전 시퀀스의 정보를 가지고 앞으로 발생할 데이터의 확률분포를 다루기위해 조건부확률을 이용할 수 있다.

- 시퀀스 데이터를 분석할 때 모든 과거 정보들이 필요한 것은 아님

• 가장 기본적인 RNN모형은 MLP와 유사한 모양이다.
• RNN은 이전 순서의 잠재변수와 현재의 입력을 활용하여 모델링한다.
• RNN의 역전파는 잠재변수의 연결그래프에 따라 순차적으로 계산한다.

2.BRTT

• BRTT을 통해 RNN의 가중치행렬의 미분을 계산해보면 아래와 같이 미분의 곱으로 이루어진 항이 계산된다.

• 시퀀스의 길이가 길어지는 경우 BRTT를 통한 역전파 알고리즘의 계산이 불안해지므로 길이을 끊는 것이 필요하다.

--> 이를 해결하기 위해 등장한 RNN네트워크가 LSTM, GRU이다.