DL-7 RNN

Sequential model

• Markov model (first-order autoregressive model) 바로 직전 과거만의 것이 현재에 영향을 끼친다. 당연히 joint distribution이 쉬워지지만 많은 정보가 버려져서 정확하지 못하다.

• Latent autoregressive model latente space(hidden space) 를 껴서 과거의 정보를 전달

Recurrent Neural Network

• Short term dependencies

LSTM

Long Short Term Memory

• Cell state : core data

• Gate

  • Forget gate : 어떤 정보를 버릴지
  • Input gate : 어떤 정보를 저장할지
  • Update cell : Cell state 업데이트
  • Output gate : 아웃풋 가공

GRU

Gated Recurrent Unit

reset gate, updatae gate 로 두개의 gate만 존재