jjOyOii Slog

RETAIN : An Interpretable Predictive Model for Healthcare using Reverse Time Attention Mechanism (NIPS 2016) 병원에서 인턴을 하면서 알게되었고 실제로 빅데이터 콘테스트에 참여하며 적용해 보았던 RETAIN을 정리해보았다! EHR 데이터는 high-demensional clinical variables, sequential한 데이터이다. (e.g., 진단기록, 처방기록) 환자가 방문했을 때에 처방 또는 진단받은 기록이 남게 되는데 기존의 통계모델, 머신러닝 기법으로는 진단을 받은 시기와 진단의 종류 사이의 관계를 모두 학습하지 못한다는 단점이 있다. sequential한 데이터에 강세를 보이는 RNN 모델을 사용해서 예측..

기상, 주가, text 데이터와 같이 시간축을 따라 순서대로 나열되어 있는 데이터를 시퀀스 데이터라고 부른다. 이러한 경우 각 입력 데이터 뿐만아니라 입력 데이터의 순서 또한 또다른 형태의 정보를 가지고 있다. 이런 특성을 고려하여 Recurrent Neural Network는 이전의 본 샘플을 기억하고 이를 기반으로 새로운 이벤트를 처리할 수 있도록 한다. | RNN & Feed Foward 신경망 단순하게 입력층이 은닉층으로 흐른후 출력층으로 전달되는 피드포워드 신경망과 다르게 순환 신경망은 이전 스텝의 출력이 다음 스텝의 입력층으로 흐르게 된다. 그림으로 표현하자면 다음과 같다. 그림을 보게 되면 A라는 RNN모델에서 은닉층의 각 유닛은 두개의 화살표를 받게 된다.(입력이 두개) 입력층으로 부터 받..