jjOyOii Slog

로컬에서 모델을 돌릴일이 없어서 환경구축을 안하고 있었는데, 오랜만에 M1에서 tensorflow를 설치하고 import하니 zsh: illegal hardware instruction 오류가 떴다. conda install tensorflow하면 되는건 줄 알았는데 아직 안되는 것 같다. 검색해 보니 tensorflow 2.4 정식 버전이 intel mac(아마도 로제타버전)하고만 호환이 되는 것 같고 이외에도 pip로 설치할 수 없는 패키지들이 많다. 2020년 12월 글인데 아직도 그렇다니 .. 언젠간 호환되겠지.. 그래서 대략 8시간동안의 삽질을 통해 구축한 conda installer중 miniforge를 사용한 방법을 공유하고자 한다 : ) 그냥 코랩쓰거나 서버쓰는게 마음편할 것 같지만 혹시 ..

카프카는 메시지 송신 API인 producer와 메시지 수신 API인 Consumer로 분리되어 구성되어 있는 메시징 시스템입니다. 카프카는 queue based system이기 때문에 데이터 베이스를 queue 형식으로 사용하면 비슷한 기능을 구현할 수 있을 것으로 생각됩니다. 카프카의 장점 중 하나가 데이터를 처리해야하는 애플리케이션을 여러개 구축할 수 있고 각 애플리케이션 마다 다른 규칙을 가질 수 있다는 점 입니다. kafka는 queue based system인 동시에 pub-sub system이기 때문에 이런 부분에서 용이한 것으로 보입니다. Pub-sub messaging을 통해서 모들 에플리캐이션이 동일한 데이터에 access할 수 있게 됩니다. 다음 자료는 Kafka Pub-sub 시스템..

파이썬 에서는 문자열을 포매팅 하기 위한 3가지 방법이 있다. 1. % formatting 2. str.format() 3. f-string 평소에 str.format()을 주로 사용했는데 3가지 중 f-string이 가장 가독성이 좋고 효율적인 표현 방법이라고 한다! 기본 사용 1) f-string을 출력을 위해 파이썬의 모든 이름을 참조할 수 있다. 2) 참조할 이름을 {}안에 넣어준다. 3) 출력하고자 하는 문장을 f 접두사를 붙여 표현한다. string1 = 'password' value1 = 100 float1 = 1.23456 f_string = f'{string1} is {value1}' print(f_string) >>> 'password is 100' 함수, 수식 등 표현 아래와 같이 {..

세션에서 VMware/VirtualBox 설치 후 Ubuntu환경에서 docker를 실행한는 것을 권장 했는데 (아마도) M1 맥에서는 아직까지 가상환경을 지원하지 않는 것 같다. 그래서 local에 직접 docker를 설치 한 후 실습해 보았다. 1. 도커 설치 www.youtube.com/watch?v=wsg7wrTbBRk www.docker.com/blog/download-and-try-the-tech-preview-of-docker-desktop-for-m1/ Download and Try the Tech Preview of Docker Desktop for M1 - Docker Blog Apple has recently shipped the first Macs based on the new Ap..

RETAIN : An Interpretable Predictive Model for Healthcare using Reverse Time Attention Mechanism (NIPS 2016) 병원에서 인턴을 하면서 알게되었고 실제로 빅데이터 콘테스트에 참여하며 적용해 보았던 RETAIN을 정리해보았다! EHR 데이터는 high-demensional clinical variables, sequential한 데이터이다. (e.g., 진단기록, 처방기록) 환자가 방문했을 때에 처방 또는 진단받은 기록이 남게 되는데 기존의 통계모델, 머신러닝 기법으로는 진단을 받은 시기와 진단의 종류 사이의 관계를 모두 학습하지 못한다는 단점이 있다. sequential한 데이터에 강세를 보이는 RNN 모델을 사용해서 예측..