jjOyOii Slog

  • 홈
  • 태그
  • 방명록

Data Engineering 2

[Kafka] Producer and Consumer

카프카는 메시지 송신 API인 producer와 메시지 수신 API인 Consumer로 분리되어 구성되어 있는 메시징 시스템입니다. 카프카는 queue based system이기 때문에 데이터 베이스를 queue 형식으로 사용하면 비슷한 기능을 구현할 수 있을 것으로 생각됩니다. 카프카의 장점 중 하나가 데이터를 처리해야하는 애플리케이션을 여러개 구축할 수 있고 각 애플리케이션 마다 다른 규칙을 가질 수 있다는 점 입니다. kafka는 queue based system인 동시에 pub-sub system이기 때문에 이런 부분에서 용이한 것으로 보입니다. Pub-sub messaging을 통해서 모들 에플리캐이션이 동일한 데이터에 access할 수 있게 됩니다. 다음 자료는 Kafka Pub-sub 시스템..

Data Engineering 2021.06.07

[docker] M1 Mac 에서 docker 실행 해보기

세션에서 VMware/VirtualBox 설치 후 Ubuntu환경에서 docker를 실행한는 것을 권장 했는데 (아마도) M1 맥에서는 아직까지 가상환경을 지원하지 않는 것 같다. 그래서 local에 직접 docker를 설치 한 후 실습해 보았다. 1. 도커 설치 www.youtube.com/watch?v=wsg7wrTbBRk www.docker.com/blog/download-and-try-the-tech-preview-of-docker-desktop-for-m1/ Download and Try the Tech Preview of Docker Desktop for M1 - Docker Blog Apple has recently shipped the first Macs based on the new Ap..

Data Engineering 2021.02.05
1
더보기
프로필사진

  • 분류 전체보기 (8)
    • 통계 (1)
      • 개념 (1)
    • Deep Learning (3)
      • NLP (2)
      • etc (1)
    • 프로그래밍 (2)
      • SQL (1)
      • R (0)
      • python (1)
    • Data Engineering (2)

Tag

환경구축, 딥러닝, Anaconda, MEDICAL, TensorFlow, retain model, MachineLearning, pytorch, XAI, miniforge, attention, DeepLearning, 머신러닝, m1, Statistics, rnn, Docker, virtual machine, LSTM, 시계열데이터,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/08   »
일 월 화 수 목 금 토
1 2
3 4 5 6 7 8 9
10 11 12 13 14 15 16
17 18 19 20 21 22 23
24 25 26 27 28 29 30
31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바