Data Engineering

Data Engineering

[Kafka] Producer and Consumer

김쪼욘 2021. 6. 7. 14:39

 

카프카는 메시지 송신 API producer 메시지 수신 API Consumer 분리되어 구성되어 있는 메시징 시스템입니다.

 

카프카는 queue based system이기 때문에 데이터 베이스를 queue 형식으로 사용하면 비슷한 기능을 구현할 수 있을 것으로 생각됩니다.  카프카의 장점 중 하나가 데이터를 처리해야하는 애플리케이션을 여러개 구축할 수 있고 각 애플리케이션 마다 다른 규칙을 가질 수 있다는 점 입니다. kafka는 queue based system인 동시에 pub-sub system이기 때문에 이런 부분에서 용이한 것으로 보입니다. Pub-sub messaging을 통해서 모들 에플리캐이션이 동일한 데이터에 access할 수 있게 됩니다.

 

다음 자료는 Kafka Pub-sub 시스템의 핵심인 Producer와 Consumer에 대한 발표자료 입니다.

 

 

'Data Engineering' 카테고리의 다른 글

[docker] M1 Mac 에서 docker 실행 해보기  (0) 2021.02.05