CDC 아키텍쳐를 이루는 debezium, kafka connect
·
DATA Engineering/Kafka
INTRO 해당 게시글은 Udemy의 Change Data Capture(CDC) using Debezium for MySQL 섹션 1을 보고 정리한 내용입니다. 내용상 오류가 있을수 있습니다. 댓글로 남겨주시면 확인 후 수정하겠습니다. 감사합니다! Debezium이 생기게 된 배경 기존 RDB&NOsql(MySQL, MongoDB, Cassandra…) → (Capture) ⇒ Big data System (e.g. HDFS…) Debezium의 특징 1. 이벤트 기반 으로 작동한다 2. 다양한 데이터기반 환경을 하나로 합칠수 있다 3. DB의 상태 혹은 진행사항을 지속적으로 모니터링하는것을 보장한다 4. Apache Kafka기반으로 만들어진거라 빠르다 Kafka Connect 컨셉 데이터 스트리밍을..