카프카 설치하고, 실습환경 설정하는 부분만 따로 정리했다
로컬에서 카프카 바이너리 설치(2.5.0)
apache kafka 홈페이지 : https://kafka.apache.org/downloads
• Scala 2.12 - kafka_2.12-2.5.0.tgz (asc, sha512) 다운로드
JVM 설치
- 1.8.0 or 그 이상
config 설정
config\server.properties
- listeners 경로
localhost:9092
- advertiesd.linstenrs 경로 :
localhost:9092
log.dirs
kafka디렉토리에 data폴더 생성, 이후 log.dirs
경로에 지정해줌
서버 제대로 켜져있는지 테스트 ( 주키퍼 → 브로커 순서 )
bin/zookeeper-server-start.sh config/zookeeper.properties
bin/kafka-server-start.sh config/server.properties
Kafka Broker는 하단에 ‘started’ 가 올라온것 확인해야함
브로커가 잘 켜져있는지 확인하는 방법
bin/kafka-broker-api-versions.sh —bootstrap-server [localhost:9092](http://localhost:9092)
혹은 bin/kafka-topics.sh -- bootstrap-server localhost:9092 --list
테스트의 편의성을 위해서 수정하는 것 /etc/hosts
127.0.0.1
이 기존에는 localhost
인데,
하단에 127.0.0.1
을 my-kafka
로 덮어써준 모습이다
sudo 권한 필요하다, 이때부터 localhost가 아니라, my-kafka
로 인식한다
'DATA Engineering > Kafka' 카테고리의 다른 글
Zero-copy 를 위한 노력. Zerializer: Towards Zero-Copy Serialization (0) | 2022.11.01 |
---|---|
Kafka 파티션 갯수를 늘일수있지만, 줄일수없는 이유 : InvalidPartitionsException (0) | 2022.07.20 |
섹션4. 카프카 CLI 활용 (0) | 2022.07.20 |
섹션3. 카프카 클러스터 운영 (0) | 2022.07.20 |
에러해결 kafka : Configured zookeeper. connect may be wrong. (0) | 2022.07.12 |