1. 증상 strimzi로 띄운 kafka cluster가 READY 상태로 안바뀌는것을 확인 2. 원인확인 원인확인을 위해서 describe를 확인했다 minikube kubectl -- describe kafka 원인은 현재 yaml파일에서 지정된 카프카의 버전은 3.4.0 인데, 현재 strimzi에서 지원되는 카프카 버전은 [3.2.0, 3.2.1, 3.2.3, 3.3.1] 이였던 것이다. 3. 해결방법 버전을 맞춰준다. 문제가 있는 카프카 클러스터를 제거 minikube kubectl -- delete -f cluster.yaml 카프카 버전을 바꿔준다 (기존 3.4.0 → 3.2.0 ) 재배포 하여 업데이트 시켜준다 minikube kubectl -- apply -f cluster.yaml 결..

0. INTRO K8s환경(Minikube)을 대상으로 진행 HelmChart 를 사용한 Strimzi Opeator 사용 Kafka Cluster를 구축 1. Minikube 실행 minikube 실행 minikube start 2. Helm 설치 Helm 설치페이지에 접근 https://helm.sh/ko/docs/intro/install/ 해당 페이지에서 원하는 방식으로 설치 내가 추천하는 방식은 스크립트 기반의 설치 helm 설치되어있는지 확인 : helm 헬름 설치 이후 alias 설정(zsh쉘 기준) 설정파일 접근 : vi ~.zshrc alias h=’helm’ 입력 설정파일 저장 : source ~/.zshrc 3. 쿠버네티스 버전확인 버전확인하는 명령어 : kubectl version S..

0. INTRO 이번에 할것 : Docker 설치, Minikube 설치 1. DOCKER 설정 Docker 공식 홈페이지 접속해서 환경에맞게 설치 https://www.docker.com/ 로컬에서 Docker 띄운 후 Setting진행 Setting → Kubernetes → Enable Kubernetes 체크 →Apply&restart 이후, Docker 실행 Docker Desktop, Kubernetes가 모두 running 상태가 될때까지 대기 2. minikube 설정 minikube 공식홈페이지 접속해서 환경에 맞게 설치 https://minikube.sigs.k8s.io/docs/start/ 쉘에서 minikube start 설치 확인을 위한 node확인 minikube kubectl ..

INTRO 23년 3월 22일에 진행한 AWSKRUG 성수 소모임에 참가하려, 무신사캠퍼스 N1에 다녀왔다. 짧은 경험담을 적어보려한다. AWSKRUG가 뭔가요? AWS한국사용자모임 커뮤니티에서 파생되어 운영되는것 같고, 다양한 소모임이 있는데 지역별, 기술별로 다양한 소모임이 존재하는것 같다. 어쩌다 소모임을 알게 되었나요? 내가 회사에서 쿠버네티스위에 ES를 비롯한 데이터 플랫폼을 구축하는 업무를 담당하고있다. 대부분의 스타트업이 똑같겠지만 회사에서 업무를 알려줄 시니어가 없기 태반이고, 있더라도 업무를 배울 시간이 없는 경우가 대다수일것이다. 그런데 마침, AWS한국사용자모임 성수소모임에서 EKS에서 검색엔진 플랫폼 구축하기 라는 주제로 발표를 진행한다는걸 알게되었다. 안갈수가없었다. 발표에서 기억..

버전 설명 쿠버네티스 버전 1.26.1 구성 CLI 버전 1.21.1 해당 노드는 taint제거한 단일노드임 필요성 kubernetes의 정보를 활용하는 metricbeat-kubernetes.yml파일을 실행해보면 로그 메세지에 service/kubernetes의 Cluster IP 주소에 대해서 no such host 라는 로그가 찍힌적이 있다 그래서 무슨 이유인가 확인해봤다. 도커이미지에서는 확인이 안되었고, Helm으로 띄운 metricbeat에서 manifest를 확인해보니까 해당이미지를 사용하는걸 확인했다. 관련링크 : https://medium.com/finda-tech/kube-state-metrics에-대해서-1303b10fb8f8 주의사항 : 버전확인 kube-state-metrics는..

이 글에서 Kubernetes 는 이하 K8s 라고 통칭한다. Operator, CRD를 알려면 좀 많이 알아야하는데 kube-apiserver K8s API 를 노출하는 K8s Control-Plane Component이지만, 실제로는 정말 단순한 API 서버 API 서버는 K8s Control-Plane의 프론트엔드 역할 K8s API서버의 주요 구현이며, 수평으로 확장되도록 설계되었음(여러개의 kube-apiserver 인스턴스를 실행하고, 인스턴스간 트래픽을 균형있게 조절할수 있다) K8s API K8s Control-Plane의 핵심이 K8s API API 서버는 최종사용자, 클러스터의 다른부분, 외부 컴포넌트가 서로 통신할수 있도록 하는 HTTP API 를 제공한다. K8s API 를 사용하면..

에러 상황 git clone 했더니 다음과 같은 에러를 받았다. 원인 XCRUN 은 MacOS에서 CLI 가 제대로 설치되지 않았을때 발생하는 에러라고한다. 에러해결법 #CLI 설치 xcode-select --install #경로 지정 sudo xcode-select --switch /Library/Developer/CommandLineTools #이후 터미널 재시작

흔히 말하는 데이터파이프라인은 4단계로 구성되어있다. 수집 - 정제 - 적재 - 분석 단계다. 이에 대해서 간략히 설명해보면 수집 : 실질적으로 데이터를 가져오는 부분. 어떤 데이터를 사용할지에 대해서 미리 논의가 필요하다. 정제 : 로우데이터를 그대로 가져와도 사용하기 불편하기때문에, 이를 비즈니스에서 사용하기 편하게 가공하는것이다. 적재 : 데이터 마트, 혹은 데이터테이블에 데이터를 적재하는과정이다. 분석 : 데이터사이언스분들이 해야할 일이다. 데이터를 기반으로 인사이트를 도출해낸다. 오늘 이야기할 내용은 ‘수집’ 부분에 대한 내용이다. 왜 문제가 되는가? 를 이해하려면 수집기가 작동하는 방식을 이해해야한다. 여기서는 Filebeat를 예로 들었다. Filebeat에서의 순서는 구성파일을 읽고(일반적..

문제상황 kubeadm으로 클러스터를 구축하려고 진행중이였고, CNI 는 Calico를 사용하려고 했다. sudo kubeadm init --pod-network-cidr=192.168.0.0/16 그랬더니 다음과 같은 에러를 받았다 I0317 05:54:40.295054 21706 version.go:254] remote version is much newer: v1.26.2; falling back to: stable-1.21 [init] Using Kubernetes version: v1.21.14 [preflight] Running pre-flight checks [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup dr..

- IPTIME공유기 기준입니다 iptime 관리페이지로 접속 ( 192.168.0.1 ) → 로그인 → 고급설정 → 네트워크관리 → DHCP 서버 설정 지정할 PC 선택 후 +등록 설정