INTRO 이번에 알아볼 내용은 Kubernetes 상에서 Kafka를 구성하게 하는 Strimzi Operator에 대해서 알아보겠습니다. 그리고 Kafka 클러스터 배포, 모니터링을 위한 Ui for Apache Kafka구성, Prometheus+Grafana로 브로커 모니터링 구성까지 해보겠습니다. Strimzi 가 할수 있는 역할은? Strimzi는 K8s환경에서 Kafka 운영 관리에 도움을 주는 Operator 입니다 공식 link: https://strimzi.io/ Operator 제공 기능 : 카프카 클러스터/구성요소 배포 및 관리, 카프카 접속 설정, 카프카 업그레이드, 브로커 brokers 관리, 토픽 topic 과 유저 user 생성 및 관리 Operator 로 배포 및 관리 : ..

INTRO: 주의사항 이 글은 DOIK2 스터디에서 진행한 내용을 바탕으로 작성한 내용입니다. 공부중인 내용이기때문에, 틀린 부분이 있을수 있습니다. 아파치 카프카(Apache Kafka)가 무엇인가요? 위키피디아에서는 아래와 같이 정의하고있습니다. 아파치 카프카(Apache Kafka)는 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다. 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것이 목표이다. 요컨대 분산 트랜잭션 로그로 구성된[3], 상당히 확장 가능한 pub/sub 메시지 큐로 정의할 수 있으며, 스트리밍 데이터를 처리하기 위한 기업 인프라를 위한 고부가 가치 기능이다. 핵심키워드 핵심 키워드는 다..

수료후기 GenAI 관련 스터디잼을 완주했습니다. 여태까지 진행했던 다른 스터디잼에 비해서, 분량이 생각보다 적었던것 같습니다. 정확히 따지자면, ‘스터디잼 수료’ 를 위해서 진행하는 내용이 꽤 적었고, 추가적인 ‘공부’ 를 위해서 해야하는 내용이 많았습니다. 페이스북 게시글에서 ‘분량이 적다’ 라고 하는 게시글이 많았는데, 다른스터디잼에 비해서 진짜로 양이 적었습니다. 스터디잼 강의내용 최근엔 인공지능업계에서 Generative 모델을 통해서 문제해결을 많이하는것을 볼수 있습니다. (개인적인 생각으로는 Generative를 문제해결의 방법이라고 생각하는것 같습니다) 이번 스터디잼의 강의내용 대부분은 Genrative 모델이 ‘왜’ 정답이 되었는지 에 대한 변천사, 모델 아키텍쳐, 인공지능 윤리에 대한..

What is NOSQL? NOSQL이름의 뜻: Not Only SQL 특징: DB긴 한데, RDBMS처럼 고정된 스키마가 존재하지않는다. DB의 역할은 충실히 해낸다. 예시: Redis, HBase, mongoDB, ES MongoDB란? 몽고DB(MongoDB←HUMONGOUS)는 크로스 플랫폼 도큐먼트 지향 데이터베이스 시스템이다. NoSQL 데이터베이스로 분류되는 몽고DB는 JSON과 같은 동적 스키마형 도큐먼트들(몽고DB는 이러한 포맷을 BSON이라 부름)을 선호함에 따라 전통적인 테이블 기반 관계형 데이터베이스 구조의 사용을 삼간다. 이로써 특정한 종류의 애플리케이션을 더 쉽고 더 빠르게 데이터 통합을 가능케 한다. 아페로 GPL과 아파치 라이선스를 결합하여 공개된 몽고DB는 자유-오픈 소스 ..

주의사항 이 글은 DIOK2스터디에서 진행한 내용을 바탕으로 작성한 내용입니다. 공부중인 내용이기때문에, 틀린 부분이 있을수 있습니다. CloudNativePG 이번에 정리한 DB는 CloudNativePG 입니다. 쿠버네티스에서 PostgreSQL 워크로드를 관리하는 프로젝트라고 이해하면 될것같습니다. 링크: https://cloudnative-pg.io/documentation/current/ CloudNativePG CloudNativePG CloudNativePG is an open source operator designed to manage PostgreSQL workloads on any supported Kubernetes cluster running in private, public, h..

주의사항 이 글은 DIOK2 스터디에서 진행한 내용을 바탕으로 작성한 내용입니다. 공부중인 내용이기때문에, 틀린 부분이 있을수 있습니다. 기본 용어 정리 Kubernetes: 선언적 상태관리 시스템 Operator: K8s 애플리케이션을 패키징, 배포, 관리하는 방법론 Operator Pattern: K8s에서 Operator 방법론을 사용해서 확장하는 패턴 Operator Framework: K8s에서 Operator를 실제 구현하고 관리하는 프레임워크 CRD: Operator를 사용할 상태관리용 오브젝트들의 Spec을 정의 CR: CRD의 Spec을 따르는 오브젝트들의 실제 데이터 상태 CC(Custom Controller): CR의 상태를 기준으로, CR을 desire stated로 바꾸기위해서 처..

주의사항 이 글은 DIOK2 스터디에서 진행한 내용을 바탕으로 작성한 내용입니다. 공부중인 내용이기때문에, 틀린 부분이 있을수 있습니다. 쿠버네티스 스토리지의 배경 Pod는 Stateless이다(파드를 끄면 데이터가 없어진다) Pod는 기본적으로 영구히 쓰는 개념이 아니라, 일회용품처럼 쓰고-버리고-쓰고-버리고 하는 개념임 Pod내부의 데이터는 Pod가 정지되거나/에러났을때에 삭제됨 → Pod 내부에 있는 데이터는 모두 유실됨 ⇒ Pod는 상태가없는(Stateless) 애플리케이션 이다 Stateless의 문제점 먼저 요약해주자면 ‘Pod는 기본적으로 Stateless 라는 성질’을 갖고있다. 뜻을 풀어보자면 ‘Pod에는 상태가 없다’ 라는 뜻인데, 이를 알기위해서는 Pod의 컨셉에 대해서 이해해야한다...

주의사항 이 글은 DIOK2 스터디에서 진행한 내용을 바탕으로 작성한 내용입니다. 공부중인 내용이기때문에, 틀린 부분이 있을수 있습니다. 쿠버네티스의 구성요소(컴포넌트) 공식사이트: https://kubernetes.io/ko/docs/concepts/overview/components/ 일반적으로 쿠버네티스를 “노드” 에 설치한다고하면, 마스터와 워커로 구성된다고만 알고있다. 좀더 자세하게 표현하면 다음과같다. K8s Cluster == 1개이상의 노드로 구성 == 1개이상의 (Control Plane + Node Component) Control Plane’s Component 기능: 클러스터에 대한 전반적인 결정(e.g. 스케쥴링), 클러스터 이벤트(e.g. 파드생성) 등을 담당한다. kube-ap..

Kubectl 명령어가 작동하는 체계 명령어(kubectl) → kube-apiserver → kubelet ⇒ 작동 모든 명령어는 kube-apiserver를 통해서 작동함 선언형(멱등성) 의 내용 Container: 가장 최소 기능단위. 일종의 소프트웨어 패키지 Pod: 쿠버네티스에서 생성하고 관리할수 있는 가장작은 컴퓨팅 단위 Replicaset: 레플리카 파드(쉽게말하면 파드의 복제본) 을 항상 안정적으로 유지하도록 제공 Deployment: 파드와 레플리카셋 을 안정적으로 유지하도록 제공 Replicaset vs Deployment 두개는 목적 자체가 다름 - Replicaset: 레플리카 파드 집합 실행을 안정적으로 유지하는 것 - Deployment: Pod와 Replicaset에 대한 선언..

빠른 인증 이번에 가장 크게 느낀점 은 “아는만큼 보인다” 라는거다. 내가 왜 이런말을 하냐면… 나는 2022년에 쿠버네티스 스터디잼 초급반을 수료했고, 2023년에 쿠버네티스 스터디잼 중급반을 수료했다. 이 두개의 강의는 쿠버네티스 + GKE에 대한 내용을 다루고 있다. 2022년의 나는 ML에 꽂혀서 쿠버네티스가 뭔지 몰랐다. 단순히, 구글 클라우드에서 진행하는 외부행사니까, 이해를 하지 못하더라도 수료에 의의를 두자는 마인드로 시작했다. 그래서 실제로 이해한것 하나도 없이 동영상 시간을 축내면서 수료만 했다. 시간이 아까웠다. 개발이나 배포를 해본것도 아니였고, 쿠버네티스가 뭔지도 모르고, 들어야 수료를 하니까, 그냥 ‘이해하는 척’ 이라도 해봤다. 그래서 수료를 했고, 모자를 받았다. (사진은 수..