글을 시작하기에 앞서, 퀴즈 하나 풀고 시작해보자 GCP는 구글계정에 300달러의 무료크레딧을 제공한다. 인스턴스랑 비용관리 안하고있다가, 정산비용이 몇십만원 나와서 예상치 못한 비용을 결제한 바보멍청이가 누굴까? 이번 게시글에서는 Kubernetes Cluster 에 대해서 On-premise Cluster를 구축해놨는데 포기한 이유 GCP 무료계정 결제비용 알람 설정 을 다룰 예정이다. GCP에서 뭘 사용하고 있었나요? 나는 GCP에서 주로 GKE(Google Kubernetes Engine)서비스를 사용한다. Kubernetes(이하 K8s)를 모르는 사람들을 위해서 간략하게 설명하면 다음과같다. Kubernetes: 가장 잘나가는 Container Orchestration. 여러 호스트에서 Con..

INTRO 이번에는 Stackable Data Platform(SDP) 를 사용하여 Airflow Application을 K8s에 배포해보겠습니다. SDP SDP(이하 Stackable)는 데이터 관련 Application 을 K8s상에서 손쉽게 배포,관리 해주게 만드는 Operator 입니다. Stackable이 지원하는 오픈소스는 다음과 같습니다. 공식사이트: https://docs.stackable.tech/home/stable/index.html Stackablectl 설치 Stackable 을 사용하려면 Stackablectl 명령어를 사용해야하므로, Stackablectl을 설치합니다. 먼저 해당 링크에 접속하여 사용하는 OS 에 알맞게 다운로드 해 줍니다. 공식링크: https://docs...

INTRO 이번에 알아볼 내용은 Kubernetes 상에서 Kafka를 구성하게 하는 Strimzi Operator에 대해서 알아보겠습니다. 그리고 Kafka 클러스터 배포, 모니터링을 위한 Ui for Apache Kafka구성, Prometheus+Grafana로 브로커 모니터링 구성까지 해보겠습니다. Strimzi 가 할수 있는 역할은? Strimzi는 K8s환경에서 Kafka 운영 관리에 도움을 주는 Operator 입니다 공식 link: https://strimzi.io/ Operator 제공 기능 : 카프카 클러스터/구성요소 배포 및 관리, 카프카 접속 설정, 카프카 업그레이드, 브로커 brokers 관리, 토픽 topic 과 유저 user 생성 및 관리 Operator 로 배포 및 관리 : ..

What is NOSQL? NOSQL이름의 뜻: Not Only SQL 특징: DB긴 한데, RDBMS처럼 고정된 스키마가 존재하지않는다. DB의 역할은 충실히 해낸다. 예시: Redis, HBase, mongoDB, ES MongoDB란? 몽고DB(MongoDB←HUMONGOUS)는 크로스 플랫폼 도큐먼트 지향 데이터베이스 시스템이다. NoSQL 데이터베이스로 분류되는 몽고DB는 JSON과 같은 동적 스키마형 도큐먼트들(몽고DB는 이러한 포맷을 BSON이라 부름)을 선호함에 따라 전통적인 테이블 기반 관계형 데이터베이스 구조의 사용을 삼간다. 이로써 특정한 종류의 애플리케이션을 더 쉽고 더 빠르게 데이터 통합을 가능케 한다. 아페로 GPL과 아파치 라이선스를 결합하여 공개된 몽고DB는 자유-오픈 소스 ..

주의사항 이 글은 DIOK2스터디에서 진행한 내용을 바탕으로 작성한 내용입니다. 공부중인 내용이기때문에, 틀린 부분이 있을수 있습니다. CloudNativePG 이번에 정리한 DB는 CloudNativePG 입니다. 쿠버네티스에서 PostgreSQL 워크로드를 관리하는 프로젝트라고 이해하면 될것같습니다. 링크: https://cloudnative-pg.io/documentation/current/ CloudNativePG CloudNativePG CloudNativePG is an open source operator designed to manage PostgreSQL workloads on any supported Kubernetes cluster running in private, public, h..

이전 글 https://jjongguet.tistory.com/171 와 연관됩니다. 테라폼으로 배포한 GKE 에 ssh 와 gcloud 로 연결하기 위한 방법을 총 정리했습니다. SSH 키 생성 ssh-keygen 사용한 키 생성 ssh-keygen -t rsa -f {키 파일 위치} -C {GCP계정 이메일} # 생성하려는 키의 위치가 ~/.ssh/gcp-example # GCP계정 이메일이 jjong@gmail.com 이라면 # ssh-keygen -t rsa -f ~/.ssh/gcp-example -C jjong@gmail.com 이때 2개의 키 파일이 생성됩니다. 위의 경우에는 gcp-example 과 이 생성됩니다. gcp-example파일: private key 라고 지칭, 로컬 → 서버로 ..

kubectl을 통한 K8s 클러스터로의 접근 kubectl은 실행에 앞서 클러스터의 정보를 등록하게 되어있는데, 등록이되어있어야만 kubectl에서 다양한 클러스터의 kube-apiserver로 접근할수 있는것이다.https://kubernetes.io/ko/docs/concepts/configuration/organize-cluster-access-kubeconfig/ 핵심은 kubectl 은 $HOME/.kube 에서 kube config 정보를 찾고, 이에 해당하는 클러스터에 시도한다는것이다.eksctl, gcloud 의 차이클라우드 별 명령어 AWS의 EKS: eksctlEKS와 관련된 설정을 진행할때 사용하는 명령어 GCP의 GKE: gcloud GCP에는 GKE를 관리하기위한 전용명령어가 존..

테라폼 공식 홈페이지 예제에서 나온대로 GKE에 노드를 프로비저닝 할때 에러가 있어서 정리하는 겸 해서 만들어봤다. 이전 글 https://jjongguet.tistory.com/170 와 연관됩니다. 공식링크: https://developer.hashicorp.com/terraform/tutorials/kubernetes/gke 0. GCP계정 생성 GCP 에 계정 및 project는 미리 생성되어있다고 가정함 예시에서 사용하는 Project ID 는 jjongjjong 이라고 지정함 1. gcloud SDK 설치 & kubectl 설치 brew install --cask google-cloud-sdk gcloud init #만약 기존에 사용중인 gcloud 계정이 있다면, 새로운 계정을 먼저 등록해야..