[DOIK2] 스터디: Operator 를 사용하는 이유, InnoDB 주요 Component
·
외부활동
주의사항 이 글은 DIOK2 스터디에서 진행한 내용을 바탕으로 작성한 내용입니다. 공부중인 내용이기때문에, 틀린 부분이 있을수 있습니다. 기본 용어 정리 Kubernetes: 선언적 상태관리 시스템 Operator: K8s 애플리케이션을 패키징, 배포, 관리하는 방법론 Operator Pattern: K8s에서 Operator 방법론을 사용해서 확장하는 패턴 Operator Framework: K8s에서 Operator를 실제 구현하고 관리하는 프레임워크 CRD: Operator를 사용할 상태관리용 오브젝트들의 Spec을 정의 CR: CRD의 Spec을 따르는 오브젝트들의 실제 데이터 상태 CC(Custom Controller): CR의 상태를 기준으로, CR을 desire stated로 바꾸기위해서 처..
GKE 인스턴스에 직접 연결하는 방법
·
Cloud/GCP
이전 글 https://jjongguet.tistory.com/171 와 연관됩니다. 테라폼으로 배포한 GKE 에 ssh 와 gcloud 로 연결하기 위한 방법을 총 정리했습니다. SSH 키 생성 ssh-keygen 사용한 키 생성 ssh-keygen -t rsa -f {키 파일 위치} -C {GCP계정 이메일} # 생성하려는 키의 위치가 ~/.ssh/gcp-example # GCP계정 이메일이 jjong@gmail.com 이라면 # ssh-keygen -t rsa -f ~/.ssh/gcp-example -C jjong@gmail.com 이때 2개의 키 파일이 생성됩니다. 위의 경우에는 gcp-example 과 이 생성됩니다. gcp-example파일: private key 라고 지칭, 로컬 → 서버로 ..
[DOIK2] 스터디: Stateless와 Storage의 관계
·
외부활동
주의사항 이 글은 DIOK2 스터디에서 진행한 내용을 바탕으로 작성한 내용입니다. 공부중인 내용이기때문에, 틀린 부분이 있을수 있습니다. 쿠버네티스 스토리지의 배경 Pod는 Stateless이다(파드를 끄면 데이터가 없어진다) Pod는 기본적으로 영구히 쓰는 개념이 아니라, 일회용품처럼 쓰고-버리고-쓰고-버리고 하는 개념임 Pod내부의 데이터는 Pod가 정지되거나/에러났을때에 삭제됨 → Pod 내부에 있는 데이터는 모두 유실됨 ⇒ Pod는 상태가없는(Stateless) 애플리케이션 이다 Stateless의 문제점 먼저 요약해주자면 ‘Pod는 기본적으로 Stateless 라는 성질’을 갖고있다. 뜻을 풀어보자면 ‘Pod에는 상태가 없다’ 라는 뜻인데, 이를 알기위해서는 Pod의 컨셉에 대해서 이해해야한다...
[DOIK2] 스터디: Kubernetes 의 Component와 멱등성에 대한 이해
·
외부활동
주의사항 이 글은 DIOK2 스터디에서 진행한 내용을 바탕으로 작성한 내용입니다. 공부중인 내용이기때문에, 틀린 부분이 있을수 있습니다. 쿠버네티스의 구성요소(컴포넌트) 공식사이트: https://kubernetes.io/ko/docs/concepts/overview/components/ 일반적으로 쿠버네티스를 “노드” 에 설치한다고하면, 마스터와 워커로 구성된다고만 알고있다. 좀더 자세하게 표현하면 다음과같다. K8s Cluster == 1개이상의 노드로 구성 == 1개이상의 (Control Plane + Node Component) Control Plane’s Component 기능: 클러스터에 대한 전반적인 결정(e.g. 스케쥴링), 클러스터 이벤트(e.g. 파드생성) 등을 담당한다. kube-ap..
kubectl로 GKE, EKS 접근하기
·
Cloud/Kubernetes
kubectl을 통한 K8s 클러스터로의 접근 kubectl은 실행에 앞서 클러스터의 정보를 등록하게 되어있는데, 등록이되어있어야만 kubectl에서 다양한 클러스터의 kube-apiserver로 접근할수 있는것이다.https://kubernetes.io/ko/docs/concepts/configuration/organize-cluster-access-kubeconfig/ 핵심은 kubectl 은 $HOME/.kube 에서 kube config 정보를 찾고, 이에 해당하는 클러스터에 시도한다는것이다.eksctl, gcloud 의 차이클라우드 별 명령어 AWS의 EKS: eksctlEKS와 관련된 설정을 진행할때 사용하는 명령어 GCP의 GKE: gcloud GCP에는 GKE를 관리하기위한 전용명령어가 존..
CDC 아키텍쳐를 이루는 debezium, kafka connect
·
DATA Engineering/Kafka
INTRO 해당 게시글은 Udemy의 Change Data Capture(CDC) using Debezium for MySQL 섹션 1을 보고 정리한 내용입니다. 내용상 오류가 있을수 있습니다. 댓글로 남겨주시면 확인 후 수정하겠습니다. 감사합니다! Debezium이 생기게 된 배경 기존 RDB&NOsql(MySQL, MongoDB, Cassandra…) → (Capture) ⇒ Big data System (e.g. HDFS…) Debezium의 특징 1. 이벤트 기반 으로 작동한다 2. 다양한 데이터기반 환경을 하나로 합칠수 있다 3. DB의 상태 혹은 진행사항을 지속적으로 모니터링하는것을 보장한다 4. Apache Kafka기반으로 만들어진거라 빠르다 Kafka Connect 컨셉 데이터 스트리밍을..
[DOIK2] 스터디: 1주차 스터디과제
·
외부활동
Kubectl 명령어가 작동하는 체계 명령어(kubectl) → kube-apiserver → kubelet ⇒ 작동 모든 명령어는 kube-apiserver를 통해서 작동함 선언형(멱등성) 의 내용 Container: 가장 최소 기능단위. 일종의 소프트웨어 패키지 Pod: 쿠버네티스에서 생성하고 관리할수 있는 가장작은 컴퓨팅 단위 Replicaset: 레플리카 파드(쉽게말하면 파드의 복제본) 을 항상 안정적으로 유지하도록 제공 Deployment: 파드와 레플리카셋 을 안정적으로 유지하도록 제공 Replicaset vs Deployment 두개는 목적 자체가 다름 - Replicaset: 레플리카 파드 집합 실행을 안정적으로 유지하는 것 - Deployment: Pod와 Replicaset에 대한 선언..
크루츠게작트 번역입문기: 2000만 구독자를 갖는 채널의 서브채널에서 번역하기
·
일상후기
INTRO 안녕하세요. 이번 게시글은 Kurzgesagt 에서 동영상 번역을 하게 된 경험담을 풀어보려고합니다. Kurzgesagt 가 뭔가요? Kurzgesagt – In a Nutshell Kurzgesagt – In a Nutshell Animation videos explaining things with optimistic nihilism since 12,013. We’re a team of illustrators, animators, number crunchers and one dog who aim to spark curiosity about science and the world we live in. To us nothing is boring if you tell a good www.youtu..
아이노트38bt 맥 카라비너 설정 공유
·
카테고리 없음
목적 아이노트38 bt 키보드를 최대한 맥북 키보드의 키 입력과 동일하게 맞추기 위함이다. 초기설정 fn + S 를 꾹 눌러서 Win 설정으로 먼저 바꾸어야함. karabiner 설정값 공유 정보 한/영(우측), 한자(우측) 은 설정상 Japanese 탭에 존재한다 Fn 은 설정상에서 Modifiers Keys탭이 아니라, Others 탭에 존재한다
로컬환경에서 여러개의 git 계정 사용하기
·
생산성, 개발장비
하나의 머신으로 여러개의 깃허브 계정에 접근해서 사용해야할 경우가 생겼다. 회사 맥북을 받고, 전역변수로는 회사계정을 쓰되 개인디렉토리에서는 개인계정을 사용하게 하는 방법을 정리했다. 현재 git 아이디/이메일 를 확인하는 명령어 git config user.name git config user.email 1. 회사계정 회사계정을 로컬환경의 전역변수로 지정한다. git config --global user.name "회사계정 아이디" git config --global user.email "회사계정 이메일" 2. 개인계정 설정 개인계정을 로컬환경의 특정 디렉토리의 지역변수로 지정한다. mkdir "사용할 디렉토리이름" #e.g. mkdir jjongjjong cd jjongjjong git init gi..
jjongguet
뒤죽박죽 데이터엔지니어링