[구글 클라우드 쿠버네티스 스터디잼 중급] Kubernetes Architecture 오타
·
외부활동
동영상: Google Kubernetes Engine 개념 자막 내용 03:13 단, 주의사항이 있습니다 각 노드의 CPU 및 메모리 중 일부는 클러스터의 일부로 작동하도록 하는 GEK 및 Kubernetes 구성요소를 실행하는 데 필요합니다 예를 들어 사용자가 노드에 15GB의 메모리를 할당하더라도 포드가 15GB 전체를 사용할 수 있는 것은 아닙니다 실제 말하는 내용 GEK(x), GKE(o)
[구글 클라우드 쿠버네티스 스터디잼 중급] Kubernetes Architecture
·
외부활동
동영상 : Kubernetes 개념 Kubernetes의 작동개념 객체모델: 관리하는 각각의 대상은 객체로 표시되며, 객체의 속성과 상태를 보고 변경할수 있다 선언적 관리원칙: 관리대상이 될 객체에 대해서 원하는 상태를 K8s에 알리면, K8s는 그 상태를 구현하고 유지하도록 작동한다. Kubernetes 객체 Object Spec: 원하는 스펙을 우리가 정의 Object status: 현재 상태를 Kubernetes 가 알려줌 Pod 배포 가능한 가장 작은 kubernetes 객체(not container) Container가 존재할수 있는환경을 제공함(여러개의 container도 존재할수있음) 만일 여러개의 Container가 하나의 pod안에 있다면, 각 Container에 network, stor..
[구글 클라우드 쿠버네티스 스터디잼 중급] Introductions to containers and kubernetes
·
외부활동
동영상: 소개 무엇을 배울것인지 GKE(Google Kubernetes Engine) 이 어떤건지 컨테이너란 무엇인지 앱 배포와 관련하여 어떤 이점이 있고, 어떤 방식으로 빌드되는지 자체적으로 빌드한 컨테이너 vs GKE(Google Kubernetes Engine) 비교 Cloud Build를 사용하여 컨테이너를 만드는 방법 Container Registry에 컨테이너를 저장하는 방법 동영상: 컨테이너 소개 물리적인 컴퓨터에 Application을 직접 배포하는시대 하드웨어 하나마다 역할을 지정했음 서비스를 확장하려면 물리장비 자체를 확장해야했음 가상화의 시대(하이퍼바이저) 하이퍼바이저는 OS의 종속성을 깨뜨리고, 가상머신이 동일한 하드웨어를 공유하도록하는 소프트웨어 레이어 Application 자체를..
[구글 클라우드 쿠버네티스 스터디잼 중급] 하다가 퀵랩에 문의한썰: 1달 무료구독 안생김
·
외부활동
왜 크레딧이 없다는거지? 2023.06.20 구글클라우드 스터디잼 중급반을 듣고있는데, 실습을 하려고 보니, 알람이 하나 떳다. 실습을 하려면 크레딧을 필요로 한다는 것이었다. 근데 이해가 되지않는다. 스터디잼에서는 1 month 구독을 제공해준단다 단, 조건이 있다. 스터디잼을 등록할때 9Credit을 제공해주고, 아무거나 실습을 성공적으로 끝내면 1 monthly Subscription으로 바뀌면서, 무료로 퀵랩의 Lab을 들을수 있다. 질문을 하는 시점에서 나는 Introduction to Google Cloud 퀘스트를 전부 끝냈기떄문에, 1 monthly Subscription으로 바뀌었어야 했다. 하지만 그러지않았다. 다른사람들은 어떻게 되어있는지 확인하기위해서, 같이 스터디잼에 참여하고있는 ..
[오픈소스 컨트리뷰션] 번외코스1. 머신러닝 분산처리 프레임워크 동작 이해하기
·
외부활동
INTRO 이 글은 2023 오픈소스 컨트리뷰션에서 Backend.AI 의 번외코스1 (머신러닝 분산처리 프레임워크 동작 이해하기) 에 대한 리뷰 게시글입니다. 링크를 두개를 제공받았는데요 https://docs.backend.ai/en/latest/concepts/key-concepts.html https://docs.backend.ai/en/latest/user-api/intro.html 하단의 링크를 눌러보니 다음과 같은 화면이 뜬다 상단의 링크를 눌러보면 다음과 같은 페이지가 뜬다. 아래의 페이지는 KeyConcept로써, 머신러닝 분산 프레임워크를 만든 개요? 정도로 보면 되는것같다. 세부내용 요약하기 1. Key Concepts 2. Manager, Agent(흰색) Manager 사용자 요청..
[오픈소스 컨트리뷰션] 코스1. Backend.AI 써보고 경험 공유하기
·
외부활동
INTRO 이 글은 2023 오픈소스 컨트리뷰션에서 Backend.AI 의 코스1 (Backend.AI 써보고 경험 공유하기) 에 대한 리뷰 게시글입니다. 어떻게 구현했을까? Backend.AI 에서 제공하려는 서비스를 구현하려면 K8s기반으로 만드는게 옳은지, 아니면 Openstack기반으로 만드는게 옳을까? 생각을 정리해보았다. 1. K8s 기반으로 구현 K8s를 가장먼저 생각한 이유는 두가지이다. VM보다 Container는 상대적으로 가볍다. 소수의 사용자가아니라, 다수의 사용자한테 개발환경을 제공해야한다. 동일한 물리장비로 더 많은 사용자에게 제공하려면 Container를 비롯한 K8s 에서 Pod형태로 유저에게 제공하는게 조금 더 경제적일거라고 생각했다. K8s에서 GPU 를 제공하는게 가능하..
[구글 클라우드 쿠버네티스 스터디잼 중급] Introduction to Google Cloud
·
외부활동
1주차 강의 링크 : https://www.cloudskillsboost.google/course_sessions/3145240/video/374495 동영상 : 클라우드 컴퓨팅과 Google Cloud 클라우드 컴퓨팅의 5속성 주문형 셀프서비스 : User가 주문하면 자동화된 interface를 통해서 Cpu, Storage, Network를 제공받는다 어디에서나 액세스가능 : User는 해당 리소스의 정확한 위치를 알필요가없다 탄력적 리소스 : 더 많은 리소스, 더 적은 리소스에 대해서 확장성이 용의 비용 : 사용한(예약한)만큼만 비용지불 GKE (Google Kubernetes Engine) GCP에 요청하는 사항은 클라우드에서 코드를 실행하게하는것 Container화 된 애플리케이션을 실행할수있음..
[구글 클라우드 쿠버네티스 스터디잼 중급] Introduction to Google Cloud 챕터 4. Cloud Shell 코드 편집기 살펴보기 에러해결
·
외부활동
문제상황 작업 4. Cloud Shell 코드 편집기 살펴보기 에서 13. REPLACE_WITH_CAT_URL 문자열을 이전 작업의 고양이 이미지 URL로 바꿉니다. URL은 다음과 같습니다.라고 적혀있는데, 원래 페이지의 문자열을 넣으면 에러나는걸 확인했다. 해결방법 REPLACE_WITH_CAT_URL을 본인의 프로젝트 ID 값으로 지정하기 알게된 이유 '왜 여기서 본인 프로젝트의 URL이 아니라, 이걸 넣으라고 하는거지?' 하는 생각이있었는데 확신이 없어서 실습솔루션 영상을 찾아봤더니 실습솔루션영상에서도 본인의 프로젝트 ID 를 문자열로 지정하는걸로 확인했, 해당 내용을 적용하니까 에러가 해결되었다 TMI 덕분에 구글코리아 스터디잼 KR 페이지에 게시글올렸다. 저저번에 스터디할때도 에러는 있었는데..
에러해결 : strimzi로 띄운 카프카 클러스터가 READY 가 안될때
·
DATA Engineering/Kafka
1. 증상 strimzi로 띄운 kafka cluster가 READY 상태로 안바뀌는것을 확인 2. 원인확인 원인확인을 위해서 describe를 확인했다 minikube kubectl -- describe kafka 원인은 현재 yaml파일에서 지정된 카프카의 버전은 3.4.0 인데, 현재 strimzi에서 지원되는 카프카 버전은 [3.2.0, 3.2.1, 3.2.3, 3.3.1] 이였던 것이다. 3. 해결방법 버전을 맞춰준다. 문제가 있는 카프카 클러스터를 제거 minikube kubectl -- delete -f cluster.yaml 카프카 버전을 바꿔준다 (기존 3.4.0 → 3.2.0 ) 재배포 하여 업데이트 시켜준다 minikube kubectl -- apply -f cluster.yaml 결..
Strimzi 로 Kafka Cluster 구축하기
·
DATA Engineering/Kafka
0. INTRO K8s환경(Minikube)을 대상으로 진행 HelmChart 를 사용한 Strimzi Opeator 사용 Kafka Cluster를 구축 1. Minikube 실행 minikube 실행 minikube start 2. Helm 설치 Helm 설치페이지에 접근 https://helm.sh/ko/docs/intro/install/ 해당 페이지에서 원하는 방식으로 설치 내가 추천하는 방식은 스크립트 기반의 설치 helm 설치되어있는지 확인 : helm 헬름 설치 이후 alias 설정(zsh쉘 기준) 설정파일 접근 : vi ~.zshrc alias h=’helm’ 입력 설정파일 저장 : source ~/.zshrc 3. 쿠버네티스 버전확인 버전확인하는 명령어 : kubectl version S..
jjongguet
뒤죽박죽 데이터엔지니어링