이전까지의 이야기 이전에 내가 속한 조직은 개발자위주의 조직이었고, 나는 거기서 Data Engineer 업무를 담당했다. 아무것도 모르는 상태에서 온프렘으로 K8s 클러스터를 운영하고, IaC를 지향하기까지 많은 삽질과 어려움이 있었다. 사수도 없는 상태에서, 일단 최선의 결과를 내려고 부단히 노력했다. - 누군가 도와주는 사람이 없다면, 스스로 성장해서 남을 도와주는 선순환 구조를 만들어야한다. 새로운 조직, 새로운 고민 나는 이전에 속해있던 개발자위주의 조직에서, 5명 이내의 데이터 조직으로 이동하였다. 데이터 엔지니어, 분석가, 모델러로 이루어 진 소규모조직이다. 여태까지의 나는 혼자 일을했기때문에, 타인과 개발환경을 맞추거나, 버전을 맞춰야하는 일이 없었다. 하다못해 K8s 버전이나, Airfl..

1. brew로 Scala 를 설치합니다. brew install scala scala -version 2 z쉘에서 scala 를 등록해줍니다 #scala 가 설치된 위치를 먼저 확인 brew info scala

빠른 인증 이번에 가장 크게 느낀점 은 “아는만큼 보인다” 라는거다. 내가 왜 이런말을 하냐면… 나는 2022년에 쿠버네티스 스터디잼 초급반을 수료했고, 2023년에 쿠버네티스 스터디잼 중급반을 수료했다. 이 두개의 강의는 쿠버네티스 + GKE에 대한 내용을 다루고 있다. 2022년의 나는 ML에 꽂혀서 쿠버네티스가 뭔지 몰랐다. 단순히, 구글 클라우드에서 진행하는 외부행사니까, 이해를 하지 못하더라도 수료에 의의를 두자는 마인드로 시작했다. 그래서 실제로 이해한것 하나도 없이 동영상 시간을 축내면서 수료만 했다. 시간이 아까웠다. 개발이나 배포를 해본것도 아니였고, 쿠버네티스가 뭔지도 모르고, 들어야 수료를 하니까, 그냥 ‘이해하는 척’ 이라도 해봤다. 그래서 수료를 했고, 모자를 받았다. (사진은 수..

동영상: Google Kubernetes Engine 개념 자막 내용 03:13 단, 주의사항이 있습니다 각 노드의 CPU 및 메모리 중 일부는 클러스터의 일부로 작동하도록 하는 GEK 및 Kubernetes 구성요소를 실행하는 데 필요합니다 예를 들어 사용자가 노드에 15GB의 메모리를 할당하더라도 포드가 15GB 전체를 사용할 수 있는 것은 아닙니다 실제 말하는 내용 GEK(x), GKE(o)

동영상 : Kubernetes 개념 Kubernetes의 작동개념 객체모델: 관리하는 각각의 대상은 객체로 표시되며, 객체의 속성과 상태를 보고 변경할수 있다 선언적 관리원칙: 관리대상이 될 객체에 대해서 원하는 상태를 K8s에 알리면, K8s는 그 상태를 구현하고 유지하도록 작동한다. Kubernetes 객체 Object Spec: 원하는 스펙을 우리가 정의 Object status: 현재 상태를 Kubernetes 가 알려줌 Pod 배포 가능한 가장 작은 kubernetes 객체(not container) Container가 존재할수 있는환경을 제공함(여러개의 container도 존재할수있음) 만일 여러개의 Container가 하나의 pod안에 있다면, 각 Container에 network, stor..

동영상: 소개 무엇을 배울것인지 GKE(Google Kubernetes Engine) 이 어떤건지 컨테이너란 무엇인지 앱 배포와 관련하여 어떤 이점이 있고, 어떤 방식으로 빌드되는지 자체적으로 빌드한 컨테이너 vs GKE(Google Kubernetes Engine) 비교 Cloud Build를 사용하여 컨테이너를 만드는 방법 Container Registry에 컨테이너를 저장하는 방법 동영상: 컨테이너 소개 물리적인 컴퓨터에 Application을 직접 배포하는시대 하드웨어 하나마다 역할을 지정했음 서비스를 확장하려면 물리장비 자체를 확장해야했음 가상화의 시대(하이퍼바이저) 하이퍼바이저는 OS의 종속성을 깨뜨리고, 가상머신이 동일한 하드웨어를 공유하도록하는 소프트웨어 레이어 Application 자체를..

왜 크레딧이 없다는거지? 2023.06.20 구글클라우드 스터디잼 중급반을 듣고있는데, 실습을 하려고 보니, 알람이 하나 떳다. 실습을 하려면 크레딧을 필요로 한다는 것이었다. 근데 이해가 되지않는다. 스터디잼에서는 1 month 구독을 제공해준단다 단, 조건이 있다. 스터디잼을 등록할때 9Credit을 제공해주고, 아무거나 실습을 성공적으로 끝내면 1 monthly Subscription으로 바뀌면서, 무료로 퀵랩의 Lab을 들을수 있다. 질문을 하는 시점에서 나는 Introduction to Google Cloud 퀘스트를 전부 끝냈기떄문에, 1 monthly Subscription으로 바뀌었어야 했다. 하지만 그러지않았다. 다른사람들은 어떻게 되어있는지 확인하기위해서, 같이 스터디잼에 참여하고있는 ..

INTRO 이 글은 2023 오픈소스 컨트리뷰션에서 Backend.AI 의 번외코스1 (머신러닝 분산처리 프레임워크 동작 이해하기) 에 대한 리뷰 게시글입니다. 링크를 두개를 제공받았는데요 https://docs.backend.ai/en/latest/concepts/key-concepts.html https://docs.backend.ai/en/latest/user-api/intro.html 하단의 링크를 눌러보니 다음과 같은 화면이 뜬다 상단의 링크를 눌러보면 다음과 같은 페이지가 뜬다. 아래의 페이지는 KeyConcept로써, 머신러닝 분산 프레임워크를 만든 개요? 정도로 보면 되는것같다. 세부내용 요약하기 1. Key Concepts 2. Manager, Agent(흰색) Manager 사용자 요청..

INTRO 이 글은 2023 오픈소스 컨트리뷰션에서 Backend.AI 의 코스1 (Backend.AI 써보고 경험 공유하기) 에 대한 리뷰 게시글입니다. 어떻게 구현했을까? Backend.AI 에서 제공하려는 서비스를 구현하려면 K8s기반으로 만드는게 옳은지, 아니면 Openstack기반으로 만드는게 옳을까? 생각을 정리해보았다. 1. K8s 기반으로 구현 K8s를 가장먼저 생각한 이유는 두가지이다. VM보다 Container는 상대적으로 가볍다. 소수의 사용자가아니라, 다수의 사용자한테 개발환경을 제공해야한다. 동일한 물리장비로 더 많은 사용자에게 제공하려면 Container를 비롯한 K8s 에서 Pod형태로 유저에게 제공하는게 조금 더 경제적일거라고 생각했다. K8s에서 GPU 를 제공하는게 가능하..

1주차 강의 링크 : https://www.cloudskillsboost.google/course_sessions/3145240/video/374495 동영상 : 클라우드 컴퓨팅과 Google Cloud 클라우드 컴퓨팅의 5속성 주문형 셀프서비스 : User가 주문하면 자동화된 interface를 통해서 Cpu, Storage, Network를 제공받는다 어디에서나 액세스가능 : User는 해당 리소스의 정확한 위치를 알필요가없다 탄력적 리소스 : 더 많은 리소스, 더 적은 리소스에 대해서 확장성이 용의 비용 : 사용한(예약한)만큼만 비용지불 GKE (Google Kubernetes Engine) GCP에 요청하는 사항은 클라우드에서 코드를 실행하게하는것 Container화 된 애플리케이션을 실행할수있음..