Intro Docker와 Kubernetes가 어느 정도 안정화되면서, 개발 트렌드는 On-prem(혹은 VM)에서 Container로 변화했습니다. 따라서, 컨테이너에서 효율적으로 개발하는 것이 개발 생산성에 중요해졌으며, 이와 관련하여 VSCode에서 제공하는 플러그인, Devcontainer를 소개하고자 합니다. 이 글을 읽으면 좋은 사람 개발 생산성에 관심 있는 사람 Docker를 사용하는 사람 컨테이너가 무엇인가요? 가상화(Virtualization) 기술이 발전함에 따라, 개발 트렌드가 VM(Virtual Machine)에서 Container로 변화했다고 합니다. 이 둘의 가장 큰 차이점은 무엇일까요? VM과 Container 의 가장 큰 차이점은 GuestOS의 유무입니다. VM의 경우, 구..

0. 누가 이 글을 읽으면 좋나요? 이 글은 KEDA를 도입하려는 시도를 했으나, 실패했고, 그 과정을 다룬글입니다. 따라서, 쿠버네티스와 HPA에 대한 약간의 지식이 필요합니다. 1. 배경상황과 문제파악 먼저, 현재 환경에 대해 설명하려합니다. 전체 인프라는 Kubernetes(GKE)를 기반으로 하고있고, GKE에서 데모페이지를 배포해놓은 상황이며, Object로 Deployment, Service를 배포했고, GKE에서는 GCP(LB, Load Balancer) 로 배포한 포트를 특정 url 로 연결시켰습니다. 현재 인프라는 아래의 모습으로 배포되어있고, 이해를 돕기 위해 간단한 이미지를 사용합니다. 운영측면에서 ’유저 1명이 활동했을때 서비스가 원활히 잘 작동되었다는 점’만 알고있는 상태입니다. ..

글을 시작하기에 앞서, 퀴즈 하나 풀고 시작해보자 GCP는 구글계정에 300달러의 무료크레딧을 제공한다. 인스턴스랑 비용관리 안하고있다가, 정산비용이 몇십만원 나와서 예상치 못한 비용을 결제한 바보멍청이가 누굴까? 이번 게시글에서는 Kubernetes Cluster 에 대해서 On-premise Cluster를 구축해놨는데 포기한 이유 GCP 무료계정 결제비용 알람 설정 을 다룰 예정이다. GCP에서 뭘 사용하고 있었나요? 나는 GCP에서 주로 GKE(Google Kubernetes Engine)서비스를 사용한다. Kubernetes(이하 K8s)를 모르는 사람들을 위해서 간략하게 설명하면 다음과같다. Kubernetes: 가장 잘나가는 Container Orchestration. 여러 호스트에서 Con..

INTRO 글또 9기에 참여하게 되었다. 이번 게시글은 간단하게 글또에 대해서 소개, 올해의 회고, 글또기간동안 하고싶은 것을 끄적여보고자 한다. 글또가 뭔가요? 글또는 글쓰는 개발자 모임으로, 글을 작성하는 개발 직군분들이 모여서 서로 좋은영향을 주고 서로 같이 자랄 수 있는 커뮤니티이다. 9기 기준으로 5개월동안, 2주마다 한번씩 게시글을 업로드 해야하며, 다양한 내부커뮤니티가 존재한다. 현재 기수는 9기 이며, 10기까지만 운영이 된다고 한다. 글또 소개페이지: https://www.notion.so/ac5b18a482fb4df497d4e8257ad4d516 글또를 왜 하게 되었나요? 외부에서 참여하고있는 스터디가 있는데, 스터디에 참여하고 계신분이 글또에 대해서 알려주셨다. 그때 처음으로 글또에 ..

INTRO 나는 평소에 공부한 내용을 Notion에다가 기록, 정리해왔다. 근데, 요즘 DOIK2 스터디를 진행하면서 공부내용을 티스토리에 옮겨서 포스팅할 횟수가 잦아졌고 조금 더 편하게 ‘Notion에 있는 내용을 Tistory로 옮길 수 있을까?’ 에 대한 고민을 하게되었다. 그래서 찾다보니 ‘동글’ 을 알게되었다. 문제정의: 왜 귀찮은가? 동글 설명에 앞서, 문제 먼저 정의해보자. 내가 정의한 문제는 ‘Notion의 내용을 Tistory로 옮기는 과정이 귀찮다’ 라는 것이다. 왜 귀찮냐면… Tistory에 글을 옮기는 프로세스가 노션의 내용을 긁어서 ⇒ ctrl+c ⇒ 티스토리 글쓰기 ⇒ ctrl+v 를 하는 과정으로 진행되는데 예를들어, 이전 포스팅 [DOIK2] 스터디: Percona Opera..

Intro 새로운 회사에서 일한 지 2달이 지났다. 입사한지 2달이 지났는데도 아직도 성과를 못 내고 있는 것 같아서, 너무 답답했다. 이대로 있으면 안 되겠다 싶어서 사장님과 면담을 진행했고, 많은 이야기를 나눌 수 있었다. 이 글은 내가 실수했던 점, 고쳐야 하는 점에 대한 내용을 담고 있다. 행동에 확신을 갖기 나 스스로가, 업무에 있어서는 내 행동에 확신이 없었다. 어떤 태스크를 수행할 때도 ‘이렇게 하면 되는 건가?’라는 생각이 있었고, 긴가민가 할 때가 많았다. 그래서, 작업 속도가 매우 느렸다. 그 이유 중 하나는 ‘내가 일을 잘못해서, 회사에 손해를 끼치면 어떻게 하지?’라는 생각 때문이었다. 내가 일을 잘못해서, 중요한 서비스를 날려버린다던가, 중요한 데이터를 날려버린다던가 걱정이었다. ..

이전까지의 이야기 이전에 내가 속한 조직은 개발자위주의 조직이었고, 나는 거기서 Data Engineer 업무를 담당했다. 아무것도 모르는 상태에서 온프렘으로 K8s 클러스터를 운영하고, IaC를 지향하기까지 많은 삽질과 어려움이 있었다. 사수도 없는 상태에서, 일단 최선의 결과를 내려고 부단히 노력했다. - 누군가 도와주는 사람이 없다면, 스스로 성장해서 남을 도와주는 선순환 구조를 만들어야한다. 새로운 조직, 새로운 고민 나는 이전에 속해있던 개발자위주의 조직에서, 5명 이내의 데이터 조직으로 이동하였다. 데이터 엔지니어, 분석가, 모델러로 이루어 진 소규모조직이다. 여태까지의 나는 혼자 일을했기때문에, 타인과 개발환경을 맞추거나, 버전을 맞춰야하는 일이 없었다. 하다못해 K8s 버전이나, Airfl..

흔히 말하는 데이터파이프라인은 4단계로 구성되어있다. 수집 - 정제 - 적재 - 분석 단계다. 이에 대해서 간략히 설명해보면 수집 : 실질적으로 데이터를 가져오는 부분. 어떤 데이터를 사용할지에 대해서 미리 논의가 필요하다. 정제 : 로우데이터를 그대로 가져와도 사용하기 불편하기때문에, 이를 비즈니스에서 사용하기 편하게 가공하는것이다. 적재 : 데이터 마트, 혹은 데이터테이블에 데이터를 적재하는과정이다. 분석 : 데이터사이언스분들이 해야할 일이다. 데이터를 기반으로 인사이트를 도출해낸다. 오늘 이야기할 내용은 ‘수집’ 부분에 대한 내용이다. 왜 문제가 되는가? 를 이해하려면 수집기가 작동하는 방식을 이해해야한다. 여기서는 Filebeat를 예로 들었다. Filebeat에서의 순서는 구성파일을 읽고(일반적..

선요약 나는 이 장비들로 쿠버네티스 마스터 - 워커로 구성시켜서 job을 돌릴예정이다 사건의 전말 사실 나는 돈관리를 못한다. 귀가 얇은편이다. 특히, 장비를 구매한다거나 책을 살때는 아낌없이 투자하는 성격이다. 그러던 중, 톡방에서 미니PC 에 대한 이야기가 나왔다. 사실 이 카톡을 보낼때까지만 해도, 미니PC를 구매할 생각이없었다. 근데, 내가 구매한 이유는 다음과같다. 하필 그 날이 월급날이였다. ‘집에서 ubuntu 가지고 놀면 재밌겠다~’ 라는 마음도 있었고, 월급도 들어왔겠다 쿨하게 결제해버렸다. 미니PC 내가 구매한 PC는 ning-mei 의 CR160-J4561, CR160-J4582 라는 모델이다. 기본OS로는 Window가 설치되어있지만, Ubuntu로 바꿔버릴 생각이였다 포트는 총 4..

회사에서 쿠버네티스를 만지면서 든 생각이다. 데이터 인프라를 K8s 에 올리는게 과연 좋을까? 아무것도 모르는 사람이 데이터 파이프라인을 구축한다면? 일반적으로 ELK스택을 구축하는 토이프로젝트를 한다면 어떻게 환경을 구성하는게 나을까? AWS에서 EC2서버를 4개 띄운다음에, 인바운드-아웃바운드로 포트 뚫어주고, 인스턴스끼리 서로 통신할수 있도록 환경을 만들것같다. 그리고 인스턴스에 Beats(데이터 소스역할), Logstash, ES, Kibana 를 설치하고 연결한 데이터파이프라인을 만들것같다. 일반적으로 프로그램은 두가지 방식으로 설치한다 위 상황에서 일반적으로 프로그램을 설치하는 방법은 2가지의 방법으로 나뉘는거같다. 첫번째 방법은 apt-get 같은 패키지명령도구를 사용하는것이다 두번째 방법은..