이 글을 쓰는 이유 이번에 직장 다녀보면서 처음 연말정산 진행했는데, 생각보다 디테일한 부분이 많다고 느꼈고. 알아두면 무조건 좋은 내용이지만, 생각보다 진입장벽이 높다고 생각들어서 언젠가 한번 내용정리를 해놔야겠다 라고 생각했기 때문이다. 시작에 앞서 이해를 돕기위해 가상의 근로자 쫑긋 을 예시로 연말정산을 설명한다. 쫑긋의 정보는 다음과같다. - 대기업에 재직중이며, 계약세전연봉 4000만원, 식대 20만원이다. - 해당년도에 월세(월45만원 * 12개월)를 계약하여 거주중이며, 현재 독립하였고, 부양가족이없다 - 퇴직연금 200만원, 연금저축계좌에 100만원을 납입했다. 또한 연말정산에 필요한 특정한 수식 및 계산값은 이렇게 표현하고 쫑긋에 대한 계산내용은 이렇게 표시한다 용어 전체에 대한 설명은 ..

0. 누가 이 글을 읽으면 좋나요? 이 글은 KEDA를 도입하려는 시도를 했으나, 실패했고, 그 과정을 다룬글입니다. 따라서, 쿠버네티스와 HPA에 대한 약간의 지식이 필요합니다. 1. 배경상황과 문제파악 먼저, 현재 환경에 대해 설명하려합니다. 전체 인프라는 Kubernetes(GKE)를 기반으로 하고있고, GKE에서 데모페이지를 배포해놓은 상황이며, Object로 Deployment, Service를 배포했고, GKE에서는 GCP(LB, Load Balancer) 로 배포한 포트를 특정 url 로 연결시켰습니다. 현재 인프라는 아래의 모습으로 배포되어있고, 이해를 돕기 위해 간단한 이미지를 사용합니다. 운영측면에서 ’유저 1명이 활동했을때 서비스가 원활히 잘 작동되었다는 점’만 알고있는 상태입니다. ..

HPA? 용어: Horizontal Pod Autoscaling(수평 스케일링) 구현체: HorizontalPodAutoscaler 의미: 부하 증가(트래픽, 리소스사용량 등) 에 대해 Pod를 더 배치하는것을 뜻한다. VPA(Vercital Pod Autoscaling, 수직 스케일링) 은 이미 실행중인 Pod에 더 많은 자원(리소스) 를 할당하는 방식으로 진행되며, HPA와 정반대의 기능이다. 적용대상: 크기 조절이 불가능한 Object(e.g. Daemonset) 를 제외한 Object에 적용가능하다. HorizontalPodAutoscaler 목표: 워크로드 리소스(deployment, statefulset) 을 자동으로 업데이트하며, 워크로드의 크기를 수요에 맞게 자동으로 스케일링 하는것을 목표..

글을 시작하기에 앞서, 퀴즈 하나 풀고 시작해보자 GCP는 구글계정에 300달러의 무료크레딧을 제공한다. 인스턴스랑 비용관리 안하고있다가, 정산비용이 몇십만원 나와서 예상치 못한 비용을 결제한 바보멍청이가 누굴까? 이번 게시글에서는 Kubernetes Cluster 에 대해서 On-premise Cluster를 구축해놨는데 포기한 이유 GCP 무료계정 결제비용 알람 설정 을 다룰 예정이다. GCP에서 뭘 사용하고 있었나요? 나는 GCP에서 주로 GKE(Google Kubernetes Engine)서비스를 사용한다. Kubernetes(이하 K8s)를 모르는 사람들을 위해서 간략하게 설명하면 다음과같다. Kubernetes: 가장 잘나가는 Container Orchestration. 여러 호스트에서 Con..

INTRO 글또 9기에 참여하게 되었다. 이번 게시글은 간단하게 글또에 대해서 소개, 올해의 회고, 글또기간동안 하고싶은 것을 끄적여보고자 한다. 글또가 뭔가요? 글또는 글쓰는 개발자 모임으로, 글을 작성하는 개발 직군분들이 모여서 서로 좋은영향을 주고 서로 같이 자랄 수 있는 커뮤니티이다. 9기 기준으로 5개월동안, 2주마다 한번씩 게시글을 업로드 해야하며, 다양한 내부커뮤니티가 존재한다. 현재 기수는 9기 이며, 10기까지만 운영이 된다고 한다. 글또 소개페이지: https://www.notion.so/ac5b18a482fb4df497d4e8257ad4d516 글또를 왜 하게 되었나요? 외부에서 참여하고있는 스터디가 있는데, 스터디에 참여하고 계신분이 글또에 대해서 알려주셨다. 그때 처음으로 글또에 ..

INTRO 이번에는 Stackable Data Platform(SDP) 를 사용하여 Airflow Application을 K8s에 배포해보겠습니다. SDP SDP(이하 Stackable)는 데이터 관련 Application 을 K8s상에서 손쉽게 배포,관리 해주게 만드는 Operator 입니다. Stackable이 지원하는 오픈소스는 다음과 같습니다. 공식사이트: https://docs.stackable.tech/home/stable/index.html Stackablectl 설치 Stackable 을 사용하려면 Stackablectl 명령어를 사용해야하므로, Stackablectl을 설치합니다. 먼저 해당 링크에 접속하여 사용하는 OS 에 알맞게 다운로드 해 줍니다. 공식링크: https://docs...

INTRO 이번에 알아볼 내용은 Kubernetes 상에서 Kafka를 구성하게 하는 Strimzi Operator에 대해서 알아보겠습니다. 그리고 Kafka 클러스터 배포, 모니터링을 위한 Ui for Apache Kafka구성, Prometheus+Grafana로 브로커 모니터링 구성까지 해보겠습니다. Strimzi 가 할수 있는 역할은? Strimzi는 K8s환경에서 Kafka 운영 관리에 도움을 주는 Operator 입니다 공식 link: https://strimzi.io/ Operator 제공 기능 : 카프카 클러스터/구성요소 배포 및 관리, 카프카 접속 설정, 카프카 업그레이드, 브로커 brokers 관리, 토픽 topic 과 유저 user 생성 및 관리 Operator 로 배포 및 관리 : ..

INTRO: 주의사항 이 글은 DOIK2 스터디에서 진행한 내용을 바탕으로 작성한 내용입니다. 공부중인 내용이기때문에, 틀린 부분이 있을수 있습니다. 아파치 카프카(Apache Kafka)가 무엇인가요? 위키피디아에서는 아래와 같이 정의하고있습니다. 아파치 카프카(Apache Kafka)는 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다. 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것이 목표이다. 요컨대 분산 트랜잭션 로그로 구성된[3], 상당히 확장 가능한 pub/sub 메시지 큐로 정의할 수 있으며, 스트리밍 데이터를 처리하기 위한 기업 인프라를 위한 고부가 가치 기능이다. 핵심키워드 핵심 키워드는 다..

INTRO 나는 평소에 공부한 내용을 Notion에다가 기록, 정리해왔다. 근데, 요즘 DOIK2 스터디를 진행하면서 공부내용을 티스토리에 옮겨서 포스팅할 횟수가 잦아졌고 조금 더 편하게 ‘Notion에 있는 내용을 Tistory로 옮길 수 있을까?’ 에 대한 고민을 하게되었다. 그래서 찾다보니 ‘동글’ 을 알게되었다. 문제정의: 왜 귀찮은가? 동글 설명에 앞서, 문제 먼저 정의해보자. 내가 정의한 문제는 ‘Notion의 내용을 Tistory로 옮기는 과정이 귀찮다’ 라는 것이다. 왜 귀찮냐면… Tistory에 글을 옮기는 프로세스가 노션의 내용을 긁어서 ⇒ ctrl+c ⇒ 티스토리 글쓰기 ⇒ ctrl+v 를 하는 과정으로 진행되는데 예를들어, 이전 포스팅 [DOIK2] 스터디: Percona Opera..

수료후기 GenAI 관련 스터디잼을 완주했습니다. 여태까지 진행했던 다른 스터디잼에 비해서, 분량이 생각보다 적었던것 같습니다. 정확히 따지자면, ‘스터디잼 수료’ 를 위해서 진행하는 내용이 꽤 적었고, 추가적인 ‘공부’ 를 위해서 해야하는 내용이 많았습니다. 페이스북 게시글에서 ‘분량이 적다’ 라고 하는 게시글이 많았는데, 다른스터디잼에 비해서 진짜로 양이 적었습니다. 스터디잼 강의내용 최근엔 인공지능업계에서 Generative 모델을 통해서 문제해결을 많이하는것을 볼수 있습니다. (개인적인 생각으로는 Generative를 문제해결의 방법이라고 생각하는것 같습니다) 이번 스터디잼의 강의내용 대부분은 Genrative 모델이 ‘왜’ 정답이 되었는지 에 대한 변천사, 모델 아키텍쳐, 인공지능 윤리에 대한..