⭐ 가시다(gasida) 님이 진행하는 AWS EKS Workshop 실습 스터디 게시글입니다. 게시글 상 소스코드, 사진에서 **굵게** 혹은 '''코드쉘''' 에 대한 부분이 들어가있을수도 있습니다 ⭐ IRSA 소개 파드가 특정 IAM 역할로 Assume 할때 토큰을 AWS에 전송하고, AWS는 토큰과 EKS IdP를 통해 해당 IAM 역할을 사용할 수 있는지 검증 Node 에 Role을 Mapping 하지말고 Pod 에 Role을 Mapping 해서 사용하겠다 라는 뜻 실습1: Pod를 만들고, SA Token 을 안만드는 실습 SA 를 아무것도 설정하지않음(default로 생성) 해당 Pod 는 기동되면 s3 ls 명령어를 실행 그러나 권한이 없어서 Access Denied 된 모습(SA에 Tok..

⭐ 가시다(gasida) 님이 진행하는 AWS EKS Workshop 실습 스터디 게시글입니다. 게시글 상 소스코드, 사진에서 **굵게** 혹은 '''코드쉘''' 에 대한 부분이 들어가있을수도 있습니다 ⭐ 이번 게시글은 EKS의 인증/인가 에 관한 내용을 설명합니다. 0. 스터디 시작 전, 알아야 하는 내용 기존 실습과의 다른 점 과거의 게시글 : bastion 서버 가 1개인 상태 이번 게시글 : bastion 서버 가 2개인 상태! 유저/권한 에 따라 일부 활동이 제한되는 상황을 가정함 → Devops 계정이 2개인 상황을 가정하여 실습진행 사전 배포 Domain : AWS Route 53 Hosting 사용 #domain 호스팅 주소 jjongguet.com 실습 환경 배포 # YAML 파일 다운로..

0. 누가 이 글을 읽으면 좋나요? 이 글은 KEDA를 도입하려는 시도를 했으나, 실패했고, 그 과정을 다룬글입니다. 따라서, 쿠버네티스와 HPA에 대한 약간의 지식이 필요합니다. 1. 배경상황과 문제파악 먼저, 현재 환경에 대해 설명하려합니다. 전체 인프라는 Kubernetes(GKE)를 기반으로 하고있고, GKE에서 데모페이지를 배포해놓은 상황이며, Object로 Deployment, Service를 배포했고, GKE에서는 GCP(LB, Load Balancer) 로 배포한 포트를 특정 url 로 연결시켰습니다. 현재 인프라는 아래의 모습으로 배포되어있고, 이해를 돕기 위해 간단한 이미지를 사용합니다. 운영측면에서 ’유저 1명이 활동했을때 서비스가 원활히 잘 작동되었다는 점’만 알고있는 상태입니다. ..

INTRO 이번에는 Stackable Data Platform(SDP) 를 사용하여 Airflow Application을 K8s에 배포해보겠습니다. SDP SDP(이하 Stackable)는 데이터 관련 Application 을 K8s상에서 손쉽게 배포,관리 해주게 만드는 Operator 입니다. Stackable이 지원하는 오픈소스는 다음과 같습니다. 공식사이트: https://docs.stackable.tech/home/stable/index.html Stackablectl 설치 Stackable 을 사용하려면 Stackablectl 명령어를 사용해야하므로, Stackablectl을 설치합니다. 먼저 해당 링크에 접속하여 사용하는 OS 에 알맞게 다운로드 해 줍니다. 공식링크: https://docs...

INTRO 이번에 알아볼 내용은 Kubernetes 상에서 Kafka를 구성하게 하는 Strimzi Operator에 대해서 알아보겠습니다. 그리고 Kafka 클러스터 배포, 모니터링을 위한 Ui for Apache Kafka구성, Prometheus+Grafana로 브로커 모니터링 구성까지 해보겠습니다. Strimzi 가 할수 있는 역할은? Strimzi는 K8s환경에서 Kafka 운영 관리에 도움을 주는 Operator 입니다 공식 link: https://strimzi.io/ Operator 제공 기능 : 카프카 클러스터/구성요소 배포 및 관리, 카프카 접속 설정, 카프카 업그레이드, 브로커 brokers 관리, 토픽 topic 과 유저 user 생성 및 관리 Operator 로 배포 및 관리 : ..

INTRO: 주의사항 이 글은 DOIK2 스터디에서 진행한 내용을 바탕으로 작성한 내용입니다. 공부중인 내용이기때문에, 틀린 부분이 있을수 있습니다. 아파치 카프카(Apache Kafka)가 무엇인가요? 위키피디아에서는 아래와 같이 정의하고있습니다. 아파치 카프카(Apache Kafka)는 아파치 소프트웨어 재단이 스칼라로 개발한 오픈 소스 메시지 브로커 프로젝트이다. 이 프로젝트는 실시간 데이터 피드를 관리하기 위해 통일된, 높은 처리량, 낮은 지연시간을 지닌 플랫폼을 제공하는 것이 목표이다. 요컨대 분산 트랜잭션 로그로 구성된[3], 상당히 확장 가능한 pub/sub 메시지 큐로 정의할 수 있으며, 스트리밍 데이터를 처리하기 위한 기업 인프라를 위한 고부가 가치 기능이다. 핵심키워드 핵심 키워드는 다..

What is NOSQL? NOSQL이름의 뜻: Not Only SQL 특징: DB긴 한데, RDBMS처럼 고정된 스키마가 존재하지않는다. DB의 역할은 충실히 해낸다. 예시: Redis, HBase, mongoDB, ES MongoDB란? 몽고DB(MongoDB←HUMONGOUS)는 크로스 플랫폼 도큐먼트 지향 데이터베이스 시스템이다. NoSQL 데이터베이스로 분류되는 몽고DB는 JSON과 같은 동적 스키마형 도큐먼트들(몽고DB는 이러한 포맷을 BSON이라 부름)을 선호함에 따라 전통적인 테이블 기반 관계형 데이터베이스 구조의 사용을 삼간다. 이로써 특정한 종류의 애플리케이션을 더 쉽고 더 빠르게 데이터 통합을 가능케 한다. 아페로 GPL과 아파치 라이선스를 결합하여 공개된 몽고DB는 자유-오픈 소스 ..

주의사항 이 글은 DIOK2 스터디에서 진행한 내용을 바탕으로 작성한 내용입니다. 공부중인 내용이기때문에, 틀린 부분이 있을수 있습니다. 쿠버네티스 스토리지의 배경 Pod는 Stateless이다(파드를 끄면 데이터가 없어진다) Pod는 기본적으로 영구히 쓰는 개념이 아니라, 일회용품처럼 쓰고-버리고-쓰고-버리고 하는 개념임 Pod내부의 데이터는 Pod가 정지되거나/에러났을때에 삭제됨 → Pod 내부에 있는 데이터는 모두 유실됨 ⇒ Pod는 상태가없는(Stateless) 애플리케이션 이다 Stateless의 문제점 먼저 요약해주자면 ‘Pod는 기본적으로 Stateless 라는 성질’을 갖고있다. 뜻을 풀어보자면 ‘Pod에는 상태가 없다’ 라는 뜻인데, 이를 알기위해서는 Pod의 컨셉에 대해서 이해해야한다...

주의사항 이 글은 DIOK2 스터디에서 진행한 내용을 바탕으로 작성한 내용입니다. 공부중인 내용이기때문에, 틀린 부분이 있을수 있습니다. 쿠버네티스의 구성요소(컴포넌트) 공식사이트: https://kubernetes.io/ko/docs/concepts/overview/components/ 일반적으로 쿠버네티스를 “노드” 에 설치한다고하면, 마스터와 워커로 구성된다고만 알고있다. 좀더 자세하게 표현하면 다음과같다. K8s Cluster == 1개이상의 노드로 구성 == 1개이상의 (Control Plane + Node Component) Control Plane’s Component 기능: 클러스터에 대한 전반적인 결정(e.g. 스케쥴링), 클러스터 이벤트(e.g. 파드생성) 등을 담당한다. kube-ap..