[T101] 4기 스터디: Confluent Cloud with Terraform
·
외부활동
⭐ 가시다(gasida) 님이 진행하는 Terraform T101 4기 실습 스터디 게시글입니다.책 '테라폼으로 시작하는 IaC'을 참고했습니다! 게시글 상 소스코드, 사진에서 **굵게** 혹은 '''코드쉘''' 에 대한 부분이 들어가있을수도 있습니다.Terraform 으로 사용 가능한 Provider를 찾다가Confluent Cloud 를 참조하는 자료가 없는 것 같아, 직접 공부하며 정리한 자료입니다.게시글에 틀린 내용이 있을수 있습니다! 이번게시글에서는 Confluent 에 대한 설명, 간단한 데모(계정생성, Kafka Cluster 배포, Producer-Consumer 실습) 을 진행하겠습니다.  What is Confluent ?Confluent 는 오픈소스 Apache Kafka & Apac..
[T101] 4기 스터디: Terraform 데이터소스, 변수 블록, 반복문
·
카테고리 없음
⭐ 가시다(gasida) 님이 진행하는 Terraform T101 4기 실습 스터디 게시글입니다.책 '테라폼으로 시작하는 IaC' 를 기준으로 정리하였습니다.게시글 상 소스코드, 사진에서 **굵게** 혹은 '''코드쉘''' 에 대한 부분이 들어가있을수도 있습니다.3.5 Terraform 데이터 소스 구성Data source Block: 이미 존재하는 외부 리소스를 참조하기 위해 사용하는 블록.리소스를 생성하지 않고도, 기존 리소스의 속성을 가져와서 다른 리소스에 사용할 수 있다.Data source block Formatdata "{provider name}_{provider_type} "unique name" { filename = "${path.module}/abc.txt"}정의할 때 사용가능한..
[T101] 4기 스터디: AWS실습환경설정, Terraform 기본배포
·
카테고리 없음
⭐ 가시다(gasida) 님이 진행하는 Terraform T101 4기 실습 스터디 게시글입니다.책 '테라폼으로 시작하는 IaC' 를 기준으로 정리하였습니다.게시글 상 소스코드, 사진에서 **굵게** 혹은 '''코드쉘''' 에 대한 부분이 들어가있을수도 있습니다.AWS 실습 환경설정AWS CLI 설치 및 자격증명AWS default VPC 를 사용AWS IAM User 생성(권한수준: AdministratorAccess, 액세스 방식:CLI)aws configure#AWS Access Key ID [****************RGXL]:#AWS Secret Access Key [****************n+SO]:#Default region name [ap-northeast-2]:#Default o..
zsh: bad substitution 에러 해결
·
카테고리 없음
파일을 생성하는 다양한 방법 중 하나는 터미널에서 cat 명령어를 사용하는것입니다.cat 로 시작하여 {keyword} 까지의 내용을 파일에 저장하는 방식으로 파일에 덮어쓰기가 가능합니다.예를들면 BASH 쉘에서는 아래방식으로 파일작성이 가능합니다.cat main.tfresource "local_file" "abc" {content = "abc!"filename = "${path.module}/abc.txt"}EOF이 경우main.tf 파일이 아래처럼 생성됩니다.resource "local_file" "abc" {content = "abc!"filename = "${path.module}/abc.txt"}만약 BASH쉘이 아니라, ZSH 쉘을 사용하고 있다면 아래의 에러가 발생합니다.cat main..
메모리 부족 이슈 : Unexpected bus error encountered in worker. This might be caused by insufficient shared memory 의 올바른 해결법
·
Cloud/Docker
INTRO로컬에서 작동하는 Pytorch 모델을 docker image로 만들어 작동시키려 하면Unexpected bus error encountered in worker. This might be caused by insufficient shared memory 라는 에러메세지를 뜨곤한다. 이 에러는 현재 도커이미지를 실행시키기엔 할당된 메모리가 부족하단것이고, 그에 대한 해결책으로 제시되는 방법 중 하나는docker run 할때 --ipc=host 파라미터를 사용하는것이다.  하지만 과연 이 방법이 올바른 방법일까? Docker 리소스 옵션에 대해우선 Docker 리소스 옵션에 대해서 이해해야한다. 기본적으로 Docker는 시스템에서 할당한 리소스만큼만 사용가능하다. Docker Desktop App..
[AEWS] 2기 스터디: Terraform
·
외부활동
⭐ 가시다(gasida) 님이 진행하는 AWS EKS Workshop 실습 스터디 게시글입니다.이번 게시글은 Terraform 에 관한 내용을 설명합니다.  Terraform테라폼 소개: Hashicorp에서 공개한 Iac(Infrastructure as code) 도구홈페이지 : https://www.terraform.io/Terraform 의 Workflow 는 총 3단계로 구성됨  실습환경 준비Terraform#mac os(m1) #terraform 1.5.1 versionbrew install tfenvtfenv list-remotetfenv install 1.8.1tfenv use 1.8.1#설치한 버전확인tfenv list#테라폼 버전 정보 확인terraform version#자동완성terra..
[AEWS] 2기 스터디: CI
·
외부활동
kubectl delete deploy,svc myweb​ ⭐ 가시다(gasida) 님이 진행하는 AWS EKS Workshop 실습 스터디 게시글입니다. 게시글 상 소스코드, 사진에서 **굵게** 혹은 '''코드쉘''' 에 대한 부분이 들어가있을수도 있습니다 ⭐ 실습 환경 배포 # YAML 파일 다운로드 curl -O https://s3.ap-northeast-2.amazonaws.com/cloudformation.cloudneta.net/K8S/**eks-oneclick6.yaml** # CloudFormation 스택 배포 aws cloudformation deploy --template-file **eks-oneclick6.yaml** --stack-name **myeks** --parameter..
[AEWS] 2기 스터디: EKS의 인증/인가 절차2
·
외부활동
⭐ 가시다(gasida) 님이 진행하는 AWS EKS Workshop 실습 스터디 게시글입니다. 게시글 상 소스코드, 사진에서 **굵게** 혹은 '''코드쉘''' 에 대한 부분이 들어가있을수도 있습니다 ⭐ IRSA 소개 파드가 특정 IAM 역할로 Assume 할때 토큰을 AWS에 전송하고, AWS는 토큰과 EKS IdP를 통해 해당 IAM 역할을 사용할 수 있는지 검증 Node 에 Role을 Mapping 하지말고 Pod 에 Role을 Mapping 해서 사용하겠다 라는 뜻 실습1: Pod를 만들고, SA Token 을 안만드는 실습 SA 를 아무것도 설정하지않음(default로 생성) 해당 Pod 는 기동되면 s3 ls 명령어를 실행 그러나 권한이 없어서 Access Denied 된 모습(SA에 Tok..
[AEWS] 2기 스터디: EKS의 인증/인가 절차1
·
외부활동
⭐ 가시다(gasida) 님이 진행하는 AWS EKS Workshop 실습 스터디 게시글입니다. 게시글 상 소스코드, 사진에서 **굵게** 혹은 '''코드쉘''' 에 대한 부분이 들어가있을수도 있습니다 ⭐ 이번 게시글은 EKS의 인증/인가 에 관한 내용을 설명합니다. 0. 스터디 시작 전, 알아야 하는 내용 기존 실습과의 다른 점 과거의 게시글 : bastion 서버 가 1개인 상태 이번 게시글 : bastion 서버 가 2개인 상태! 유저/권한 에 따라 일부 활동이 제한되는 상황을 가정함 → Devops 계정이 2개인 상황을 가정하여 실습진행 사전 배포 Domain : AWS Route 53 Hosting 사용 #domain 호스팅 주소 jjongguet.com 실습 환경 배포 # YAML 파일 다운로..
[AEWS] 2기 스터디: Autoscaling 의 다양한 방법
·
외부활동
⭐ 가시다(gasida) 님이 진행하는 AWS EKS Workshop 실습 스터디 게시글입니다. 이번 게시글은 Autoscaling 에 관한 내용을 설명합니다. 0. 사전 정보 DNS 호스팅 정보(Route53) #게시글에서 사용하는 DNS 주소 jjongguet.com 사전 배포 내역 참고링크: https://jjongguet.tistory.com/205 #AWS LoadBalancer AWS LB Controller #Monitoring kube-ops-view Prometheus Grafana 모니터링: EKS Node Viewer 배포 # go 설치 wget https://go.dev/dl/go1.22.1.linux-amd64.tar.gz tar -C /usr/local -xzf go1.22.1...
jjongguet
뒤죽박죽 데이터엔지니어링