Notion 서드파티 오픈소스에 기여한 썰 푼다
·
외부활동
이번 게시글은 어쩌다가 깃헙오픈소스에 코드기여한 썰입니다.제가 경험했던 경험담과 프로세스에 대한 내용을 담고있습니다.오픈소스 찾기혹시 Notion 에 대해 알고계신가요?Notion 은 개발생산성에 관련된 서비스인데요, 이와 관련된 오픈소스 프로젝트들이 Github에 꽤나 올라가있습니다. 그 중, 하나는 notion-sdk-py 입니다.https://github.com/ramnes/notion-sdk-py GitHub - ramnes/notion-sdk-py: The official Notion API client library, but rewritten in Python! (sync + async)The official Notion API client library, but rewritten in Pyt..
[T101] 4기 스터디: Module
·
외부활동
⭐ 가시다(gasida) 님이 진행하는 Terraform T101 4기 실습 스터디 게시글입니다.책 '테라폼으로 시작하는 IaC'을 참고했습니다! 게시글 상 소스코드, 사진에서 **굵게** 혹은 '''코드쉘''' 에 대한 부분이 들어가있을수도 있습니다.Terraform 에서 Module 이 필요한 이유?Terraform 으로 인프라 프로비저닝을 사용한다고 하였을때, 시간이 지날수록 구성이 복잡해지고 관리하는 리소스가 늘어나게된다.이에따라 자연스레 아래의 문제가 발생하게된다.테라폼 구성에서 원하는 항목을 찾고 수정하는 것이 점점 어려워짐리소스들 간의 연관 관계가 복잡해질수록 변경 작업의 영향도를 분석하기 위한 노력이 늘어남개발/스테이징/프로덕션 환경으로 구분된 경우 비슷한 형태의 구성이 반복되어 업무 효율..
[T101] 4기 스터디: Confluent Cloud with Terraform + CDC to Debezium 배포
·
카테고리 없음
⭐ 가시다(gasida) 님이 진행하는 Terraform T101 4기 실습 스터디 게시글입니다.책 '테라폼으로 시작하는 IaC'을 참고했습니다! 게시글 상 소스코드, 사진에서 **굵게** 혹은 '''코드쉘''' 에 대한 부분이 들어가있을수도 있습니다.Terraform 으로 사용 가능한 Provider를 찾다가Confluent Cloud 를 참조하는 자료가 없는 것 같아, 직접 공부하며 정리한 자료입니다.게시글에 틀린 내용이 있을수 있습니다! 실습상 방화벽, 권한과 Network 에 대한 문제가 있을 수 있습니다. 실습시 주의가 필요합니다.CDC데이터베이스와 관련하여 요즘 뜨고있는 주제 중 하나는 CDC에 대한 내용입니다.CDC는 Change-Data-Capture 의 약자로 한국말로 변경데이터캡쳐 라는..
[T101] 4기 스터디: Confluent Cloud with Terraform
·
외부활동
⭐ 가시다(gasida) 님이 진행하는 Terraform T101 4기 실습 스터디 게시글입니다.책 '테라폼으로 시작하는 IaC'을 참고했습니다! 게시글 상 소스코드, 사진에서 **굵게** 혹은 '''코드쉘''' 에 대한 부분이 들어가있을수도 있습니다.Terraform 으로 사용 가능한 Provider를 찾다가Confluent Cloud 를 참조하는 자료가 없는 것 같아, 직접 공부하며 정리한 자료입니다.게시글에 틀린 내용이 있을수 있습니다! 이번게시글에서는 Confluent 에 대한 설명, 간단한 데모(계정생성, Kafka Cluster 배포, Producer-Consumer 실습) 을 진행하겠습니다.  What is Confluent ?Confluent 는 오픈소스 Apache Kafka & Apac..
[T101] 4기 스터디: Terraform 데이터소스, 변수 블록, 반복문
·
카테고리 없음
⭐ 가시다(gasida) 님이 진행하는 Terraform T101 4기 실습 스터디 게시글입니다.책 '테라폼으로 시작하는 IaC' 를 기준으로 정리하였습니다.게시글 상 소스코드, 사진에서 **굵게** 혹은 '''코드쉘''' 에 대한 부분이 들어가있을수도 있습니다.3.5 Terraform 데이터 소스 구성Data source Block: 이미 존재하는 외부 리소스를 참조하기 위해 사용하는 블록.리소스를 생성하지 않고도, 기존 리소스의 속성을 가져와서 다른 리소스에 사용할 수 있다.Data source block Formatdata "{provider name}_{provider_type} "unique name" { filename = "${path.module}/abc.txt"}정의할 때 사용가능한..
[T101] 4기 스터디: AWS실습환경설정, Terraform 기본배포
·
카테고리 없음
⭐ 가시다(gasida) 님이 진행하는 Terraform T101 4기 실습 스터디 게시글입니다.책 '테라폼으로 시작하는 IaC' 를 기준으로 정리하였습니다.게시글 상 소스코드, 사진에서 **굵게** 혹은 '''코드쉘''' 에 대한 부분이 들어가있을수도 있습니다.AWS 실습 환경설정AWS CLI 설치 및 자격증명AWS default VPC 를 사용AWS IAM User 생성(권한수준: AdministratorAccess, 액세스 방식:CLI)aws configure#AWS Access Key ID [****************RGXL]:#AWS Secret Access Key [****************n+SO]:#Default region name [ap-northeast-2]:#Default o..
zsh: bad substitution 에러 해결
·
카테고리 없음
파일을 생성하는 다양한 방법 중 하나는 터미널에서 cat 명령어를 사용하는것입니다.cat 로 시작하여 {keyword} 까지의 내용을 파일에 저장하는 방식으로 파일에 덮어쓰기가 가능합니다.예를들면 BASH 쉘에서는 아래방식으로 파일작성이 가능합니다.cat main.tfresource "local_file" "abc" {content = "abc!"filename = "${path.module}/abc.txt"}EOF이 경우main.tf 파일이 아래처럼 생성됩니다.resource "local_file" "abc" {content = "abc!"filename = "${path.module}/abc.txt"}만약 BASH쉘이 아니라, ZSH 쉘을 사용하고 있다면 아래의 에러가 발생합니다.cat main..
메모리 부족 이슈 : Unexpected bus error encountered in worker. This might be caused by insufficient shared memory 의 올바른 해결법
·
Cloud/Docker
INTRO로컬에서 작동하는 Pytorch 모델을 docker image로 만들어 작동시키려 하면Unexpected bus error encountered in worker. This might be caused by insufficient shared memory 라는 에러메세지를 뜨곤한다. 이 에러는 현재 도커이미지를 실행시키기엔 할당된 메모리가 부족하단것이고, 그에 대한 해결책으로 제시되는 방법 중 하나는docker run 할때 --ipc=host 파라미터를 사용하는것이다.  하지만 과연 이 방법이 올바른 방법일까? Docker 리소스 옵션에 대해우선 Docker 리소스 옵션에 대해서 이해해야한다. 기본적으로 Docker는 시스템에서 할당한 리소스만큼만 사용가능하다. Docker Desktop App..
[AEWS] 2기 스터디: Terraform
·
외부활동
⭐ 가시다(gasida) 님이 진행하는 AWS EKS Workshop 실습 스터디 게시글입니다.이번 게시글은 Terraform 에 관한 내용을 설명합니다.  Terraform테라폼 소개: Hashicorp에서 공개한 Iac(Infrastructure as code) 도구홈페이지 : https://www.terraform.io/Terraform 의 Workflow 는 총 3단계로 구성됨  실습환경 준비Terraform#mac os(m1) #terraform 1.5.1 versionbrew install tfenvtfenv list-remotetfenv install 1.8.1tfenv use 1.8.1#설치한 버전확인tfenv list#테라폼 버전 정보 확인terraform version#자동완성terra..
[AEWS] 2기 스터디: CI
·
외부활동
kubectl delete deploy,svc myweb​ ⭐ 가시다(gasida) 님이 진행하는 AWS EKS Workshop 실습 스터디 게시글입니다. 게시글 상 소스코드, 사진에서 **굵게** 혹은 '''코드쉘''' 에 대한 부분이 들어가있을수도 있습니다 ⭐ 실습 환경 배포 # YAML 파일 다운로드 curl -O https://s3.ap-northeast-2.amazonaws.com/cloudformation.cloudneta.net/K8S/**eks-oneclick6.yaml** # CloudFormation 스택 배포 aws cloudformation deploy --template-file **eks-oneclick6.yaml** --stack-name **myeks** --parameter..
jjongguet
뒤죽박죽 데이터엔지니어링