INTRO 이번에는 Stackable Data Platform(SDP) 를 사용하여 Airflow Application을 K8s에 배포해보겠습니다. SDP SDP(이하 Stackable)는 데이터 관련 Application 을 K8s상에서 손쉽게 배포,관리 해주게 만드는 Operator 입니다. Stackable이 지원하는 오픈소스는 다음과 같습니다. 공식사이트: https://docs.stackable.tech/home/stable/index.html Stackablectl 설치 Stackable 을 사용하려면 Stackablectl 명령어를 사용해야하므로, Stackablectl을 설치합니다. 먼저 해당 링크에 접속하여 사용하는 OS 에 알맞게 다운로드 해 줍니다. 공식링크: https://docs...

What is NOSQL? NOSQL이름의 뜻: Not Only SQL 특징: DB긴 한데, RDBMS처럼 고정된 스키마가 존재하지않는다. DB의 역할은 충실히 해낸다. 예시: Redis, HBase, mongoDB, ES MongoDB란? 몽고DB(MongoDB←HUMONGOUS)는 크로스 플랫폼 도큐먼트 지향 데이터베이스 시스템이다. NoSQL 데이터베이스로 분류되는 몽고DB는 JSON과 같은 동적 스키마형 도큐먼트들(몽고DB는 이러한 포맷을 BSON이라 부름)을 선호함에 따라 전통적인 테이블 기반 관계형 데이터베이스 구조의 사용을 삼간다. 이로써 특정한 종류의 애플리케이션을 더 쉽고 더 빠르게 데이터 통합을 가능케 한다. 아페로 GPL과 아파치 라이선스를 결합하여 공개된 몽고DB는 자유-오픈 소스 ..

주의사항 이 글은 DIOK2 스터디에서 진행한 내용을 바탕으로 작성한 내용입니다. 공부중인 내용이기때문에, 틀린 부분이 있을수 있습니다. 기본 용어 정리 Kubernetes: 선언적 상태관리 시스템 Operator: K8s 애플리케이션을 패키징, 배포, 관리하는 방법론 Operator Pattern: K8s에서 Operator 방법론을 사용해서 확장하는 패턴 Operator Framework: K8s에서 Operator를 실제 구현하고 관리하는 프레임워크 CRD: Operator를 사용할 상태관리용 오브젝트들의 Spec을 정의 CR: CRD의 Spec을 따르는 오브젝트들의 실제 데이터 상태 CC(Custom Controller): CR의 상태를 기준으로, CR을 desire stated로 바꾸기위해서 처..