회사에서 쿠버네티스를 만지면서 든 생각이다. 데이터 인프라를 K8s 에 올리는게 과연 좋을까? 아무것도 모르는 사람이 데이터 파이프라인을 구축한다면? 일반적으로 ELK스택을 구축하는 토이프로젝트를 한다면 어떻게 환경을 구성하는게 나을까? AWS에서 EC2서버를 4개 띄운다음에, 인바운드-아웃바운드로 포트 뚫어주고, 인스턴스끼리 서로 통신할수 있도록 환경을 만들것같다. 그리고 인스턴스에 Beats(데이터 소스역할), Logstash, ES, Kibana 를 설치하고 연결한 데이터파이프라인을 만들것같다. 일반적으로 프로그램은 두가지 방식으로 설치한다 위 상황에서 일반적으로 프로그램을 설치하는 방법은 2가지의 방법으로 나뉘는거같다. 첫번째 방법은 apt-get 같은 패키지명령도구를 사용하는것이다 두번째 방법은..

사용하려는 우분투 버전 22.04.01(LTS) IP변경하기 sudo vim /etc/netplan/00-installer-config.yaml addresses 항목 값을 {원하는 IP}로 변경하기 sudo netplan apply 이후 리부팅 hostname 변경 sudo hostnamectl set-hostname {원하는이름} sudo hostnamectl -hostname {원하는이름} 으로 변경 /etc/hosts sudo vim /etc/hosts #127.0.1.1 에 {원하는 이름}으로 지정

브로커 서버는 “server-01, server-02, server-03” 으로 지정 토픽 이름은 “test” 로 지정 콘솔에서 진행 #토픽 만들기 bin/kafka-topics.sh \ --bootstrap-server server-01:9092, server-02:9092, server-03:9092 \ --replication-factor 2 --partitions 3 \ --topic test --create #프로듀서로 토픽에 메세지보내기 bin/kafka-console-producer.sh \ --bootstrap-server server-01:9092, server-02:9092, server-03:9092 \ --topic test #컨슈머로 보낸메세지를 확인하기 bin/kafka-cons..

상황설명 우분투를 설치하고 나서 사용할수 있는 디스크 용량이 기존 설정된 용량보다 적은 경우를 본적이 있을것이다. 나도 그랬다. 내가 할당한 디스크용량은 100GB인데, 실제로 우분투에서 할당된 디스크 용량은 50GB였다. 원인 도대체 무엇이 문제인가 싶어서 확인해본결과 우분투를 설치하는동안, 디스크 옵션을 디폴트로 지정했던것이 문제였다. 디폴트로 설치하는 경우, 우분투는 LVM 이라는 파티션을 설정한다. 이 파티션은 임시파티션 혹은 복원파티션 같은 역할을 하는데, 용량이 꽤나 많이잡아먹는다 따라서 용량을 제대로 설정해주기 위해서는 할당된 LVM 을 해제해주어야한다 해결방법 # 디스크 설정값 확인하기 # 내 os가 어디에 설치되어있는지 용량 확인하기 df -h # LVM용량 해제하기 sudo lvexte..

💡 OpenInfra & Cloud Native Days Korea 2022에 발표했던 오픈소스 분산 로그 저장소와 메세지큐로의 활용 발표세션을 듣고 정리한 내용입니다. 로그(log) 단일시스템에서는 상태복구에 사용 분산시스템은 공유가능한 로그를 상태동기화에 사용 WAL(Write ahead logging) : 어떤 명령을 실행하기전에, 로그먼저 남기고 실행 SMR (State Machine Replication) : 분산데이터베이스 인덱스 동기화. 분산로그 저장소 SMR(State Machine Replication)을 위한 공유로그 저장소 로그를 서버 1개에만 기록하는것이 아니라, 여러서버에 나눠서 저장한다는 게 특징 메세지 큐 처럼 써도 되고, WAL로그를 남길때, 분산 transaction을 남길..

해피해킹 25주년에 걸맞는 25주년 제품의 발매 원문 : https://www.hhkeyboard.com/uk/press/press-release-25-years-of-happy-hacking-keyboard 2022년은 해피해킹이 만들어진지 25년이 되는해이다. 그래서 해피해킹은 이를 기념하고자 25th 기념 해피해킹 스노우 라는 모델을 만들어 한정판매했다. 제품의 발매가는 일반적인 해피해킹 하이브리드 타입s 제품과 비슷했으나, 한정판매라는 이름에 걸맞게 국내에서는 미개봉 중고가로 80-100만원 정도였다 그러던 중, 갑자기 25주년 제품을 상시판매하기로 했다 2022년 10월 중순에 갑자기 해피해킹은 스노우모델을 상시판매하기로 했다. 이유인 즉슨, 25주년 한정판 모델의 인기가 너무 좋았기 떄문이다...

RAID(Redundant Array of Independent Disk) 여러개의 디스크에 일부 중복된 데이터를 나눠서 저장하는 기술을 의미한다 주된 사용 목적으로는 다음과 같다 무정지 구현 : RAID 1 고성능 구현 : RAID 0 무정지, 고성능 혼용 : RAID 01, RAID 10 두가지 타협 : RAID 5, RAID 6 RAID 0 데이터의 빠른 입출력을 위해서 여러디스크에 분산저장 데이터 유실발생시에, 복구를 할수없음 RAID1 장애를 대비해서 복제된 디스크를 구성 데이터 유실발생시에, 복구를 할수 있으나 전체용량의 절반을 복구용으로 사용함 RAID5 디스크 하나가 장애 날 경우, 복구하기위한 정보(Parity)를 나누어 저장하는 형태 RAID6 2개의 Parity를 구성함으로써 안정성을..

VM vs Container 용어 정리 Container Application이 구동되는 환경까지 감싸서, 실행할수 있도록 하는 격리 기술 Container Runtime Container를 다루는 도구 Docker Container를 다루는 도구 중 가장 유명한 것 Orchestration 여러서버에 걸친 컨테이너를 사용, 관리하는 행위 Kubernetes(이하 K8s) Container런타임을 통해, Container를 Orchestration하는 도구 Virtualized vs Container VM방식과 Container방식은 가장 큰 차이점은 GuestOS 가 존재하는가? 이다 Container방식은 OS(GuestOS)를 만들지않고, ContainerRuntime(Docker는 DockerEn..

이 사이트는 무슨 사이트일까? 링크 : https://dlcdn.apache.org/ 이 사이트는 일종의 아카이브로서, 아파치재단에서 만든 모든 프로젝트가 존재하는 아카이브다. 프로젝트로 만들어진 모든 프로그램의 최신버전이 존재한다 무조건 최신버전만 찾을수 있나? 꼭 그렇지만은 않다. 홈페이지의 첫번째 문단의 하이퍼링크된 archive site를 눌러보면 https://archive.apache.org/dist/ 링크로 연결되는데, 이 페이지는 프로그램의 모든 버전이 존재한다 그래서 여기 페이지를 뭐할떄 쓸수있나? 결론적으로 말하면, 프로그램을 다운로드 받을때 페이지를 사용할수 있다. 예를 들어서 Apache Airflow 1.10.9버전을 다운로드 받고싶다면 해당사이트로 이동한다 https://arch..

M1 Mac환경이고, 크롬브라우저와 네이버웨일브라우저를 대상으로 진행하였습니다. 증상 근데, 강의 소리랑 자막은 정상출력되는데 화면이 검정배경으로만 출력되는 증상을 경험하였습니다. 이 증상은 간헐적으로 나타나는증상같습니다. 왜냐하면, 일부 동영상에서는 정상적으로 보이기때문입니다 해결방법 해결방안으로는 브라우저의 하드웨어가속을 off 해주면됩니다. [크롬브라우저] 설정 - 시스템 - 가능한 경우 하드웨어 가속 사용 [OFF] [웨일 브라우저] 설정 - 성능 및 기타 - 시스템 - 가능한 경우 하드웨어 가속 사용 [OFF]