이 사이트는 무슨 사이트일까? 링크 : https://dlcdn.apache.org/ 이 사이트는 일종의 아카이브로서, 아파치재단에서 만든 모든 프로젝트가 존재하는 아카이브다. 프로젝트로 만들어진 모든 프로그램의 최신버전이 존재한다 무조건 최신버전만 찾을수 있나? 꼭 그렇지만은 않다. 홈페이지의 첫번째 문단의 하이퍼링크된 archive site를 눌러보면 https://archive.apache.org/dist/ 링크로 연결되는데, 이 페이지는 프로그램의 모든 버전이 존재한다 그래서 여기 페이지를 뭐할떄 쓸수있나? 결론적으로 말하면, 프로그램을 다운로드 받을때 페이지를 사용할수 있다. 예를 들어서 Apache Airflow 1.10.9버전을 다운로드 받고싶다면 해당사이트로 이동한다 https://arch..

M1 Mac환경이고, 크롬브라우저와 네이버웨일브라우저를 대상으로 진행하였습니다. 증상 근데, 강의 소리랑 자막은 정상출력되는데 화면이 검정배경으로만 출력되는 증상을 경험하였습니다. 이 증상은 간헐적으로 나타나는증상같습니다. 왜냐하면, 일부 동영상에서는 정상적으로 보이기때문입니다 해결방법 해결방안으로는 브라우저의 하드웨어가속을 off 해주면됩니다. [크롬브라우저] 설정 - 시스템 - 가능한 경우 하드웨어 가속 사용 [OFF] [웨일 브라우저] 설정 - 성능 및 기타 - 시스템 - 가능한 경우 하드웨어 가속 사용 [OFF]

kafka-topics.sh #만들겠다. 브로커서버는 kafka1이고. 복제본갯수는 3이며. 파티션갯수는 1개다. 토픽이름은 test-topic02다 --create --bootstrap-server kafka1:9092 --replication-factor 3 --partitions 1 --topic test-topic02 #지우겠다. 브로커서버는 kafka1이고. 토픽이름은 test-topic02다 --delete --bootstrap-server kafka1:9092 --topic test-topic02 #확인하겠다. 브로커서버는 kafka1이고. 토픽이름은 test-topic02다 --bootstrap-server kafka1:9092 --topic test-topic02 --describe #만..

이전 게시글 ‘AWS EC2에 Kafka 설치하기’의 다음 내용입니다. 서버1에서 서버2의 토픽을 만듭니다 /usr/local/kafka/bin/kafka-topics.sh \ --create \ --bootstrap-server kafka2:2181 \ --topic jjongguet2 서버2에서 console-consumer를 열어서 토픽을 받아들일 준비를 합니다 /usr/local/kafka/bin/kafka-console-consumer.sh \ --bootstrap-server kafka2:9092 \ --topic jjongguet2 이전에 존재하는 메세지가 존재한다면 --from-beginning 옵션을 써서 이전 데이터를 먼저 가져와도 무방합니다 서버1에서 console-producer를 ..

서버 구성 Amazon Linux 2 : Kernel 54.10, 64비트 인스턴스 : t2.medium 키페어 이름 : keypair (pem형식) Storage 1 x 50GB(GiB) 보안그룹이름 : peter-sg-kafka 유형 프로토콜 포트범위 소스 모든트래픽 모두 0-65535(전체) 사용자지정(Custom) 172.31.0.0/16 모든 TCP TCP 0-65535(전체) 내 IP(My IP) Server public private 연결 kafka1 3.83.193.229 172.31.84.60 ssh -i keypair.pem ec2-user@{public} kafka2 54.237.164.107 172.31.80.29 키페어 sudo chmod 600 keypair.pem 주의)루트유저..

맥북에서 시스템환경설정 → 사용자 및 그룹 에 가서 확인해보면 내가 관리자니까, 당연히 root권한이 있을줄 알았는데 아니다. 따로 지정해주어야한다. #터미널에서 dsenableroot 반대로, 루트권한을 해제하는 경우에는 #터미널에서 dsenableroot -d -u {유저이름}

주의 이 리뷰는 매우 낮은 수준에서 진행한 리뷰입니다. 가볍게 읽기를 권장하며, 관심있으신분들은 원본 자료를 찾아보시기를 권장합니다 *Scalog 논문 : https://www.usenix.org/conference/nsdi20/presentation/ding *발표영상 링크 : https://www.youtube.com/watch?v=pfpjKNZA-d4 NSDI '20 - Scalog: Seamless Reconfiguration and Total Order in a Scalable Shared Log Key point total order shared log → 분산환경에서도 로그가 안꼬여야하고 unusally scalable → 확장 가능성을 항상 염두해둬야하고 only totally shared..

DASK SCHEDULER https://docs.dask.org/en/stable/scheduling.html Scheduler는 2가지로 구분된다 Single Machine용 스케쥴러 Basic futures on local thread or process default로 설정되어있음 Distributed용 스케쥴러 more futures on local or distributed cluster DASK의 Distributed Scheduler https://distributed.dask.org/en/stable/ Dask.Distributed 는 스케쥴러를 관리하는 일종의 모듈인데 다음과 같은 특징을 가진다 적은 지연성 : 오버헤드가 적다 데이터 공유 : dask-worker들이 데이터를 공유하고 ..

DASK DELAYED dask.delayed 인터페이스로 테스크를 병렬화시켜서 할당하는게 가능함 말 그대로 Task를 DELAYED(지연) 시키는 기능이 가능하다 이 기능을 써서 내가 원하는 시점에 특정 TASK를 사용할수 있게 한다 e.g. def inc(x): return x + 1 def double(x): return x * 2 def add(x, y): return x + y data = [1, 2, 3, 4, 5] #Sequential output = [] for x in data: a = inc(x) b = double(x) c = add(a, b) output.append(c) total = sum(output) #Parallel import dask output = [] for x in..

DASK 란 무엇인가 두가지 목적에 의해 만들어졌다 연산작업 최적화를 위한 동적 작업 스케쥴링기능 분산환경으로 올려서 처리하는 병렬화 기능 DASK 의 구성 Collections → Task Graph → Schedulers 의 세 부분으로 구성되어있다 DASK DataFrame 특징 Dask dataframe은 pandas dataframes을 기반으로 구현이 되었음 따라서 Dask dataframe 작업은, Pandas dataframe 작업을 기반으로 작동한다고 생각하면 됨 dask Dataframe은 pandas Dataframe API를 비슷하게 사용할수 있음 현재 사용가능한 환경을 넘어서, 더 많은 리소스를 사용할수 있는 환경에서 연산이 가능하게 됨 Dask Dataframe는 row-wise..