교재 : 러닝스칼라 깃허브 : https://github.com/Jpub/LearningScala GitHub - Jpub/LearningScala: 리포지토리 리포지토리. Contribute to Jpub/LearningScala development by creating an account on GitHub. github.com 유데미 : https://www.udemy.com/course/best-scala/ 【한글자막】 스파크 스트리밍과 Scala 로 빅 데이터 스트리밍하기 (실전편) 실시간으로 구조화된 스파크 스트리밍, 카프카 통합 및 실시간 스트리밍 빅 데이터를 다루는 스파크 스트리밍 튜토리얼 www.udemy.com 러닝스칼라 먼저떼고 스칼라스파크 하는걸 목표로 진행

선요약 Displaylink 앱을 사용하면 m1맥북에어에서 외장모니터를 2대 쓸수 있다. 이때 Displaylink를 지원하는 USB_C_to_HDMI_Converter가 필요하다. M1에서는 왜 외부모니터 1대밖에 못쓸까? 왜긴….. 그렇게만 공식적으로 지원하니까..! (그러나 우린 답을 찾을것이다. 늘 그렇듯이) Displaylink 를 사용한 소프트웨어적 문제해결 Displaylink를 통해서, 2대의 외부모니터를 사용할수 있다. 우선 필자의 환경을 공유한다. M1맥북에어 - USB_C 포트 - 충전기 - USB_C 포트 - Ctype_Hub - HDMI - 모니터1 - USB_A_to_HDMI_Converter - HDMI - 모니터2 M1맥북에어에는 USB_C포트가 총 2개 있는데 각각 충전기와..

링크 : https://www.acmicpc.net/problem/2661 문제 : 아이디어 : N-Queen이랑 비슷해보인다 입력 길이만 주고 → 결과를 리턴 제한조건(동일한 숫자가 연속해서 나타나면 x ) 를 보고 → 백트래킹해서 가지치면서 진행해야겠다 까지생각했음 DFS를 써야겠다 BFS로 하면 안될거라고 생각했던게, 애초에 백트래킹할때 DFS로밖에 못한것도있고, 메모리제한이 128메가라서 1, 2, 3 순서대로 재귀 진행하면, 길이가 n 인상태에서 리턴되는 제일빠른 숫자가 정답 이라고 생각했다 망한코드 import sys input = sys.stdin.readline sys.setrecursionlimit(10**6) N = int(input().strip()) words = ['1', '2',..

링크 : https://www.acmicpc.net/problem/2661 문제 아이디어 : N-Queen이랑 비슷해보인다 입력 길이만 주고 → 결과를 리턴 제한조건(동일한 숫자가 연속해서 나타나면 x ) 를 보고 → 백트래킹해서 가지치면서 진행해야겠다 까지생각했음 DFS를 써야겠다 BFS로 하면 안될거라고 생각했던게, 애초에 백트래킹할때 DFS로밖에 못한것도있고, 메모리제한이 128메가라서 1, 2, 3 순서대로 재귀 진행하면, 길이가 n 인상태에서 리턴되는 제일빠른 숫자가 정답 이라고 생각했다 망한코드 import sys input = sys.stdin.readline sys.setrecursionlimit(10**6) N = int(input().strip()) words = ['1', '2', '..

링크 : https://www.acmicpc.net/problem/2661 문제 : 아이디어 : N-Queen이랑 비슷해보인다 입력 길이만 주고 → 결과를 리턴 제한조건(동일한 숫자가 연속해서 나타나면 x ) 를 보고 → 백트래킹해서 가지치면서 진행해야겠다 까지생각했음 DFS를 써야겠다 BFS로 하면 안될거라고 생각했던게, 애초에 백트래킹할때 DFS로밖에 못한것도있고, 메모리제한이 128메가라서 1, 2, 3 순서대로 재귀 진행하면, 길이가 n 인상태에서 리턴되는 제일빠른 숫자가 정답 이라고 생각했다 망한코드 import sys input = sys.stdin.readline sys.setrecursionlimit(10**6) N = int(input().strip()) words = ['1', '2',..

선요약 서버리스를 쓴다면 유지보수의 불필요, 운영비용 절감, 자원의 AutoScaling 측면때문에 사용한다 서버리스를 안쓴다면 보안문제, 공급업체 의존성, 적은 레퍼런스 때문에 사용하지않는다. FaaS(Function), BaaS(Backend) 로 구분된다 e.g ) AWS Lambda 서버리스의 특징 유지보수의 불필요 서버를 프로비저닝, 유지관리할 필요가 없다(APP만 개발하면 된다) 유연한 확장 애플리케이션을 자동으로 확장시킬수 있다 개별서버단위가 아니라 사용단위(처리량,메모리) 를 설정해서 용량을 조정할수 있다 종량제 요금 서버 단위가 아닌 일관된 처리량, 실행기간에 대해 요금을 지불한다 고가용성 서버 자체에서 가용성과 내결함성을 가지고있다. APP에서 이러한 기능을 설계할 필요가없다 보안이슈 ..

데보션 테크세미나 : 데이터 플랫폼 구현 사례 (22.07.29) 0. Intro SK DEVOCEAN 에서 ‘데이터 플랫폼 구현 사례' 발표를 들으며, 따로 메모해둘만한 내용들을 기록했습니다. 원본 링크는 https://devocean.sk.com/vlog/view.do?id=331&vcode=A03 이며 페이스북 링크는 https://www.facebook.com/groups/devocean 입니다 1. Data -1. DataLake vs DataWarehouse DataLake 는 ‘찐 raw 데이터' 진짜 실제 가공하지 않은 쌩 데이터들이 모여있는것 가공하지않고, 전체데이터라는것이 특징 DataWarehouse는 DataLake에서 ‘이건 좀 가공해서 써야겠다' 싶은 데이터들을 빼둔것 가공했기때..

현재경로 : $(pwd) 컨테이너 이미지 이름 : test1 컨테이너 내부경로 : /tmp/images 로컬 → Docker 컨테이너 #docker cp {로컬파일상대경로} {컨테이너이름:컨테이너내부경로} docker cp $(pwd) test1:/tmp/images Docker 컨테이너 → 로컬 #docker cp {컨테이너이름:컨테이너내부경로} {로컬파일상대경로} docker cp test1:/tmp/images $(pwd)

VSCode 설치 https://code.visualstudio.com/ 폰트1 : D2Coding https://github.com/naver/d2codingfont/releases Releases · naver/d2codingfont D2 Coding 글꼴. Contribute to naver/d2codingfont development by creating an account on GitHub. github.com 폰트2: 산돌고딕네오 WSL2 https://docs.microsoft.com/ko-kr/windows/wsl/install dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /nores..

선요약 Data처리량 증가에 대한 가장 빠른 해결방법은 Consumer와 Partition 갯수를 늘리는것이다 Partition 갯수를 늘릴수는 있지만, 줄일수는 없다. Partition을 제거하게되면, 제거된 Partition의 Segment를 재배치 해줘야한다. Segment를 재배치 하는 리소스가 복합적으로 너무 방대해서, 해당 기능을 제공하고있지 않다. 이 내용은 인프런 데브원영 강의. 아파치 카프카 애플리케이션 프로그래밍 강의 중, 챕터4에서 나온 내용입니다. 문제상황 kafka-topics.sh 를 사용하여 토픽을 생성합니다. 따로 옵션을 수정하지 않아서 기본옵션으로 생성됩니다. 이후 alter 옵션을 사용하여 Partition의 갯수를 10개로 늘립니다 이 부분은 카프카의 핵심입니다. Dat..