Python def, *args, **kwargs 정리
·
Dev
함수는 왜 정의하는가? 내가 원하는 소스코드를 입맛대로 묶어놓을수 있기 때문이다. 차근차근히 보자 Def문 Def 키워드는 함수를 정의할때 쓰는거다 주요 형식은 이렇다 def 함수이름(변수1, 변수2, 변수3 ...): 내용1 내용2 내용3 ... 단, 주의할점은 def 함수이름(변수1, 변수2, 변수3 ...): 이 끝난 이후 줄바꿈을 하고, 탭(띄어쓰기4칸) 을 꼭 해야한다는것이다. 이건 Python에서 정해놓은거다 예제로 보자 def hello_func(a1): print("Hello", a1) hello_func("apple") """result""" Hello apple 이때 def hello_func(a1): 부분을 함수의 정의라고 부르고 hello_func("apple") 부분을 함수의 호출..
코랩자원 → 로컬로 끌어오기 (with ngrok)
·
Dev
이게 말이나 되냐? 부스트캠프에서 제공되는 V100 서버가 회수당하고 나는 GPU난민이 되어버렸다 그래픽 카드를 하나 장만해야하나 싶어서 찾아봤는데 누가 혹시 글카값을 복사기에 넣고 돌렸나요? 그래서 해결책은 코랩입니다. 어떻게하면 Colab의 컴퓨팅자원을 VSC에 끌어올수 있는지 확인해보자 ngrok 설치 링크 : https://dashboard.ngrok.com/get-started/setup ngrok 홈페이지의 프로그램 다운항목에 들어가서 본인 OS에 맞는 프로그램을 다운로드받는다 윈도우기준으로 ngrok-stable-windows-amd64 압축파일이 생기고 압축해제 이후, ngrok.exe 파일을 실행시킨다 설치가 된건지도 몰랐는데, 설치가 끝났다 Colab → ngrok token Run #..
자주쓰는 Conda 명령어
·
Dev
가상환경 생성 : conda create -n 가상환경이름 python=3.8 -y 가상환경 활성화 : conda activate 가상환경이름 필요패키지/라이브러리 설치 : pip install -r requirements.txt 가상환경 비활성화 : conda deactivate 가상환경 리스트 : conda env list 가상환경 지우기 : conda env remove -n 가상환경이름
VSC 개발환경 설정
·
생산성, 개발장비
시작하기전에 apt update apt upgrade -y Theme One dark pro zsh install curl apt-get install curl install zsh apt-get install zsh sh -c "$(curl -fsSL https://raw.githubusercontent.com/ohmyzsh/ohmyzsh/master/tools/install.sh)" plugin : auto suggestion git clone https://github.com/zsh-users/zsh-autosuggestions ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-autosuggestions plugin : syntax highlighting git ..
섹션 2. 카프카 기본 개념 설명
·
DATA Engineering/Kafka
브로커, 주키퍼 브로커 카프카 클라이언트와 데이터를 주고받기 위해 사용하는 주체 데이터를 분산저장하여 장애가 발생하더라도, 안전하게 사용할수 있도록 해줌 1개의 서버에, 1개의 카프카 브로커 프로세스가 실행된다 데이터를 안전하게 처리하기위해, 3대이상의 브로커 서버를 1개의 클러스터로 묶어서 사용 주키퍼 카프카 클러스터를 실행하기 위해서 주키퍼를 사용 카프카 클러스터 갯수에 맞춰서, 주키퍼도 갯수를 맞춤 주키퍼의 root znode에, 카프카클러스터별 znode를 만들고 카프카 클러스터 실행시 주키퍼의root가 아닌, 클러스터별znode로 설정해서 실행 브로커 역할 컨트롤러 카프카 클러스터의 다수브로커 중 한대가 컨트롤러 역할을한다. 컨트롤러는 다른브로커들의 상태를 체크하고, 브로커가 클러스터에서 빠지면..
섹션 1. 아파치 카프카의 역사와 미래
·
DATA Engineering/Kafka
정리용 간단용어설명 [K] : Kafka, 카프카 (D) : DATA, 데이터 [P] : Producer, 프로듀서 [C] : Consumer, 컨슈머 Kafka는 링크드인의 장애를 막으려고 만들었다 Source APP : Target APP 1 : 1 로 대응되는 시스템관계에서 시스템이 확장되면 → N : M 까지 사이즈가 커짐 이때 장애가 발생한다면? 하나의 시스템에 연동된 모든 APP에 장애가 발생하는 상황이 되는거임 초기 Linkedin에서는 N개의 Source APP ⇒ M개의 Target APP 의 관계를 가지고 있었는데 중앙 시스템이 없다보니, 프로그램 관리가 너무 힘들엇음 Kafka는 내부 데이터 흐름 개선을 위해서 만들었다 메세지 큐 구조 카프카는 다음과 같은 구조를 가지고있다 [Prod..
N2T (티스토리 업로드) 사용기
·
일상후기
태초에 Notion2Tistory가 있었다. 노션의 단점은 크게 4가지라고 생각한다. 검색엔진 최적화가 안되는 것 티스토리 광고수익이 안된다는 것 markdown형식으로 빼내면, 이미지 링크가 적용안된다는점 3의 이유로 깃블로그에 완벽 호환이 안된다는 점 그래서 https://boltlessengineer.tistory.com 나사빠진 공돌이 님의 ‘Notion2Tistory’를 알아봤었는데, 이게 노션이 지속적으로 업데이트되면서 막혔고? Notion페이지를 Tistory로 호환시키기엔 매우 힘들었다. 의문의 깃허브를 보게되는데 Notion과 Tistory를 연결해서, 자동으로 포스팅되게한다니… 이게 되나? 싶었다. 그래도 속는셈 해보자 링크 https://github.com/jmjeon94/N2T ht..
LG전자 34wn750 를 사려는 사람들에게
·
생산성, 개발장비
나는 34wn750제품을 약 2달정도 사용하였고 그 후기를 적어보려한다. 결론부터 말할자면 '살거면 사도된다. 그런데 조금만 따져보고 사라' 라는거다 모니터를 구매할때 정할것은 크게 4가지이다 1. 주사율 (144이상 or 60) 2. 패널 (IPS or VA) 3. 크기 (24,27,32,34...) 4. 해상도 (FHD, QHD, UHD ...) 만약에 이 게시글을 읽고 있는 사람이라면 IPS패널의 34인치 옵션의 평면 WQHD 모니터를 구매하려는 사람일것이다. 조금만 따져보고 사라고하는 이유는 다음과 같다 1. 이상한 색감 필자는 AOC 27g2s, AOC 24g2 의 모니터를 팔고 34WN750을 구매했는데 이 모니터의 색감에는 내 눈이 익숙해질 기미가 전혀보이지않았다 필자가 현재 사용중인 M1맥..
트리와 애플 매직패드 트레이 리뷰
·
생산성, 개발장비
데스크셋업중 가장 만족하는 제품인 '트리와 애플 매직패드 트레이' 를 리뷰해보려고한다 제품사진 제품사진만 봐놓고선 "엥 이걸 그래서 왜 쓰는 거에요?" 할수 있다 이 제품은 애플매직트랙패드를 넣을수 있는 팜레스트라서 매직트랙패드를 사용하는 사람만이 필요로 하는 제품이다 실제로 사용하는 모습을 보자 팜레스트 나무 빈공간에 트랙패드를 놓고 나무 윗부분에 키보드를 놓아서 거치하는 방식이다 이렇게했을때의 장점은 팜레스트와 키보드의 높이를 동일하게 맞출수 있고 키보드 하단에 트랙패드를 배치할수 있어서 공간활용이 좋아진다는 점이다 이 제품을 사용하면 기존( 좌(트랙패드), 중앙(키보드), 우(마우스)) 위치배열에서 (상단(키보드), 하단(트랙패드), 우(마우스))의 형태로 사용할수 있다 제품소개 및 주의사항 1. ..
SCP로 가상환경-로컬 간 파일 전송하는법
·
Dev
읽어야하는 대상 1. VM을 쓰고있는 사람 2. UTM을 쓰고있는 사람 3. VM-Local 간 파일전송을 하고싶은사람 로컬 → 원격지 단일파일 이동 : scp [옵션] [파일명] [원격지_id]@[원격지_ip]:[받는 위치] 복수파일 이동 : scp [옵션] [파일명 1] [파일명 2] [원격지_id]@[원격지_ip]:[받는 위치] 디렉토리 이동 : scp [옵션] [디렉터리 이름] [원격지_id]@[원격지_ip]:[보낼 경로] #원격VM 주소 : 192.168.?.? #원격VM 저장주소 : ~/Downloads #로컬에서 보낼 파일 : stylegan.png #원격VM 이름 : jjongguet scp stylegan.png jjongguet@192.168.?.?:~/Downloads #띄어쓰기에 매..
jjongguet
뒤죽박죽 데이터엔지니어링