메모리 부족 이슈 : Unexpected bus error encountered in worker. This might be caused by insufficient shared memory 의 올바른 해결법
·
Cloud/Docker
INTRO로컬에서 작동하는 Pytorch 모델을 docker image로 만들어 작동시키려 하면Unexpected bus error encountered in worker. This might be caused by insufficient shared memory 라는 에러메세지를 뜨곤한다. 이 에러는 현재 도커이미지를 실행시키기엔 할당된 메모리가 부족하단것이고, 그에 대한 해결책으로 제시되는 방법 중 하나는docker run 할때 --ipc=host 파라미터를 사용하는것이다.  하지만 과연 이 방법이 올바른 방법일까? Docker 리소스 옵션에 대해우선 Docker 리소스 옵션에 대해서 이해해야한다. 기본적으로 Docker는 시스템에서 할당한 리소스만큼만 사용가능하다. Docker Desktop App..
Numpy Array Memory구조 확인하기
·
Dev
Python List vs Numpy Array 메모리 구조 Python List Numpy Array Python List는 List 내부에 공간이 먼저 할당되고, 공간이 각각의 Value값이 있는 Integer Objects를 바라보고 있다는 것이다 이에 대비한 Numpy Array는 Array Object 내부에 할당된 공간이, 실제 Integer Object가 있는 장소 라는것이다 Numpy array Memory Numpy array = rawdata(refer to databuffer) + rawdata에 대한 정보 연속형 고정블록 메모리를 가지고있다(C-order or Fortran-order) rawdata Numpy array에서 가지는 rawdata는 다음과 같은 정보를 가지고 있다 데..
jjongguet