선요약
- Namenode, TaskTracker가 블록을 탐색할때 파일의 정보를 최대한 빨리 찾기 위해서, 메타정보를 줄이기 위한 용도로 사용한다
이름설명
Name node : 하둡 분산파일시스템에 대한 Master 역할 (데이터의 메타데이터 저장)
Task tracker(TT) : 어플리케이션 관리에 대한 Slave역할. 일을 실제로 하는 역할
Block 저장
하둡에서 사용하는 HDFS포맷(하둡파일시스템) 의 특징인데 하나의 파일을 여러개의 Block으로 쪼개서 저장한다.
초기엔 64MB를 디폴트로 설정하여 저장했는데, 지금은 128MB를 디폴트로 사용중이다
왜 128MB 인가?
256, 512로도 바꿀수 있긴 하지만, 디폴트는 128mb
128mb면 좀 큰단위긴한데, 위에 나와있는 Namenode, TaskTracker등이 블록을 탐색할때 파일의 정보를 최대한 빨리 찾기위해서, 메타정보를 줄이기 위한 용도로 사용
블럭 단위가 크면, 상대적으로 파일을 seek하는데서 시간소모가 적을거고, 그러면 남는 시간을 네트워크로 데이터를 전송하는데서 시간을 소모할수 있음
'DATA Engineering > Hadoop' 카테고리의 다른 글
| MapReduce 튜닝하기 (0) | 2022.11.01 |
|---|---|
| WordCount예제로 보는 Map & Reduce (1) | 2022.11.01 |
| Secondarynamenode(SNN), fsimage, HDFS Balancer (0) | 2022.11.01 |
| Datanode가 죽었을때, Masternode가 죽었을때 (0) | 2022.11.01 |
