WordCount예제로 보는 Map & Reduce
·
DATA Engineering/Hadoop
Word Count 예제 흔히 말하는 MapReduce 는 Map태스크와 Reduce태스크로 구성되고, 이를 설명하기 위해 WordCount예제를 들어보려고한다 위 예제는 전체 Input중에 동일한 단어가 몇번이나 나오는지를 확인하는 예제이다 MapReduce의 태스크는 크게 4가지 부분으로 구성된다 전체는 Spliting, Mapping, Shuffling, Reducing으로 구분되고 그중 Map Task는 Spliting & Mapping Reduce Task는 Shuffling & Reducing 을 지칭한다 JOB 튜닝 블록크기 → namenode heap메모리에 영향받음. 128mb replication 갯수 : (복제갯수)일반적으로 3 CHILD 프로세스 재사용 : Map or Reduce태..
jjongguet
'wordcount' 태그의 글 목록