기존 MapReduce 아키텍쳐 : INPUT → Mapper → Shuffle&Sort → Reducers → OUTPUT Yarn (MapReduce2)을 사용 튜닝 MapReduce INPUT → Mapper → Combiner → Partitioner → Shuffle&Sort → Reducer → OUTPUT Shuffle & Sort 에서 트래픽이 너무 많이 발생하는데, 이 부분을 줄이는것을 목표로 튜닝을 진행하려고 함 Mapper, Partitioner에서 나오는 Key를 줄여서, 네트워크 간 트래픽을 최소화 시켜야 한다 튜닝 방법 메모리 튜닝-Xms1024M -Xmx2048M : Java 힙 메모리 조절하기. Xms는 최소, Xmx는 최대 힙메모리 mapred.child.java.opts ..