맵리듀스(MapReduce)

1. 개념

- 구글에서 분산 병렬 컴퓨팅을 이용해 대용량 데이터를 처리하기 위한 목적으로 제작한 소프트웨어 프래임워크

- map mask 하나가 1개의 블록을 대상으로 연산을 수행

- 사용자가 지정한 개수에 해당되는 reduce task들이 받아와서 정렬 및 필터링 작업 후 최종 결과물 만들어냄

​

2. 폴트톨러런스

- 각 프로세스에서는 master에게 task진행 상태를 주기적으로 보낸다