Google MapReduce架构设计

前情回顾

Google MapReduce到底解决什么问题？

Google MapReduce是Google产出的一个编程模型，同时Google也给出架构实现，它能够解决“能用分治法解决的问题”。

----

Google MapReduce有啥巧妙优化？

• 分区函数：保证不同map输出的相同key，落到同一个reduce里
• 合并函数：在map结束时，对相同key的多个输出做本地合并，节省总体资源
• 输入文件到map如何切分：随意，切分均匀就行

画外音：看懂了这个流程，对工程架构的理解，会容易很多。

上述执行流程，Google MapReduce通过怎样的工程架构实现的呢？

先看下总体架构图，有个直观的印象。

用户使用GoogleMR系统，必须输入的是什么？

输入数据，必选

画外音：否则系统处理啥。

map函数，必选

reduce函数，必选

画外音：分治法，分与合的业