首页 > 其他分享 >MapReduce核心概念及架构

MapReduce核心概念及架构

时间:2023-01-10 11:02:28浏览次数:41  
标签:map 架构 处理 核心 reduce MapReduce 程序员 数据

MapReduce简介

MapReduce常用于对大规模数据集(大于1TB)的并行运算,或对大数据进行加工、挖掘和优化等处理。 MapReduce将并行计算过程高度抽象到了两个函数map和reduce中,程序员只需负责map和reduce函数的编写工作,而并行程序中的其它复杂问题(如分布式存储、工作调度、负载均衡、容错处理等)均可由MapReduce框架代为处理,程序员完全不用操心。
MapReduce技术特征:
 横向扩展,而非纵向扩展
 失效被认为是常态
 将处理向数据迁移
 顺序处理数据
 隐藏系统层细节
 平滑无缝的可扩展性

MapReduce设计思想

MapReduce核心概念及架构_Hadoop


例如,求和:1+2+3+4+5+6+7+8+9+10=?,执行原理如下:

MapReduce核心概念及架构_大数据_02

MapReduce工作原理

简述MapReduce的设计思想及使用MapReduce编写程序的步骤。(自己总结)

MapReduce处理大数据集的计算过程是将大数据集分解成为成百上千的小数据集,每个(或若干个)数据集分别由集群中的一个节点进行处理并生成中间结果,然后这些中间结果会进行合并,从而得到最终结果。

MapReduce核心概念及架构_MapReduce_03

MapReduce任务流程

MapReduce核心概念及架构_大数据_04

更多内容及Java+大数据个人原创视频,可关注公众号观看:

MapReduce核心概念及架构_大数据_05


原创文章,转载请注明出处!!



标签:map,架构,处理,核心,reduce,MapReduce,程序员,数据
From: https://blog.51cto.com/dreamboy/5999412

相关文章

  • ZooKeeper核心概念和架构
    ZooKeeper简介ZooKeeper是一个分布式应用程序协调服务,主要用于解决分布式集群中应用系统的一致性问题。它能提供类似文件系统的目录节点树方式的数据存储,主要用途是维护和监......
  • 带你认识数仓的增量备份核心设计
    摘要:增量备份是重要的常规备份策略,正确快速识别增量变化文件的相关信息对增量备份至关重要。本文分享自华为云社区《其疾如风,GaussDB(DWS)增量备份核心设计》,作者:我的橘子......
  • 基于Kintex-7 FPGA的核心板电路设计
    1.引言    FieldProgrammableGateArray(简称,FPGA)于1985年由XILINX创始人之一RossFreeman发明,第一颗FPGA芯片XC2064为XILINX所发明,FPGA一经发明,后续的发展速度之快,......
  • jQuery核心函数和核心对象
    视频jQuery主要结构详解(function(window){varjQuery=function(){returnnewxxx();}window.$=window.jQuery=jQuery;})(window)核心函数和核......
  • C++核心知识回顾(自定义数据类型)
    复习C++类自定义数据类型最灵活的方式就是使用C++的类结构现在定义一个货币类型Currency:enumsignType{PLUS,MINUS};classCurrency{public:Currency(signTy......
  • Vue搭建项目的完整流程 如何搭建一个完整的vue项目 vue项目架构
    vue项目架构技术栈:vue3、vue-router、vuex(和pinia)、elementplus、axios、ts、sass1、安装vue3脚手架+tsvuecreateadmin2、分析目录结构node_modules......
  • 学习笔记——Mybatis核心配置文件概述及根标签
    2023-01-09一、Mybatis核心配置文件概述及根标签1、核心配置文件的概述(即“mybatis-config.xml”)MyBatis的配置文件包含了会深深影响MyBatis行为的设置和属性信息。2、......
  • mapreduce基础JOB操作
    packagecagy.mapreduce.wordcount;importjava.io.IOException;importorg.apache.hadoop.io.LongWritable;importorg.apache.hadoop.io.Text;importorg.apache.hadoop.m......
  • 软件架构设计 - 01 操作系统
     1、零拷贝(【内核区】内存缓存区-Socket缓冲区映射) 2、内存映射(【内核区】内核内存缓冲区-【用户区】应用程序内存) 3、Reactor和Proactor模式    Reactor......
  • #百人创作先锋团#自动驾驶最核心的技术是什么?
    结论先行:自动驾驶车辆核心技术为环境感知、路径规划、精确定位、线控执行,其中环境感知是所有关键技术的数据基石。:::hljs-center:::自动驾驶车辆核心技术为:环境感知、......