首页 > 其他分享 >1分钟理解map reduce,其实它就在我们身边

1分钟理解map reduce,其实它就在我们身边

时间:2023-07-13 18:32:43浏览次数:32  
标签:map reduce 分钟 ls device 2008 select


linux平台下有个ls指令,大家都很熟悉:

① ls | grep 2008   查询文件名包含2008的文件(这其实就是一个map,找到需要的数据)

② ls | grep 2008 | wc -l 计算上述指令查询文件个数(这其实就是一个reduce,对找到数据进行汇总聚合)

 

再来一个例子,关于SQL:select * from device

 

① select * from device t where t.name like 'CNC-Bj%'  (这其实就是一个map,找到需要的数据)

② select count(*) from device t where t.name like 'CNC-Bj%' (这其实就是一个reduce,对找到数据进行汇总聚合)

 

第二个SQL的例子在hive中就是通过mapreduce实现的,①为一个map任务 ②为一个reduce任务

标签:map,reduce,分钟,ls,device,2008,select
From: https://blog.51cto.com/u_16187922/6715121

相关文章

  • MyBatis返回resultType=Map的用法, 返回List<Map<String,String>>
    <selectid="statOnlineAndNotlineNumber"resultType="java.util.Map"parameterType="java.lang.String">SELECTonline_stateasstate,COUNT(online_state)asnumberFROMwl_rm_t_vehicle_state<iftest="operatorCode!=nu......
  • set去重、map
    Set去重原理Set是Java中的一个接口,它的实现类(如HashSet.TreeSet等)用于存储一组不重复的元素。Set的去重原理是基于元素的hashCode0)和equals)方法。当向Set添加元素时,首先会调用被添加元索对象的hashCode0)方法来获取其哈希码。Set会根据哈希码判断元素是否已经存在于集......
  • Linux /dev/mapper/ubuntu--vg-ubuntu--lv磁盘空间不足的问题
    1.查看磁盘空间df-h从结果可以看到,/dev/mapper/ubuntu--vg-ubuntu--lv使用率偏高。2.查看块设备挂载情况lsblkNAMEMAJ:MINRMSIZEROTYPEMOUNTPOINTsda8:00931.5G0disk├─sda18:101M0par......
  • Java TreeMap 介绍与使用
    介绍TreeMap是Java集合框架中的一个类,它实现了SortedMap接口,可以存储键值对,并按照键的自然顺序或者指定的比较器进行排序。TreeMap的底层是一棵红黑树,这是一种自平衡的二叉搜索树,可以保证在插入,删除,查找等操作中的时间复杂度为O(logn)。使用要使用TreeMap,我们需要导入......
  • js 根据时间,输出几分钟前,几小时前,几天前,几个月前,几年前。 console.log(getDateDiff("
    js根据时间,输出几分钟前,几小时前,几天前,几个月前,几年前。原文链接:https://blog.csdn.net/qq_42740797/article/details/111277824代码1://时间戳转多少分钟之前functiongetDateDiff(dateTimeStamp){//时间字符串转时间戳vartimestamp=newDate(dateTimeStamp).g......
  • Java Map 通过key过滤
    pom文件:<dependency> <groupId>com.google.guava</groupId> <artifactId>guava</artifactId> <version>31.1-jre</version></dependency>代码:packagecom.example.core.utils.collections;importcom.google.common.......
  • MyBatis,mapper找不到方法
       项目目录如下,可以看到是接口映射xml文件的mybatis此时运行项目会出现找不到save方法 解决方法:确保接口与xml文件路径一致在xml文件上再建一级mapper,并将其移入其中可  ......
  • Jquery遍历筛选数组的几种方法和遍历解析json对象,Map()方法详解以及数组中查询某值是
    1.jquerygrep()筛选遍历数组(可以得到反转的数组)//1.jquerygrep()筛选遍历数组(可以得到反转的数组)vararray=[1,5,9,3,12,4,48,98,4,75,2,10,11];varfilterArray=$.grep(array,(currentValue)=>{returncurrentValue>10;});console.log(`${filt......
  • C++面试八股文:知道std::unordered_set/std::unordered_map吗?
    C++面试八股文:知道std::unordered_set/std::unordered_map吗?某日二师兄参加XXX科技公司的C++工程师开发岗位第27面:面试官:知道std::unordered_set/std::unordered_map吗?二师兄:知道。两者都是C++11引入的新容器,和std::set和std::map功能类似,key唯一,unordered_map的value可变。......
  • mapbox添加自定义控件
    需要定义一个类,然后至少重写实现onAdd、onRemove方法,示例如下<template><divref="changeViewRef"@click="changeView"class="changeViewmapboxgl-ctrl"><el-tooltipclass="box-item"effect="dark"......