首页 > 其他分享 >12.24

12.24

时间：2024-12-29 16:52:53浏览次数：5  
标签：String parent import 12.24 child apache new

实验5  MapReduce初级编程实践

 

1.实验目的  

（1）通过实验掌握基本的MapReduce编程方法；

（2）掌握用MapReduce解决一些常见的数据处理问题，包括数据去重、数据排序和数据挖掘等。

2.实验平台

（1）操作系统：Linux（建议Ubuntu16.04或Ubuntu18.04）

（2）Hadoop版本：3.1.3

3.实验步骤

（一）编程实现文件合并和去重操作

对于两个输入文件，即文件A和文件B，请编写MapReduce程序，对两个文件进行合并，并剔除其中重复的内容，得到一个新的输出文件C。下面是输入文件和输出文件的一个样例供参考。

输入文件A的样例如下：

 

20170101     x

20170102     y

20170103     x

20170104     y

20170105     z

20170106     x

 

输入文件B的样例如下：

20170101      y

20170102      y

20170103      x

20170104      z

20170105      y

 

根据输入文件A和B合并得到的输出文件C的样例如下：

20170101      x

20170101      y

20170102      y

20170103      x

20170104      y

20170104      z

20170105      y

20170105      z

20170106      x

 

 

 

 

 

（二）编写程序实现对输入文件的排序

现在有多个输入文件，每个文件中的每行内容均为一个整数。要求读取所有文件中的整数，进行升序排序后，输出到一个新的文件中，输出的数据格式为每行两个整数，第一个数字为第二个整数的排序位次，第二个整数为原待排列的整数。下面是输入文件和输出文件的一个样例供参考。

输入文件1的样例如下：

33

37

12

40

 

输入文件2的样例如下：

4

16

39

5

 

输入文件3的样例如下：

1

45

25

 

根据输入文件1、2和3得到的输出文件如下：

1 1

2 4

3 5

4 12

5 16

6 25

7 33

8 37

9 39

10 40

11 45

源代码：

package com.xusheng.mapreduce.shiyan;

 

 

import java.io.IOException;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Partitioner;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

 

 

public class MergeSort {

 

    /**

     * @param xusheng

     * 输入多个文件，每个文件中的每行内容均为一个整数

     * 输出到一个新的文件中，输出的数据格式为每行两个整数，第一个数字为第二个整数的排序位次，第二个整数为原待排列的整数

     */

    //map函数读取输入中的value，将其转化成IntWritable类型，最后作为输出key

    public static class Map extends Mapper<Object, Text, IntWritable, IntWritable>{

 

        private static IntWritable data = new IntWritable();

        public void map(Object key, Text value, Context context) throws IOException,InterruptedException{

            String text = value.toString();

            data.set(Integer.parseInt(text));

            context.write(data, new IntWritable(1));

        }

    }

 

    //reduce函数将map输入的key复制到输出的value上，然后根据输入的value-list中元素的个数决定key的输出次数,定义一个全局变量line_num来代表key的位次

    public static class Reduce extends Reducer<IntWritable, IntWritable, IntWritable, IntWritable>{

        private static IntWritable line_num = new IntWritable(1);

 

        public void reduce(IntWritable key, Iterable<IntWritable> values, Context context) throws IOException,InterruptedException{

            for(IntWritable val : values){

                context.write(line_num, key);

                line_num = new IntWritable(line_num.get() + 1);

            }

        }

    }

 

    //自定义Partition函数，此函数根据输入数据的最大值和MapReduce框架中Partition的数量获取将输入数据按照大小分块的边界，然后根据输入数值和边界的关系返回对应的Partiton ID

    public static class Partition extends Partitioner<IntWritable, IntWritable>{

        public int getPartition(IntWritable key, IntWritable value, int num_Partition){

            int Maxnumber = 65223;//int型的最大数值

            int bound = Maxnumber/num_Partition+1;

            int keynumber = key.get();

            for (int i = 0; i<num_Partition; i++){

                if(keynumber<bound * (i+1) && keynumber>=bound * i){

                    return i;

                }

            }

            return -1;

        }

    }

 

    public static void main(String[] args) throws Exception{

        // TODO Auto-generated method stub

        Configuration conf = new Configuration();

        //conf.set("fs.default.name","hdfs://localhost:9000");

        conf.set("fs.defaultFS","hdfs://hadoop102:8020");

        String[] otherArgs = new String[]{"/input/test2","/output/test2"}; /* 直接设置输入参数 */

        if (otherArgs.length != 2) {

            System.err.println("Usage: wordcount <in><out>");

            System.exit(2);

        }

        Job job = Job.getInstance(conf,"Merge and sort");//实例化Merge类

        job.setJarByClass(MergeSort.class);//设置主类名

        job.setMapperClass(Map.class);//指定使用上述代码自定义的Map类

        job.setReducerClass(Reduce.class);//指定使用上述代码自定义的Reduce类

        job.setPartitionerClass(Partition.class);

        job.setOutputKeyClass(IntWritable.class);

        job.setOutputValueClass(IntWritable.class);//设定Reduce类输出的<K,V>,V类型

        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));//添加输入文件位置

        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));//设置输出结果文件位置

        System.exit(job.waitForCompletion(true) ? 0 : 1);//提交任务并监控任务状态

 

    }

}

 

 

 

 

 

（三）对给定的表格进行信息挖掘

下面给出一个child-parent的表格，要求挖掘其中的父子辈关系，给出祖孙辈关系的表格。

输入文件内容如下：

child          parent

Steven        Lucy

Steven        Jack

Jone         Lucy

Jone         Jack

Lucy         Mary

Lucy         Frank

Jack         Alice

Jack         Jesse

David       Alice

David       Jesse

Philip       David

Philip       Alma

Mark       David

Mark       Alma

 

输出文件内容如下：

grandchild       grandparent

Steven          Alice

Steven          Jesse

Jone            Alice

Jone            Jesse

Steven          Mary

Steven          Frank

Jone            Mary

Jone            Frank

Philip           Alice

Philip           Jesse

Mark           Alice

Mark           Jesse

源代码：

package com.xusheng.mapreduce.shiyan;

 

import java.io.IOException;

import java.util.*;

 

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.io.IntWritable;

import org.apache.hadoop.io.Text;

import org.apache.hadoop.mapreduce.Job;

import org.apache.hadoop.mapreduce.Mapper;

import org.apache.hadoop.mapreduce.Reducer;

import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;

import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import org.apache.hadoop.util.GenericOptionsParser;

 

public class simple_data_mining {

    public static int time = 0;

 

    /**

     * @param xusheng

     * 输入一个child-parent的表格

     * 输出一个体现grandchild-grandparent关系的表格

     */

    //Map将输入文件按照空格分割成child和parent，然后正序输出一次作为右表，反序输出一次作为左表，需要注意的是在输出的value中必须加上左右表区别标志

    public static class Map extends Mapper<Object, Text, Text, Text>{

        public void map(Object key, Text value, Context context) throws IOException,InterruptedException{

            String child_name = new String();

            String parent_name = new String();

            String relation_type = new String();

            String line = value.toString();

            int i = 0;

            while(line.charAt(i) != ' '){

                i++;

            }

            String[] values = {line.substring(0,i),line.substring(i+1)};

            if(values[0].compareTo("child") != 0){

                child_name = values[0];

                parent_name = values[1];

                relation_type = "1";//左右表区分标志

                context.write(new Text(values[1]), new Text(relation_type+"+"+child_name+"+"+parent_name));

                //左表

                relation_type = "2";

                context.write(new Text(values[0]), new Text(relation_type+"+"+child_name+"+"+parent_name));

                //右表

            }

        }

    }

 

    public static class Reduce extends Reducer<Text, Text, Text, Text>{

        public void reduce(Text key, Iterable<Text> values,Context context) throws IOException,InterruptedException{

            if(time == 0){   //输出表头

                context.write(new Text("grand_child"), new Text("grand_parent"));

                time++;

            }

            int grand_child_num = 0;

            String grand_child[] = new String[10];

            int grand_parent_num = 0;

            String grand_parent[]= new String[10];

            Iterator ite = values.iterator();

            while(ite.hasNext()){

                String record = ite.next().toString();

                int len = record.length();

                int i = 2;

                if(len == 0) continue;

                char relation_type = record.charAt(0);

                String child_name = new String();

                String parent_name = new String();

                //获取value-list中value的child

 

                while(record.charAt(i) != '+'){

                    child_name = child_name + record.charAt(i);

                    i++;

                }

                i=i+1;

                //获取value-list中value的parent

                while(i<len){

                    parent_name = parent_name+record.charAt(i);

                    i++;

                }

                //左表，取出child放入grand_child

                if(relation_type == '1'){

                    grand_child[grand_child_num] = child_name;

                    grand_child_num++;

                }

                else{//右表，取出parent放入grand_parent

                    grand_parent[grand_parent_num] = parent_name;

                    grand_parent_num++;

                }

            }

 

            if(grand_parent_num != 0 && grand_child_num != 0 ){

                for(int m = 0;m<grand_child_num;m++){

                    for(int n=0;n<grand_parent_num;n++){

                        context.write(new Text(grand_child[m]), new Text(grand_parent[n]));

                        //输出结果

                    }

                }

            }

        }

    }

    public static void main(String[] args) throws Exception{

        // TODO Auto-generated method stub

        Configuration conf = new Configuration();

        //conf.set("fs.default.name","hdfs://localhost:9000");

        conf.set("fs.default.name","hdfs://hadoop102:8020");

        String[] otherArgs = new String[]{"/input/test3","/output/test3"}; /* 直接设置输入参数 */

        if (otherArgs.length != 2) {

            System.err.println("Usage: wordcount <in><out>");

            System.exit(2);

        }

        Job job = Job.getInstance(conf,"Single table join");

        job.setJarByClass(simple_data_mining.class);

        job.setMapperClass(Map.class);

        job.setReducerClass(Reduce.class);

        job.setOutputKeyClass(Text.class);

        job.setOutputValueClass(Text.class);

        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));

        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));

        System.exit(job.waitForCompletion(true) ? 0 : 1);

 

    }

}

 

 

 

 

4.实验报告

题目：

MapReduce初级编程实践

姓名

邓睿智

日期

2024.11.26

实验环境：Linux

实验内容与完成情况：MapReduce初级编程实践；已完成

出现的问题：在配置Hadoop运行环境时，遇到了配置文件路径错误的问题，导致无法正确运行MapReduce任务。

在实现排序功能时，由于MapReduce框架的默认行为，遇到了数据分布不均匀的问题。

 

解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：对于配置文件路径错误，通过检查和修正，确保所有路径正确无误，问题得以解决。

对于数据分布不均匀的问题，通过调整Partitioner类，使得数据能够更均匀地分布到各个Reducer上，从而解决了问题。

 

标签：String,parent,import,12.24,child,apache,new
From： https://www.cnblogs.com/drz1145141919810/p/18639218

相关文章

  • 12.24
     实验报告名称：混凝土承重等级预测一、实验背景在土木工程中，混凝土是构筑建筑物最基本的材料。混凝土可承受的强度与其寿命、制造所使用的材料、测试时的温度等因素息息相关。混凝土的制造过程十分复杂，涉及水泥、熔炉产出的煤渣和灰烬、水、强度塑化剂、粗聚合剂、细......
  • 12.24随笔 java实战2019年考题（1）
    距离期末考试还有三天，我最后把建民老师发的2019年考题进行一次上手解答，看看自己大概能拿到多少分。先建表房产基本信息表CREATETABLEhouse_basic_info(house_idVARCHAR(20)PRIMARYKEY,room_typeENUM('四室两厅','四室一厅','三室两厅','三室一厅','两室两厅','两......
  • 12.24
    软件构造课上，对之前编写的代码进行了最后的调试和优化，经过反复的测试，终于达到了预期的效果，我心中的成就感油然而生。软件企业文化课上，老师邀请了一位企业的高管来做讲座，他分享了自己在软件行业多年的经验和感悟，让我对这个行业的企业文化有了更深刻的理解和认识。人机交互课上，我们......
  • Diary - 2024.12.24
    今天作业有点多了，oi时间约等于0。不懂阿，这个数学作业有点太难了，感觉是给mo同学做的。学oi的大家拼尽全力仍无法战胜其中一道，太难了。今天语文课内知识又考炸了，咳咳。放乐观点（。感觉这个学期的语文老师也是有点抽象的。一周只需要考试写作文，评讲就能用掉三四天，然后剩下......
  • 2024.12.24 周四
    2024.12.24周四Q1.1100Youaregivenanarray$a$of$n$positiveintegersandascore.Ifyourscoreisgreaterthanorequalto$a_i$,thenyoucanincreaseyourscoreby$a_i$andremove$a_i$fromthearray.Foreachindex$i$,outputthemaximumnum......
  • 日志 12.24
    DS题，主题平衡树和可并堆。T2未知来源模拟赛题题意简述：给一棵有根树，树上权值形成排列，对\(i\in[1,n]\)依次执行：选择子树内（包括i自己）的一个j，并交换\(a_i,a_j\)。问是否能在n次操作之后使\(\foralli:a_i=i\)，如有须构造方案。容易注意到，有解的必要条件是每个置换环所有......
  • Diary - 2024.12.24
    今天摆完了有点。待补：Solution-LuoguP11398众数Solution-LuoguP11401[Code+#8初赛]普勒亚Solution-Codeforces2041KTrophicBalanceSpeciesLuoguP11408[RMI2020]树咖/Arboras代码想想LuoguP11417[Sloi2024]D1T1精卫的线性（？），而且还有代码整理一......
  • 2024.12.24 LGJ Round
    A有\(n\)个人，血量为\(a_i\)，\(m\)次攻击，每次随机选一个血量不为\(0\)的人使其血量减\(1\)，问期望使多少人血量归零。\(n\le15,a_i,m\le200\)。设\(dp_{i,s}\)表示前\(i\)次攻击\(s\)集合里的人已经死了，此时的贡献。转移的话，枚举一个在此时全部死掉的一个人，再把这......
  • 12.24随笔
    这里是12.24随笔题目留档：给你一个整数数组coins，表示不同面额的硬币；以及一个整数amount，表示总金额。计算并返回可以凑成总金额所需的最少的硬币个数。如果没有任何一种硬币组合能组成总金额，返回-1。你可以认为每种硬币的数量是无限的。示例1：输入：coins=[1,2,5],a......
  • 24.12.24
    好像用了快一天看了看这辈子也用不到的东西呢。感觉在场上不如直接暴力呢。插头dp轮廓线dp网格图状压dp的一种方式，即逐格dp。以我的脑子只会限制四联通下的轮廓线。限制跨了多行还是压整行逐行dp罢。轮廓线：已决策状态和未决策状态的分界线压的（应该）是已决策状态......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99