题目：

熟悉常用的Linux操作和Hadoop操作

姓名：

粘艺凡

日期：

2023/11/7

实验环境：vmware虚拟机环境，centos

实验内容与完成情况：

1. cd /usr/local
2. cd ..
3. cd ~

1. cd /usr
2. Ls

1. cd /tmp
2. Mkdir a
3. Ls
4. Mkdir -p a1/a2/a3/aa4

10.Cd a1/a2/a3/a4

1. cd /tmp
2. rmdir -v a
3. rmdir -vp a1/a2/a3/a4

1. 注意权限问题，以及注意格式/和空格

要注意现在处于的文件位置

注意确认y或者n

cat命令

tac命令

more命令

head命令（文件可能没东西）

tail命令

touch命令（要注意时间的格式）

chown命令

find和tar命令

grep命令（bashrc文件中空）

hadoop操作，（hadoop操作是直接在虚拟机中操作的，所以背景不同）

出现的问题：主要就是权限问题，别的没有了

解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：

主要就是权限问题，一开始设置的默认是hadoop，然后在执行命令的时候有的用不了，换成了root之后解决

题目：

熟悉常用的HDFS操作

姓名

粘艺凡

日期

2023.11.14

实验环境：vmware虚拟机环境，centos

实验内容与完成情况：

该图片中出现的问题是datanote问题，全部启动之后已经解决

（二）编程实现一个类“MyFSDataInputStream”，该类继承“org.apache.hadoop.fs.FSDataInputStream”，要求如下：实现按行读取HDFS中指定文件的方法“readLine()”，如果读到文件末尾，则返回空，否则返回文件一行的文本。

（三）查看Java帮助手册或其它资料，用“java.net.URL”和“org.apache.hadoop.fs.FsURLStreamHandlerFactory”编程完成输出HDFS中指定文件的文本到终端中。

出现的问题：1.将文件追加到hdfs文件中报错

解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：1.原因是datanote的问题，电脑有三个节点，一台出问题，就无法成功。将三台datanote都打开之后就可以正常将文件追加到hdfs文件中

学号（S_No）

姓名（S_Name）

性别（S_Sex）

年龄（S_Age）

2015001

Zhangsan

male

23

2015002

Mary

female

22

2015003

Lisi

male

24

课程号（C_No）

课程名（C_Name）

学分（C_Credit）

123001

Math

2.0

123002

Computer Science

5.0

123003

English

3.0

学号（SC_Sno）

课程号（SC_Cno）

成绩（SC_Score）

2015001

123001

86

2015001

123003

69

2015002

123002

77

2015002

123003

99

2015003

123001

98

2015003

123002

95

题目：

熟悉常用的HBase操作

姓名

粘艺凡

日期

2023.11.14

实验环境：（1）操作系统：centos7（建议Ubuntu16.04或Ubuntu18.04）；

（2）Hadoop版本：3.1.3；

（3）HBase版本：2.2.2；

（4）JDK版本：1.8；

（5）Java IDE：IDEA

实验内容与完成情况：

list

在终端打印出指定的表的所有记录数据

增删、查、统计

建表、插入数据

（1）createTable(String tableName, String[] fields)

创建表，参数tableName为表的名称，字符串数组fields为存储记录各个字段名称的数组。要求当HBase已经存在名为tableName的表的时候，先删除原有的表，然后再创建新的表。

（2）addRecord(String tableName, String row, String[] fields, String[] values)

向表tableName、行row（用S_Name表示）和字符串数组fields指定的单元格中添加对应的数据values。其中，fields中每个元素如果对应的列族下还有相应的列限定符的话，用“columnFamily:column”表示。例如，同时向“Math”、“Computer Science”、“English”三列添加成绩时，字符串数组fields为{“Score:Math”, ”Score:Computer Science”, ”Score:English”}，数组values存储这三门课的成绩。

（3）scanColumn(String tableName, String column)

浏览表tableName某一列的数据，如果某一行记录中该列数据不存在，则返回null。要求当参数column为某一列族名称时，如果底下有若干个列限定符，则要列出每个列限定符代表的列的数据；当参数column为某一列具体名称（例如“Score:Math”）时，只需要列出该列的数据。

（4）modifyData(String tableName, String row, String column)

修改表tableName，行row（可以用学生姓名S_Name表示），列column指定的单元格的数据。

（5）deleteRow(String tableName, String row)

删除表tableName中row指定的行的记录。

出现的问题：遇到的最大的问题就是hbase shell无法正常启动。

解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：

因为很早就写了，忘记了是什么问题，总之困了很久。关闭防火墙啥的都不行，最后好像是恢复快照解决。

Name

English

Math

Computer

zhangsan

69

86

77

lisi

55

100

88

scofield

45

89

100

     name

score

English

Math

Computer

zhangsan

69

86

77

lisi

55

100

88

scofield

45

89

100

zhangsan:｛

English: 69

Math: 86

Computer: 77

｝

lisi:｛

English: 55

Math: 100

Computer: 88

｝

scofield:｛

English: 45

Math: 89

Computer: 100

｝

{

“name”: “zhangsan”,

“score”: {

“English”: 69,

“Math”: 86,

“Computer”: 77

}

}

{

“name”: “lisi”,

“score”: {

“English”: 55,

“Math”: 100,

“Computer”: 88

}

}

{

“name”: “scofield”,

“score”: {

“English”: 45,

“Math”: 89,

“Computer”: 100

}

}

题目：

NoSQL和关系数据库的操作比较

姓名

粘艺凡

日期

2023.12.5

实验环境：1）操作系统：centos7（建议Ubuntu16.04或Ubuntu18.04）；

（2）Hadoop版本：3.1.3；

（3）MySQL版本：8.0；

（4）HBase版本：2.5.5；

（5）Redis版本：7.2.3；

（6）MongoDB版本：5.0.11；

（7）JDK版本：1.8；

（8）Java IDE：IDEA；

实验内容与完成情况：

（1）在MySQL中创建Student表，并录入数据；

（2）用SQL语句输出Student表中的所有记录；

（3）查询zhangsan的Computer成绩；

（4）修改lisi的Math成绩，改为95。

3.根据上面已经设计出的Student表，使用MySQL的JAVA客户端编程实现以下操作：

（1）向Student表中添加如下所示的一条记录：

（2）获取scofield的English成绩信息

根据上面给出的学生表Student的信息，执行如下操作：

（1）用Hbase Shell命令创建学生表Student；

（2）用scan命令浏览Student表的相关信息；

（3）查询zhangsan的Computer成绩；

（4）修改lisi的Math成绩，改为95。

添加数据：English:45  Math:89 Computer:100

获取scofield的English成绩信息。

根据上面给出的键值对，完成如下操作：

（1）用Redis的哈希结构设计出学生表Student（键值可以用student.zhangsan和student.lisi来表示两个键值属于同一个表）；   

（2）用hgetall命令分别输出zhangsan和lisi的成绩信息；

（3）用hget命令查询zhangsan的Computer成绩；

（4）修改lisi的Math成绩，改为95。

2.根据上面已经设计出的学生表Student，用Redis的JAVA客户端编程(jedis)，实现如下操作：

（1）添加数据：English:45  Math:89 Computer:100

该数据对应的键值对形式如下：

（3）获取scofield的English成绩信息

（四）MongoDB数据库操作

1.根据上面给出的文档，完成如下操作：

（1）用MongoDB Shell设计出student集合；

（2）用find()方法输出两个学生的信息；

（3）用find()方法查询zhangsan的所有成绩(只显示score列)；

（4）修改lisi的Math成绩，改为95。

2.根据上面已经设计出的Student集合，用MongoDB的Java客户端编程，实现如下操作：

（1）添加数据：English:45 Math:89  Computer:100

与上述数据对应的文档形式如下：

（2）获取scofield的所有成绩成绩信息(只显示score列)

出现的问题：出现了重复创建表的问题

解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：把之前的表删掉之后解决问题

20170101     x

20170102     y

20170103     x

20170104     y

20170105     z

20170106     x

20170101      y

20170102      y

20170103      x

20170104      z

20170105      y

20170101      x

20170101      y

20170102      y

20170103      x

20170104      y

20170104      z

20170105      y

20170105      z

20170106      x

33

37

12

40

4

16

39

5

1

45

25

1 1

2 4

3 5

4 12

5 16

6 25

7 33

8 37

9 39

10 40

11 45

child          parent

Steven        Lucy

Steven        Jack

Jone         Lucy

Jone         Jack

Lucy         Mary

Lucy         Frank

Jack         Alice

Jack         Jesse

David       Alice

David       Jesse

Philip       David

Philip       Alma

Mark       David

Mark       Alma

grandchild       grandparent

Steven          Alice

Steven          Jesse

Jone            Alice

Jone            Jesse

Steven          Mary

Steven          Frank

Jone            Mary

Jone            Frank

Philip           Alice

Philip           Jesse

Mark           Alice

Mark           Jesse

题目：

MapReduce初级编程实践

姓名

粘艺凡

日期

2023.12.10

实验环境：（1）操作系统：centos

（2）Hadoop版本：3.3.4

实验内容与完成情况：

（一）编程实现文件合并和去重操作

（二）编写程序实现对输入文件的排序

（三）对给定的表格进行信息挖掘

出现的问题：弄了很久发现拒绝连接

解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：

最后把localhost换成了ip192.168.88.101解决了

另外在配置文件中也进行了修改

col_name

data_type

exchange            

string              

symbol              

string              

ymd                 

string              

price_open          

float               

price_high          

float               

price_low           

float               

price_close         

float               

volume              

int                 

price_adj_close     

float  

col_name

data_type

ymd                 

string              

dividend            

float               

exchange            

string              

symbol              

string              

col_name

data_type

ymd                 

string              

dividend            

float               

exchange            

string              

symbol              

string              

题目：

熟悉Hive的基本操作

姓名

粘艺凡

日期：

2023.12.15

实验环境：操作系统：centos7。

Hadoop版本：3.3.4。

Hive版本：3.1.3。

JDK版本：1.8。

实验内容与完成情况：

创建内部表stocks

创建一个外部分区表dividends

从stocks.csv文件向stocks表中导入数据

（3）创建一个未分区的外部表dividends_unpartitioned，并从dividends.csv向其中导入数据，

（5）通过对dividends_unpartitioned的查询语句，利用Hive自动分区特性向分区表dividends各个分区中插入对应数据。

（6）查询IBM公司(symbol=IBM)从2000年起所有支付股息的交易日(dividends表中有对应记录)的收盘价(price_close)。

（7）查询苹果公司(symbol=AAPL)2008年10月每个交易日的涨跌情况，涨显示rise，跌显示fall,不变显示unchange。

（8）查询stocks表中收盘价(price_close)比开盘价(price_open)高得最多的那条记录的交易所(exchange)、股票代码(symbol)、日期(ymd)、收盘价、开盘价及二者差价。

（9）从stocks表中查询苹果公司（symbol=AAPL）年平均调整后收盘价(price_adj_close) 大于50美元的年份及年平均调整后收盘价。

查询每年年平均调整后收盘价(price_adj_close)前三名的公司的股票代码及年平均调整后收盘价。

出现的问题：本次实验比较简单，跟着步骤来基本上没有出现错误。

解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：

题目：

Spark初级编程实践

姓名

粘艺凡

日期

2023.12.18

实验环境：（1）操作系统：centos7；

（2）Spark版本：3.4.0；

（3）Hadoop版本：3.3.4。

实验内容与完成情况：

（1）在spark-shell中读取Linux系统本地文件“/home/hadoop/test.txt”，然后统计出文件的行数；

配置sbt

（2）在spark-shell中读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；

（3）编写独立应用程序（推荐使用Scala语言），读取HDFS系统文件“/user/hadoop/test.txt”（如果该文件不存在，请先创建），然后，统计出文件的行数；通过sbt工具将整个应用程序编译打包成 JAR包，并将生成的JAR包通过 spark-submit 提交到 Spark 中运行命令。

（2）编写独立应用程序实现数据去重

查看最终的结果

编写独立应用程序实现求平均值问题

编写Scala文件信息

sbt文件

打包

出现的问题： /usr/local/sbt/sbt package出现错误

解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：

原因是按照网上的代码进行复制，没有查看需要修改的东西，最后发现是填写的版本信息出现错误，修改后重新启动打包正常。

题目：

Flink初级编程实践

姓名

粘艺凡

日期

2023.12.20

实验环境：（1）centos7。

（2）IntelliJ IDEA。

（3）Flink1.16.2。

实验内容与完成情况：

三个Java文件

WordCountData.java用于提供原始数据

package WordCount;

import org.apache.flink.api.java.DataSet;

import org.apache.flink.api.java.ExecutionEnvironment;

public class WordCountData {

    public static final String[] WORDS=new String[]{"To be, or not to be,--that is the question:--", "Whether \'tis nobler in the mind to suffer", "The slings and arrows of outrageous fortune", "Or to take arms against a sea of troubles,", "And by opposing end them?--To die,--to sleep,--", "No more; and by a sleep to say we end", "The heartache, and the thousand natural shocks", "That flesh is heir to,--\'tis a consummation", "Devoutly to be wish\'d. To die,--to sleep;--", "To sleep! perchance to dream:--ay, there\'s the rub;", "For in that sleep of death what dreams may come,", "When we have shuffled off this mortal coil,", "Must give us pause: there\'s the respect", "That makes calamity of so long life;", "For who would bear the whips and scorns of time,", "The oppressor\'s wrong, the proud man\'s contumely,", "The pangs of despis\'d love, the law\'s delay,", "The insolence of office, and the spurns", "That patient merit of the unworthy takes,", "When he himself might his quietus make", "With a bare bodkin? who would these fardels bear,", "To grunt and sweat under a weary life,", "But that the dread of something after death,--", "The undiscover\'d country, from whose bourn", "No traveller returns,--puzzles the will,", "And makes us rather bear those ills we have", "Than fly to others that we know not of?", "Thus conscience does make cowards of us all;", "And thus the native hue of resolution", "Is sicklied o\'er with the pale cast of thought;", "And enterprises of great pith and moment,", "With this regard, their currents turn awry,", "And lose the name of action.--Soft you now!", "The fair Ophelia!--Nymph, in thy orisons", "Be all my sins remember\'d."};

    public WordCountData() {

    }

    public static DataSet<String> getDefaultTextLineDataset(ExecutionEnvironment env){

        return env.fromElements(WORDS);

    }

}

WordCountTokenizer.java用于切分句子

package WordCount;

import org.apache.flink.api.common.functions.FlatMapFunction;

import org.apache.flink.api.java.tuple.Tuple2;

import org.apache.flink.util.Collector;

public class WordCountTokenizer implements FlatMapFunction<String, Tuple2<String,Integer>>{

    public WordCountTokenizer(){}

    public void flatMap(String value, Collector<Tuple2<String, Integer>> out) throws Exception {

        String[] tokens = value.toLowerCase().split("\\W+");

        int len = tokens.length;

        for(int i = 0; i<len;i++){

            String tmp = tokens[i];

            if(tmp.length()>0){

                out.collect(new Tuple2<String, Integer>(tmp,Integer.valueOf(1)));

            }

        }

    }

}

WordCount.java提供主函数

jar包传入到flink

使用火狐浏览器打开localhost：8081

数据流词频统计

然后打包成jar文件运行

结果

出现的问题：flink依赖包与flink版本不一致出现错误

解决方案（列出遇到的问题和解决办法，列出没有解决的问题）：下载对应的版本依赖包