首页 > 其他分享 >2024/07/19(暑假学习hadoop第二周总结)

2024/07/19(暑假学习hadoop第二周总结)

时间:2024-07-19 23:40:00浏览次数:13  
标签:07 19 配置 Hadoop hive hadoop repo Base yum

本周的学习任务主要是完成Hadoop中有关的组件的配置。有关于此配置的过程严格按照黑马程序员大数据入门到实战教程,大数据开发必会的Hadoop、Hive,云平台实战项目全套一网打尽_哔哩哔哩_bilibili来进行配置。

首先就是HDFS的配置,这是Hadoop分布式文件系统,用于在多个服务器上构建存储集群。

然后就是YARN的配置,这是Hadoop的资源管理框架,负责集群资源的管理和作业的调度。YARN的配置主要包括资源调度器和应用程序管理器的设置。。

最后再是HIVE架构的配置,首先是在我们的Linux虚拟机1号上安装好mysql,在MySQL的安装过程中,到yum -y install mysql-community-server这步可能会报错。解决方法就是https://www.cnblogs.com/maowenqiang/articles/7728685.html在这篇文章中,具体就是在我们的虚拟机上分别运行

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup
wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo
yum clean all
yum makecache
命令
之后再继续按照视频即可。
最后我们要用Java程序连接到,就需要我们导入依赖
     <dependency>
          <groupId>org.apache.hive</groupId>
          <artifactId>hive-jdbc</artifactId>
          <version>3.1.3</version>
      </dependency>
            Class.forName("org.apache.hive.jdbc.HiveDriver");
            Connection con = DriverManager.getConnection("jdbc:hive2://node1:10000/test", "hadoop", "");

使用此连接我们的hive数据库,但是再idea中无法修改和删除数据,这个问题还没解决,插入会显示超时,但是后面会插入进去,也不知道啥原因,查询没有影响。

 

标签:07,19,配置,Hadoop,hive,hadoop,repo,Base,yum
From: https://www.cnblogs.com/zhenaifen/p/18312560

相关文章

  • 算法第十一天:leetcode707.设计链表
    一、设计链表的题目描述与链接  707.设计链表的链接如下表所示,您可直接复制下面网址进入力扣学习,在观看下面的内容之前一定要先做一遍哦,这样才能印象深刻!https://leetcode.cn/problems/design-linked-list/https://leetcode.cn/problems/design-linked-list/题目描述:你......
  • 初级java每日一道面试题-2024年7月19日
    在Java中,重载(Overloading)和重写(Overriding)是面向对象编程中多态性的两个重要概念。1.重载(Overloading)定义:重载是指在同一个类中,允许存在一个以上的同名方法,只要它们的参数列表不同即可。也就是说,这些方法的名称相同,但参数的个数、类型或顺序至少有一个不同。目的:重载......
  • Linux内存从0到1学习笔记(8.19 ION (一))
    一,ION简介ION(InterprocessCommunicationOverNon-ContiguousMemory)即“跨进程非连续内存通信”。是Android系统中负责内存管理的关键子系统,由Google在Android4.0ICS中引入,旨在解决当时Android设备中存在的多样化内存管理机制所带来的问题,也就是用归一化的思想来解......
  • 如何学习Hadoop:糙快猛的大数据之路(利用GPT 学习)
    目录引言Hadoop是什么?学习Hadoop的"糙快猛"之道1.不要追求完美,先动手再说2.从简单的MapReduce开始3.利用大模型加速学习4.循序渐进,建立知识体系构建您的Hadoop技能树1.夯实基础:Linux和Java2.深入理解HDFS3.掌握MapReduce编程模型4.探索Hadoop生态系统实战项目......
  • 题解 Codeforces 1994H Fortnite
    首先第一次询问肯定是问\(\texttt{aa}\),答案减去\(1\)得到基数\(p\)。然后我们随意询问一个真实Hash值(取模之前)\(X\)大于模数\(m\)的字符串,例如\(s=\texttt{zzz}\cdots\texttt{zzz}\)(\(50\)个\(\textttz\))。设它取模得到的Hash值是\(a\)。考虑正整数\(1\leqb......
  • 7.15 ~ 7.19
    7.15~7.17这几天干什么了?放假了,回了趟家。不过在家也没干啥有用的。“我感觉我不适合放两天假,第二天都不知道干啥。”说的挺对。7.18回校第一天,搬到了西扩宿舍,食堂也在西扩。但机房仍然在老校区,路程大概要5~10min。建议延长到位时间,虽然现在来得及但是会很紧。......
  • 2024.7.19模拟赛
    模拟赛T1立大功。T1yyylovesMathsVI(mode)摩尔投票法。既然有一个人出现次数\(\gt\frac{n}{2}\),那么我们可以用两两抵消的思路。最坏的情况就是每一个不是答案的都消掉了一个答案,但这样也会剩下正确答案。for(inti=1;i<=n;++i){ intx;scanf("%d",&x); if(cnt==......
  • 闲话 719
    定义局部有限序集\(P\)上的莫比乌斯函数\(\mu(L,R)\)是满足如下性质的函数:\[\mu(L,L)=1,\sum_{L\lex\leR}\mu(L,x)=0\]有偏序集\(L(\mathbbF_n^q)\)是\(\mathbbF_n^q\)的子线性空间,偏序关系是包含。设\(|\dimU-\dimV|=d\),证明:\(\mu(U,V)=(-1)^dq^{\binomd2}\)......
  • 周总结7.19
    本周开始主要学习了黑马程序员中MYSQL的进阶篇,学习了1.存储引擎:INNODB,MYISAM,MEMORY,主要需要明白INNODB的特点事务,行级锁,外键;2.索引:是一种高效获取数据的数据结构,索引结构:B+Tree,Hash。B+Tree是主要的索引,最终在叶子结点会存储数据,并形成双向链表,提高了查询的效率,并且由于分叶子结......
  • 学习Java的第六天(2024.7.19)
    1.容器类、集合类之前学过的容器:数组,但是数组有局限:1.数组存储的数据类型有限制2.数组存储的长度受限2.容器类分为:List,Set,Map3.List类:List是一个接口,他的实现类有:ArrayList,LinkedList,Vectorpublicstaticvoidmain(String[]args){Listlist=newArrayLi......