首页 > 其他分享 >第二周进度总结

第二周进度总结

时间：2024-07-13 19:30:06浏览次数：15  
标签：总结 log hive yarn server 第二周 export 进度 HADOOP

（1）本周做了什么，花在学习上多长时间，花在代码时间上多长时间，花在解决问题用了多长时间。

本周完成了yarn集群和hive数据库的部署

使用的命令如下

su - aaa
cd /export/server/hadoop/etc/hadoop/
ll
vim mapred-env.sh
export JAVA_HOME=/export/server/jdk
export HADOOP_JOB_HISTORYSERVER_HEAPSIZE=1000
export HADOOP_MAPRED_ROOT_LOGGER=INFO,RFA

vim mapred-site.xml

  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
    <description></description>
  </property>

  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>node1:10020</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>node1:19888</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.intermediate-done-dir</name>
    <value>/data/mr-history/tmp</value>
    <description></description>
  </property>


  <property>
    <name>mapreduce.jobhistory.done-dir</name>
    <value>/data/mr-history/done</value>
    <description></description>
  </property>
  <property>
    <name>yarn.app.mapreduce.am.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
  <property>
    <name>mapreduce.map.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>
  <property>
    <name>mapreduce.reduce.env</name>
    <value>HADOOP_MAPRED_HOME=$HADOOP_HOME</value>
  </property>

vim yarn-env.sh

export JAVA_HOME=/export/server/jdk
export HADOOP_HOME=/export/server/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_LOG_DIR=$HADOOP_HOME/logs

vim yarn-site.xml

  <property>
    <name>yarn.log.server.url</name>
    <value>http://node1:19888/jobhistory/logs</value>
    <description></description>
  </property>

  <property>
    <name>yarn.web-proxy.address</name>
    <value>node1:8089</value>
    <description>proxy server hostname and port</description>
  </property>


  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>

  <property>
    <name>yarn.nodemanager.remote-app-log-dir</name>
    <value>/tmp/logs</value>
    <description>Configuration to enable or disable log aggregation</description>
  </property>


<!-- Site specific YARN configuration properties -->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node1</value>
    <description></description>
  </property>

  <property>
    <name>yarn.resourcemanager.scheduler.class</name>
    <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
    <description></description>
  </property>

  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/data/nm-local</value>
    <description>Comma-separated list of paths on the local filesystem where intermediate data is written.</description>
  </property>


  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/data/nm-log</value>
    <description>Comma-separated list of paths on the local filesystem where logs are written.</description>
  </property>


  <property>
    <name>yarn.nodemanager.log.retain-seconds</name>
    <value>10800</value>
    <description>Default time (in seconds) to retain log files on the NodeManager Only applicable if log-aggregation is disabled.</description>
  </property>

 

  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
    <description>Shuffle service that needs to be set for Map Reduce applications.</description>
  </property>

scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node2:`pwd`/
scp mapred-env.sh mapred-site.xml yarn-env.sh yarn-site.xml node3:`pwd`/

start-yarn.sh
mapred --daemon start historyserver

 

 

#更新密钥 rpm --import https://repo.mysql.com/RPM-GPG-KEY-mysql-2022 #安装MysqL yum库 rpm -Uvh http://repo.mysql.com//mysql57-community-release-el7-7.noarch.rpm #yum安装Mysql yum -y install mysql-community-server #启动MySqL 设置开机启动 systemctl start mysqld systemctl enable mysqld #检查MysqL服务状态 systemctl status mysqld #第一次启动mysql，会在日志文件中生成root用户的一个随机密码，使用下面命令查看该密码 grep 'temporary password' /var/log/mysqld.log #如果你想设置简单密码，需要降低MySqL的密码安全级别 set global validate_password_policy=LOW；#密码安全级别低 set global validate_password_length=4;#密码长度最低4位即可 #然后就可以用简单密码了（课程中使用简单密码，为了方便，生产中不要这样） ALTER USER 'root'@'LocaLhost'IDENTIFIED BY '123456'; grant all privileges on *.* to root@"%" identified by '123456' with grant option; flush privileges;     cd /export/server/hadoop cd etx/hadoop/ vim core-site.xml   <property>     <name>hadoop.proxyuser.hadoop.hosts</name>     <value>*</value>   </property>  <property>     <name>hadoop.proxyuser.hadoop.groups</name>     <value>*</value>   </property>   tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /export/server/ mv mysql-connector-java-5.1.34.jar /export/server/apache-hive-3.1.3-bin/lib/   cd /export/server/apache-hive-3.1.3-bin/lib   cd .. cd .. ln -s /export/server/apache-hive-3.1.3-bin hive     cd hive/ cd conf ll mv hive-env.sh.template hive-env.sh ll vim hive-env.sh   export HADOOP_HOME=/export/server/hadoop export HIVE_CONF_DIR=/export/server/hive/conf export HIVE_AUX_JARS_PATH=/export/server/hive/lib   vim hive-site.xml   <configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value></property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value></value> </property> <property> <name>hive.server2.thrift.bind.host</name> <value>node1</value> </property> <property> <name>hive.metastore.uris</name> <value>thrift://node1:9083</value> </property> <property> <name>hive.metastore.event.db.notification.api.auth</name> <value>false</value> </property> </configuration>   CREATE DATABASE hive CHARSET UTF8; cd /export/server/hive ./schematool -initSchema -dbType mysql -verbos   chown -R leap:leap apache-hive-3.1.3-bin hive   cd /export/server/hive mkdir logs   bin/hive --service metastore nohup bin/hive --service metastore >>logs/metastore.log 2>&1 &   bin/hive nohup bin/hive --service hiveserver2 >>logs/hiveserver2.log 2>&1 &

（2）下周准备做什么？

下周准备使用jdbc连接hive数据库

（3）本周遇到的问题？

本周遇到了密钥无法更新的问题，通过更换源镜像解决了

标签：总结,log,hive,yarn,server,第二周,export,进度,HADOOP
From： https://www.cnblogs.com/leapssisbird/p/18300530

相关文章

  • 第二周学习报告
    又经过了一周的学习，今天对本周学习进行总结本周安装了IDEA，了解并学习了相关知识。还学习了Java中键盘录入、运算符、判断和循环的用法。IDEAIDEA全称IntelliJIDEA，是java编程语言的集成开发环境，它广泛应用于软件开发领域。IDEA官网：https://www.jetbrains.com/idea/键盘录入J......
  • 第二周
    本周主要学习了java面向对象的封装，继承和多态。封装：关键词和C嘎嘎一样，private，protected,public等来实现封装。publicclassPerson{privateStringname;privateintage;publicStringgetName(){returnname;}publicvoidsetName(StringnewName){name=......
  • 第二周总结
    一、周任务完成情况：1.每天通过书籍与b站网课自主学习Java一小时，完成Java循环，条件及数组部分的语法学习。2.阅读《大道至简》第二章“是懒人创造了方法”与第三章“团队缺乏的不只是管理”。3.每日完成pta基础题目集2~3题。二、下周计划：1.使用Java语言完成部分练习题。2.继续......
  • Java学习第二周
    学习java第二周了，对java这门语言有了更深的理解。1.基本概念面向对象的程序是由对象组成的，每个对象包含对客户公开的特定功能部分和隐藏的实现部分。程序中的很多对象来自标准库，还有一些是自定义的。究竟是自己构造对象，还是从外界购买对象完全取决于开发项目的预算和时间。但是，......
  • python基础篇总结：数据类型
    在python中数据类型主要是以下9种分别是1.Int（整型）；2.Float（浮点型）；3.Bool（布尔型）；4.Str（字符串）；5.None（空值）；6.List（列表）；7.Tuple（元组）；8.Dict（字典）；9.Set（集合）等。一.Int（整数）整数是Python中最基本的数值类型，用于表示整数值。1.定义整数变量：2.使用内置函数处理整数：3.进行算......
  • 可视化课设总结（星巴克网页爬取信息，百度地图网页版爬取信息，百度地图api，pyecharts库，pyth
    一、引言       本博客是本人是基于本人可视化课设所做的总结，其中有些过程的实现可能并不是最优的实现方法，有些实现效果也因为本人的实力有限，并不能达到预期的效果，所以也欢迎大家指点和改良。（刚考完期末回家，终于有时间把这个课设写个博客了，虽然这课设是明天截至的，我今......
  • 2023-2024第二学期的助教工作总结（计算机网络）
    一、助教工作的具体职责和任务 (包括：你和老师是如何配合的、你和课程其他助教是如何配合的（如果有的话）)1.及时跟进学生学习进度每周询问老师教学进度，自己复习知识点，随时准备回复学生问题，并对后续进行安排2.编写题目，拓宽题库每周编写5-8题题目，写出答案，并发给老师审核3.和老师......
  • 第二周总结
    学习进度：（1）阅读完《大道至简》第二章内容，懒人造就了方法，人的精力有限，提出新的方法，解决的将是影响做事成效的根本问题，这章里，举了一个学员学了一年，仍然不会写程序，作者告诉这个学员，要把学过的知识分类，就像是常用的放在手边，不常用的放在书柜里，这样这个学员在九个月的时候就可以写代码......
  • JS基础知识总结（1）
    1、编写一个程序，用于判空和判断对象是否被定义。functionisUndefined(arg){if(typeofarg=='undefined'||JSON.stringify(arg)=="{}"){returntrue;//第二个选项是把空对象筛选出去}else{//这里需要解释一......
  • 20240712总结、视图函数映射报错
    网络ip、端口，服务器人脸识别：1.接口，刚开始以为是调用消费机的接口，后来知道是消费机调用我的接口。2.对Django和Flask框架不熟悉，只会基本结构，Flask多套几层蓝图就懵了。3.对服务器、ip这些不明白，搞不懂消费机是怎么和服务器连上的。好像还用了docker4.对端口不熟悉，我对端口的理......

赞助商

阅读排行

网站主页关于我们联系我们网站地图

本网站内容转载自其他媒体，侵权联系[admin##ips99.com]。

Copyright © 2020-2023 IPS99 版权所有 IPS99