首页 > 其他分享 >hdp2.4搭建

hdp2.4搭建

时间:2024-04-29 13:24:14浏览次数:28  
标签:... ambari JDK hdp2.4 server agent hbase 搭建

http://192.168.159.11/hbase/

虚拟机目录/var/www/html/hbase

启动httpd   /bin/systemctl start httpd.service

 

 

httpd配置文件修改下面三行路径     vi /etc/httpd/conf/httpd.conf

DocumentRoot "/data/www/html"
<Directory "/data/www">
<Directory "/data/www/html">
重启 /bin/systemctl restart httpd.service

 

关闭透明大页

[root@hdp11 ~]# cat /sys/kernel/mm/transparent_hugepage/enabled
[always] madvise never
[root@hdp11 ~]# echo never > /sys/kernel/mm/transparent_hugepage/enabled
[root@hdp11 ~]# cat /sys/kernel/mm/transparent_hugepage/enabled
always madvise [never]

yum文件

[root@hdp1 hbase]# cat /etc/yum.repos.d/hdp.repo

[AMBARI-2.2.1.0]
name=AMBARI-2.2.1.0
baseurl=http://hdp1/hbase/AMBARI-2.2.1.0/centos7/2.2.1.0-161/
enabled=1
gpgcheck=0

[HDP-2.2.1.0]
name=HDP-2.2.1.0
baseurl=http://hdp1/hbase/HDP/centos7/2.x/updates/2.4.0.0/
enabled=1
gpgcheck=0

[HDP-uti]
name=HDP-uti
baseurl=http://hdp1/hbase/HDP-UTILS-1.1.0.20/repos/centos7/
enabled=1
gpgcheck=0

  

 所有节点

yum -y install ambari-agent
ambari-agent start
chkconfig --add ambari-agent

修改配置文件hostname       /etc/ambari-agent/conf/ambari-agent.ini  

master节点 yum install ambari-server -y

初始化ambari-server      ambari-server setup

一路默认(jdk选[3] Custom JDK   填JAVA_HOME地址     数据库选[1] - PostgreSQL (Embedded))

ambari账号密码 都是admin(或者ambari)

Database name (ambari):
Postgres schema (ambari):
Username (ambari):
Enter Database Password (bigdata):

[root@hdp9 ~]# ambari-server setup
Using python  /usr/bin/python2
Setup ambari-server
Checking SELinux...
SELinux status is 'disabled'
Customize user account for ambari-server daemon [y/n] (n)? 
Adjusting ambari-server permissions and ownership...
Checking firewall status...
Redirecting to /bin/systemctl status iptables.service

Checking JDK...
Do you want to change Oracle JDK [y/n] (n)? y
[1] Oracle JDK 1.8 + Java Cryptography Extension (JCE) Policy Files 8
[2] Oracle JDK 1.7 + Java Cryptography Extension (JCE) Policy Files 7
[3] Custom JDK
==============================================================================
Enter choice (1): 3
WARNING: JDK must be installed on all hosts and JAVA_HOME must be valid on all hosts.
WARNING: JCE Policy files are required for configuring Kerberos security. If you plan to use Kerberos,please make sure JCE Unlimited Strength Jurisdiction Policy Files are valid on all hosts.
Path to JAVA_HOME: /var/java/jdk1.8.0_151/
Validating JDK on Ambari Server...done.
Completing setup...
Configuring database...
Enter advanced database configuration [y/n] (n)? y
Configuring database...
==============================================================================
Choose one of the following options:
[1] - PostgreSQL (Embedded)
[2] - Oracle
[3] - MySQL
[4] - PostgreSQL
[5] - Microsoft SQL Server (Tech Preview)
[6] - SQL Anywhere
==============================================================================
Enter choice (1): 
Database name (ambari): 
Postgres schema (ambari): 
Username (ambari): admin
Enter Database Password (ambari): 
Re-enter password: 
Default properties detected. Using built-in database.
Configuring ambari database...
Checking PostgreSQL...
Configuring local database...
Connecting to local database...done.
Configuring PostgreSQL...
Restarting PostgreSQL
Extracting system views...
.......
Adjusting ambari-server permissions and ownership...
Ambari Server 'setup' completed successfully.

启动service ambari-server start      页面访问http://192.168.159.19:8080/    admin admin

ambari-server start   启动  
ambari-server stop   停止
ambari-server restart   重启
	
ambari-agent start  启动
ambari-agent stop  停止
ambari-agent status 查看状态

  

                         

Name your cluster   kzx_pay_hf

HDP 2.4

Advanced Repository Options  (参考 /etc/yum.repos.d/hdp.repo)

 

 

 

 

 

Choose Services

HDFS   HBase    ZooKeeper   Ambari Metrics

 

 

这里注意 failed disk tolerance设置,测试环境如果只有一个磁盘 又设置1会导致datanode启动失败

报org.apache.hadoop.util.DiskChecker$DiskErrorException: Invalid volume failure  config value: 1

【HDFS问题】datanode启动失败的问题

 

 

1

标签:...,ambari,JDK,hdp2.4,server,agent,hbase,搭建
From: https://www.cnblogs.com/hanxing/p/18163594

相关文章

  • vue开发环境搭建
    一、安装nvm在工作中可能会遇到需要使用多个node版本的时候,nvm正为解决这个而生,NVM(NodeVersionManager)是一个用于管理Node.js版本的工具。1、nvm换镜像源{安装地址}\settings.txt中添加查看安装地址,wherenvm#配置node镜像:node_mirror:https://npmmirror.co......
  • 5分钟教你搭建邮件服务器的实用指南
    今天我写了一篇实用的文章,重点是教你如何免费搭建一个邮件服务器,这个服务器不仅可以用于发送邮件,还可以供我的待办机器人使用。一开始我试图找一些免费的API接口来实现这个功能,但遗憾的是,并没有找到合适的。对于程序员来说,能自己动手实现绝对是最好的选择,幸运的是,我有一台空闲的......
  • Ubuntu22.04 搭建Kubernetes 1.28版本集群
    依赖安装准备工作需要在所有节点上进行。安装ssh服务安装 openssh-serversudoapt-getinstallopenssh-server修改配置文件vim/etc/ssh/sshd_config找到配置项LoginGraceTime120PermitRootLoginprohibit-passwordStrictModesyes把 prohibit-password ......
  • 从0到1的 linux 搭建 svn 教程
    linux搭建svn服务器:安装svn软件包:yuminstallsubversionmysql-serverhttpdmod_dav_svnmod_perlsendmailwgetgcc-c++makeunzipperl*ntsysvvim-enhanced安装完成后svn服务器安装成功了。接下来配置svn库:1.新建一个目录用于存储SVN所有文件mkdir/home/svn2.新建......
  • 使用 WordPress搭建一个个人博客
    安装LNMP首先需要下载LNMP:wgethttp://soft.vpser.net/lnmp/lnmp2.0.tar.gz-cOlnmp2.0.tar.gz下载完成后解压并执行:tarzxflnmp2.0.tar.gz&&cdlnmp1.5&&./install.shlnmp选择想要安装的版本然后回车开始安装,这里时间比较长,耐心等待一下,看到以下显示表示安装成功配......
  • ant design pro vue项目搭建-运行项目
    1、克隆代码gitclone--depth=1https://github.com/vueComponent/ant-design-vue-pro.git2、依赖安装npminstall提示eslint版本报错  去除eslint,将package.json中eslint相关配置删除3、重新安装依赖完成,没有报错 npminstall 4、启动项目 npmrun......
  • Hadoop集群模式的搭建之二:配置Hadoop平台基础环境
    在进行Hadoop集群的安装部署之前,需要对虚拟机进行一些基础环境配置。例如,为了在集群中识别主机,需要配置主机和IP地址的映射关系;为了使用Web相关的服务和访问连接,需要在集群中关闭并禁用防火墙功能;为了减少节点之间访问时人工输入用户密码,需要配置SSH免密登录;为了集群节点的时间能......
  • Centos7搭建本地yum源(最少步骤)
    Centos7搭建本地yum源(最少步骤)配置本地yum源一、部署磁盘1、查看磁盘是否已连接2、查看磁盘所属的盘符lsblk这里的磁盘名称都在/dev下面的。3、挂载和永久挂载挂载前要创建挂载文件(这里就挂载到/mnt/dvd吧)mkdir/mnt/dvd(1)挂载mount/dev/sr0/mnt/dvd(2)永久挂载需......
  • 搭建单机版伪分布式Hadoop+Scala+spark
    搭建单机版伪分布式Hadoop+Scala+spark修改ip[root@master~]#nmcliconnectionaddifnameens32con-nameens32autoconnectyesipv4.methodmanualipv4.gateway192.168.130.2ipv4.addresses192.168.130.102/24ipv4.dns114.114.114.114[root@master~]#nmcliconu......
  • 笔记本1050ti跑autoformer模型,环境搭建过程
    ##1、选显卡对应得驱动程序https://www.nvidia.com/Download/index.aspxnotebook是笔记本,下载类型选sd。不更新驱动会报:RuntimeError:TheNVIDIAdriveronyoursystemistooold(foundversion8000).PleaseupdateyourGPUdriverbydownloadingandinstallinganew......