首页 > 其他分享 >大数据-158 Apache Kylin 安装配置详解 集群模式启动

大数据-158 Apache Kylin 安装配置详解 集群模式启动

时间:2024-10-09 09:22:02浏览次数:3  
标签:kylin 158 HADOOP h121 apache export HOME Apache Kylin

点一下关注吧!!!非常感谢!!持续更新!!!

目前已经更新到了:

  • Hadoop(已更完)
  • HDFS(已更完)
  • MapReduce(已更完)
  • Hive(已更完)
  • Flume(已更完)
  • Sqoop(已更完)
  • Zookeeper(已更完)
  • HBase(已更完)
  • Redis (已更完)
  • Kafka(已更完)
  • Spark(已更完)
  • Flink(已更完)
  • ClickHouse(已更完)
  • Kudu(已更完)
  • Druid(已更完)
  • Kylin(正在更新…)

章节内容

上节我们完成了如下的内容:

  • Kylin 历史
  • Kylin 历程
  • Kylin 特点
  • Kylin 架构
  • Kylin 组件

在这里插入图片描述

依赖环境

在这里插入图片描述

集群规划

在这里插入图片描述
我这里就不根据上图来做了,因为我的服务器资源比较紧张,我就自由安排了。
需要注意:要求HBase的hbase.zookeeper.quorum值必须只能是 host1、host2这种,不允许host1:2181、host2:2181这种。

cd /opt/servers/hbase-1.3.1/conf
vim hbase-site.xml

(之前HBase实验已经做过了,配置就是这样的)

保险起见,放一个截图:
在这里插入图片描述

项目下载

下载地址如下:

https://archive.apache.org/dist/kylin/

这里使用的是:

https://archive.apache.org/dist/kylin/apache-kylin-3.1.1/apache-kylin-3.1.1-bin-hbase1x.tar.gz

你可以通过wegt或者本地下载完传到服务器上,按照需求,我这里是上传到 h122 节点上

cd /opt/software
wget https://archive.apache.org/dist/kylin/apache-kylin-3.1.1/apache-kylin-3.1.1-bin-hbase1x.tar.gz

等待下载完毕
在这里插入图片描述

解压移动

cd /opt/software
tar -zxvf apache-kylin-3.1.1-bin-hbase1x.tar.gz

运行结果如下图所示:
在这里插入图片描述

接着将其移动到servers目录,方便后续的管理:
在这里插入图片描述

环境变量

vim /etc/profile

我们需要加入Kylin的环境变量:(记得刷新环境变量)

export KYLIN_HOME=/opt/servers/apache-kylin-3.1.1-bin-hbase1x
export PATH=$PATH:$KYLIN_HOME/bin

配置环境变量如下图所示:
在这里插入图片描述

依赖组件

cd $KYLIN_HOME/conf
ln -s $HADOOP_HOME/etc/hadoop/hdfs-site.xml hdfs-site.xml
ln -s $HADOOP_HOME/etc/hadoop/core-site.xml core-site.xml
ln -s $HBASE_HOME/conf/hbase-site.xml hbase-site.xml
ln -s $HIVE_HOME/conf/hive-site.xml hive-site.xml
ln -s $SPARK_HOME/conf/spark-defaults.conf spark-defaults.conf

执行的结果如下图所示:
在这里插入图片描述

配置环境

我们需要修改 kylin.sh

cd $KYLIN_HOME/bin
vim kylin.sh

# 需要写入这些依赖 防止后续报错
export HADOOP_HOME=/opt/servers/hadoop-2.9.2
export HIVE_HOME=/opt/servers/apache-hive-2.3.9-bin
export HBASE_HOME=/opt/servers/hbase-1.3.1
export SPARK_HOME=/opt/servers/spark-2.4.5-bin-without-hadoop-scala-2.12

配置结果如下图所示:
在这里插入图片描述

检查依赖

$KYLIN_HOME/bin/check-env.sh

我这里报错了,可能是之前的环境变量有问题:
在这里插入图片描述
我找了一圈,看到 Flink YARN 这里HADOOP_CONF_DIR可能配置错了:

# Flink YRAN
# export HADOOP_CONF_DIR=$HADOOP_HOME
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
export HADOOP_CLASSPATH=`hadoop classpath`

修改完的结果为如下:(这里我暂时注释了,防止我的FlinkYRAN以后不能用了)
在这里插入图片描述
重新进行测试环境,检查顺利通过,看里边还有一些和Flink、Kafka的配置等,你需要的话可以加入:
在这里插入图片描述

启动集群

ZooKeeper

启动 h121 h122 h123集群模式
需要每个节点都运行

zkServer.sh start

HDFS

启动 h121 h122 h123
h121运行即可,但是要检查确认

start-dfs.sh

YRAN

启动 h121 h122 h123
h121运行即可,但是要检查确认

start-yarn.sh

HBase

启动 h121 h122 h123
h121运行即可,但是要检查确认

start-hbase.sh

Metastore

启动 h121 即可

nohup hive --service metastore > /tmp/metastore.log 2>&1 &

运行结果如下图:
在这里插入图片描述

history server

启动 h121 即可

mr-jobhistory-daemon.sh start historyserver

Kylin

启动 h122

kylin.sh start

运行过程如下图所示:
在这里插入图片描述

节点详情

h121

在这里插入图片描述
与上图对应一下:

  • Metastore
  • Zookeeper
  • HBase
  • HDFS
  • JPS跳过
  • YARN
  • Hadoop

h122

在这里插入图片描述

  • JPS跳过
  • YRAN
  • ZooKeeper
  • HBase
  • 好像是Kylin
  • HDFS

h123

在这里插入图片描述

  • YARN
  • JPS跳过
  • HBase
  • ZooKeeper
  • Hadoop
  • HDFS

启动结果

http://h122.wzk.icu:7070/kylin/login

我们访问之后可以看到如下的内容:
在这里插入图片描述

登录进入

默认都是大写
账号 ADMIN
密码 KYLIN

登录进入之后,就是如下的结果:
在这里插入图片描述

标签:kylin,158,HADOOP,h121,apache,export,HOME,Apache,Kylin
From: https://blog.csdn.net/w776341482/article/details/142750856

相关文章

  • PHP中的HTTP请求:Apache客户端的高效应用
    在现代Web开发中,PHP作为一种流行的服务器端脚本语言,经常需要与外部服务进行交互。这通常涉及到发送HTTP请求来获取或提交数据。ApacheHttpClient是PHP中一个强大的库,用于发送HTTP请求。本文将介绍如何在PHP中使用ApacheHttpClient来执行HTTP请求。ApacheHttpClient简介Ap......
  • apache配置默认自动重启
    1.增加环境变量.vi/root/apache-tomcat-8.5.75/bin/setenv.sh[root@app1bin]#catsetenv.shexportCATALINA_OPTS="$CATALINA_OPTS-Xms1600m"exportCATALINA_OPTS="$CATALINA_OPTS-Xmx1600m"exportCATALINA_OPTS="$CATALINA_OPTS-XX:MaxPerm......
  • Apache POI 创建 Excel
    数据来自通义千问......
  • 大数据-156 Apache Druid 案例实战 Scala Kafka 订单统计
    点一下关注吧!!!非常感谢!!持续更新!!!目前已经更新到了:Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis(已更完)Kafka(已更完)Spark(已更完)Flink(已更完)ClickHouse(已更完)Kudu(已更完)Druid(正在更新…)章节内容上节我们完成了如......
  • 大数据-155 Apache Druid 架构与原理详解 数据存储 索引服务 压缩机制
    点一下关注吧!!!非常感谢!!持续更新!!!目前已经更新到了:Hadoop(已更完)HDFS(已更完)MapReduce(已更完)Hive(已更完)Flume(已更完)Sqoop(已更完)Zookeeper(已更完)HBase(已更完)Redis(已更完)Kafka(已更完)Spark(已更完)Flink(已更完)ClickHouse(已更完)Kudu(已更完)Druid(正在更新…)章节内容上节我们完成了如......
  • Jmeter启动报错:Error: Unable to access jarfile D:\jiekou\apache-jmeter-5.6.3\b
    解决Jmeter启动报错:Error:UnabletoaccessjarfileD:\jiekou\apache-jmeter-5.6.3\bin\ApacheJMeter.jar问题:明明在官网(https://jmeter.apache.org/download_jmeter.cgi)直接下载,运行Jmeter,结果显示缺少ApacheJMeter.jar原因:Source(源)下含有src的文件里是不含有ApacheJMete......
  • Apache伪静态出现页面无法正常访问处理
    默认规则:apache RewriteRule^(.*)$index.php/$1[QSA,PT,L]这条规则适用于Apache采用模块化运行方式的情况。当请求URL不是目录或文件时,将所有请求重写为index.php/$1。备用规则:apache RewriteRule^(.*)$index.php[E=PATH_INFO:$1,QSA,PT,L]这条......
  • Apache学习笔记(详解,漏洞复现,基线检查)
    目录:Apache详解一、配置文件详解1、默认配置2、访问控制和网站首页配置3、日志文件配置4、类型配置二、作业+基于目录的访问控制三、Apache设置虚拟主机APAche漏洞复现一、Apache多后缀解析漏洞1、后缀解析的原理:2、漏洞复现3、漏洞防御二......
  • 在Ubuntu 20.04上安装Apache Web服务器的方法
    前些天发现了一个巨牛的人工智能学习网站,通俗易懂,风趣幽默,忍不住分享一下给大家。点击跳转到网站。介绍ApacheHTTP服务器是世界上使用最广泛的Web服务器。它提供许多强大的功能,包括动态可加载模块、强大的媒体支持以及与其他流行软件的广泛集成。在本指南中,我们将解......
  • KylinV10麒麟系统使用Nexus搭建YUM仓库代理
    安装Nexus(docker版本,宿主主机是啥系统无所谓)安装Nexus的服务器必须要有网,如果没网的话,前面还需要搭建NGINX反向代理下载镜像root@ubuntu:/#dockerpullsonatype/nexus3:3.38.1创建目录root@ubuntu:~#mkdir-p/data/nexus3/dataroot@ubuntu:~#chmod777/data/nexus3/启动镜像......