Opentsdb安装部署（单机版）

Opentsdb简介

opentsdb是基于Hbase的时序数据库[时间序列数据库]。不具备通用性，主要针对具有时间特性和需求的数据，如监控数据、温度变化数据等。opentsdb说是数据库，但并不能称作为数据库，他是在Hbase(HBase才是具有存储功能的)的基础上，进行数据结构的优化和处理，从而适合存储具有时间特性的数据，同时提供特定的工具进行查询等操作。

基础概念

1）时间戳(时间序列)，指明时间点

2）指标名称 :数据的作用，是这个数据的抽象概括，指明监控内容，如温度，湿气，大小

3）标签 : 对象，指明监控对象 ，如某个城市，某个CPU，某块区域

4）值 : 存储值

总体架构

1）servers : 不知道干嘛的。好像跟http api 没关系

2）TSD : 还是不知道干嘛的 。应该是处理程序

3）HBase : 存储数据库

HBase

Hbase 是Hadoop 的子项目，负责数据存储。是一种基于列的NoSQL数据库，在opentsdb中HBase 为其提供了高效的数据存储。

tsdb-uid表 : opentsdb 将指标、时间戳、标签名及标签值使用 3个字节的uid 进行存储，而tsdb-uid表就是存储的就是做uid 和 真实值之间的映射关系，使用uid是为了优化HBase 中的Rowkey (行键)

tsdb 表 : 用来保存数据，这图其实是看不懂的。只是知道 Row Key 是用来时存储指标、时间戳、标签的uid映射的，Column Family 存储了是1个小时内的数据(一小时 = 60秒 * 60分钟 = 3600 秒 )

搭建环境、版本信息

OS：CentOS 7.4

IP：192.168.31.36

JDK：1.8.0_144

Zookeeper：3.4.10

Hbase：1.2.11

Opentsdb：2.4.0

一、Java环境部署

1、安装包准备

版本：jdk-8u144

下载地址：
​​https://mirrors.yangxingzhen.com/jdk/jdk-8u144-linux-x64.tar.gz​​

2、安装步骤

1）下载JDK安装包

[root@localhost ~]# wget -c https://mirrors.yangxingzhen.com/jdk/jdk-8u144-linux-x64.tar.gz

2）解压安装包

[root@localhost ~]# tar zxf jdk-8u144-linux-x64.tar.gz -C /usr/local

3）配置系统环境变量

编辑vim /etc/profile，加入以下内容

1. export JAVA_HOME=/usr/local/jdk1.8.0_144
2. export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
3. export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH:$HOMR/bin

执行source /etc/profile 使其生效

4）使用java、javac等命令验证是否安装成功。

[root@localhost ~]# java -version

java version "1.8.0_144"

Java(TM) SE Runtime Environment (build 1.8.0_144-b01)

Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

二、Zookeeper部署

1、安装包准备

版本：3.4.10

下载地址：https://mirrors.yangxingzhen.com/zookeeper/zookeeper-3.4.10.tar.gz

2、安装步骤

[root@localhost ]# wget -c https://mirrors.yangxingzhen.com/zookeeper/zookeeper-3.4.10.tar.gz

3）解压安装配置zookeeper

[root@localhost ]# tar zxf zookeeper-3.4.10.tar.gz

[root@localhost ]# mv zookeeper-3.4.10 /usr/local/zookeeper

[root@localhost ]# cd /usr/local/zookeeper/

4）创建快照日志存放目录：

[root@localhost zookeeper]# mkdir -p data

5）创建事务日志存放目录：

[root@localhost zookeeper]# mkdir -p logs

【注意】:如果不配置dataLogDir，那么事务日志也会写在data目录中。这样会严重影响zookeeper的性能。因为在zookeeper吞吐量很高的时候，产生的事务日志和快照日志太多。

[root@localhost zookeeper]# cd conf/

[root@localhost conf]# cp zoo_sample.cfg zoo.cfg

[root@localhost conf]# vim zoo.cfg

#配置内容

1. tickTime=2000
2. initLimit=10
3. syncLimit=5
4. clientPort=1888
5. #存放数据文件
6. dataDir=/usr/local/zookeeper/data
7. #存放日志文件
8. dataLogDir=/usr/local/zookeeper/logs
9. #zookeeper cluster，2888为选举端口，3888为心跳端口
10. server.1=127.0.0.1:2888:3888

[root@pre_online conf]# echo "1" > /usr/local/zookeeper/data/myid

6）启动和停止zookeeper

在ZooKeeper集群的每个结点上，执行启动ZooKeeper服务的脚本，如下所示：

[root@localhost local]# cd /usr/local/zookeeper/bin

[root@localhost bin]# ./zkServer.sh start

ZooKeeper JMX enabled by default

Using config: /usr/local/zookeeper/bin/../conf/zoo.cfg

Starting zookeeper ... STARTED

7）日志可查询：/usr/local/zookeepe/bin/zookeeper.out

可以通过命令jps查看Zookeeper进程：

[root@localhost bin]# jps

[root@localhost bin]# ps -ef |grep zookeeper

8）停止zookeeper命令：

[root@localhost bin]# /usr/local/zookeeper/bin/zkServer.sh stop

9）配置系统环境变量

[root@localhost ~]# echo "export PATH=/usr/local/zookeeper/bin:\$PATH" >>/etc/profile

执行 source /etc/profile 使其生效

三、Hbase部署

安装包准备

版本：1.2.11

下载地址：https://mirrors.yangxingzhen.com/hbase/hbase-1.2.11-bin.tar.gz

安装步骤

1）下载JDK安装包；

[root@localhost ~]# wget -c https://mirrors.yangxingzhen.com/hbase/hbase-1.2.11-bin.tar.gz

2）解压；

[root@localhost ~]# tar zxf hbase-1.2.11-bin.tar.gz -C /usr/local

3）修改Hbase配置

[root@nginx soft]# cd /usr/local/hbase-1.2.11/conf/

1、修改hbase-env.sh

[root@nginx conf]# vim hbase-env.sh

添加以下内容：

export JAVA_HOME=/usr/local/jdk1.8.0_144/

export HBASE_MANAGES_ZK=false

#如果使用内置zookeeper不用修改HBASE_MANAGES_ZK

2、修改hbase-site.xml

[root@nginx conf]# vim hbase-site.xml

启动Hbase

[root@nginx conf]# cd /usr/local/hbase-1.2.11/bin/

[root@nginx bin]# ./start-hbase.sh

进入控制台

[root@nginx bin]# ./hbase shell

四、Opentsdb部署

1、安装包准备

版本：2.4.0

下载地址：https://mirrors.yangxingzhen.com/opentsdb/opentsdb-2.4.0.tar.gz

2、安装步骤

1）下载JDK安装包；

[root@localhost ~]# wget -c https://mirrors.yangxingzhen.com/opentsdb/opentsdb-2.4.0.tar.gz

2）解压编译

[root@localhost ~]# tar zxf opentsdb-2.4.0.tar.gz -C /usr/local

[root@nginx opentsdb-2.4.0]# ./build.sh

[root@nginx opentsdb-2.4.0]# cp -r third_party build

[root@nginx opentsdb-2.4.0]# ./build.sh

3）创建表

[root@nginx opentsdb-2.4.0]# env COMPRESSION=NONE HBASE_HOME=/usr/local/hbase-1.2.11 src/create_table.sh

进入控制台查看是否创建了表

[root@nginx opentsdb-2.4.0]# /usr/local/hbase-1.2.11/bin/hbase shell

PS：估计有毒，发现少了一张tsdb表，手动创建hbase(main):003:0> create 'tsdb',{NAME => 't', VERSIONS => 1, COMPRESSION => 'NONE', BLOOMFILTER => 'ROW', DATA_BLOCK_ENCODING =>'DIFF'}

Opentsdb配置

[root@nginx opentsdb-2.4.0]# cp src/opentsdb.conf build

[root@nginx opentsdb-2.4.0]# vim build/opentsdb.conf

#配置内容如下：

1. tsd.network.port = 4242
2. tsd.network.bind = 0.0.0.0
3. tsd.network.keep_alive = true
4. tsd.http.staticroot = ./staticroot
5. tsd.http.cachedir = /usr/local/hbase-1.2.11/cache
6. tsd.core.auto_create_metrics = true
7. tsd.storage.hbase.data_table = tsdb
8. tsd.storage.hbase.zk_basedir = /hbase
9. tsd.storage.hbase.zk_quorum = localhost:1888

启动Opentsdb

[root@nginx opentsdb-2.4.0]# cd /usr/local/opentsdb-2.4.0/build

[root@nginx build]# nohup ./tsdb tsd &

访问Opentsdb