k8s与数据分析--利用redash做自助数据分析

前言

通过数据分析和挖掘，让数据产生价值。一直以来我认为 devops 必须是一个闭环，即 apm，日志，监控着三大系统的数据，必须经过分析对 dev 和 ops 有价值。

数据可视化是大数据的『最后一公里』，做好可视化是对于数据分析是重要的。
今天，主要介绍 redash 这款数据分析的利器。

redash简介

redash 是一款开源的 BI 工具，提供了基于web的数据库查询和数据可视化功能。

支持 SQL, NoSQL, Big Data and API data 等20几种常见的数据源：

基本上满足了大多数的场景。相比 superset 除了上手简单，支持 influxdb 等时序数据库。这点对于监控数据分析很有优势。

• sql 友好的 SQL editor，更加高效的编写复杂的 sql

随时写，随时查，实时看到查询的效果

• 支持丰富的可视化展示形式

• Boxplot
• Chart - Line, Bar, Area, Pie, Scatter
• Cohort
• Counter
• Funnel
• Map
• Pivot Table
• Sankey
• Sunburst
• Word Cloud

• 角色权限相关，支持ldap等，方便与企业内部的用户体系打通。

安装和简单使用

安装

如果是想直接体验的话，docker-compose 部署最简单，redashgithub 仓库中直接提供了docker-compose.production.yml 文件，直接 docker-compose up -d 即可。

# This is an example configuration for Docker Compose. Make sure to atleast update
 # the cookie secret & postgres database password.
 #
 # Some other recommendations:
 # 1. To persist Postgres data, assign it a volume host location.
 # 2. Split the worker service to adhoc workers and scheduled queries workers.
 version: '2'
 services:
   server:
     image: redash/redash:latest
     command: server
     depends_on:
       - postgres
       - redis
     ports:
       - "5000:5000"
     environment:
       PYTHONUNBUFFERED: 0
       REDASH_LOG_LEVEL: "INFO"
       REDASH_REDIS_URL: "redis://redis:6379/0"
       REDASH_DATABASE_URL: "postgresql://postgres@postgres/postgres"
       REDASH_COOKIE_SECRET: veryverysecret
       REDASH_WEB_WORKERS: 4
     restart: always
   worker:
     image: redash/redash:latest
     command: scheduler
     environment:
       PYTHONUNBUFFERED: 0
       REDASH_LOG_LEVEL: "INFO"
       REDASH_REDIS_URL: "redis://redis:6379/0"
       REDASH_DATABASE_URL: "postgresql://postgres@postgres/postgres"
       QUEUES: "queries,scheduled_queries,celery"
       WORKERS_COUNT: 2
     restart: always
   redis:
     image: redis:3.0-alpine
     restart: always
   postgres:
     image: postgres:9.5.6-alpine
     # volumes:
     #   - /opt/postgres-data:/var/lib/postgresql/data
     restart: always
   nginx:
     image: redash/nginx:latest
     ports:
       - "80:80"
     depends_on:
       - server
     links:
       - server:redash
     restart: always

通过 compose 文件可以看出，redash 依赖 redis 和 pgsql 数据库。redis 用来缓存一些查询result，而 pgsql 是元数据库，目前不支持 mysql 替换 pgsql。
其他安装方式，见官方文档

简单使用

先上一张实际的效果图：

包含了 couter 和 area chart。

数据源包括 influxdb 时序数据库，和 mysql 业务库。

其中 audit-middware 其实是 Query Results 库。Query Results Data Source 允许你在一些已经存在的查询结果之上再做一些高级的查询, 这样就可以轻易合并一些查询结果。

总结

在实际使用中，redash 和 superset 各有优劣。根据自己的场景来选择吧。查阅资料的过程中，已经有人对 redash 做了二次开发，这也许是深度使用的必经之路。