soda-data dremio 集成使用

以前简单介绍过soda 数据质量工具，以下是关于dremio 集成的一个说明

环境准备

• dremio
  dremio 基于docker 部署,具体可以参考https://github.com/rongfengliang/dremio_cluster_docker-compose
• soda
  soda 包含了library 以及core，我使用了core，不依赖cloud，基于venv

python -m venv venv

source venv/bin/activate

pip install soda-core-dremio

使用

• soda 配置
  注意以下配置，如果是软件的，token 配置为"", 否则，可能运行会有问题
  configuration.yml

data_source dremio:

  type: dremio

  driver: /Library/Dremio/ODBC/lib/libarrow-flight-sql-odbc.dylib

  host: localhost

  username: admin

  password: admin123

  schema: s3v2

  token: ""

• 测试链接配置

soda test-connection -d dremio -c configuration.yml

• sodacl 定义
  checks.yml

checks for dbt.dalongdemov2:

  - duplicate_count(name) = 0:

      name: No duplicate names

注意: 其中的多for 后边部分就是dremio 的datasets 地址

• 执行scan

soda scan -d dremio -c configuration.yml checks.yml -srf app.json

效果

json结果

说明

基于soda 进行数据质量的处理还是很方便强大的，包含了很强大的cl 语言，可以方便的数据质量处理，和dremio 集成起来也是一个很不错的

参考资料

https://github.com/sodadata/soda-core
https://docs.soda.io/soda/quick-start-sip.html
https://docs.soda.io/soda/connect-dremio.html
https://docs.soda.io/soda-cl/metrics-and-checks.html
https://github.com/rongfengliang/dremio_cluster_docker-compose