首页 > 其他分享 >piperider 开源数据可靠性工具

piperider 开源数据可靠性工具

时间:2023-01-04 12:02:52浏览次数:88  
标签:可靠性 com 开源 github https 数据 piperider

piperider 是基于python 的数据可靠性工具,主持数据的profile ,数据的测试以及数据的可观测性以及监控

核心特性

  • 基于sql,同时支持csv
  • 数据profule 的特性,包含了metrcis以及重复,唯一,缺少。。。
  • 数据测试,基于内置的断言定义
  • 基于运行的profile启动生成推荐的断言
  • 生成报告
  • 生成比较报告
  • 支持不少数据源,snowflake,bigquery,redshift,postgres,sqlite,duckdb,csv,parquet

说明

官方提供了几个示例报告可以快速体验piperider,最近几年数据质量,数据可靠性周边开源的工具是越来越多了,此项目也是值得学习参考的
同时这个团队也开源了一个制品版本控制系统,是一个挺有意思的项目

参考资料

https://www.piperider.io/
https://github.com/infuseai/piperider
https://piperider-github-readme.s3.ap-northeast-1.amazonaws.com/comparison-0.16.0/index.html#/tables/br_mobility_report/columns/
https://piperider-github-readme.s3.ap-northeast-1.amazonaws.com/run-0.16.0/index.html
https://github.com/InfuseAI/ArtiVC

标签:可靠性,com,开源,github,https,数据,piperider
From: https://www.cnblogs.com/rongfengliang/p/17024434.html

相关文章

  • 《安富莱嵌入式周报》第294期:将C/C++代码转换为各种高级语言,超炫渲染着色器,VS2022新闻
    ​​​​更新视频教程:USB应用实战视频教程第5期:手把手玩转USBHID免驱方式下位机和QT6.4上位机开发上篇视频版:​​https://www.bilibili.com/video/BV1MK41197wC​​1、将C/......
  • 隐私计算技术开源的整体现状
    ######作者:京东科技隐私计算产品部杨博**随着政策鼓励与技术成熟,开源作为一种新型的生产方式、创新的协作方式,正逐渐渗入到千行百业,并在国家战略层面的得到了肯定和支持......
  • 【通知】深度学习之模型设计书籍勘误汇总!附赠资源和代码开源问题
    大家好,新书《深度学习之模型设计》上市已经两个星期了,详情如下:言有三新书来袭!业界首次深入全面讲解深度学习模型设计​由于个人精力和能力,以及排版编辑流程问题,书中难免会有......
  • 学习开源项目的几个实用套路
    记得我的leader之前说过,很多人工作之后就丧失了钻研技术的热情,这个确实,我发现自己多少也有这个问题。转眼已经毕业一年多了,回想这一年,有些惭愧,感觉不仅技术能力上并没有......
  • 【即将开源】实例语义分割和ORB特性来跟踪动态对象
    以下内容来自从零开始机器人SLAM知识星球每日更新内容点击领取学习资料→机器人SLAM学习资料大礼包论文#DynaSLAMII:Tightly-CoupledMulti-ObjectTrackingandS......
  • 免费MP4转换GIF工具开源
    实现效果开源原因:市面上的其他转换工具多半要收费,不划算,所以就开源了采用框架:PyQt5+moviepywin安装包地址:https://ytouch-1258011219.cos.ap-nanjing.myqcloud.com/dt_mp......
  • 从开源安全看汽车安全新挑战
    “汽车制造商需要依托开源软件的灵活性和可扩展性来开发当前和未来软件定义下的汽车。”软件定义汽车的大趋势近些年,由于车联网、自动驾驶汽车、共享和电动(CASE)技术的进步,......
  • 开源web自定义表单好用吗?
    在大数据时代,想要提高办公协作效率是每一家企业的追求目标。采用开源web自定义表单比传统的表单的效率更高,是当今不少企业一直在追寻的合作伙伴。那么,开源web自定义表单好......
  • 回顾 OpenMLDB 2022 之旅 | 开源之路,行将致远
    2022年初,OpenMLDB尚且懵懂稚嫩。彼时的我们刚刚走过开源道路上的第一个秋天,还没有结出丰硕的果实。前进着,期待着,2022的一切徐徐展开:请旋转手机和OpenMLDB共同回忆202......
  • 细数华为云云原生产品及五大开源实践
    摘要:华为云已向CNCF贡献多个首创开源项目,包括云原生边缘计算平台项目KubeEdge,云原生批量计算项目Volcano,云原生多云容器编排项目Karmada,今年,华为云又开源了两个云原生领域的......