首页 > 其他分享 >基于机器学习和人工智能的数据质量测试工具

基于机器学习和人工智能的数据质量测试工具

时间:2023-05-10 20:14:40浏览次数:40  
标签:机器 人工智能 Data 学习 质量 测试工具 数据

一、比较知名的工具(非完全免费)

  1. Trifacta:Trifacta:是一种自动数据质量检测和数据预处理工具,它使用机器学习算法来自动识别数据中的潜在问题,并建议数据清理操作。

  2. Talend Data Quality:Talend Data Quality是一种数据质量和数据清理工具,它使用机器学习算法来自动识别数据中的问题,并提供数据清理操作和数据验证功能。

  3. Google Data Quality Scanner:Google Data Quality Scanner是一种基于机器学习的数据质量检测工具,它可以检测数据中的缺失值、异常值、重复值等问题,并提供数据清理建议。

  4. IBM Watson Knowledge Catalog:IBM Watson Knowledge Catalog是一种数据管理平台,它使用机器学习算法来自动识别数据中的问题,并提供数据质量评分和数据清理建议。

  5. DataRobot:DataRobot是一种自动化机器学习平台,它可以自动训练机器学习模型来检测数据中的潜在问题,并提供数据清理建议。

需要注意的是,这些工具并非完全免费,大多数提供了免费试用版或限制功能的免费版,完整的功能需要付费购买。

二、质量测试工具(免费)

  1. Great Expectations:Great Expectations是一个开源的数据质量测试工具,使用了基于机器学习的数据质量自动化工作流程。它可以轻松地对数据进行验证、建模和监控。Great Expectations支持多种数据源,包括CSV、Excel、JSON和SQL数据库。此外,它也可以与Apache Spark和AWS Glue等大数据处理平台集成。

  2. DataProfiler:DataProfiler是一个使用机器学习算法进行数据质量测试的开源工具,它可以检查数据集的一致性、完整性、准确性和规范性等方面。DataProfiler还提供了一个可视化的用户界面,可以轻松地查看数据质量报告和摘要信息。此外,它也支持与Jupyter Notebook集成,以便进行更高级的数据分析和可视化。

  3. Deequ:Deequ是一个使用机器学习技术进行数据质量测试的开源工具,它是由Amazon Web Services (AWS)开发的。Deequ支持多种数据源,包括CSV、JSON、Apache Parquet和AWS Glue等。它可以检查数据集的完整性、一致性和准确性,并提供了一个可视化的用户界面来查看数据质量报告。

标签:机器,人工智能,Data,学习,质量,测试工具,数据
From: https://www.cnblogs.com/syw20170419/p/17389191.html

相关文章

  • 【机器学习之 朴素贝叶斯】6.1 贝叶斯分类器
    文章目录6.朴素贝叶斯6.0贝叶斯决策论6.0.1简介6.0.2贝叶斯解决的问题-逆概6.1.3先验概率和后验概率1)条件概率2)先验概率3)后验概率4)例子介绍6.0.4贝叶斯定理1)公式2)出现原因(逆概问题)6.0.5例子2)例一3)例二4)例三6.0.6全概率6.1贝叶斯分类器6.1.1贝叶斯判......
  • 2.1 程序的机器级表示
    本章将详细学习汇编语言,了解如何将c程序编译成这种形式的机器代码。数据格式各种数据类型大小如下操作数指示符大多数指令有一个或多个操作数,指示出执行一个操作中要使用的源数据值,以及放置结果的目的位置。各种操作数的可能性被分为三种,第一种是立即数,用来表示常数值,不同指......
  • 搭建空地异构多机器人协同系统实验平台
    ♪搭建空地异构多机器人协同系统实验平台,2022年4月-2022年6月: 参与内容:[1]设计动捕摄像头的安装布线等配置方案;[2]通过多智能体行为控制理论对空地协同运动学行为进行深度建模;[3] 基于ROS系统对空地协同行为控制算法进行开发与验证;[4] 实现包括集群编队、协同避障与动......
  • COMP90049机器学习
    SchoolofComputingandInformationSystemsTheUniversityofMelbourneCOMP90049,IntroductiontoMachineLearning,Semester12023Assignment3:JobSalaryPredictionReleased:Monday,April17th2023.Due:StageI:Friday,May12th5pmStageII:Wednesday,M......
  • 159.234 人工智能
    159.234OBJECT-ORIENTEDPROGRAMMINGS1,2023Assignment2Deadline:11May2023,11pmEvaluation:40marks(15%ofyourfinalgrade)LateSubmission:Deduct5marksperdaylateIndividualWorkYoumustcompletethisassignmentbyyourself(youmustNOTshare......
  • LP三明治机器人
    2022年11月4日,EigenPhi检测到一种全新类型的三明治交易:一个三明治机器人挤压了一笔增加流动性的交易,根据我们的常识,这很奇怪。这样做有利可图吗?有什么限制吗?与之前关于包括37笔交易的巨大三明治交易的文章不同,该机器人展示了一种截然不同的创新策略。而本文将带你一探AMM旗......
  • C#使用词嵌入向量与向量数据库为大语言模型(LLM)赋能长期记忆实现私域问答机器人落地
     本文将探讨如何使用c#开发基于大语言模型的私域聊天机器人落地。大语言模型(LargeLanguageModel,LLM这里主要以chatgpt为代表的的文本生成式人工智能)是一种利用深度学习方法训练的能够生成人类语言的模型。这种模型可以处理大量的文本数据,并学习从中获得的模式,以预测在给定的......
  • 如何完整地掌握一个机器学习模型
    如何完整地掌握一个机器学习模型要全面地学习、掌握一个机器学习模型,可以遵循以下步骤:基础理论学习:了解该模型的背后数学原理和推导过程,包括假设、损失函数、优化方法等。学习算法实现:通过查阅论文、教程或开源代码,了解算法的具体实现过程。尝试使用Python等编程语言手动实现算......
  • COSC1076 Vending机器
    COSC1076|Semester12023AdvancedProgrammingTechniquesAssignment2VendingMachineAssessmentType:Bothgroupandindividualassessments.Weight:40%ofthefinalcoursemarkDueDate:23:59,Friday26May2023(Notethatthereisalsoagroupdemonstrat......
  • Delphi工具开发的windows应用程序,自动化测试工具
    DUnit:DUnit是一种单元测试框架,可以帮助开发人员编写单元测试用例,测试Delphi应用程序的各个模块和组件。TestComplete:一个功能强大的自动化测试工具。可以对Delphi应用程序进行测试,支持多种脚本语言和测试框架,如JScript、VBScript、Python、JUnit等DelphiAutomatedTestingSui......