一个精选的模型监控工具列表

Aporia

借助 Aporia，数据科学家和 ML 工程师可以轻松地为他们在生产中运行的 ML 模型构建监控。

特征：

• 构建您自己的监控器：轻松定义监控逻辑。
• 概念漂移和数据完整性检测：针对预测漂移、数据漂移、数据完整性问题等情况内置监控器和警报。
• 在您的VPC(虚拟私有云)上运行：原生的支持本地和云部署。
• 用户友好且灵活：一个简单、直观的仪表板，适用于生产中的所有模型。
• 数据段：根据选定的特征定义和监控数据切片。

详情见：

• ​​ https://www.aporia.com/ ​​
• ​​ https://github.com/aporia-ai ​​

Deepchecks

在训练、生产和新版本发布期间验证和监控您的数据和模型。

特征：

• 训练数据和机器学习模型的机器学习验证
• ML 在生产中的可观察性
• 就实时 ML 系统中的各种问题发出警报
• 检测研究和生产环境之间的不匹配
• 快速查询有问题的生产数据

详情见：

• ​​ https://deepchecks.com/ ​​
• ​​ https://github.com/deepchecks/deepchecks ​​

MLRun

MLRun 是一个端到端的开源 MLOps 编排框架，用于管理和自动化您的整个分析和机器学习生命周期，从数据摄取到模型开发再到完整的流水线部署。 MLRun 简化了大规模机器学习流水线的开发，并帮助 ML 团队构建了一个强大的流程，以从研究阶段过渡到完全可操作的生产部署。

特征：

• 特征和制品存储：处理跨多个存储库和技术的数据和特征的摄取、处理、元数据和存储。
• 弹性无服务运行时：使用特定于工作负载的运行时引擎（例如：Kubernetes 作业、Nuclio、Dask、Spark 和 Horovod）将简单的代码转换为可扩展和托管的微服务。
• ML 流水线自动化：自动化数据准备、模型训练和测试、实时进行生产流水线的部署以及端到端模型和特征监控。
• 中央管理：提供用于管理整个 MLOps 工作流的统一门户。该门户包括一个 UI、一个 CLI 和一个 SDK，可从任何地方访问。

详情见：

• ​​ https://docs.mlrun.org/en/latest/model_monitoring/index.html ​​
• ​​ https://github.com/mlrun/mlrun ​​

Evidently AI

Evidently 有助于在验证或生产监控期间分析机器学习模型。 它从 pandas DataFrames 或 csv 文件生成交互式报告。

特征：

• 模型健康：快速可视化模型性能和重要指标。 获取要调试的问题的优先列表。
• 数据漂移：将最近的数据与过去的数据进行比较。 了解哪些功能发生了变化，以及关键型号驱动程序是否发生了变化。 直观地探索和理解漂移。
• 目标漂移：了解模型预测和目标如何随时间变化。 如果ground truth（真值）延迟，提前捕捉模型衰减。

详情见：

• ​​ https://github.com/evidentlyai/evidently ​​

WhyLabs

WhyLabs 可观察性平台使任何 AI 从业者都可以通过三个简单的步骤设置 AI 监控。 它遵循标准的 DevOps 模型，在模型旁边安装轻量级日志代理 (whylogs)，并将数据配置文件发送到完全自助服务的 SaaS 平台 (WhyLabs)。 在该平台上，您可以分析您的个人资料以查看您的模型的执行情况，并自动收到有关变化的警报。 该平台包括：

• 一个简单的设置流程，让您可以立即开始获得价值
• 自动数据漂移检测和警报，以防止模型性能下降
• 由开源"whylogs"库支持的数据分析行业标准

详情见：

• ​​ https://whylabs.ai/ ​​
• ​​ https://github.com/whylabs/whylogs ​​
• ​​ https://whylogs.readthedocs.io/en/latest/ ​​