偏见和公平审计工具包
偏见报告由Aequitas提供支持,这是一个开源偏见审计工具包,供机器学习开发人员、分析师和政策制定者审计机器学习模型的歧视和偏见,并围绕开发和部署预测性风险评估工具做出明智和公平的决策。
请参阅有关 COMPAS 风险评估分数的示例报告。
或者使用您自己的数据或我们的样本数据集之一试用审计工具。
© 2018 数据科学与公共政策中心 - 芝加哥大学
从其实现看,应该不算复杂。看数据分布的平衡性:
from aequitas.plotting import Plot
aqp = Plot()
fpr_plot = aqp.plot_group_metric(xtab, 'fpr')
其他工具汇总:
Fairness
Aequitas
https://github.com/dssg/aequitasFairness Comparison
https://github.com/algofairness/fairness-comparison
AI Fairness 360
https://github.com/IBM/aif360
Audit-AI
https://github.com/pymetrics/audit-ai
Thesis-ML
https://github.com/cosmicBboy/themis-ml
FairML
https://github.com/adebayoj/fairml
FairTest
https://github.com/columbia/fairtest
Themis
https://themis-ml.readthedocs.io/en/latest/index.html
Fairness Measures
https://fairnessmeasures.github.io/