arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2406.08453cs.HC
收藏

ORES-Inspect:用于在 enwiki 上审计机器学习的技术探针

ORES-Inspect: A technology probe for machine learning audits on enwiki

Zachary Levonian, Lauren Hagen, Lu Li, Jada Lilleboe, Solvejg Wastvedt, Aaron Halfaker, Loren Terveen

AI总结:

本文介绍开源 Web 工具 ORES-Inspect,它作为技术探针帮助 Wikipedia 编辑者了解和审计 ORES 编辑质量模型,并支持研究社区如何审计平台中的 ML 模型。

摘要:

审计 Wikipedia 上使用的机器学习(ML)模型,对于确保破坏行为检测流程保持公平和有效十分重要。然而,开展审计具有挑战性,因为利益相关者有不同的优先事项,而且为模型的有效性或无效性收集证据在技术上很复杂。我们设计了一个界面,使编辑者能够了解并审计 ORES 编辑质量模型的性能。ORES-Inspect 是一个开源 Web 工具,也是一个具有启发性的技术探针,用于研究编辑者如何思考对 Wikipedia 上使用的众多 ML 模型进行审计。我们描述了 ORES-Inspect 的设计,以及利用该系统开展进一步研究的计划。

英文摘要:

Auditing the machine learning (ML) models used on Wikipedia is important for ensuring that vandalism-detection processes remain fair and effective. However, conducting audits is challenging because stakeholders have diverse priorities and assembling evidence for a model's [in]efficacy is technically complex. We designed an interface to enable editors to learn about and audit the performance of the ORES edit quality model. ORES-Inspect is an open-source web tool and a provocative technology probe for researching how editors think about auditing the many ML models used on Wikipedia. We describe the design of ORES-Inspect and our plans for further research with this system.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑