arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2402.14147cs.HCcs.AI
收藏

Wikibench:面向维基百科 AI 评估的社区驱动数据策展

Wikibench: Community-Driven Data Curation for AI Evaluation on Wikipedia

Carnegie Mellon University(卡内基梅隆大学);Microsoft(微软公司);Tsinghua University(清华大学);Columbia University(哥伦比亚大学)

Tzu-Sheng Kuo, Aaron Halfaker, Zirui Cheng, Jiwoo Kim, Meng-Hsin Wu, Tongshuang Wu, Kenneth Holstein, Haiyi Zhu

AI总结:

本文提出 Wikibench 系统,使维基百科社区能够协作策展 AI 评估数据集,并通过讨论处理观点分歧,实地研究表明其能有效捕捉社区共识、分歧与不确定性,同时支持社区塑造数据策展流程。

摘要:

AI 工具正越来越多地被部署在社区环境中。然而,用于评估 AI 的数据集通常由特定社区之外的开发者和标注者创建,这可能对 AI 性能得出误导性结论。我们如何赋能社区,使其能够为影响自身的 AI 有意地设计和策展评估数据集?我们在维基百科这一已部署多种基于 AI 的内容审核工具的在线社区上探讨了这一问题。我们提出了 Wikibench,一个使社区能够协作策展 AI 评估数据集,同时通过讨论来处理观点歧义和差异的系统。在维基百科上进行的一项实地研究表明,使用 Wikibench 策展的数据集能够有效捕捉社区共识、分歧和不确定性。此外,研究参与者使用 Wikibench 塑造了整体数据策展流程,包括细化标签定义、确定数据纳入标准以及撰写数据声明。基于我们的发现,我们为支持社区驱动数据策展的系统提出了未来方向。

英文摘要:

AI tools are increasingly deployed in community contexts. However, datasets used to evaluate AI are typically created by developers and annotators outside a given community, which can yield misleading conclusions about AI performance. How might we empower communities to drive the intentional design and curation of evaluation datasets for AI that impacts them? We investigate this question on Wikipedia, an online community with multiple AI-based content moderation tools deployed. We introduce Wikibench, a system that enables communities to collaboratively curate AI evaluation datasets, while navigating ambiguities and differences in perspective through discussion. A field study on Wikipedia shows that datasets curated using Wikibench can effectively capture community consensus, disagreement, and uncertainty. Furthermore, study participants used Wikibench to shape the overall data curation process, including refining label definitions, determining data inclusion criteria, and authoring data statements. Based on our findings, we propose future directions for systems that support community-driven data curation.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑