arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2305.15048cs.CLcs.IR
收藏

Ranger:一个基于效应量的多任务评估工具包

Ranger: A Toolkit for Effect-Size Based Multi-Task Evaluation

TU Wien(维也纳工业大学);Cohere(Cohere公司)

Mete Sertkan, Sophia Althammer, Sebastian Hofstätter

AI总结:

本文提出 Ranger 工具包,通过基于效应量的元分析将多任务处理效应合并为单一统计评估,解决 NLP 和 IR 中不可比指标聚合问题,提升评估稳健性。

摘要:

在本文中,我们介绍了 Ranger——一个旨在促进基于效应量的元分析在 NLP 和 IR 多任务评估中便捷使用的工具包。我们观察到,社区经常面临在不可比的指标和场景下聚合结果的挑战,这使得结论和核心信息不够可靠。通过 Ranger,我们旨在解决这一问题,提供一个任务无关的工具包,将处理在多个任务上的效应合并为一次统计评估,从而允许进行指标比较并计算总体汇总效应。我们的工具包能生成可直接发表的森林图,使得多任务评估结果得以清晰传达。通过这个即拿即用的 Ranger 工具包,我们的目标是推广稳健的、基于效应量的评估,并提升社区的评估标准。我们提供了两个针对常见 IR 和 NLP 设置的案例研究,以突出 Ranger 的优势。

英文摘要:

In this paper, we introduce Ranger - a toolkit to facilitate the easy use of effect-size-based meta-analysis for multi-task evaluation in NLP and IR. We observed that our communities often face the challenge of aggregating results over incomparable metrics and scenarios, which makes conclusions and take-away messages less reliable. With Ranger, we aim to address this issue by providing a task-agnostic toolkit that combines the effect of a treatment on multiple tasks into one statistical evaluation, allowing for comparison of metrics and computation of an overall summary effect. Our toolkit produces publication-ready forest plots that enable clear communication of evaluation results over multiple tasks. Our goal with the ready-to-use Ranger toolkit is to promote robust, effect-size-based evaluation and improve evaluation standards in the community. We provide two case studies for common IR and NLP settings to highlight Ranger's benefits.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑