arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2602.15778cs.CL
收藏

*-PLUIE:使用大语言模型改进评估的可个性化度量

*-PLUIE: Personalisable metric with Llm Used for Improved Evaluation

Univ Rennes, CNRS, IRISA, EXPRESSION(里尔大学、法国国家科学研究中心、IRISA、EXPRESSION);Nantes Université, École Centrale Nantes, CNRS, LS2N, UMR 6004(南特大学、南特中央理工学院、法国国家科学研究中心、LS2N、UMR 6004);Univ Rennes, CNRS, IRISA, SOTERN(里尔大学、法国国家科学研究中心、IRISA、SOTERN);Univ of South Brittany, CNRS, IRISA, ARCHIMEDIA(布列塔尼南部大学、法国国家科学研究中心、IRISA、ARCHIMEDIA)

Quentin Lemesle, Léane Jourdan, Daisy Munson, Pierre Alain, Jonathan Chevelu, Arnaud Delhay, Damien Lolive

AI总结:

提出*-PLUIE,一种基于困惑度的可个性化LLM评判度量,通过任务特定提示变体实现与人类判断的更强相关性,同时保持低计算成本。

摘要:

评估自动生成文本的质量通常依赖于LLM作为评判者(LLM-judge)的方法。虽然有效,但这些方法计算成本高且需要后处理。为了解决这些限制,我们基于ParaPLUIE进行改进,ParaPLUIE是一种基于困惑度的LLM评判度量,它通过估计“是/否”答案的置信度而不生成文本。我们引入了*-PLUIE,即ParaPLUIE的任务特定提示变体,并评估它们与人类判断的一致性。实验表明,个性化的*-PLUIE在保持低计算成本的同时,与人类评分的相关性更强。

英文摘要:

Evaluating the quality of automatically generated text often relies on LLM-as-a-judge (LLM-judge) methods. While effective, these approaches are computationally expensive and require post-processing. To address these limitations, we build upon ParaPLUIE, a perplexity-based LLM-judge metric that estimates confidence over ``Yes/No'' answers without generating text. We introduce *-PLUIE, task specific prompting variants of ParaPLUIE and evaluate their alignment with human judgement. Our experiments show that personalised *-PLUIE achieves stronger correlations with human ratings while maintaining low computational cost.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑