arXivDaily arXiv每日学术速递 周一至周五更新
arXiv周末暂无论文更新,休息一下吧,周末愉快~~
arXiv 2603.29396cs.CL
收藏

我的模型是因正确的原因而困惑吗?将LLM的基准行为与词级困惑度进行对比

Is my model perplexed for the right reason? Contrasting LLMs' Benchmark Behavior with Token-Level Perplexity

College of Informatics, University of Amsterdam(阿姆斯特丹大学信息学学院);Department of Medical Informatics, Amsterdam University Medical Center(阿姆斯特丹大学医学中心医学信息学系);ILLC, University of Amsterdam(阿姆斯特丹大学逻辑、语言与计算研究所)

Zoë Prins, Samuele Punzo, Frank Wildenburg, Giovanni Cinà, Sandro Pezzelle

AI总结:

本文提出基于词级困惑度的解释框架,通过对比最小句子对的困惑度分布,揭示模型在语言相关线索上的行为机制,发现重要词不完全解释困惑度变化,表明模型依赖其他启发式方法。

摘要:

标准的大语言模型评估侧重于任务性能,限制了对正确行为是否反映适当底层机制的理解,并可能引发确认偏见。我们引入一个简单且原则性的可解释性框架,基于词级困惑度来测试模型是否依赖语言相关线索。通过比较在单个或几个'关键'词上差异的最小句子对的困惑度分布,我们的方法使能够进行精确的、假设驱动的分析,而无需依赖不稳定的特征归因技术。在受控语言基准上的实验表明,虽然语言重要词影响模型行为,但它们从不完全解释困惑度变化,揭示模型依赖其他启发式方法,而非预期的语言机制。

英文摘要:

Standard evaluations of Large language models (LLMs) focus on task performance, offering limited insight into whether correct behavior reflects appropriate underlying mechanisms and risking confirmation bias. We introduce a simple, principled interpretability framework based on token-level perplexity to test whether models rely on linguistically relevant cues. By comparing perplexity distributions over minimal sentence pairs differing in one or a few `pivotal' tokens, our method enables precise, hypothesis-driven analysis without relying on unstable feature-attribution techniques. Experiments on controlled linguistic benchmarks with several open-weight LLMs show that, while linguistically important tokens influence model behavior, they never fully explain perplexity shifts, revealing that models rely on heuristics other than the expected linguistic ones.

机构、总结、中文摘要均由AI分析而来,可能存在错误,请以论文正文为准。

↑