在解释前筛查：一种便携式有效性协议用于基于基准的LLM置信信号
Screen Before You Interpret: A Portable Validity Protocol for Benchmark-Based LLM Confidence Signals
AI总结：
本文提出一种便携式有效性协议，用于评估基于基准的LLM置信信号，通过临床人格评估中的有效性筛查原则，定义了三个核心指标和结构指标，验证了20个前沿LLM在524个项目上的有效性。
摘要：
LLM置信信号用于回避、路由和安全关键决策。目前尚无标准实践来检查置信信号是否包含项目级信息。本文将临床人格评估（PAI，MMPI-3）中的有效性筛查原则作为便携式协议用于基于基准的LLM置信数据。该协议指定了三个核心指标（L，Fp，RBS），一个结构指标（TRIN）和一个项目敏感度统计量，这些均从单个2x2列联表中计算。三级分类系统（无效、不确定、有效）借鉴了四种临床传统。在20个前沿LLM的524个项目上验证，四模型被分类为无效，两模型为不确定。有效型模型显示均值r=0.18（15/16显著）。无效型模型显示均值r=-0.20（d=2.48）。使用MMLU进行18个模型的跨基准验证，结合口头化置信和Yang等人（2024）的外部数据，确认了筛查在基准和探测格式上的转移。所有数据和代码：https://github.com/synthiumjp/validity-scaling-llm
英文摘要：
LLM confidence signals are used for abstention, routing, and safety-critical decisions. No standard practice exists for checking whether a confidence signal carries item-level information before building on it. We transfer the validity screening principle from clinical personality assessment (PAI, MMPI-3) as a portable protocol for benchmark-based LLM confidence data. The protocol specifies three core indices (L, Fp, RBS), a structural indicator (TRIN), and an item-sensitivity statistic, computed from a single 2x2 contingency table. A three-tier classification system (Invalid, Indeterminate, Valid) draws on four clinical traditions. Validated on 20 frontier LLMs across 524 items, four models are classified Invalid, two Indeterminate. Valid-profile models show mean r = .18 (15/16 significant). Invalid-profile models show mean r = -.20 (d = 2.48). Cross-benchmark validation on 18 models using MMLU with verbalized confidence and on external data from Yang et al. (2024) confirms the screen transfers across benchmarks and probe formats. All data and code: https://github.com/synthiumjp/validity-scaling-llm
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
