基于理论的评估揭示了LLM个性化中的作者身份差距
Theory-Grounded Evaluation Exposes the Authorship Gap in LLM Personalization
AI总结：
本文通过理论指导的评估方法，揭示了LLM个性化中作者身份差距的问题，采用三种测量传统评估四种个性化方法，发现理论指导的指标能提供更准确的基准。
摘要：
风格个性化——使LLM以特定个人的风格写作，而非仅适应任务偏好——缺乏基于作者身份科学的评估。我们证明，将评估根植于作者身份验证理论可以改变基准所能测量的内容。借助三个测量传统——LUAR，一个训练有素的作者身份验证模型；一个LLM作为判断者，具有解耦的特征匹配；以及经典的功能词风格度量——我们评估了四种推理时间个性化方法，涉及50位作者和1000次生成。理论指导的指标LUAR提供了传统替代方法无法做到的：校准的基准，具有人类上限0.756和跨作者下限0.626，这些分数具有绝对意义。所有方法的分数均低于此下限，从0.484到0.508，揭示了传统指标无法察觉的作者身份差距。三种指标产生接近零的成对相关性，绝对r小于0.07，证实了在没有理论指导的情况下，指标选择决定了结论：一个LLM判断者声明有一个明确的胜者，而LUAR发现没有有意义的区分。这些发现展示了理论-基准循环的运作：作者身份理论揭示了传统基准无法发现的评估失败。
英文摘要：
Stylistic personalization - making LLMs write in a specific individual's style, rather than merely adapting to task preferences - lacks evaluation grounded in authorship science. We show that grounding evaluation in authorship verification theory transforms what benchmarks can measure. Drawing on three measurement traditions - LUAR (a trained authorship verification model), an LLM-as-judge with decoupled trait matching, and classical function-word stylometrics - we evaluate four inference-time personalization methods across 50 authors and 1,000 generations. The theory-grounded metric (LUAR) provides what ad hoc alternatives cannot: calibrated baselines (human ceiling 0.756, cross-author floor 0.626) that give scores absolute meaning. All methods score below this floor (0.484-0.508), exposing an authorship gap invisible to uncalibrated metrics. The three metrics produce near-zero pairwise correlations (|r| < 0.07), confirming that without theoretical grounding, metric choice determines conclusions - an LLM judge declares a clear winner while LUAR finds no meaningful differentiation. These findings demonstrate the theory-benchmark cycle in action: authorship theory exposes evaluation failures that ad hoc benchmarks miss.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
