RankSteer: 激活引导用于点wise LLM 排序
RankSteer: Can Pointwise LLM Rankers Be Calibrated at the Representation Level?
AI总结：
RankSteer 通过激活引导框架提升零样本点wise LLM 排序性能，利用三个解耦方向校准排序行为，无需修改模型权重。
摘要：
大型语言模型（LLMs）最近在零样本排序任务中表现出强大的性能，但其效果高度依赖于提示的构建，尤其是角色扮演指令。先前的分析表明，与角色相关的信号被编码在与查询-文档表示 largely 分离的激活通道中，这提出了在激活级别直接引导排序行为的可能性，而不是通过脆弱的提示工程。在本文中，我们提出 RankSteer，一种用于零样本点wise LLM 排序的后处理激活引导框架。我们通过表征空间中的三个解耦且可引导的方向来表征排序行为：一个映射隐藏状态到相关性分数的决策方向，一个捕捉未被决策头直接利用的相关性信号的证据方向，以及一个调节模型行为而不注入相关性信息的角色方向。通过在推理时基于投影的干预，RankSteer 联合控制这些方向以校准排序行为，而无需修改模型权重或引入显式的跨文档比较。在 TREC DL 20 和多个 BEIR 评估基准上的实验表明，RankSteer 仅使用少量锚定查询就能一致地提高排序质量，证明了点wise LLM 排序器中存在大量未充分利用的排序能力。我们进一步提供了一种几何分析，揭示了引导通过稳定排序几何和减少分散来改进排序，为 LLMs 如何内部表示和校准相关性判断提供了新的见解。
英文摘要：
Large language models (LLMs) are strong zero-shot pointwise rankers, but lag behind pairwise and listwise methods. Beyond missing comparative signals, we identify a \textit{calibration gap}: ranking-relevant information encoded in hidden states is not fully captured by the scalar output head. We propose RankSteer, a post-hoc activation-steering framework that calibrates ranking via projection-based interventions along multiple directions at inference time: decision, evidence, and, optionally, role. This is achieved without updating model weights or introducing cross-document comparisons. We instantiate RankSteer on two structurally distinct pointwise variants and observe improvements over their respective baselines on most TREC DL and BEIR datasets across three backbones. This suggests that the calibration gap is a general property of pointwise rankers. Our additional geometric analysis shows that steering improves ranking by concentrating each query's document representations along an existing ranking geometry, offering new insight into how LLMs internally represent and calibrate relevance judgments.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
