什么使医学检查器可训练？诊断生物医学问答中检查器引导的RAG中的信号崩溃和奖励黑客
What Makes a Medical Checker Trainable? Diagnosing Signal Collapse and Reward Hacking in Checker-Guided RAG for Biomedical QA
AI总结：
本文通过比较四种NLI检查器作为GRPO训练的医学RAG代理的过程奖励，诊断了信号崩溃和奖励黑客现象，发现检查器的输出分布而非保留准确率决定了其是否提供可训练梯度，并提出了验证器作为奖励系统的边界条件。
摘要：
医学RAG需要基于证据的声明，因此将声明级别的NLI检查器插入检索增强的强化学习是直观的。 extbf{我们发现，检查器在训练期间的输出分布，而不是其保留准确率，决定了它是否提供可训练梯度。}我们比较了四种NLI检查器后端作为GRPO训练的医学RAG代理（Qwen2.5-7B，在Qwen3-4B和Llama-3.1-8B上复制）的过程奖励，跨越四个保留的医学QA基准。出现了三个诊断发现。 extbf{(i)} 信号崩溃是log概率特定的：LLM log概率评分将超过97%的声明标记为中性——将RL梯度降至零——而校准的MedNLI分类器对相同对进行非退化评分。 extbf{(ii)} 在答案质量上，中等信号优于强信号：一个强大的专有检查器触发三步奖励黑客级联——超短答案、搜索回避、语言崩溃——因此中等信号的本地分类器训练出更高质量的模型（ extbf{+12% BERTScore相对于零样本，无GPT依赖}）。 extbf{(iii)} 信号强度是策略依赖的：相同的检查器在一个策略上表现为中等，但在另一个策略上表现为强，而不触发级联终点。我们将这些视为验证器作为奖励系统的边界条件。
英文摘要：
Medical RAG needs evidence-grounded claims, so plugging a claim-level NLI checker into retrieval-augmented RL is intuitive. \textbf{We find that the checker's \emph{output distribution} during training, not its held-out accuracy, decides whether it provides trainable gradient.} We compare four NLI checker back-ends as process rewards inside a GRPO-trained medical RAG agent (Qwen2.5-7B, replicated on Qwen3-4B and Llama-3.1-8B) across four held-out medical QA benchmarks. Three diagnostic findings emerge. \textbf{(i)} Signal collapse is log-prob-specific: LLM log-probability scoring labels over 97\% of claims neutral -- collapsing the RL gradient to zero -- while a calibrated MedNLI classifier scores the same pairs non-degenerately. \textbf{(ii)} Moderate signal beats strong signal on answer quality: a strong proprietary checker triggers a three-step reward-hacking cascade -- ultra-short answers, search avoidance, language collapse -- so a moderate-signal local classifier trains a higher-quality model (\textbf{+12\% BERTScore over zero-shot, no GPT dependency}). \textbf{(iii)} Signal strength is policy-dependent: the same checker registers as moderate on one policy but strong on another without triggering the cascade end-state. We frame these as boundary conditions for verifier-as-reward systems.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
