TAB-PO：面向Token关键结构化生成的具有Token级自适应障碍的偏好优化
TAB-PO: Preference Optimization with a Token-Level Adaptive Barrier for Token-Critical Structured Generation
AI总结：
针对结构化预测中偏好与拒绝对象仅少数token不同导致的梯度稀释和token侵蚀问题，提出基于混淆感知偏好构建和Token级自适应障碍的TAB-PO方法，在SciERC任务上显著提升关键指标。
摘要：
直接偏好优化（DPO）是一种有效且广泛采用的离线对齐方法，但难以适应本体驱动的结构化预测，其中偏好和拒绝的JSON对象通常仅在少数模式定义token上存在差异。在这种低编辑距离场景下，序列级DPO将梯度质量分散到非关键的序列化token上（梯度稀释），并可能降低罕见、低置信度的偏好模式token的似然（token侵蚀）。为解决这些限制，我们首先开发了一种混淆感知的偏好构建策略，该策略用从验证集SFT预测中估计的经验结构化错误模式来增强专家策划的歧义模式，合成最小扰动的、模式有效的负样本，将偏好学习聚焦于现实的本体级决策错误。然后，我们引入了Token自适应障碍偏好优化（TAB-PO），这是一种用于token关键结构化生成的SFT后目标。TAB-PO添加了一个置信门控的token级障碍，对低置信度的模式token施加监督锚定。在公开的SciERC科学信息抽取任务上，使用1.5B到70B的Llama/Qwen模型评估，TAB-PO在本体关键的语义标签和关系链接指标上平均比SFT提升11.59%，在这些指标上100%胜于最强的token级和序列级DPO变体，并领先领先的前沿模型14.71%，同时在文本基础方面取得了强劲的增益。
英文摘要：
Direct Preference Optimization (DPO) is effective for offline alignment but poorly matched to ontology-driven structured prediction, where preferred and rejected JSON often differ by only a few schema-defining tokens. In this low-edit-distance regime, sequence-level DPO spreads gradient mass across non-critical serialization tokens (gradient dilution) and can reduce likelihood on rare preferred schema tokens (token erosion). To address these limitations, we first develop a confusion-aware preference-construction strategy combining expert-curated ambiguity patterns with validation-set SFT structured-error modes, producing minimally perturbed, schema-valid negatives for ontology-level decision errors. We then introduce Token-Adaptive Barrier Preference Optimization (TAB-PO), a post-SFT objective for token-critical structured generation with a confidence-gated token-level barrier that anchors under-confident schema tokens. On SciERC, with Llama/Qwen models, TAB-PO improves ontology-critical semantic-label and relational-linking metrics by 11.59% relative to SFT, wins 100% of comparisons against strongest token-level/sequence-level DPO variants, and surpasses strongest frontier baselines on these metrics by 14.71% relative while improving textual grounding.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
