arXivDaily arXiv每日学术速递 周一至周五更新

大厂专区

ByteDance(字节跳动)

2026-08-20 至 2026-08-20 共收录 3
2608.19098 2026-08-20 cs.LG cs.AI cs.CL 新提交

Open-MOPD: Diagnosing and Fixing Capability Imbalance in Multi-Teacher On-Policy Distillation

Open-MOPD:诊断与修复多教师在线蒸馏中的能力不平衡

Huan-ang Gao, Haohan Chi, Yong Yan, Shiyuan Feng, Hanlin Wu, Zheng Jiang, Bingxiang He, Wei-Ying Ma, Ya-Qin Zhang, Hao Zhou

机构 * SIA-Lab of Tsinghua AIR and ByteDance Seed(清华大学AIR与字节跳动种子SIA实验室) Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院) Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)

AI总结 本研究针对多教师在线蒸馏(M-OPD)的能力不平衡问题,提出 Open-MOPD 框架,通过三种机制将提升空间恢复率从 35.6% 提升至 83.4%,并开源了相关方案与评估套件。

Comments Project page: https://bytedtsinghua-sia.github.io/Open-MOPD/

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.18581 2026-08-20 cs.CL cs.AI cs.LG 新提交

From Storage to Access: Verifiable Activation of Parametric Knowledge in LLMs via Explicit Priming and Implicit Reasoning

从存储到访问:通过显式预激活与隐式推理实现大语言模型中参数化知识的可验证激活

Zuocheng Ying, Yang Yang, Yumou Wu, Chuanbo Zhu, Jiarui Wang, Ziqi Wu, Jingming Cai, Junqing Yu, Zikai Song

机构 * ByteDance(字节跳动) Huazhong University of Science and Technology(华中科技大学)

AI总结 本研究提出VAKE框架,通过两阶段强化学习将LLM的显式知识提取能力迁移至隐式推理,可激活参数化知识,在多基准上优于基线且具备跨数据集迁移性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.18524 2026-08-20 cs.CL cs.AI cs.LG cs.MA 新提交

DART-SD: Diamond-topology Aware Retrieval and Tuning for Self-Distillation of Multi-Turn Tool-Calling Agents

DART-SD:面向多轮工具调用智能体自蒸馏的钻石拓扑感知检索与微调

Hangrui Xu, Jiarui Wang, Yang Yang, Chuanbo Zhu, Fangda Chen, Ziqi Wu, Jingming Cai, Yan Song

机构 * ByteDance(字节跳动) University of Science and Technology of China(中国科学技术大学)

AI总结 本文针对多轮工具调用智能体训练中的拓扑崩溃问题,提出DART-SD框架,通过建模拓扑、检索恢复参考与渐进自蒸馏提升策略多样性,性能优于传统全轨迹基线。

详情

展开后加载摘要…

URL PDF HTML 收藏