语言大模型 / LLM

Post-Trained MoE Can Skip Half Experts via Self-Distillation

Post-Trained MoE Can Skip Half Experts via Self-Distillation

Xingtai Lv, Li Sheng, Kaiyan Zhang, Yichen You, Siyan Gao, Xueheng Luo, Yuxin Zuo, Yuchen Fan, Junlin Yang, Ganqu Cui, Bingning Wang, Fan Yang, Youbang Sun, Ning Ding, Bowen Zhou

机构 * Frontis.AI ； Kuaishou Technology（快手科技） ； Shanghai AI Lab（上海人工智能实验室） ； TsinghuaC3I/ZEDA（清华大学C3I/ZEDA） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 本文提出ZEDA框架，通过自蒸馏将预训练的静态MoE模型转换为高效的动态MoE模型，显著减少专家FLOPs并提升推理速度。

CURE: Curriculum-guided Multi-task Training for Reliable Anatomy Grounded Report Generation

CURE：基于课程引导的多任务训练实现可靠的解剖学接地报告生成

Pablo Messina, Andrés Villa, Juan León Alcázar, Karen Sánchez, Carlos Hinojosa, Denis Parra, Álvaro Soto, Bernard Ghanem

机构 * Pontificia Universidad Católica de Chile（智利天主教大学） ； CENIA ； iHEALTH ； KAUST（科威特皇家科学与技术局） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 提出CURE框架，通过课程学习动态调整多任务训练，提升医学报告生成的视觉接地准确性和事实一致性，无需额外数据。

Comments 31 pages, 7 figures, accepted to CVPR 2026 (oral)

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2026, pp. 36279-36289

RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers

RecurrentGPT：通过Transformer中的循环调制实现表达性深度

Amr Hegazy, Amr Alanwar, Mostafa Elhoushi

机构 * The German University in Cairo（开罗德国大学） ； Technical University of Munich（慕尼黑工业大学） ； Cerebras Systems Inc.（赛布拉斯系统公司） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出RecurrentGPT，通过循环调制解决Transformer语言模型表达性与内存效率的矛盾，在多约束下优于基线模型，实现参数与内存的高效利用。

Why Does Self-Distillation (Sometimes) Degrade the Reasoning Capability of LLMs?

为什么自蒸馏（有时）会降低大语言模型的推理能力？

Jeonghye Kim, Xufang Luo, Minbeom Kim, Sangmook Lee, Dohyung Kim, Jiwon Jeon, Dongsheng Li, Yuqing Yang

机构 * Microsoft Research（微软研究院） ； KAIST（韩国成均馆大学） ； Seoul National University（首尔国立大学） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.CL、cs.LG

AI总结 本文研究了自蒸馏在数学推理中降低大语言模型推理能力的原因，发现其通过抑制模型在推理过程中的不确定性表达，导致在未见过的问题上表现下降，强调了适当表达不确定性对鲁棒推理的重要性。

Comments Accepted to COLM 2026. Code is available at https://github.com/beanie00/self-distillation-analysis

Technological Advances in Detecting and Managing Cognitive Impairment in Older Adults: Trends, Challenges, and Future Directions

老年人认知障碍检测与管理的技术进展：趋势、挑战与未来方向

Mohammad Asif, Azizuddin Khan, Mohd Azam, Anurag Rajkumar Bombarde

机构 * Indian Institute of Technology Bombay（印度理工学院孟买分校） ； T-Systems ICT India Pvt. Ltd.（德国电信系统印度信息通信技术私人有限公司） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 本文综合老年人认知障碍检测与管理的技术进展，提出跨学科分类法等成果，指出现有模型多依赖小数据集，展望了可信多模态纵向验证系统的发展前景。

Comments Withdrawn due to an unresolved dispute regarding authorship eligibility and attribution

Camera-Agnostic Pruning of 3D Gaussian Splats via Descriptor-Based Beta Evidence

基于描述符的Beta证据的3D高斯点集剪枝

Peter Fasogbon, Ugurcan Budak, Patrice Rondao Alface, Hamed Rezazadegan Tavakoli

机构 * Nokia Technologies（诺基亚技术） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出一种无需相机参数的3D高斯点集剪枝方法，通过属性衍生的邻域描述符进行一阶剪枝，引入混合描述符框架并建立Beta证据模型以评估点集可靠性。

Comments 16 pages, 3 figures, 3 tables. Accepted for publication in the Proceedings of the British Machine Vision Conference (BMVC), 2026

Simulation-to-real transfer learning for infrared spectroscopic chemical sensing and analysis from molecules to complex samples

面向红外光谱化学传感与分析的仿真到真实迁移学习：从分子到复杂样品

Yusen Tan, Yixuan Chen, Zheng Fang, Pan Liu, Yifan Li, Qinyu Guo, Zhedong Lin, Yuqiang Li, Xiangxiang Zeng, Tong Wang, Jun Xia

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； Jilin University（吉林大学） ； University of Auckland（奥克兰大学） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Hunan University（湖南大学） ； The Hong Kong University of Science and Technology（香港科技大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对红外光谱化学传感的迁移难题，提出超1亿参数的红外光谱基础模型UltraIR，经6000万仿真光谱预训练后，在多类化学分析任务中性能优于基线，且适配性与数据效率优异。

Learning Latency-Aware Orchestration for Multi-Agent Systems

学习面向延迟的并行多智能体系统编排

Xi Shi, Mengxin Zheng, Qian Lou

机构 * University of Central Florida（中央佛罗里达大学） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 本文提出LAMaS框架，通过显式优化关键路径降低多智能体系统并行执行的延迟，提升效率和性能。

Comments Preprint. Previously this version appeared as arXiv:2607.13359 which was submitted as a new work by accident

RadarGen: Automotive Radar Point Cloud Generation from Cameras

RadarGen：从摄像头生成汽车雷达点云

Tomer Borreda, Fangqiang Ding, Sanja Fidler, Shengyu Huang, Or Litany

机构 * Technion（技术学院） ； MIT（麻省理工学院） ； NVIDIA（英伟达） ； University of Toronto（多伦多大学） ； Vector Institute（向量研究所） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 RadarGen通过扩散模型从摄像头图像生成逼真的雷达点云，结合BEV对齐的深度、语义和运动线索，提升雷达生成的物理合理性与多模态模拟能力。

Comments ECCV 2026. Project page: https://radargen.github.io/

Exploring Sparsity for Parameter Efficient Fine Tuning Using Wavelets for Vision

探索用于视觉参数高效微调的小波稀疏性

Ahmet Bilican, M. Akın Yılmaz, A. Murat Tekalp, R. Gökberk Cinbiş

机构 * Dept. of Electrical and Electronics Engineering, Koç University（电子工程系，科奇大学） ； Codeway AI Research（Codeway人工智能研究） ； Dept. of Computer Engineering, Middle East Technical University（计算机工程系，中东技术大学） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究提出小波微调（WaveFT），利用权重矩阵小波域的稀疏更新实现细粒度参数控制，在视觉任务的参数高效微调方法中达最优，已纳入Hugging Face PEFT库。

Leak It: Per-Document Extraction Beyond Aggregate Membership Inference

泄露它：黑盒语言模型训练数据提取的概率方法

Victor Maricato

机构 * Karolinska Institutet（卡罗林斯卡学院） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 该研究针对黑盒语言模型提出概率训练数据提取方法，发现聚合AUC掩盖逐文档泄露风险，发布leakit工具，强调隐私审计需按领域分解逐文档提取结果。

Comments 14 pages, 7 figures. Code: https://github.com/victormaricato/leakit

Attn-QAT: 4-Bit Attention With Quantization-Aware Training

Attn-QAT：4位注意力与量化感知训练

Peiyuan Zhang, Matthew Noto, Wenxuan Tan, Chengquan Jiang, Will Lin, Wei Zhou, Hao Zhang

机构 * Stanford University（斯坦福大学） ； University of Wisconsin-Madison（威斯康星大学麦迪逊分校） ； Georgia Institute of Technology（佐治亚理工学院） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 Attn-QAT通过稳定4位量化感知训练实现高效的注意力计算，提升模型推理速度并保持性能。

Enhancing Knowledge Tracing through Leakage-Free and Recency-Aware Embeddings

通过无泄漏且感知近期性的嵌入增强知识追踪

Yahya Badran, Christine Preisach

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 该研究针对知识追踪模型的标签泄漏问题，提出含MASK标签的无泄漏嵌入与近期编码方法，融入DKT等模型后可提升预测准确性，方法高效且适用范围广。

Kimi K3: Open Frontier Intelligence

Kimi K3：开放前沿智能

Kimi Team, Tongtong Bai, Yifan Bai, Yiping Bao, M. C., Jianfeng Cai, Xinyuan Cai, Peizhou Cao, Yuxuan Cao, Ziwei Chai, Y. Charles, H. S. Che, Guanduo Chen, Guangyu Chen, Guanzheng Chen, Huarong Chen, Jia Chen, Jianlong Chen, Jun Chen, Kexin Chen, Peng Chen, Ruijue Chen, Wentao Chen, Xin Chen, Yang Chen, Yanru Chen, Yifei Chen, Yingjiang Chen, Yuankun Chen, Yujie Chen, Yutian Chen, Zhirong Chen, Dazhi Cheng, Yean Cheng, Jialei Cui, Jingbing Cui, Anqi Dai, Jiaqi Deng, Hao Ding, Rui Ding, Shaofeng Ding, Mengfan Dong, Mengnan Dong, Yuhao Dong, Yuxin Dong, Angang Du, Chenzhuang Du, Dikang Du, Jusen Du, Yulun Du, Yu Fan, Jing Feng, Qiulin Feng, Yichen Feng, Kelin Fu, Qiang Fu, Fuxuan Gao, Hongcheng Gao, Jingyue Gao, Tong Gao, Weijia Gao, Shangyi Geng, Jie Gong, Linhu Gong, Shengao Gong, Xiaochen Gong, Qizheng Gu, Yicheng Gu, Shuhao Guan, Haiqing Guo, Shiqi Guo, Xiang Guo, Zhengyan Guo, Beixi Hao, Wenxin Hao, Xiaoru Hao, Dailan He, Haotian He, Lehan He, Qi He, Weiran He, Xinran He, Xinyi He, Yibo He, Yunjia He, Chao Hong, Tiange Hong, Hao Hu, Jiaxi Hu, Ruikun Hu, Weiming Hu, Yangyang Hu, Zhenxing Hu, Liang Hua, Jinbin Huang, Ke Huang, Ruiyuan Huang, Siying Huang, Weixiao Huang, Yan Huang, Zhengjie Huang, Zhiqi Huang, Yulong Hui, Chaobo Jia, Yutong Jiang, Zhejun Jiang, Zuoyou Jiang, Wenyi Jin, Xinyi Jin, Yu Jing, Huanjun Kong, Guokun Lai, Aidi Li, Cheng Li, Chengyuan Li, Cong Li, Fang Li, Guanyu Li, Haoyang Li, Jia Li, Junxiong Li, Lei Li, Letian Li, Lincan Li, Weihong Li, Wentao Li, Xintong Li, Yang Li, Yishen Li, Yiwei Li, Yuxiao Li, Zhaowei Li, Zhaoxi Li, Zheming Li, Zhengxiao Li, Zhiyuan Li, Jiawei Lin, Xiaohan Lin, Yibo Lin, Zichao Lin, Ziyan Lin, Bill Liu, Boxiao Liu, Chuan Liu, Liang Liu, Shaowei Liu, Shudong Liu, Shuran Liu, Tianwei Liu, Weizhou Liu, Yangyang Liu, Yanming Liu, Yibo Liu, Yipeng Liu, Zhengying Liu, Zhiheng Liu, Enzhe Lu, Haoyu Lu, Linqiang Lu, Tingzhan Lu, Zhiyuan Lu, Aotian Luo, G. Luo, Junyu Luo, Yifan Luo, B. Lyu, Wenzhou Lyu, Shaoguang Mao, Yuan Mei, Xin Men, Minqing Ni, Yixuan Niu, Siyuan Pan, Shujun Peng, Zhangyang Qi, Ruoyu Qin, ZeChao Qin, Zeyu Qin, Haiquan Qiu, Jianxin Qiu, Jiezhong Qiu, Bowen Qu, Yuhao Qu, Zeyu Shang, Youbo Shao, Han Shen, Jincheng Shi, Juanfeng Shi, Lidong Shi, Shengyuan Shi, Wingchun Siu, Pengwei Song, Xiaoxi Song, Jianlin Su, Yunfeng Su, Zhaochen Su, Lin Sui, Jingsong Sun, Junyao Sun, Shaoning Sun, Shuzhe Sun, Tongyu Sun, Yujun Sun, Yunpeng Tai, Chuning Tang, Heyi Tang, Sirui Tang, Zecheng Tang, Chaoran Tian, Rongpeng Tian, Yu Tian, Wei Tu, Chensi Wang, Chuang Wang, Chunjie Wang, Dinglu Wang, Feng Wang, Hailong Wang, Haiming Wang, Hao Wang, Hao Wang, Huaqing Wang, Hui Wang, Jiayi Wang, Jinglong Wang, Jinhong Wang, Jiuzheng Wang, Linian Wang, Shaobo Wang, Shenzhi Wang, Shuyi Wang, Si Wang, Siyuan Wang, Tianfu Wang, Wenjue Wang, Xingran Wang, Xinmei Wang, Xinyuan Wang, Xusheng Wang, Yalin Wang, Yangkun Wang, Yao Wang, Yaoyu Wang, Yejie Wang, Yiqin Wang, Yucheng Wang, Yuzhi Wang, Zhaoji Wang, Zhaowei Wang, Zhengtao Wang, Zhenhao Wang, Zhongsheng Wang, Zifan Wang, Chu Wei, Ming Wei, Shouxin Wei, Zichen Wen, Fan Wu, Haoning Wu, Rucong Wu, Wenhao Wu, Xiaoxue Wu, Yingcong Wu, Yongqi Wu, Yuxin Wu, Zijian Wu, Xinglang Xian, Chenxuan Xiang, Yuye Xiang, Bocheng Xiao, Chenjun Xiao, Xin Xiao, Jin Xie, Xiaotong Xie, Yifeng Xie, Zhe Xie, Bowei Xing, Yiming Xiong, Baosheng Xu, Boyu Xu, Jiale Xu, Jianfan Xu, Jing Xu, Jinjing Xu, L. H. Xu, Qingtao Xu, Shuyao Xu, Suting Xu, Tiantian Xu, Tianxiang Xu, Weixin Xu, Xinran Xu, Yangchuan Xu, Ye Xu, Yueni Xu, Ziyao Xu, Haonan Xue, Junjie Yan, Yaoyao Yan, Fan Yang, Guangyao Yang, Hao Yang, Junwei Yang, Ruoyu Yang, Wenjie Yang, Xiaofei Yang, Xinyu Yang, Yi Yang, Yiling Yang, Ying Yang, Yuchen Yang, Zhen Yang, Zhilin Yang, Zian Yang, Zuhao Yang, Haotian Yao, Dan Ye, Haoran Ye, Wenjie Ye, Zhanbo Ye, Bohong Yin, Haoxiang Yin, Xietong Yin, Chengzhen Yu, Haozhen Yu, Longhui Yu, Shengnan Yu, Shuying Yu, Tianxiang Yu, Enming Yuan, Mengjie Yuan, Tongtian Yue, Wei Yue, Yang Yue, Dunyuan Zha, Haobing Zhan, B. H. Zhang, Dehao Zhang, Fei Zhang, Hao Zhang, Haoyuan Zhang, Huanyu Zhang, Jiapei Zhang, Jiaxuan Zhang, Jin Zhang, Kaiyi Zhang, Miaozhen Zhang, Puqi Zhang, Qinglei Zhang, Rong Zhang, Rui Zhang, Shaoshuai Zhang, Shiyi Zhang, Xiaobin Zhang, Xiaoyun Zhang, Y. Zhang, Yangkun Zhang, Ye Zhang, Yichi Zhang, Yikun Zhang, Yizhi Zhang, Yongting Zhang, Yu Zhang, Yutao Zhang, Yutong Zhang, Zheng Zhang, Zijing Zhang, Bin Zhao, Chenguang Zhao, Feifan Zhao, Jinglun Zhao, Jinxiang Zhao, Shuai Zhao, Wenshuo Zhao, Xiangyu Zhao, Xuanle Zhao, Yikai Zhao, Zijia Zhao, Haozhi Zheng, Huabin Zheng, Ruihan Zheng, Shaojie Zheng, Tengyang Zheng, Haofeng Zhong, Lei Zhong, Longguang Zhong, M. Zhou, Qiankang Zhou, Runjie Zhou, Ruozhang Zhou, Xinyu Zhou, Yiqiao Zhou, Zaida Zhou, Jinguo Zhu, Liya Zhu, Xinhao Zhu, Yangjunfeng Zhu, Yuxuan Zhu, Zhen Zhu, Chen Zhuang, Weiyu Zhuang, Xinxing Zu

专题命中 效率与部署 ：post-training(abstract)；分类 cs.CL、cs.LG

AI总结 介绍Kimi K3这一2.8T参数的专家混合模型，基于Kimi Delta Attention等构建，结合多种方法使缩放效率提升约2.5倍。经训练后在多领域强化学习表现出色，虽整体性能略逊最强专有模型，但在多项任务中达前沿水平且优于其他模型，还发布模型权重助力研究。

Comments K3 tech report

When Bits Break Recourse: Counterfactual-Faithful Quantization

当比特失效时的反事实：反事实忠实量化

Chaymae Yahyati, Ismail Lamaakal, Khalid El Makkaoui, Ibrahim Ouahbi

机构 * Mohammed First University（穆罕默德第一大学） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 本文研究了量化过程中反事实可解释性的问题，提出反事实忠实量化方法，通过定义有效性下降和反事实可逆差距两个指标来评估量化对反事实可解释性的影响，并在多个数据集上验证了该方法在保持准确性的同时提升了反事实稳定性。

Comments 57 pages, 31 tables, 26 figures

Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens

链式视觉思维：通过连续视觉标记教学VLMs更好地看到和思考

Yiming Qin, Bomin Wei, Jiaxin Ge, Konstantinos Kallidromitis, Stephanie Fu, Trevor Darrell, XuDong Wang

机构 * UC Berkeley（加州大学伯克利分校） ； UCLA（洛杉矶大学） ； Panasonic AI Research（松下人工智能研究） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 COVT通过连续视觉标记提升VLMs的视觉推理能力，使模型在多个基准测试中性能提升3%-16%。

Comments Project page: https://wakalsprojectpage.github.io/covt-website/

DIB-OD: Preserving the Invariant Core for Robust Heterogeneous Graph Adaptation via Decoupled Information Bottleneck and Online Distillation

DIB-OD：通过解耦信息瓶颈和在线蒸馏保留不变核以实现鲁棒的异构图适应

Yang Yan, Yunxuan Li, Qiuyan Wang, Tianjin Huang, Qiudong Yu

机构 * School of Information Technology and Engineering, Tianjin University of Technology and Education（天津职业技术师范大学信息技术工程学院） ； School of Computer Science and Technology, Tiangong University（天工大学计算机科学与技术学院） ； Department of Computer Science at University of Exeter（埃克塞特大学计算机科学系） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 本文提出DIB-OD框架，通过解耦信息瓶颈和在线蒸馏保留异构图适应中的不变核，解决异构领域泛化难题，实验显示其在跨类型领域转移中表现优异。

Efficient unsupervised domain adaptation via self-supervised vision transformer and synergistic cross-domain alignment

基于自监督视觉Transformer与协同跨域对齐的高效无监督域适应

Ali Abedi, Q. M. Jonathan Wu, Ning Zhang, Farhad Pourpanah

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 提出EUDA框架，以冻结的DINOv2为特征提取器，结合SDAL损失，在多数据集上实现高效无监督域适应，可训练参数减少42%至99.7%，适配资源受限环境。

Comments 22 pages, 4 figures

Journal ref Abedi, A., Wu, Q.M.J., Zhang, N. et al. Efficient unsupervised domain adaptation via self-supervised vision transformer and synergistic cross-domain alignment. Int. J. Mach. Learn. & Cyber. 17, 423 (2026)

When Top-K Misses the Decision: Tool-Call Drift in Multi-Teacher On-Policy Distillation

多教师在线策略蒸馏中的行为杠杆不平衡

Jiabin Shen, Guang Chen, Chengjun Mao

机构 * AntGroup（蚂蚁集团） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究多教师在线策略蒸馏中行为杠杆不平衡问题，提出Soft Clamp方法，通过校准令牌级散度，减少模型过度调用工具情况，在保持决策准确率的同时，降低工具调用循环和重复调用，提升多教师OPD效果。

Comments 33 pages, 5 figures. Code and aggregate artifacts: https://github.com/shen-jiabin/topk-support-opd

Keyless Attention: Value-Space Routing and Value-Only Caching for Efficient Transformers

无键注意力：面向高效Transformer的值空间路由与仅值缓存

Xin Gao, Xingming Xu

机构 * York University（约克大学） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.CL、cs.AI

AI总结 提出无键注意力机制，通过消除键投影并仅使用查询和值，实现50%的KV缓存减少，同时匹配或超越标准注意力的解码吞吐量，并在多个模型上达到相当或更优的困惑度与下游任务性能。

Comments 17 pages, 6 figures

Structured Recurrent Mixers for Massively Parallelized Sequence Generation

结构化递归混合器用于大规模并行序列生成

Benjamin L. Badger

机构 * IBM 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出了一种结构化递归混合器架构，能够在训练时实现序列并行表示与推理时的递归表示之间的代数转换，从而在不依赖专用内核或设备特定内存管理的情况下提高训练效率、输入信息容量和推理吞吐量。

Heterogeneous Decentralized Diffusion Models

异构去中心化扩散模型

Zhiying Jiang, Raihan Seraj, Marcos Villagra, Bidhan Roy

机构 * bagel.com（Bagel公司） 纠错

专题命中 效率与部署 ：pretraining(abstract)；分类 cs.AI、cs.LG

AI总结 提出一种异构去中心化训练框架，通过支持不同专家使用不同目标（DDPM和Flow Matching）并统一推理、预训练检查点转换以及高效架构，大幅降低计算和数据需求，使单GPU（24-48GB VRAM）即可参与训练。

Comments Accepted to CVPR2026

ResearchArena: Evaluating Sabotage and Monitoring in Automated AI R&D

研究竞技场：评估自动化人工智能研发中的破坏行为与监控

Lena Libon, Ben Rank, Jehyeok Yeon, David Schmotz, Jeremy Qin, Daniel Donnelly, Derck Prinzhorn, Maksym Andriushchenko

专题命中 效率与部署 ：post-training(abstract)；分类 cs.AI、cs.LG

AI总结 研究针对自动化人工智能研发，用研究竞技场框架评估人工智能控制，通过四项长期任务及两类隐藏附带任务，评估前沿代理破坏与监控能力，发现训练数据中破坏行为难捕捉，发布框架用于评估自动化人工智能研发中的破坏与控制。

Comments 50 pages, 12 figures

H$^2$SD: Hybrid Hindsight Self-Distillation

H$^2$SD：混合事后自蒸馏

Qiye Cai, Yichuan Ma, Peiji Li, Yongkang Chen, Qipeng Guo, Yicheng Zou, Linyang Li, Xiaocheng Feng, Bing Qin

机构 * Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Harbin Institute of Technology（哈尔滨工业大学） ； Fudan University（复旦大学） ； The Chinese University of Hong Kong（香港中文大学） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对强化学习中奖励监督问题，提出 H$^2$SD 混合事后自蒸馏框架。成功轨迹用教师概率调更新幅度，失败轨迹基于参考提示调整教师并最小化反向 KL 散度，实验表明该框架优于基线，能稳定优化且效率良好。

Realizing Scaling Laws in Recommender Systems: A Foundation-Expert Paradigm for Hyperscale Model Deployment

在推荐系统中实现扩展定律：超大规模模型部署的基础-专家范式

Dai Li, Kevin Course, Wei Li, Hongwei Li, Jie Hua, Yiqi Chen, Zhao Zhu, Rui Jian, Xuan Cao, Bi Xue, Yu Shi, Jing Qian, Kai Ren, Matt Ma, Qunshu Zhang, Rui Li

机构 * Meta Platforms, Inc.（Meta平台公司） 纠错

专题命中 效率与部署 ：foundation model(abstract)；分类 cs.AI、cs.LG

AI总结 针对推荐系统中跨多界面部署基础模型的挑战，提出基础-专家范式，中央FM生成目标感知嵌入供特定界面专家模型使用，迁移率超现有方法，自2025年在Meta部署后实现线上指标提升。

Looped Latent Attention: Cross-Loop KV Compression for Looped Transformers

循环潜在注意力：用于循环变换器的跨循环键值压缩

James O' Neill, Fergal Reid

机构 * Fin AI Research（金融人工智能研究） 纠错

专题命中 效率与部署 ：post-training(abstract)；分类 cs.CL、cs.LG

AI总结 研究针对循环变换器解码时键值缓存占用大的问题，提出循环潜在注意力（LLA）编解码器，通过存储紧凑潜在表示按需重建键值向量，经奇异值分解初始化和蒸馏细化，在缓存压缩上效果显著，提升了模型性能。

CHERRY: Compressed Hierarchical Experts with Recurrent Representational Yield

CHERRY: 具有循环表示收益的压缩层次专家

Dohyeon Kwon, Youngjin Park

机构 * TeamSparta Inc.（TeamSparta公司） 纠错

专题命中 效率与部署 ：LLM(abstract)；分类 cs.CL、cs.AI

AI总结 提出三种互补技术训练计算高效语言模型：选择性监督与每令牌效率、深度压缩与循环恢复、压缩专家融合，在CHERRY-1.8B韩语模型上验证，实现参数减少2.5倍且性能接近。

Comments 64pp, LaTeX. v2 rebuilds arXiv:2606.31796 into a full report: matched-compute discrimination/generation dissociation, recurrent-yield compression (48->6)+MoEE, pre-registered 1B->13.7B H-PRESERVE, sovereign Korean tokenizer (+9.2% vs Gemma-4), government HLE(Ko) column lead, cyber specialization. Recurrent compression cited by Loopie (arXiv:2607.16051). Tables incl.; v1 in history

Gumbel Distillation for Parallel Text Generation

Gumbel Distillation用于并行文本生成

Chi Zhang, Xixi Hu, Bo Liu, Qiang Liu

机构 * Department of Computer Science（计算机科学系） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.CL、cs.LG

AI总结 本文提出Gumbel Distillation技术，通过Gumbel-Max技巧使并行解码器有效学习token序列的联合分布，提升生成质量，在LM1B和OpenWebText数据集上取得显著改进。

Comments ICLR 2026

Variational Speculative Decoding: Rethinking Draft Training from Token Likelihood to Sequence Acceptance

变分推测解码：从令牌似然到序列接受的草稿训练再思考

Xiandong Zou, Jianshu Li, Jing Huang, Pan Zhou

机构 * University of Science and Technology of China（中国科学技术大学） 纠错

专题命中 效率与部署 ：LLM(abstract_cn)；分类 cs.AI、cs.LG

AI总结 提出变分推测解码（VSD），将草稿训练视为对潜在提议（草稿路径）的变分推断，通过最大化目标模型接受的边际概率来优化，结合路径级效用和期望最大化过程，显著提升解码效率。

BUSTR: Descriptor-Aware Vision-Language Learning for Breast Ultrasound Report Generation

BUSTR：用于乳腺超声报告生成的描述符感知视觉语言学习

Rawa Mohammed, Mina Attin, Laxmi Gewali, Bryar Shareef

机构 * University of Nevada, Las Vegas（内华达大学拉斯维加斯分校） 纠错

专题命中 效率与部署 ：language model(abstract)；分类 cs.AI、cs.LG

AI总结 针对公共BUS数据集缺乏配对报告限制模型发展的问题，提出BUSTR框架，利用结构化病变信息，通过构建描述符派生报告、训练多头编码器及双重目标指导训练，提升了乳腺超声报告生成的相似性和描述符恢复能力。

Comments 17 pages, 2 figures, 8 tables