Alibaba（阿里巴巴）

Inside the Unfair Judge: A Mechanistic Interpretability Account of LLM-as-Judge Bias

剖析不公平的评判者：基于大语言模型作为评判者的偏差的机械可解释性分析

Zixiang Xu, Sixian Li, Huaxing Liu, Xiang Wang, Shuai Li, Zirui Song, Xiuying Chen

机构 * AMAP, Alibaba Group（阿里巴巴集团AMAP实验室） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； University of Southern California（南加州大学） ； University of Michigan, Ann Arbor（密歇根大学安娜堡分校） 纠错

AI总结 研究大语言模型作为评判者的偏差，提出偏差在隐藏状态有表示层面解释。通过七位评判者等实验发现，偏差输入沿特定子空间移动，操纵隐藏状态可控制评分，线性投影能预测评判失败，统一多方面内容。

Comments 58 pages, 13 figures, 30 tables; project page: https://xzx34.github.io/unfair-judge/

UMoE:Unlocking Every Expert in Domain-Specific Training

UMoE：在特定领域训练中解锁每个专家

Xuefeng Li, Pengfei Liu

机构 * Qwen Team（通义千问团队） ； DeepSeek-AI（渊亭科技） ； Thinking Machines Lab（思维机器实验室） ； LLM-Core Xiaomi（小米大语言模型核心团队） 纠错

AI总结 研究针对特定领域训练中专家池不合理问题，提出UMoE流程，先修剪低显著性专家，再扩展专家池，最后应用标准SFT，该方法在多架构、多领域及多基准测试中优于直接SFT，能转化冗余容量，提升训练效果。

Omni-Decision: A Progressive Evidence-State Agent System for Omni-Modal QA

全决策：一种用于全模态问答的渐进式证据状态智能体系统

Ming Ma, Yi Zhu, Yiran Zhong, Feida Zhu, Weigao Sun, Junhan Shi, Lingrui Mei, Tianming Yang, Steven Hoi

机构 * Institute of Neuroscience, Chinese Academy of Sciences（中国科学院神经科学研究所） ； University of Chinese Academy of Sciences（中国科学院大学） ； Tongyi Lab, Alibaba Group（阿里巴巴集团通义实验室） ； Tsinghua University（清华大学） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

AI总结 研究全模态问答中证据分散问题，提出全决策系统，将问答转化为证据闭合过程，维护结构化证据状态，通过确定性状态更新处理异构观察，提升了准确率，验证了证据状态控制在多步证据寻求中的作用。

Diagnosing and Mitigating Thinking Collapse in On-Policy Self-Distillation

诊断和缓解基于策略的自蒸馏中的思维崩溃

Keqin Peng, Chen Li, Yuanxin Ouyang, Yancheng Yuan, Liang Ding

机构 * Beihang University（北京航空航天大学） ； Hong Kong Polytechnic University（香港理工大学） ； Alibaba Group（阿里巴巴集团） 纠错

AI总结 研究基于策略的自蒸馏在复杂推理任务中性能下降问题，发现思维崩溃陷阱。提出自适应双视角OPSD，通过动态调节自蒸馏目标缓解该问题，在多模型规模和数据集上实验验证其有效性，提升绝对平均准确率4.1%。

Opti-Agent-Bench: Benchmarking End-to-End Optimization R&D Agents on Real-World Business Problems

Opti-Agent-Bench：在实际业务问题上对端到端优化研发智能体进行基准测试

Yongchang Fu, Xinjie Huang, Chengjun Dai, Chengzhe Feng, Junshao Zhang, Hong Zhu

机构 * Ding Talk, Alibaba Group（钉钉，阿里巴巴集团） ； Zhejiang University（浙江大学） 纠错

AI总结 研究针对大语言模型解决优化问题的现有不足，引入Opti-Agent-Bench基准测试，通过业务语义真实性、模块化评估、ORAC双层有效性框架，在多工业规模任务中揭示当前模型关键失败模式。

From Self-Attention to Connection Laplacian: A Unified Operator View of Transformers

从自注意力到连接拉普拉斯算子：Transformer的统一算子视角

Binbin Lin, Wei Chen, Yalun Li, Wenxiao Wang, Jieping Ye, Xiaofei He

机构 * Zhejiang University（浙江大学） ； Alibaba Cloud（阿里云） 纠错

AI总结 研究从算子视角理解自注意力，将令牌序列视为向量场，证明单头和多头注意力的性质及相关条件，通过实验发现不同规模和结构的训练Transformer呈现与理论一致的几何结构，提供连接自注意力与几何算子的形式及分析工具。

Comments 29 pages, 10 figures