Baidu（百度）

Power Reinforcement Post-Training of Text-to-Image Models with Super-Linear Advantage Shaping

文本到图像模型的强化后训练与超线性优势塑造

Haoyuan Sun, Jing Wang, Yuxin Song, Yu Lu, Bo Fang, Yifu Luo, Jun Yin, Pengyu Zeng, Miao Zhang, Tiantian Zhang, Xueqian Wang, Shijian Lu

机构 * Nanyang Technological University（南洋理工大学） ； Baidu Inc.（百度公司） ； Zhejiang University（浙江大学） ； City University of Hong Kong（香港城市大学） ； Tsinghua University（清华大学） ； Jimei University（集美大学） 纠错

AI总结 本文提出超线性优势塑造方法，通过信息几何视角优化文本到图像模型的后训练过程，提升训练效率和生成质量，减少奖励黑客问题。

When Less is More: The LLM Scaling Paradox in Context Compression

当少即多：在上下文压缩中的LLM扩展悖论

Ruishan Guo, Yibing Liu, Guoxin Ma, Yan Wang, Yueyang Zhang, Long Xia, Kecheng Chen, Zhiyuan Sun, Daiting Shi

机构 * Baidu Inc.（百度公司） ； Tsinghua University（清华大学） ； Xi’an Jiaotong University（西安交通大学） ； City University of Hong Kong（香港城市大学） 纠错

AI总结 研究揭示在上下文压缩中，增大压缩器规模反而降低重建上下文的忠实度，发现知识覆盖和语义漂移是主要因素，中等规模压缩器在忠实恢复上表现更优。

Comments 22 pages, 7 figures, conference

Elastic MoE: Unlocking the Inference-Time Scalability of Mixture-of-Experts

弹性混合专家：解锁混合专家模型的推理时间可扩展性

Naibin Gu, Zhenyu Zhang, Yuchen Feng, Yilong Chen, Peng Fu, Zheng Lin, Shuohuan Wang, Yu Sun, Hua Wu, Weiping Wang, Haifeng Wang

机构 * Institute of Information Engineering, Chinese Academy of Sciences（中国科学院信息工程研究所） ； School of Cyber Security, University of Chinese Academy of Sciences（中国科学院大学网络安全学院） ； Baidu Inc.（百度公司） 纠错

AI总结 本文提出弹性混合专家（EMoE）框架，通过训练专家协作和路由选择，解决混合专家模型在推理时激活专家数量增加导致性能下降的问题，提升了模型在不同预算下的鲁棒性。

SimReg: Achieving Higher Performance in the Pretraining via Embedding Similarity Regularization

SimReg：通过嵌入相似性正则化提升预训练性能

Yan Sun, Guoxia Wang, Jinle Zeng, JiaBin Yang, Shuai Li, Li Shen, Dacheng Tao, DianHai Yu, Haifeng Wang

机构 * Baidu Inc.（百度公司） ； Sun Yat-sen University（中山大学） ； Nanyang Technological University（南洋理工大学） 纠错

AI总结 本文提出SimReg，通过增强相同标签嵌入的相似性与不同标签嵌入的对比，提升预训练效率和下游任务表现。