Tencent（腾讯）

Start Classifying: Categorical Critics for LLM Reinforcement Learning

开始分类：用于大语言模型强化学习的分类式评判器

Zhijian Zhou, Long Li, Xuan Zhang, Zongkai Liu, Yulei Qin, Ke Li, Xing Sun, Xiaoyu Tan, Chao Qu, Yuan Qi

机构 * Fudan University（复旦大学） ； Shanghai Innovation Institute（上海创新研究院） ； Tencent YoutuLab（腾讯优图实验室） ； Griffith University（格里菲斯大学） ； Shanghai Academy of Artificial Intelligence for Science（上海科学人工智能研究院） 纠错

AI总结 该研究提出HL-Gauss PPO，将PPO的标量评判器改为分类式预测器，在多任务及Qwen2.5、Qwen3主干上均优于PPO、DAPO基线，可改进评判器信号与优势估计。

Comments Accepted at COLM 2026. 26 pages, 9 figures. Code: https://github.com/ZhijianZhou/HL-guass-ppo

Cross-Domain Hybrid OPD for Generalizable Search Agents

面向通用搜索智能体的跨域混合在线策略蒸馏

Hongzhan Chen, Xiaoyu Liu, Dengming Zhang, Minzhou Huang, Dongliang Xu, Jingcheng Xie, Dongxiang Fang, Bowen Qin, Minsheng Hao, Yaozong Shen, Xiaojun Quan, Mona Zhou, Haosheng Zou, Jeff Chen

机构 * Yuanbao Team, Tencent Shanghai Innovation Institute（腾讯上海研究院元宝团队） 纠错

AI总结 本研究提出基于混元3架构的元宝搜索智能体训练框架，通过跨域混合在线策略蒸馏联合优化搜索专业化与通用能力，缓解对齐损耗，在现实搜索场景中实现两者的良好平衡。

Beyond Global Latents: Chunk-Based Sparse Grid VAE for Scalable 3D Modeling

超越全局隐变量：面向可扩展3D建模的基于块的稀疏网格变分自编码器

Kaiyi Zhang, Zhihao Liang, Haolin Liu, Qingxiang Lin, Zeqiang Lai, Yunfei Zhao, Bowen Zhang, Xianghui Yang, Zibo Zhao, Chunchao Guo, Long Quan

机构 * Hong Kong University of Science and Technology（香港科技大学） ； Tencent Hunyuan（腾讯混元） ； The Chinese University of Hong Kong（香港中文大学） 纠错

AI总结 该研究针对稀疏体素网格内存随分辨率快速增长的问题，提出基于块的ChunkVAE，通过局部算子和互补数据算子实现可扩展3D建模，在多基准测试中性能优于或相当基线，且内存与推理效率更优。

Comments 14 pages, 9 figures

Evolving in the Agent Jungle via History-Informed Opponent Awareness

在智能体丛林中通过历史感知的对手意识进化

Zhaofeng Zhang, Linhan Xia, Rui Liu, Yihao Wang, Binrui Shen, Shengxin Zhu

机构 * University of Edinburgh（爱丁堡大学） ； University of Oklahoma（俄克拉荷马大学） ； Imperial College London（伦敦帝国学院） ； University of Michigan（密歇根大学） ； University of Southern California（南加州大学） ； Tencent（腾讯） ； Beijing Normal University（北京师范大学） ； Beijing Normal–Hong Kong Baptist University（北京师范大学-香港浸会大学联合国际学院） 纠错

AI总结 针对多智能体环境中对手策略持续进化导致静态技能修改方法失效的问题，提出OASE方法，通过历史快照锚定的配对比较选择有益技能修改，在两类场景中实现更低均衡距离与更少无效策略变更。

FOCUS: FP4 Optimization via Coupled-Relaxation and Dual-Granularity Scaling

FOCUS：通过耦合松弛与双粒度缩放实现FP4优化

Xianglong Yan, Hong Liu, Chengzhu Bao, Tianao Zhang, Guanghua Yu, Jianchen Zhu, Yulun Zhang

机构 * Tencent（腾讯） 纠错

AI总结 FOCUS是一种后训练量化框架，通过耦合松弛与双粒度缩放优化FP4，在不增加推理开销的情况下，于MXFP4和NVFP4格式下实现了LLM的最优FP4精度。

Reusing Rollouts under Policy Lag: Prefix-Normalized Policy Optimization for LLM Reinforcement Learning

策略滞后下的回滚复用：面向大语言模型强化学习的前缀归一化策略优化

Wenhao Zhang, Yibo Xie, Rui Wang, Jiahua Yang, Lei Jiang, Zibo Yang, Yawei Wang, Jiali Xu, jasperawang, Haoyang Long, Huan Xiong, alantzhao

机构 * Tencent（腾讯） ； Harbin Institute of Technology（哈尔滨工业大学） ； Jinan University（暨南大学） ； University of Science and Technology of China（中国科学技术大学） 纠错

AI总结 针对大语言模型强化学习中回滚复用导致的离策略问题，提出前缀归一化策略优化（PNPO），在4个更新周期时其数学推理性能优于GSPO，可降低更新批次需求。

Deep Research Pretraining via Predictive Navigation

基于预测导航的深度研究预训练

Jiang Zhou, Zhiyuan Fan, Xing Wu, Tinghao Yu, Feng Zhang, Lilin Wang

机构 * Tencent（腾讯） ； Hunyuan Team（混元团队） 纠错

AI总结 提出Deep Research Pretraining（DRP）离线框架，在学术引用图和维基百科超链接上预训练Qwen3-14B-Base模型，可提升智能体在多个基准任务上的表现，是轨迹智能体训练的补充方法。

Comments working in progress; correspondence to {ucaswu,maxwellyu}@tencent.com or wuxing@iie.ac.cn

MemoryForge: Synthesize Lifelong Memory for Human-Like LLM Agents

MemoryForge：为类人LLM智能体合成终身记忆

Bohan Tang, Yiwen Guo

机构 * Tencent（腾讯） 纠错

AI总结 MemoryForge是从简短目标画像合成终身记忆的框架，通过记忆条件让冻结LLM动态检索相关记忆，在两类任务实验中使其表现更类人。