语言大模型 / LLM

Drive As You Like: Multi-Head Diffusion with Reinforcement Learning for Personalized Driving

随心所欲驾驶：基于强化学习的多头部扩散个性化驾驶

Fan Ding, Xuewen Luo, Fucai Ke, Hwa Hui Tew, Susilawati Susilawati, Vishnu Monn Baskaran, Junn Yong Loo

机构 * School of Information Technology, Monash University Malaysia（墨尔本大学马来西亚分校信息科技学院） ； Southwest University, China（西南大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract)；分类 cs.AI

AI总结 研究旨在解决自动驾驶规划器忽视人类驾驶行为多样性及难以理解用户意图的问题。提出基于强化学习的多策略框架，集成多头部扩散规划器与语义理解，采用两阶段训练范式。实验表明该方法在nuPlan基准测试中性能良好，能满足实时规划并对齐用户意图。

Comments Has been submitted to AAAI 2026

Learning, Reasoning, Refinement: A Framework for Kahneman's Dual-System Intelligence in GUI Agents

学习、推理、优化：GUI 智能体中卡尼曼双系统智能的框架

Jinjie Wei, Jiyao Liu, Lihao Liu, Ming Hu, Junzhi Ning, Mingcheng Li, Weijie Yin, Junjun He, Xiao Liang, Chao Feng, Dingkang Yang

机构 * College of Intelligent Robotics and Advanced Manufacturing, Fudan University（复旦大学智能机器人与先进制造学院） ； Institute of Science and Technology for Brain-Inspired Intelligence, Fudan University（复旦大学脑启发式智能科学技术研究院） ； Shanghai Artificial Intelligence Laboratory（上海人工智能实验室） ； Amazon（亚马逊） ； Shanghai Innovation Institute（上海创新研究院） ； ByteDance Douyin Content Group（字节跳动抖音内容部） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 针对 GUI 智能体存在依赖试错决策、评估指标简单等问题，提出 CogniGUI 框架，结合全解析器引擎和 GRPO 基础智能体，实现自适应学习，经实验验证其在新基准测试中优于现有方法。

Comments Withdrawn due to ongoing technical improvements. The work requires further refinement and additional experiments to meet our quality standards. A revised version will be submitted in the future

Sign-SZPO: Provable Preference-based Reinforcement Learning with an Unknown Link Function

Sign-SZPO：具有未知链接函数的基于可证明偏好的强化学习

Qining Zhang, Lei Ying

机构 * University of Michigan（密歇根大学） 纠错

专题命中 后训练与偏好优化 ：RLHF(abstract)；分类 cs.LG

AI总结 研究具有未知链接函数的基于偏好的强化学习问题，提出Sign-SZPO零阶策略优化算法，该算法仅估计价值函数差的符号来构建更新方向，可证明收敛到平稳策略，实证显示其在链接函数错误指定下具有鲁棒性。

MixFlow Training: Alleviating Exposure Bias with Slowed Interpolation Mixture

MixFlow训练：用慢插值混合减轻曝光偏差

Hui Li, Fu-Yun Wang, Haoyuan Xia, Jiayue Lyu, Kaihui Cheng, Siyu Zhu, Jingdong Wang

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 研究扩散模型训练-测试差异问题，提出MixFlow方法，利用慢流现象的慢插值混合对预测网络后处理，在类条件图像生成和文本到图像生成实验中验证有效，在RAE模型的ImageNet生成任务上取得好结果。

Comments CVPR 2026

Layout-Conditioned Autoregressive Text-to-Image Generation via Structured Masking

通过结构化掩码的布局条件自回归文本到图像生成

Zirui Zheng, Takashi Isobe, Tong Shen, Xu Jia, Jianbin Zhao, Xiaomin Li, Mengmeng Ge, Baolu Li, Qinghe Wang, Haiwen Diao, Dong Li, Dong Zhou, Yunzhi Zhuge, Huchuan Lu, Emad Barsoum

机构 * Advanced Micro Devices Inc.（超威半导体公司） ； Dalian University of Technology（大连理工大学） ； S-Lab, Nanyang Technological University（南洋理工大学S-Lab） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 提出SMARLI框架，通过结构化掩码策略将布局约束注入自回归生成过程，并采用GRPO后训练缓解曝光偏差，实现高质量布局控制图像生成。

Comments ECCV 2026

Coloring the Noise: Adversarial Sobolev Alignment for Faithful Image Super Resolution

着色噪声：用于忠实图像超分辨率的对抗性Sobolev对齐

Hongbo Wang, Huaibo Huang, Pin Wang, Jinhua Hao, Chao Zhou, Ran He

机构 * MAIS \& NLPR, Institute of Automation, Chinese Academy of Sciences, Beijing, China ； School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.AI

AI总结 提出ASASR框架，通过将生成流重铸为Sobolev诱导的黎曼几何并引入基于Riesz表示定理的参数化对抗器，解决图像超分辨率中生成先验导致的光谱失配问题，实现忠实重建。

Comments Accepted to ICML 2026

Joint Reward Modeling: Internalizing Chain-of-Thought for Efficient Visual Reward Models

联合奖励建模：将思维链内化以实现高效的视觉奖励模型

Yankai Yang, Yancheng Long, Hongyang Wei, Wei Chen, Tianke Zhang, Kaiyu Jiang, Haonan Fan, Changyi Liu, Jiankang Chen, Kaiyu Tang, Bin Wen, Fan Yang, Tingting Gao, Han Li, Shuo Yang

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； Kuaishou Technology（快手科技） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 提出联合奖励建模（JRM），通过共享视觉-语言骨干联合优化偏好学习和语言建模，将生成模型的语义推理能力内化到判别表示中，实现快速准确评估，在MMRB2和EditReward-Bench上取得最优结果。

PhyGile: Physics-Prefix Guided Motion Generation for Agile General Humanoid Motion Tracking

PhyGile: 面向敏捷通用人形运动跟踪的物理前缀引导运动生成

Jiacheng Bao, Haoran Yang, Yucheng Xin, Junhong Liu, Yuecheng Xu, Han Liang, Pengfei Han, Xiaoguang Ma, Dong Wang, Bin Zhao

机构 * Northwestern Polytechnical University（西北工业大学） ； Shanghai AI Laboratory（上海人工智能实验室） ； University of Science and Technology of China（中国科学技术大学） ； Tsinghua University（清华大学） ； Fudan University（复旦大学） ； ByteDance（字节跳动） ； Northeastern University（东北大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 提出PhyGile框架，通过物理前缀引导的机器人原生运动生成，结合课程混合专家训练和后训练，解决文本生成运动在机器人上物理不可行的问题，实现敏捷全身运动跟踪。

Backdoor Channels Hidden in Latent Space: Cryptographic Undetectability in Modern Neural Networks

潜伏空间中的后门通道：现代神经网络中的密码学不可检测性

Marte Eggen, Eirik Reiestad, Kristian Gjøsteen, Inga Strümke

机构 * Department of Computer Science, Norwegian University of Science and Technology（挪威科学技术大学计算机科学系） ； Department of Mathematical Sciences, Norwegian University of Science and Technology（挪威科学技术大学数学科学系） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.LG

AI总结 本文研究了现代神经网络中潜伏空间内的后门通道，通过识别学习的潜伏方向，证明不可检测性可转化为两个未知分布的假设检验，并展示在ResNet和Vision Transformer架构上实现了高成功率的攻击，且能抵御多种后训练防御措施。

Principled RL for Flow Matching Emerges from the Chunk-level Policy Optimization

基于流匹配的原理化强化学习从片段级策略优化中涌现

Yifu Luo, Haoyuan Sun, Xinhao Hu, Penghui Du, Keyu Fan, Bo Li, Sinan Du, Xu Wan, Zhiyu Chen, Bo Xia, Yongzhe Chang, Changqian Yu, Kun Gai, Tiantian Zhang, Xueqian Wang

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 本文提出了一种基于片段级策略优化的流匹配强化学习方法GCPO，通过将连续步骤聚合为相干片段并改变策略优化层级，有效缓解了优势归因不准确的问题，实验表明其在文本到图像生成任务中表现优于现有方法。

Comments ICML 2026

Self-Distillation Zero: Self-Revision Turns Binary Rewards into Dense Supervision

自蒸馏零：自我修订将二元奖励转化为密集监督

Yinghui He, Simran Kaur, Adithya Bhaskar, Yongjin Yang, Jiarui Liu, Narutatsu Ri, Liam Fowl, Abhishek Panigrahi, Danqi Chen, Sanjeev Arora

机构 * Princeton University（普林斯顿大学） ； University of Toronto（多伦多大学） ； Carnegie Mellon University（卡内基梅隆大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.CL

AI总结 提出SD-Zero方法，通过让模型同时扮演生成器和修订者，利用二元奖励生成密集的token级自监督信号，显著提升训练样本效率，在数学和代码推理任务上超越RFT、GRPO等基线。

BORA: Bridging Offline Reinforcement Learning and Online Residual Adaptation for Real-World Dexterous VLA Models

BORA: 弥合离线强化学习与在线残差适应以实现真实世界灵巧VLA模型

Zhongxi Chen, Yifan Han, Yanming Shao, Huanming Liu, Congsheng Xu, Xiaoyu Chen, Yao Mu, Wenzhao Lian

机构 * Shanghai Jiao Tong University（上海交通大学） ； CASIA（中国科学院自动化研究所） ； Shanghai AI Laboratory（上海人工智能实验室） ； USTC（中国科学技术大学） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)；分类 cs.AI

AI总结 提出BORA框架，通过离线构建动作条件价值引导的评论家，并结合在线冻结VLA基础、引入人类在环的分块残差适应机制，解决灵巧操作中高维探索导致的时间不一致、样本低效和硬件风险问题，在五个真实灵巧任务上平均成功率提升33%。

Comments 24 pages,11 figures

Anomaly-Preference Image Generation

异常偏好图像生成

Fuyun Wang, Yuanzhi Wang, Xu Guo, Sujia Huang, Tong Zhang, Dan Wang, Hui Yan, Xin Liu, Zhen Cui

机构 * Nanjing University of Science（南京理工大学） ； Beijing Normal University, Beijing, China（北京师范大学） ； China Academy of Space Technology, Beijing, China（中国航天科技集团） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)；分类 cs.LG

AI总结 本文提出了一种新的异常生成方法，通过隐式偏好对齐机制和时间感知能力分配模块，提升生成图像的真实性和多样性，实验表明其在真实性和多样性上均优于现有方法。

Comments Accepted by ICML 2026

NoRD: A Data-Efficient Vision-Language-Action Model that Drives without Reasoning

NoRD: 一种无需推理的高数据效率视觉-语言-动作模型

Ishaan Rawal, Shubh Gupta, Yihan Hu, Wei Zhan

机构 * Applied Intuition ； Texas A&M University（德克萨斯大学A&M分校） ； UC Berkeley（伯克利加州大学） 纠错

专题命中 后训练与偏好优化 ：LLM(abstract_cn)；分类 cs.AI

AI总结 提出NoRD模型，通过无需推理标注和仅需<60%数据微调，结合Dr. GRPO算法克服难度偏差，实现与现有VLA模型相当的性能，显著降低数据与计算开销。

Comments Accepted to CVPR 2026. Code available at: https://github.com/Applied-Open-Source/nord

CORE: Contrastive Reflection Enables Rapid Improvements in Reasoning

CORE: 对比反思实现推理能力的快速提升

Linas Nasvytis, Simon Jerome Han, Ben Prystawski, Satchel Grant, Noah D. Goodman, Judith E. Fan

机构 * Stanford University（斯坦福大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)；分类 cs.AI

AI总结 提出对比反思（CORE）非参数学习算法，通过对比成功与失败的推理轨迹生成自然语言洞察，在少量样本和 rollout 下实现比参数方法（GRPO）和非参数方法（GEPA、情景RAG、MemRL）更快的推理性能提升。

VA-Judger: Reward Modeling from Human Preference Feedback for Joint Video-Audio Generation

VA-Judger：用于联合视频-音频生成的人类偏好反馈奖励建模

Yinming Huang, Shuyuan Tu, Xi Yan, Zihan Yang, Jianhua Han, Xu Hang, Yu-Gang Jiang, Zuxuan Wu

机构 * Shanghai Innovation Institution（上海创新研究院） ； Fudan University（复旦大学） ； Yinwang Intelligent Technology Co., Ltd（音网智能科技有限公司） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 本研究针对联合视频-音频生成的奖励信号问题，构建了VAPref-10K数据集与VA-Judger-Bench基准，提出思维链全奖励模型VA-Judger，其在预测人类偏好及提升生成质量上均优于基线方法。

Comments 19 pages, 7 figures, 8 tables. Code: https://github.com/ShareLab-SII/VA-Judger

Risk-Controllable Multi-View Diffusion for Driving Scenario Generation

可控风险多视角扩散用于驾驶场景生成

Hongyi Lin, Wenxiu Shi, Heye Huang, Dingyi Zhuang, Song Zhang, Yang Liu, Xiaobo Qu, Jinhua Zhao

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 RiskMV-DPO通过整合风险水平与物理风险建模，实现可控风险的多视角驾驶场景生成，提升3D检测性能并减少FID，推动安全导向的具身智能发展。

Comments 10 pages, 4 figures; accepted at the CVPR 2026 Workshop on Video Generative Models: Benchmarks and Evaluation (VGBE). Updated to the complete camera-ready version

Journal ref Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), 2026

Hi-Token: Hierarchical Coordinate Tokenization for Generative Visual Grounding

Hi-Token：用于生成式视觉定位的分层坐标分词

Xiuyuan Zhu, Ke Lu, Kun Dong, Siwen Jiao, Hao Wu, Zijin Du, Shun Mao, Dongming Zhang, Jian Xue

专题命中 后训练与偏好优化 ：language model(abstract)

AI总结 该研究提出Hi-Token分层坐标分词方法，结合基于几何的Hi-GAR奖励，在生成式视觉定位任务中提升了多模型多基准的定位性能，优于强专用基线。

Comments 15 pages, 7 figures, 15 tables

Pave-GRPO: Beyond Instantaneous Guidance through Principled Average Velocity Decomposition

Pave-GRPO：通过原则性平均速度分解超越瞬时引导

Pengyang Ling, Jiazi Bu, Yujie Zhou, Yibin Wang, Zhenyu Hu, Zihan Zhang, Yi Jin, Huaian Chen, Yuhang Zang

机构 * University of Science and Technology of China（中国科学技术大学） ； Shanghai Jiao Tong University（上海交通大学） ； Fudan University（复旦大学） ； Harbin Institute of Technology（哈尔滨工业大学） ； Beihang University（北京航空航天大学） ； Shanghai AI Laboratory（上海人工智能实验室） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 提出Pave-GRPO方法，通过原则性平均速度分解将粗粒度过渡分解为细粒度子轨迹，在不增加生成成本的情况下将奖励反馈传播到更多中间步骤，实现更全面的偏好对齐。

Comments 18 pages,9 figures

Dense Point-to-Mask Optimization with Reinforced Point Selection for Crowd Instance Segmentation

密集点到掩码优化与强化点选择用于人群实例分割

Hongru Chen, Jiyang Huang, Jia Wan, Antoni B. Chan

机构 * Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； City University of Hong Kong（香港城市大学） 纠错

专题命中 后训练与偏好优化 ：foundation model(abstract)

AI总结 本文提出DPMO和RPS框架，通过整合SAM与NNEC约束及GRPO训练，实现高效人群实例分割，提升计数精度。

Reinforcing Action Policies by Prophesying

通过预言强化行动策略

Jiahui Zhang, Ze Huang, Chun Gu, Zipei Ma, Li Zhang

机构 * School of Data Science, Fudan University（复旦大学数据科学学院） ； Shanghai Innovation Institute（上海创新研究院） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 ProphRL通过Prophet、FA-GRPO和FlowScale提升VLA后训练的效率与稳定性，实现机器人任务的成功率提升。

Comments https://LogosRoboticsGroup.github.io/ProphRL

SynAgent: Generalizable Cooperative Humanoid Manipulation via Solo-to-Cooperative Agent Synergy

SynAgent：通过独狼到协作代理协同实现通用化的人形机器人操作

Wei Yao, Haohan Ma, Hongwen Zhang, Liangjun Xing, Zhile Yang, Yuanjun Guo, Yunlian Sun, Yebin Liu

机构 * School of Computer Science and Engineering, Nanjing University of Science and Technology（南京理工大学计算机科学与工程学院） ； Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院） ； School of Artificial Intelligence, Beijing Normal University（北京师范大学人工智能学院） ； Department of Automation, Tsinghua University（清华大学自动化系） ； College of Artificial Intelligence, Nanjing Forestry University（南京林业大学人工智能学院） 纠错

专题命中 后训练与偏好优化 ：pretraining(abstract)

AI总结 本文提出SynAgent框架，通过独狼到协作代理协同转移单agent人-物体交互技能，实现可扩展且物理合理的协作操作，实验显示其在协作模仿和轨迹条件控制方面优于现有基线。

ForgeDrive: Bidirectional Cross-Conditioning for Unified Visual-Action Generation in Autonomous Driving

ForgeDrive: 自动驾驶中统一视觉-动作生成的双向交叉条件

Xuchang Zhong, He Zheng, Chenxu Zhao, Tianxiong Lv, Hangqi Fan, Bohua Wang, Yushan Liu, Li Gao, Zhihao Liao, Leigang Luo, Congyang Zhao, Yang Cai

机构 * Amap, Alibaba Group（阿里巴巴集团高德地图） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 提出ForgeDrive统一自回归扩散框架，通过“先动作后想象”范式实现视觉与动作的双向交叉条件，解决级联误差问题，在NAVSIM上优于现有规划器。

DobicVLM: Aligning Chest X-Ray Report Generation with Clinically-Grounded Programmatic Rewards via Group Relative Policy Optimization

DobicVLM：通过群体相对策略优化使胸部X光报告生成与临床基础的程序化奖励保持一致

Thanni Adewuyi, Angelica Obayi, Andem Aniekan, Samuel Okoko, Angel Ezendu, Ephraim Usani, Ademide Animasaun, Philip Chibundu, Christian Maurice, Mary Donald Essien, Oluwaseun Odunsi, Oluwasegun Oguntuase, Abiodun Adereni

机构 * Dobic Health（多比克健康公司） ； University of Ibadan（伊巴丹大学） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)

AI总结 研究针对自动胸部X光报告生成难题，提出DobicVLM模型，结合监督微调、GRPO及临床奖励，用可解释规则组件执行标准，经训练和评估，该模型多数标准优于Gemini 2.5 Flash，证明GRPO在资源受限设置中的价值。

Rethinking Reward Signals in Video GRPO: When Scores Become Targets

重新思考视频GRPO中的奖励信号：当分数成为目标

Rui Li, Yuanzhi Liang, Ziqi Ni, Haibin Huang, Chi Zhang, Xuelong Li

机构 * University of Science and Technology of China（中国科学技术大学） ； Southeast University（东南大学） ； Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 本文提出TaRoS框架，通过组件级评估和组内稀疏性解决GRPO中奖励信号失真问题，提升视频生成的视觉质量和对齐性。

HART: High-Resolution Annotation-Free Reasoning Technique through a Closed-loop Framework

无需标注的高分辨率大多模态模型视觉推理技术

Jiacheng Yang, Anqi Chen, Yunkai Dang, Qi Fan, Cong Wang, Wenbin Li, Feng Miao, Yang Gao

机构 * State Key Laboratory of Novel Software Technology（新型软件技术国家重点实验室） ； Institute of Brain-inspired Intelligence（脑启发式智能研究院） ； Shenzhen Research Institute of Nanjing University（南京大学深圳研究院） 纠错

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 HART通过闭环框架和AP-GRPO方法，实现无需外部标注的高分辨率视觉推理，提升多模态模型在高分辨率任务中的性能。

Bridging Information Asymmetry: A Hierarchical Framework for Deterministic Blind Face Restoration

弥合信息不对称：一种降低不确定性的分层盲脸修复框架

Zhengjian Yao, Jiakui Hu, Kaiwen Li, Hangzhou He, Xinliang Zhang, Shuang Zeng, Lei Zhu, Yanye Lu

机构 * Biomedical Engineering Department, College of Future Technology, Peking University（北京大学未来技术学院生物医学工程系） ； Institute of Medical Technology, Peking University Health Science Center（北京大学医学部医学技术研究所） ； National Biomedical Imaging Center, Peking University（北京大学国家生物医学成像中心） 纠错

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 提出Pref-Restore分层框架，通过语义信息增强、纹理保真对齐和保真约束偏好优化，降低盲脸修复中的不确定性，实现身份敏感的高保真重建。

Comments Accepted by TPAMI2026

MolFORM: Multi-modal Flow Matching for Structure-Based Drug Design

MolFORM：基于多模态流匹配的结构药物设计

Jie Huang, Daiheng Zhang

专题命中 后训练与偏好优化 ：preference optimization(abstract)

AI总结 提出MolFORM框架，利用多流匹配联合建模离散原子类型和连续3D坐标，并通过基于直接偏好优化的偏好引导微调提升生成质量，在多个评估指标上取得一致改进。

Comments Accepted to ICML 2025 genbio workshop

GeoVista: Visually Grounded Active Perception for Vision-Language Understanding of Ultra-High-Resolution Remote Sensing Images

GeoVista: 用于超高清遥感理解的视觉引导主动感知

Jiashun Zhu, Ronghao Fu, Jiasen Hu, Jing Huang, Nachuan Xing, Bo Yang

机构 * College of Computer Science and Technology, Jilin University, China（吉林大学计算机科学与技术学院） 纠错

专题命中 后训练与偏好优化 ：language model(abstract)

AI总结 GeoVista提出一种基于规划的主动感知框架，通过构建全局探索计划和分支式局部检查，实现超高清遥感图像的高效解读，提升全局上下文理解与证据聚合效率。

If open source is to win, it must go public

如果开源要获胜，它必须走向公共

Joshua Tan, Nicholas Vincent, Katherine Elkins, Magnus Sahlgren, Joseph Low, David Pham, Sampo Pyysalo, Jenia Jitsev

专题命中 后训练与偏好优化 ：post-training(abstract)

AI总结 本文主张开源AI必须由公共AI补充，即建设公共基础设施和机构，以确保模型在公共利益下可访问、可持续和受治理。

Comments ICML 2026 Spotlight