University of Washington（华盛顿大学）

Demystifying Reinforcement Learning Post-Training of Language Models

揭秘语言模型的强化学习后训练

Donovan Clay, Saket Gollapudi, Sankar Harilal, Min Jang, Jacob Morrison, Sewoong Oh, Natasha Jaques

机构 * University of Washington（华盛顿大学） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

AI总结 本研究拆解语言模型的RL后训练算法，探究各因素对其结果的影响，为NLP领域人员提供RL后训练的入门指南。

Comments Link to website: https://minjang10.github.io/demystifying-rl-finetuning-web Link to code: https://github.com/sankarh-1/demystifying-rl-finetuning

SimGuide: Typed Multi-Context User Representations for Preference-Conditioned Agent Planning

SIMGUIDE：用于个性化智能体规划的过程式基础多上下文表示

Chirag Shah

机构 * University of Washington（华盛顿大学） 纠错

AI总结 本研究针对个性化AI智能体无法适配用户多场景优先级的问题，提出SIMGUIDE方法，构建SIMBENCH基准验证，发现过程式基础的Sims优于RAG，且表示格式是关键设计变量。

Comments Previous version had some results that were hard to verify or reproduce, so new experiments were done and many parts of the paper were changed to reflect that

SPADE: Self-Play in Adaptive Synthetic Executable Environments

SPADE：自适应合成可执行环境中的自博弈

Bo Liu, Simon Yu, Yiding Jiang, Ao Qu, Andrew Zhao, Zichen Liu, Junsu Kim, Zijian Zhou, Seungone Kim, Tongzheng Ren, Mickel Liu, Hanfei Yu, Zhaorun Chen, Weiyan Shi, Paul Pu Liang, Luke Zettlemoyer, Yejin Choi, Natasha Jaques

机构 * University of Washington（华盛顿大学） ； Stanford University（斯坦福大学） ； Northeastern University（东北大学） ； Carnegie Mellon University（卡内基梅隆大学） ； Massachusetts Institute of Technology（麻省理工学院） ； National University of Singapore（新加坡国立大学） ； Seoul National University（首尔大学） ； Stevens Institute of Technology（史蒂文斯理工学院） ； University of Chicago（芝加哥大学） 纠错

AI总结 SPADE是一种双角色自博弈强化学习框架，让单个LLM同时担任环境设计者与推理智能体，在多类基准上显著提升了语言智能体的性能，推动了开放式自我改进。

Comments Work in progress. Project page: https://spade-rl.github.io ; Code: https://github.com/spade-rl/spade

FetchMan: Learning Visual Humanoid Loco-Manipulation Policies from Simulated Experiences

FetchMan：基于模拟经验学习人形机器人视觉 locomotion-manipulation（移动操作）策略

Omar Rayyan, Zhi Li, Max Argus, Yuxin Jiang, Chang Yu, Chenfanfu Jiang, Yuchen Cui

机构 * University of California, Los Angeles（加州大学洛杉矶分校） ； Allen Institute for AI（艾伦人工智能研究所） ； University of Washington（华盛顿大学） 纠错

AI总结 该研究提出 FetchMan，通过端到端 sim-to-real 流水线训练人形机器人视觉移动操作策略，在 FetchMan-Bench 评估中，其单物体抓取策略在 Unitree G1 上零样本部署成功率达73.3%，并扩展至多物体训练。

Comments Project website: https://orayyan.com/fetchman

Flex-$π$: A Multi-Stream World-Action Model with Compute Flexibility

Flex-$π$：具备计算灵活性的多流世界-动作模型

Ge Yan, Jinghao Liu, Yuzhi Fan, Lei Cai, Minwen Liao, Jesse Zhang, Dieter Fox

机构 * University of Washington（华盛顿大学） ； Allen Institute for AI（艾伦人工智能研究所） 纠错

AI总结 该研究提出Flex-$π$多流世界-动作模型，利用冻结的视频生成VAE实现多模态监督，通过混合专家Transformer与每流丢弃机制提升效率，在双臂操作任务上性能优于基线模型且运行更快。

Comments Project page: https://flex-pi.github.io/

Can MLLMs Critique Like Humans? Evaluating Open-Ended Aesthetic Reasoning in Multimodal Large Language Models

MLLM 能否像人类一样进行批评？评估多模态大语言模型中的开放式审美推理

Sajjad Ghiasvand, Maryam Amirizaniani, Haniyeh Ehsani Oskouie, Mahnoosh Alizadeh, Ramtin Pedarsani

机构 * UCSB（加州大学圣塔芭芭拉分校） ； University of Washington（华盛顿大学） ； UCLA（加州大学洛杉矶分校） 纠错

AI总结 本文评估多模态大语言模型在开放式审美批评中的表现，发现基于参考的相似度指标存在误导，模型在选择性、特异性和多样性方面与人类批评存在系统性差异。

Mamba-Assisted Non-Markovian Closure for Reduced-Order Modeling

Mamba辅助的非马尔可夫闭合用于降阶建模

Zhi-Feng Wei, Saad Qadeer, Panos Stinis

机构 * Pacific Northwest National Laboratory（太平洋西北国家实验室） ； University of Washington（华盛顿大学） ； Brown University（布朗大学） 纠错

AI总结 针对高维动力系统降阶建模中的非马尔可夫闭合项问题，提出Mamba辅助闭合框架，利用Mamba序列模型从已解析轨迹预测闭合项，并通过数值积分器耦合降阶方程，在粘性Burgers方程和混沌双尺度Lorenz '96系统上优于马尔可夫模型、GRU序列模型和Wilks方法。

Comments Code will be released upon acceptance

When the Strongest Teacher Is Not the Best Teacher: Student-Centric Answer Selection

最强的教师并不总是最好的教师：以学生为中心的答案选择

Zhengyu Hu, Zheyuan Xiao, Linxin Song, Fengqing Jiang, Yuetai Li, Zhihan Xiong, Yue Liu, Junhao Lin, Yao Su, Lijie Hu, Kaize Ding, Teng Xiao, Radha Poovendran

机构 * University of Washington（华盛顿大学） ； University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of Southern California（南加州大学） ； Independent Researcher（独立研究者） ； National University of Singapore（新加坡国立大学） ； Microsoft（微软） ； Google（谷歌） ； Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学） ； Northwestern University（西北大学） ； Allen Institute for AI (AI2)（人工智能研究院（AI2）） 纠错

AI总结 提出以学生为中心的答案采样（SCAS）框架，通过估计学生中心的学习成本选择教师生成的答案，从而提升学生模型性能。

Soft Fitted Q-Iteration without Bellman Completeness: Occupancy Reweighting and Temperature Annealing

静态重加权实现软拟合Q迭代的局部收敛性

Lars van der Laan, Nathan Kallus

机构 * Department of Statistics, University of Washington（华盛顿大学统计学系） 纠错

AI总结 本文分析了在无Bellman完备性条件下软拟合Q迭代的稳定性机制，提出静态重加权软拟合Q迭代方法，证明其在近似可实现性和受控加权误差下具有有限样本局部线性收敛性。

Fitted Q-Evaluation without Bellman Completeness via Occupancy Weighting

无需贝尔曼完备性而通过稳态加权的拟Q评估

Lars van der Laan, Nathan Kallus

机构 * Department of Statistics, University of Washington（华盛顿大学统计学系） 纠错

AI总结 本文提出一种无需贝尔曼完备性的拟Q评估方法，通过稳态加权改进回归步骤，实现有限样本线性收敛，减少价值误差。

Small Reward Models via Backward Inference

通过反向推理的小奖励模型

Yike Wang, Faeze Brahman, Shangbin Feng, Teng Xiao, Hannaneh Hajishirzi, Yulia Tsvetkov

机构 * University of Washington（华盛顿大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） 纠错

AI总结 FLIP通过反向推理实现无需参考和评分标准的奖励建模，在多个领域中显著提升性能并增强鲁棒性。

Anchored Decoding: Provably Reducing Copyright Risk for Any Language Model

锚定解码：可证明降低任何语言模型的版权风险

Jacqueline He, Jonathan Hayase, Wen-tau Yih, Sewoong Oh, Luke Zettlemoyer, Pang Wei Koh

机构 * University of Washington（华盛顿大学） ； Allen Institute for Artificial Intelligence（人工智能研究院） 纠错

AI总结 提出锚定解码，一种即插即用的推理时方法，通过将生成内容约束在许可训练的安全模型附近，可证明地抑制语言模型逐字复制受版权保护的内容，实现可调的风险-效用权衡。

Comments Accepted to ICML 2026. 53 pages, 14 figures, 22 tables. Code is publicly available at https://github.com/jacqueline-he/anchored-decoding