ICLR

Reevaluating Policy Gradient Methods for Imperfect-Information Games

重新评估不完美信息博弈的策略梯度方法

Max Rudolph, Nathan Lichtle, Sobhan Mohammadpour, Alexandre Bayen, J. Zico Kolter, Amy Zhang, Gabriele Farina, Eugene Vinitsky, Samuel Sokota

机构 * University of Texas at Austin（德克萨斯大学奥斯汀分校） ； University of California, Berkeley（加州大学伯克利分校） ； Massachusetts Institute of Technology（麻省理工学院） ； Carnegie Mellon University（卡内基梅隆大学） ； NYU Tandon School of Engineering（纽约大学坦顿工程学院） 纠错

AI总结 通过实现五种大型博弈的精确可剥削性计算，对比发现基于虚构博弈、双预言机和反事实遗憾最小化的深度强化学习算法未能超越通用策略梯度方法（如PPO）。

Comments International Conference on Learning Representations (ICLR) 2026

Path Channels and Plan Extension Kernels: a Mechanistic Description of Planning in a Sokoban RNN

路径通道与计划扩展核：Sokoban RNN中规划的机制描述

Mohammad Taufeeque, Aaron David Tucker, Adam Gleave, Adrià Garriga-Alonso

机构 * FAR.AI Berkeley（FAR.AI伯克利） 纠错

AI总结 通过逆向工程分析无模型强化学习训练的卷积循环神经网络，发现其通过路径通道存储未来动作计划，并利用卷积核实现双向传播与回溯规划。

Comments Published as a conference paper at ICLR 2026. 34 pages, 26 figures

Learning Correlated Reward Models: Statistical Barriers and Opportunities

学习相关奖励模型：统计障碍与机遇

Yeshwanth Cherapanamjeri, Constantinos Daskalakis, Gabriele Farina, Sobhan Mohammadpour

机构 * MIT（麻省理工学院） 纠错

AI总结 本文研究了避免IIA假设的相关probit模型的统计与计算挑战，证明了成对偏好数据不足以学习相关性，而三选一偏好数据可实现近最优估计。

Comments International Conference on Learning Representations (ICLR) 2026