世界模型

Model-Based Reinforcement Learning in Discrete-Action Non-Markovian Reward Decision Processes

离散动作非马尔可夫奖励决策过程中基于模型的强化学习

Alessandro Trapasso, Luca Iocchi, Fabio Patrizi

机构 * Fondazione Bruno Kessler（布雷诺·科塞拉基金会） ； Sapienza University of Rome（罗马萨皮恩扎大学） 纠错

专题命中 模型式强化学习 ：model-based reinforcement learning(title)；model-based RL(abstract)；分类 cs.AI、cs.LG

AI总结 提出QR-MAX算法，通过奖励机分解马尔可夫转移学习与非马尔可夫奖励处理，首次在离散NMRDP中获得PAC收敛到ε-最优策略的多项式样本复杂度，并扩展至连续状态空间。

Comments Accepted at IJCAI-ECAI 2026. 19 pages, 32 figures, includes appendix

Machine Learning Methods for Studying Latent Neural Activity Dynamics

研究潜在神经活动动力学的机器学习方法

Shufeng Kong, Fumei Deng, Xinyi Dong, Caihua Liu, Weiwei Chen, Yingheng Wang, Daniel Cao, Azahara Oliva, Antonio Fernandez-Ruiz, Carla Gomes

机构 * School of Software Engineering, Sun Yat-sen University（中山大学软件工程学院） ； Department of Computer Science, Cornell University（康奈尔大学计算机科学系） ； Department of Neurobiology and Behavior, Cornell University（康奈尔大学神经生物学与行为学系） ； Department of Ecology and Evolutionary Biology, Cornell University（康奈尔大学生态学与进化生物学系） ； School of Computer Science and Artificial Intelligence, Foshan University（佛山大学计算机科学与人工智能学院） 纠错

专题命中 模型式强化学习 ：latent dynamics(abstract)；分类 cs.AI、cs.LG

AI总结 综述从状态空间模型到深度生成模型的潜在变量模型，涵盖单区域动力学、多区域通信和行为对齐建模，并讨论大规模神经基础模型及未来挑战。

Comments Accepted by IJCAI 2026 survey track

COGENT: Continuous Graph Emulators with Neural Ordinary Differential Equations for Long-Term Physical Forecasting

COGENT: 基于神经常微分方程的连续图仿真器用于长期物理预测

Zesheng Liu, Maryam Rahnemoonfar

机构 * Lehigh University（理海大学） 纠错

专题命中 模型式强化学习 ：latent dynamics(abstract)；分类 cs.LG

AI总结 提出COGENT，一种结合图编码器和神经常微分方程的连续图仿真器，用于不规则地理空间网格上的长期物理预测，通过连续潜在动力学实现任意时间预测，并采用滚动视界采样和渐进调度策略稳定训练，在冰盖模拟中展现出优于自回归图基线的长期稳定性。

Offline Reinforcement Learning for Rotation Profile Control in Tokamaks

托卡马克旋转剖面控制的离线强化学习

Rohit Sonker, Hiro Josep Farre Kaga, Jiayu Chen, Andrew Rothstein, Ian Char, Ricardo Shousha, Egemen Kolemen, Jeff Schneider

机构 * Robotics Institute, Carnegie Mellon University（卡内基梅隆大学机器人研究所） ； Princeton University（普林斯顿大学） ； Princeton Plasma Physics Lab（普林斯顿等离子物理实验室） ； The University of Hong Kong（香港大学） ； Lila Sciences 纠错

专题命中 模型式强化学习 ：model-based RL(abstract)；分类 cs.LG

AI总结 针对托卡马克等离子体旋转剖面控制难题，提出基于历史数据的离线强化学习方法，利用概率模型生成轨迹训练策略，并在DIII-D托卡马克上验证了有效性。