我们提出了语言反馈模型（Language Feedback Models，LFMs），用于识别指令跟随模仿学习中的理想行为——即有助于完成指令所指定任务的动作。为训练LFM，我们将视觉轨迹转化为语言描述，再从大语言模型（Large Language Models，LLMs）处获取反馈。首先，通过使用LFM识别待模仿的理想行为，我们在三种不同的语言落地环境（Touchdown、ScienceWorld和ALFWorld）中，任务完成率优于强行为克隆基线。其次，在控制LLM输出token数量的情况下，LFM的表现优于直接用LLM作为专家预测动作的方法。第三，LFM可泛化到未见过的环境，经过一轮适应后，任务完成率提升3.5-12.0%。最后，LFM可被修改为提供人类可解释的反馈且不损失性能，支持人工验证模仿学习所需的理想行为。
英文摘要：
We introduce Language Feedback Models (LFMs) that identify desirable behaviour - actions that help achieve tasks specified in the instruction - for imitation learning in instruction following. To train LFMs, we obtain feedback from Large Language Models (LLMs) on visual trajectories verbalized to language descriptions. First, by using LFMs to identify desirable behaviour to imitate, we improve in task-completion rate over strong behavioural cloning baselines on three distinct language grounding environments (Touchdown, ScienceWorld, and ALFWorld). Second, LFMs outperform using LLMs as experts to directly predict actions, when controlling for the number of LLM output tokens. Third, LFMs generalize to unseen environments, improving task-completion rate by 3.5-12.0% through one round of adaptation. Finally, LFM can be modified to provide human-interpretable feedback without performance loss, allowing human verification of desirable behaviour for imitation learning.
The Flip Side of RLHF: On-Policy Feedback for Reward Model Self-Supervised Improvement
State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China（认知智能国家重点实验室，中国科学技术大学）；University of Science and Technology of China（中国科学技术大学）；Institute of Artificial Intelligence, Hefei Comprehensive National Science Center（合肥综合性国家科学中心人工智能研究院）；State Key Laboratory of General Artificial Intelligence, BIGAI（通用人工智能国家重点实验室，BIGAI）
Dual-Axis Policy Optimization for LLM Agents: Bayesian Feedback Attribution and Trajectory Mass Normalization
Zhejiang University（浙江大学）；University of Science and Technology of China（中国科学技术大学）；University of New South Wales（新南威尔士大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
On-Policy Self-Alignment with Fine-grained Knowledge Feedback for Hallucination Mitigation
Chinese Information Processing Laboratory, Institute of Software, Chinese Academy of Sciences, Beijing, China（中国科学院软件研究所信息处理实验室，北京，中国）；University of Chinese Academy of Sciences, Beijing, China（中国科学院大学，北京，中国）；Xiaohongshu Inc（小红书公司）
Convergence of a Human-in-the-Loop Policy-Gradient Algorithm With Eligibility Trace Under Reward, Policy, and Advantage Feedback
Brown University（布朗大学）
流畅的人-智能体通信对于人在回路强化学习的未来至关重要。一个智能体必须对来自其人类教练的反馈做出适当的反应，甚至在他们有重要的合作经验之前。因此，重要的是，学习代理很好地响应人类培训师可能提供的各种反馈方案。本文分析了CONVergent Actor-Critic by Humans（COACH）算法在三种不同反馈方式下的性能，即策略反馈、奖励反馈和优势反馈。对于这三种反馈类型，我们发现COACH可以表现得次优。我们提出了一个变种的教练，情节教练（电子教练），我们证明收敛的所有三种类型。我们将我们的COACH变体与其他两种并行学习算法进行比较：Q学习和TAMER。
Online Learning for Multi-Layer Hierarchical Inference under Partial and Policy-Dependent Feedback
Department of Electrical and Computer Engineering（电气与计算机工程系）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；DEVCOM Army Research Laboratory（国防部陆军研究实验室）
Amazon（亚马逊）；University of Washington（华盛顿大学）；AWS AI Labs（亚马逊云科技人工智能实验室）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
Off-Policy Evaluation and Learning from Logged Bandit Feedback: Error Reduction via Surrogate Policy
Indiana University Bloomington（印第安纳大学伯明顿分校）；Northwestern University（西北大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Policy-Invariant Reward Shaping from LLM Feedback: A Framework for Hybrid RL Agents
AI Research and Innovation Nexus for Africa (AIRINA Labs)（非洲AI研究与创新中心（AIRINA实验室））；Sefako Makgatho Health Sciences University (SMU)（塞法科·马加托健康科学大学）；African Center for Advanced Studies (ACAS)（非洲高级研究中心）；African Institute for Mathematical Sciences（非洲数学科学学院）
Deep Reinforcement Learning from Policy-Dependent Human Feedback
Stanford University（斯坦福大学）；Brown University（布朗大学）
为了扩大其可访问性并增加其实用性，智能代理必须能够学习由（非专家）人类用户指定的复杂行为。此外，他们需要在合理的时间内学习这些行为，同时有效地利用人类教练能够提供的稀疏反馈。最近的研究表明，人类反馈可以被描述为对代理当前行为的批评，而不是作为要最大化的替代奖励信号，最终在COnvergent Actor-Critic by Humans（COACH）算法中实现，该算法用于根据人类反馈进行直接政策更新。我们的工作建立在COACH的基础上，移动到代理的策略由深度神经网络表示的设置。我们采用了一系列的修改上的原始COACH算法，成功地学习行为从高维观测的关键，同时也满足了获得降低的样本复杂性的约束。我们在Minecraft丰富的3D世界中展示了我们的Deep COACH算法的有效性，该算法使用一个代理，通过在10-15分钟的交互中仅使用实时人类反馈从原始像素映射到动作来学习完成任务。
Global Convergence of Direct Policy Search for State-Feedback $\mathcal{H}_\infty$ Robust Control: A Revisit of Nonsmooth Synthesis with Goldstein Subdifferential
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
