Interactive Distillation for Cooperative Multi-Agent Reinforcement Learning
Minwoo Cho;Batuhan Altundas;Matthew Gombolay
HINT通过交互式蒸馏框架提升多智能体协作强化学习的性能,采用分层强化学习和伪非策略方法,在复杂任务中实现显著的成功率提升。
2026-01-08 cs.LG cs.MA
Goal Exploration via Adaptive Skill Distribution for Goal-Conditioned Reinforcement Learning
University of Manchester(曼彻斯特大学)
针对目标条件强化学习中的探索效率问题,提出GEASD框架,通过自适应技能分布优化局部熵,增强目标扩散,实验证明其优于均匀分布且具备泛化能力。
2024-04-19 cs.AI cs.LG
Learning Goal-Oriented Visual Dialog Agents: Imitating and Surpassing Analytic Experts
National Chiao Tung University(国立交通大学)
本文研究了面向目标的视觉对话任务中提问者的学习问题。以前的几个作品采用无模型强化学习。大多数人从有限的人类生成的数据集预训练模型。我们认为,使用有限的示范启动提问者是不够的,由于大的政策搜索空间。受最近提出的信息理论方法的启发,我们开发了两个分析专家,作为高质量的示范源模仿学习。然后,我们利用强化学习来改进模型,使其朝着目标导向的目标发展。关于GuessWhat的实验结果?!实验结果表明,该方法综合了模仿学习和强化学习的优点,达到了最先进的性能.
2019-07-24 cs.AI cs.LG
TLDR: Unsupervised Goal-Conditioned RL via Temporal Distance-Aware Representations
Yonsei University(延世大学)
针对无监督目标条件强化学习探索不足、奖励稀疏有噪的问题,提出基于时序距离感知表征的TLDR方法,通过选远距目标、设两类时序距离相关奖励提升探索与目标达成能力,在6个模拟运动环境中表现优于现有方法。
2024-12-09 cs.AI cs.LG
Interaction-Aware Multi-Agent Reinforcement Learning for Mobile Agents with Individual Goals
Carnegie Mellon University(卡内基梅隆大学);Honda Research Institute USA(美国本田研究所)
在多智能体环境中,单个智能体的最优策略在很大程度上取决于其他智能体的行为。我们研究了多智能体强化学习的问题,专注于分散学习的非平稳域的移动机器人导航。我们确定了一个原因的训练非平稳政策的困难:相互适应次优行为,我们用它来激励一个基于学习策略的互动政策。课程分为两个阶段。首先,代理利用策略梯度算法来学习能够实现多个目标的策略。其次,代理学习修改器策略,以学习如何在多代理设置中与其他代理交互。我们评估了我们的方法在自动驾驶换道域和机器人导航域。
2019-09-27 cs.AI cs.LG
Learning Altruistic Behaviours in Reinforcement Learning without External Rewards
University of Oxford(牛津大学);DeepMind(深度思维)
人工智能体能在不知道目标的情况下学会帮助他人实现目标吗?通用强化学习代理可以通过奖励他们的利他行为来训练他们对他人的利他行为,即,奖励他们在特定情况下使其他代理人受益。这种方法假设其他代理人的目标是已知的,这样利他代理人就可以合作实现这些目标。然而,其他代理人的目标的明确知识往往是很难获得的。在人类代理的情况下,他们的目标和偏好可能很难完全表达;他们可能是模糊的,甚至是矛盾的。因此,开发不依赖于外部监督并以任务不可知的方式学习利他行为的代理是有益的。我们建议对其他代理人采取利他行为,给他们更多的选择,让他们更好地实现自己的目标。一些具体的例子包括为他人打开大门或保障他们不受干扰地追求其目标。我们正式提出了这个概念,并提出了一个利他代理,学会增加选择另一个代理的偏好,以最大限度地提高国家的数量,其他代理可以达到在其未来。我们评估我们的方法在三个不同的多代理环境中,另一个代理的成功取决于利他行为。最后,我们证明了我们的无监督代理可以执行明确训练的代理合作,在某些情况下甚至优于他们。
2022-03-21 cs.AI cs.LG cs.MA
VisualHints: A Visual-Lingual Environment for Multimodal Reinforcement Learning
Ecole Polytechnique(巴黎综合理工学院);IBM Research(IBM研究院)
我们提出了VisualHints,一个新的环境,多模态强化学习(RL)涉及基于文本的交互以及视觉提示(从环境中获得)。现实生活中的问题往往需要代理与环境交互使用自然语言信息和视觉感知解决一个目标。然而,大多数传统的RL环境要么解决纯基于视觉的任务,如Atari游戏或基于视频的机器人操作;要么完全使用自然语言作为交互模式,如基于文本的游戏和对话系统。在这项工作中,我们的目标是弥合这一差距,并将这两种方法统一在一个单一的环境中进行多模式RL。我们引入了TextWorld烹饪环境的扩展,并在整个环境中添加了视觉线索。目标是迫使RL代理使用文本和视觉特征来预测自然语言动作命令,以解决做饭的最终任务。我们使我们的环境中的变化和困难,以模拟各种互动的现实世界的场景。我们提出了一个基线多模态代理解决这些问题,使用基于CNN的特征提取的视觉提示和LSTM文本特征提取。我们相信,我们提出的视觉语言环境将促进RL社区的新问题设置。
2020-10-26 cs.CL cs.LG
Goal-Conditioned Agents that Learn Everything All at Once
University of Oxford(牛津大学);McGill University(麦吉尔大学);MIT(麻省理工学院);Inria(法国国家信息与自动化研究所)
提出LEO方法,通过联合输出所有目标的值和动作,实现高效并行全目标学习,在Craftax上显著优于其他方法,在连续控制任务上与基线相当,速度提升超过250倍。
2026-05-22 cs.AI cs.LG
Solving Sokoban with forward-backward reinforcement learning
Google research Israel(谷歌研究院以色列)
尽管近年来强化学习取得了重大进展,但许多奖励稀疏的领域,例如仅在任务完成时给予奖励,仍然具有相当大的挑战性。在这种情况下,从开始和结束都处理这项任务,使两个目的达到是有益的。现有的方法,这样做,但是,是不是有效的,在常见的情况下,需要接近最终目标的战略是非常不同的,这是有效的earlieron.In这项工作中,我们提出了一种新的RL方法,这样的设置。简而言之,我们首先训练一个向后看的代理与一个简单的放松的目标,然后增加的状态表示的前瞻性代理与简单的提示功能。这允许学习的前向代理利用来自后向计划的信息,而不模仿它们的策略。我们证明了我们的方法在具有挑战性的推箱子游戏中的有效性,在那里我们大大超过了跨级别概括的学习求解器,并且与最好的精心制作的系统的SOTA性能竞争。令人印象深刻的是,我们实现了这些结果,同时从少量的实践水平和使用简单的RL技术学习。
2021-05-22 cs.AI cs.LG
Unlocking Vision-Language Models for Video Anomaly Detection via Fine-Grained Prompting
Australian National University(澳大利亚国立大学);Maincode;GE Research(通用电气研究)
针对现有视频异常检测提示过于抽象的问题,提出结构化提示框架ASK-Hint,通过动作中心知识和细粒度引导问题提升冻结VLM推理准确性与可解释性,在多个基准上取得SOTA且泛化性强。
2025-10-02 cs.AI cs.CV
Gold Seeker: Information Gain from Policy Distributions for Goal-oriented Vision-and-Langauge Reasoning
Australian Institute for Machine Learning(澳大利亚机器学习研究所);The University of Adelaide(阿德莱德大学);Fugro Australia Marine(辉固澳大利亚海事公司)
随着计算机视觉从被动的像素分析转向主动的语义分析,需要进行推理的信息算法的广度已经显著扩展。在这种情况下,一个关键的挑战是能够识别所需的信息,作出决定,并选择一个行动,将恢复it.We提出了一个学习的方法,保持分布在其内部信息,从而明确表示的模糊性,它知道什么,需要知道,实现其目标。然后根据该分布生成潜在的动作。对于每个潜在的行动,计算预期结果的分布,并评估潜在信息增益的价值。所采取的行动是使潜在的信息增益最大化。我们证明了这种方法适用于两个视觉和语言的问题,吸引了显着的最近的兴趣,视觉对话和视觉查询生成。在这两种情况下,该方法积极选择最能减少其内部不确定性的行动,并在实现挑战目标方面优于竞争对手。
2020-03-30 cs.LG stat.ML
Deep Reinforcement Learning for Robust Goal-Based Wealth Management
University of Zagreb(萨格勒布大学);Faculty of Electrical Engineering and Computing(电气工程与计算学院)
本文提出一种基于深度强化学习的稳健目标型财富管理新方法,在模拟与历史市场数据上均优于多个基准。
2023-07-25 cs.LG q-fin.PM
Fine-tuning with RAG for Improving LLM Learning of New Skills
Imperial College London(帝国理工学院)
针对LLM智能体多步任务易失败、RAG依赖外部库且开销高的问题,提出将检索知识蒸馏为模型内在能力的微调流程,在两个基准上性能优于基线,且泛化性好、token开销更低。
2025-10-01 cs.AI cs.CL
PlanGAN: Model-based Planning With Sparse Rewards and Multiple Goals
Warwick Manufacturing Group(华威制造集团);University of Warwick(华威大学)
稀疏奖励学习仍然是强化学习(RL)中的一个重大挑战,特别是当目标是训练能够实现多个不同目标的策略时。到目前为止,处理多目标,稀疏奖励环境的最成功的方法是无模型RL算法。在这项工作中,我们提出了PlanGAN,一个基于模型的算法,专门设计用于解决多目标任务的环境与稀疏奖励。我们的方法建立在这样一个事实上,即代理收集的任何经验轨迹都包含有关如何实现该轨迹期间观察到的目标的有用信息。我们用它来训练一个条件生成模型(GANs)的集合,以生成合理的轨迹,将代理从当前状态引导到指定的目标。然后,我们将这些想象的轨迹结合到一个新的规划算法中,以尽可能有效地实现预期的目标。PlanGAN的性能已经在许多机器人导航/操作任务上进行了测试,并与一系列无模型强化学习基线进行了比较,包括后见之明经验重放。我们的研究表明,PlanGAN可以实现相当的性能,同时具有大约4-8倍的样本效率。
2020-06-01 cs.AI cs.LG stat.ML
LLM4Hint: Leveraging Large Language Models for Hint Recommendation in Offline Query Optimization
Key Laboratory of High Confidence Software Technologies, CS, Peking University, China(高性能软件技术重点实验室,计算机科学,北京大学,中国);ZTE Corporation(中兴通讯)
本文提出 LLM4Hint,利用中等规模 LLM 结合轻量级软提示、查询重写和显式匹配提示,为离线重复查询推荐优化提示,以低微调成本提升学习型查询优化器的有效性与泛化性。
2025-07-04 cs.AI cs.DB
Latent Representation Alignment for Offline Goal-Conditioned Reinforcement Learning
Seoul National University(首尔国立大学)
针对离线目标条件强化学习中价值函数错误泛化的瓶颈,提出潜在对齐价值学习(LAVL)算法,通过潜在表示价值泛化与分层规划的统一框架,在OGBench的22个数据集上20个取得最优性能。
2026-05-25 cs.LG
Goal-Conditioned Q-Learning as Knowledge Distillation
University of Maryland(马里兰大学)
强化学习的许多应用可以形式化为目标条件环境,其中,在每个情节中,存在影响在该情节期间获得的奖励但不影响动态的“目标”。已经提出了各种技术来提高目标条件环境中的性能,例如自动课程生成和目标重新标记。在这项工作中,我们探讨了目标条件设置和知识蒸馏政策外强化学习之间的联系。特别是:当前Q值函数和目标Q值估计都是目标的函数,并且我们想要训练Q-价值函数以匹配其针对所有目标的目标。因此,我们将基于注意力转移(Zagoruyko和Komodakis 2017),一种知识蒸馏技术应用于Q函数更新。我们的经验表明,这可以提高性能的目标条件下关闭政策强化学习的目标空间是高维的。我们还表明,这种技术可以适应,以允许有效的学习的情况下,多个同时稀疏的目标,其中代理可以通过实现任何一个大的一组目标,在测试时指定的奖励。最后,为了提供理论支持,我们给出了几类环境的例子,在这些环境中(在某些假设下),标准的非策略算法(如DDPG)至少需要O(d^2)的重放缓冲区转换来学习最优策略,而我们提出的技术只需要O(d)的转换,其中d是目标和状态空间的维数。代码可在https://github.com/alevine0/ReenGAGE上获得。
2023-03-08 cs.LG
Hindsight Hint Distillation: Scaffolded Reasoning for SWE Agents from CoT-free Answers
Tsinghua University(清华大学)
本文提出HHD方法,通过利用模型自身失败的自我回滚生成 hindsight提示,指导在线回滚完成任务,无需CoT标注,实验显示其在SWE-bench Verified上提升8%。
2026-05-12 cs.AI cs.LG
Learning Goal-based Movement via Motivational-based Models in Cognitive Mobile Robots
University of Campinas(坎皮纳斯大学);São Paulo State University(圣保罗州立大学);Artificial Intelligence and Cognitive Architectures Hub (H.IAAC), University of Campinas(坎皮纳斯大学人工智能与认知架构中心(H.IAAC))
本文通过计算建模Hull动机理论并结合强化学习,研究了移动机器人在不同代谢速率与环境中如何通过学习平衡需求与愉悦偏好以完成目标导向运动,发现愉悦机制显著影响行为学习,尤其是慢代谢智能体。
2023-02-20 cs.LG cs.RO
SelfGoal: Your Language Agents Already Know How to Achieve High-level Goals
Fudan University(复旦大学);Allen Institute for AI(艾伦人工智能研究所)
SelfGoal通过自适应地将高层次目标分解为子目标树结构并动态更新,在有限先验和延迟反馈环境下显著提升语言智能体的任务表现。
2024-06-07 cs.AI cs.CL
Dynamic Object Masks as Goal Representations for Visual Goal-Conditioned Reinforcement Learning
University of Alberta(阿尔伯塔大学);McGill University(麦吉尔大学);University of Ottawa(渥太华大学);AMII;CIFAR Canada AI Chair(CIFAR加拿大人工智能主席);Vector Institute(向量研究所)
该研究针对视觉目标条件强化学习,提出动态目标掩码作为目标表示,结合Detic等预训练检测器生成掩码,在机械臂和仿真导航任务中实现高成功率与高效学习,支持仿真到现实迁移。
2026-08-07 cs.CV cs.LG
Analysis of Optimality of Large Language Models on Planning Problems
本文研究了大型语言模型在规划问题中的最优性,通过Blocksworld领域和Path-Star图任务,发现增强推理的LLM在复杂多目标配置中显著优于传统规划器,且能精确跟踪理论最优限。
2026-04-03 cs.AI cs.CL
Hierarchical reinforcement learning with natural language subgoals
DeepMind(深度思维)
本文提出利用人类自然语言数据软监督子目标空间,以改进3D具身环境中长程任务的分层强化学习,实验表明其性能优于行为克隆和从零开始的分层强化学习方法。
2023-09-20 cs.CL cs.LG
From Instructions to Intrinsic Human Values -- A Survey of Alignment Goals for Big Models
Microsoft Research Asia(微软亚洲研究院)
本文综述大模型对齐目标,从定义与评估两视角分析三层目标,揭示从能力到价值取向的转变,提出内在人类价值观为关键对齐目标并讨论挑战与资源。
2023-09-04 cs.AI cs.CL cs.CY
ViKiNG: Vision-Based Kilometer-Scale Navigation with Geographic Hints
UC Berkeley(加州大学伯克利分校)
机器人导航已经被视为一个3D重建和规划问题,以及一个端到端的学习问题。然而,远程导航需要关于局部可通行性的规划与推理,以及能够利用关于全球地理的一般知识,其形式为路线图、GPS或提供重要线索的其他辅助信息。在这项工作中,我们提出了一种方法,集成了学习和规划,并可以利用边信息,如示意性路线图,卫星地图和GPS坐标作为规划启发式,而不依赖于他们是准确的。我们的方法,ViKiNG,结合了一个本地可通行性模型,它着眼于机器人的当前摄像头观察和一个潜在的子目标,以推断子目标可以多么容易地达到,以及一个启发式模型,它着眼于开销地图的提示,并试图评估这些子目标的适当性,以达到目标。启发式规划器使用这些模型来确定到达最终目的地的最佳航路点。我们的方法不进行显式的几何重建,只利用环境的拓扑表示。尽管在其训练数据集中从未见过超过80米的轨迹,但ViKiNG可以利用其基于图像的学习控制器和目标导向启发式算法,在以前看不见的环境中导航到3公里外的目标,并表现出复杂的行为,例如探测潜在路径和在发现不可行时回溯。ViKiNG对不可靠的地图和GPS也是鲁棒的,因为底层控制器最终基于以自我为中心的图像观察做出决策,仅使用地图作为规划工具。有关我们实验的视频,请查看我们的项目页面https://sites.google.com/view/viking-release。
2023-01-10 cs.AI cs.LG cs.RO
A Novel Approach to Solving Goal-Achieving Problems for Board Games
National Yang Ming Chiao Tung University(国立阳明交通大学);Academia Sinica(中央研究院);University of Alberta(阿尔伯塔大学)
本文提出基于相关区域搜索(RZS)和更快存活训练(FTL)的新方法,解决围棋死活问题,在专业书籍中解决68/106题,远超先前方法的11题,并具通用性。
2024-12-16 cs.AI cs.LG
Anticipatory Counterplanning
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Florida Universitària(佛罗里达大学)
在竞争环境中,通常代理人试图阻止对手实现他们的目标。大多数以前的预防方法假设对手的目标是已知的先验。其他人只有在推断出对手的目标后才开始执行行动。在这项工作中,我们介绍了一种新的域独立的算法,称为预期反规划。它结合推理对手的目标与计算规划的质心,以产生积极的反策略的问题,对手的目标是未知的。实验结果表明,这种新技术如何优于反应式对抗计划,增加了阻止对手实现目标的机会。
2022-03-30 cs.AI
Discovering and Achieving Goals via World Models
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学);University of Toronto(多伦多大学)
人工智能如何在没有任何监督的情况下学习解决复杂视觉环境中的许多不同任务?我们将这个问题分解为两个问题:发现新目标和学习可靠地实现它们。我们引入了潜在的探索者成就者(LEXA),这是一个统一的解决方案,它从图像输入中学习世界模型,并使用它来训练探索者和成就者策略。与先前通过到达先前访问过的状态进行探索的方法不同,探索者计划通过预见来发现看不见的令人惊讶的状态,然后将其用作成就者练习的不同目标。在无监督阶段之后,LEXA解决指定为目标图像zero-shot的任务,而无需任何额外的学习。无论是在之前的基准测试还是在一个新的具有挑战性的基准测试中,LEXA在无监督目标达成方面的表现都大大优于之前的方法,该基准测试共完成了40项测试任务,跨越了四个标准机器人操作和运动领域。LEXA进一步实现了需要按顺序与多个对象交互的目标。最后,为了展示LEXA的可扩展性和通用性,我们训练了一个跨四个不同环境的通用代理。https://orybkin.github.io/lexa/上的代码和视频
2021-10-18 cs.AI cs.CV cs.LG
LaMI-GO: Latent Mixture Integration for Goal-Oriented Communications Achieving High Spectrum Efficiency
本文提出了一种基于生成式AI的面向目标通信框架LaMI-GO,通过潜在扩散模型与VQGAN实现高效潜在嵌入与信息表示,在感知质量、下游任务准确性和带宽消耗上显著优于现有系统。
2024-12-18 cs.AI cs.LG eess.IV
Hint-AD: Holistically Aligned Interpretability in End-to-End Autonomous Driving
Institute for AI Industry Research (AIR)(人工智能产业研究院(AIR));Xingjian College, Tsinghua University(清华大学行健书院);OpenDriveLab, Shanghai AI Lab(上海人工智能实验室OpenDriveLab);Mercedes-Benz Group China Ltd.(梅赛德斯-奔驰集团中国有限公司)
针对端到端自动驾驶自然语言解释未锚定中间输出的问题,提出Hint-AD集成系统,通过整体token mixer对齐感知-预测-规划结果,并发布Nu-X数据集。
2024-09-10 cs.AI cs.CV
EscapeBench: Towards Advancing Creative Intelligence of Language Model Agents
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Johns Hopkins University(约翰霍普金斯大学);Stevens Institute of Technology(史蒂文斯理工学院);Columbia University(哥伦比亚大学)
针对现有基准忽视创造性适应的问题,本文提出密室逃脱基准EscapeBench及框架EscapeAgent,通过前瞻与反思增强创造性推理,实现更高成功率与更少步骤。
2025-05-24 cs.AI cs.CL cs.LG
Efficient Virtuoso: A Latent Diffusion Transformer Model for Goal-Conditioned Trajectory Planning
Independent Researcher(独立研究者)
本文提出高效演奏家模型,利用两阶段归一化与潜扩散Transformer实现目标条件轨迹规划,在Waymo数据集上达到最先进性能,并揭示多步稀疏路线对高保真战术执行的关键作用。
2025-09-06 cs.AI cs.LG cs.RO
The role of artificial intelligence in achieving the Sustainable Development Goals
KTH Royal Institute Of Technology(瑞典皇家理工学院);Umeå University(于默奥大学);Leibniz-Institute of Freshwater Ecology and Inland Fisheries(莱布尼茨淡水生态与内陆渔业研究所);Basque Centre for Climate Change (BC3)(巴斯克气候变化中心);University of Otago(奥塔哥大学);Massachusetts Institute of Technology(麻省理工学院)
人工智能(AI)的出现及其对社会许多部门的日益广泛的影响需要评估其对可持续发展的影响。在这里,我们分析了人工智能对实现2030年可持续发展议程的17个目标和169个具体目标的积极或消极影响的公开证据。我们发现,人工智能可以支持实现所有SDG中的128个目标,但也可能抑制58个目标。值得注意的是,人工智能使新技术能够提高效率和生产力,但它也可能导致国家之间和国家内部的不平等加剧,从而阻碍2030年议程的实现。人工智能的快速发展需要适当的政策和法规的支持。否则,它将导致基于人工智能技术的透明度,问责制,安全性和道德标准方面的差距,这可能不利于人工智能的发展和可持续使用。最后,缺乏评估人工智能中长期影响的研究。因此,必须加强关于人工智能使用的全球辩论,并为基于人工智能的技术制定必要的监管见解和监督。
2019-04-30 cs.AI cs.CY
An Artificial Intelligence-based Framework to Achieve the Sustainable Development Goals in the Context of Bangladesh
Department of Computer Science and Engineering, United International University(联合国际大学计算机科学与工程学院)
本文面向孟加拉国等发展中国家,分析AI在社会、环境、经济及农业、废弃物分类、水务、HVAC等场景中的作用,提出促进SDGs并降低AI负面影响的AI框架。
2023-04-23 cs.AI
Correcting Robot Plans with Natural Language Feedback
NVIDIA(英伟达);MIT(麻省理工学院);University of Utah(犹他大学);University of Washington(华盛顿大学)
当人类为机器人设计成本或目标规格时,他们通常会产生模糊的、未指定的或超出规划者解决能力的规格。在这些情况下,校正为人在环机器人控制提供了宝贵的工具。修正的形式可能是新的目标规范、新的约束(例如,避开特定的物体)或规划算法的提示(例如,访问特定的航路点)。现有的校正方法(例如,使用操纵杆或直接操纵末端执行器)需要完全的远程操作或实时交互。在本文中,我们探讨自然语言作为一种表达和灵活的工具,机器人校正。我们描述了如何从自然语言句子映射到成本函数的变换。我们表明,这些转换使用户能够正确的目标,更新机器人运动,以适应额外的用户偏好,并从规划错误中恢复。这些修正可以在最初的计划失败的任务中获得81%和93%的成功率,其中一个或两个语言修正。我们的方法使得有可能组成多个约束条件,并推广到模拟环境和现实环境中看不见的场景,对象和句子。
2022-04-11 cs.AI cs.CL cs.CV