SAGE: Symbolic Action-Gating and Editing for LLM Task Planners
Korea Electronics Technology Institute (KETI)(韩国电子技术研究院(KETI))
SAGE提出符号动作门控与局部编辑机制,以零token安全监控和高效恢复提升LLM任务规划器的安全性与完成率,并在多个基准上验证了其优势。
2026-09-29 cs.AI cs.RO
Bridging Learned Visual Perception and Symbolic Belief-Space Planning
Technion - Israel Institute of Technology(以色列理工学院)
本文提出VLM作为概率接地器的新范式,将视觉-语言模型的谓词接地不确定性建模为符号状态上的概率分布,实现信念空间规划,在模拟家庭机器人环境中提升了鲁棒性和任务成功率。
2026-09-16 cs.AI cs.RO
System-1.x: Learning to Balance Fast and Slow Planning with Language Models
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
针对语言模型在长程规划中System-1快速但效果有限、System-2有效但计算成本高且孤立模式忽略用户目标的问题,提出System-1.x规划器,通过混合因子平衡两种模式,在两个任务上优于现有方法并具备可控性、灵活性和泛化性。
2025-04-15 cs.AI cs.CL cs.LG
Conformal Temporal Logic Planning using Large Language Models
Washington University in St Louis(华盛顿大学圣路易斯分校);University of Zurich(苏黎世大学);Vanderbilt University(范德比尔特大学)
针对移动机器人需按时序逻辑完成自然语言子任务的问题,提出分层神经符号规划器HERACLEs,结合符号规划器、大语言模型与保形预测管理不确定性,实现了用户定义的任务成功率并提升了用户友好度。
2025-09-17 cs.AI cs.RO
ViPlan: A Benchmark for Visual Planning with Symbolic Predicates and Vision-Language Models
Fondazione Bruno Kessler(布鲁诺·科塞拉基金会);Department of Computer Science, Aalto University(艾尔沃斯大学计算机科学系);Department of Mathematics, Università degli Studi di Padova(帕多瓦大学数学系)
ViPlan是一个用于视觉规划的基准,比较基于VLMs的符号方法与直接VLM规划方法,发现不同方法在不同任务中的表现差异。
2026-09-02 cs.AI
A Framework for Neurosymbolic Robot Action Planning using Large Language Models
University of Genoa(热那亚大学)
提出Teriyaki框架,将GPT-3训练为兼容PDDL的神经符号任务规划器,通过逐个动作生成计划实现规划与执行并发,在保持规划性能的同时显著缩短计划长度并减少等待时间。
2024-06-04 cs.AI cs.LG cs.RO
Dynamic Planning with a LLM
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学)
本文提出神经符号框架 LLM-DP,让 LLM 与传统规划器协作完成具身规划,以应对不确定性和上下文增长,并在 Alfworld 上优于 ReAct 基线。
2023-08-11 cs.CL cs.RO
Seeing is Believing: Belief-Space Planning with Foundation Models as Uncertainty Estimators
Northeastern University(东北大学);MIT(麻省理工学院);Princeton University(普林斯顿大学)
本文提出一种利用VLM估计不确定性并构建符号信念表示的新颖框架,结合信念空间规划器生成包含战略性信息收集的规划,有效解决开放世界中部分可观测的机器人移动操作问题。
2025-04-04 cs.AI cs.RO
ChatHTN: Interleaving Approximate (LLM) and Symbolic HTN Planning
American University(美国大学);Navy Center for Applied Research in AI(海军人工智能应用研究中心);Naval Research Laboratory(海军研究实验室);Interagens s.r.l(Interagens公司)
本文提出 ChatHTN 规划器,将符号 HTN 规划与 ChatGPT 生成的近似任务分解交错,并在利用 LLM 的同时保证所生成规划的可靠性,且提供开源实现。
2025-05-17 cs.AI
Constrained Natural Language Action Planning for Resilient Embodied Systems
Johns Hopkins University Applied Physics Laboratory(约翰霍普金斯大学应用物理实验室);Johns Hopkins University(约翰霍普金斯大学);DEVCOM Army Research Lab(国防部陆军研究实验室)
针对LLM规划器幻觉和符号规划扩展性差的问题,提出结合符号规划监督的LLM规划方法,在ALFWorld基准达99%成功率,真实四足机器人任务成功率达100%。
2025-10-07 cs.AI cs.RO
Can the Inference Logic of Large Language Models be Disentangled into Symbolic Concepts?
Shanghai Jiao Tong University(上海交通大学)
本文提出将大语言模型在对话任务中的推理逻辑解耦为少量稀疏符号概念,验证了这些概念能有效估计推理分数、具备跨句迁移性,并可用于解释模型预测错误的确切原因。
2023-04-03 cs.AI cs.CL cs.CV
SCOPE: Evolving Symbolic World for Planning in Open-Ended Environments
Zhejiang University(浙江大学);Chalmers University of Technology(查尔姆斯理工大学);Lanzhou University(兰州大学)
提出SCOPE框架,通过符号执行模拟器和自适应符号记忆模块,在开放环境中演化符号世界表示,提升规划完整性和鲁棒性。
2026-06-23 cs.AI
Neuro-Symbolic Procedural Planning with Commonsense Prompting
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of California, Santa Cruz(加州大学圣克鲁兹分校)
程序计划旨在通过分解成顺序的简单低级别步骤来实现复杂的高级别目标。尽管过程规划是人类日常生活中的一项基本技能,但对于缺乏对过程中因果关系的深刻理解的大语言模型(LLM)来说,它仍然是一个挑战。先前的方法需要手动样本来从zero-shot设置中的LLM获取程序规划知识。然而,LLM中的这种引发的预训练知识会导致目标和步骤之间的虚假相关性,从而损害模型对看不见的任务的泛化。相比之下,本文提出了一种神经符号程序规划器(ESTA),从常识注入提示LLM的程序规划知识。为了减轻虚假的目标步骤的相关性,我们使用符号程序执行器的潜在的程序表示形式化提示从常识知识库的因果干预结构因果模型。WikiHow和RobotHow上的自动和人工评估都显示了在没有进一步培训或手动范例的情况下,机器人程序规划的优越性。
2023-02-16 cs.AI cs.CL cs.LG
Neural Story Planning
Georgia Institute of Technology(佐治亚理工学院)
自动情节生成是一个挑战,即生成一系列事件,这些事件将被读者视为一个连贯故事的情节。传统的符号规划者从目标状态规划故事,并保证逻辑因果情节的连贯性,但依赖于手工制作的行动库及其先决条件和效果。这种封闭的世界设置限制了象征性规划者可以产生的长度和多样性。另一方面,预先训练的神经语言模型可以生成具有极大多样性的故事,但通常无法以指定的方式结束故事,并且可能难以保持连贯性。在本文中,我们提出了一种方法来故事情节生成,统一的因果规划与神经语言模型。我们建议使用从大语言模型中提取的常识知识,以向后链接的方式递归地扩展故事情节。具体来说,我们的系统推断故事中事件的先决条件,然后是导致这些条件成为现实的事件。我们进行了自动评估,以衡量叙事连贯性,如回答故事中不同事件是否与其他事件有因果关系的问题的能力。结果表明,我们提出的方法产生更多的连贯的情节比几个强基线。
2022-12-16 cs.AI cs.CL
Socratic Planner: Self-QA-Based Zero-Shot Planning for Embodied Instruction Following
Seoul National University(首尔大学);Interdisciplinary Program in AI (IPAI), Seoul National University(首尔大学人工智能交叉项目);AI Institute, Seoul National University(首尔大学人工智能研究院)
本文提出苏格拉底规划器,一种基于自问答的零样本规划方法,通过LLM自我问答生成子目标序列,并利用视觉反馈重新规划,在ALFRED基准上超越现有最先进模型,尤其在长时程任务中表现优异,并已在实体机器人上验证。该方法无需训练即可实现具身指令跟随的组合任务规划。
2025-03-26 cs.AI cs.CL cs.CV
SymAgent: A Neural-Symbolic Self-Learning Agent Framework for Complex Reasoning over Knowledge Graphs
School of Computer Science, Wuhan University(武汉大学计算机学院);DAMO Academy, Alibaba Group(阿里巴巴达摩院)
本文提出神经符号自学习框架 SymAgent,通过规划、执行与在线/离线自学习协同知识图谱和 LLM,在 7B 骨干上达到优于或可比强基线的复杂推理性能。
2025-02-18 cs.AI cs.CL cs.LG
PSALM-V: Automating Symbolic Planning in Interactive Visual Environments with Large Language Models
Department of Computer Science University of Southern California(计算机科学系 美国南加州大学)
提出PSALM-V系统,通过LLM动态推断PDDL语义并维护树结构信念,在无专家定义的视觉环境中实现可靠的自动化符号规划,显著提升了任务成功率与步数效率。
2025-06-25 cs.CL cs.RO
Toward Secure and Reliable PDDL Formalization of Large Language Models with Planner-in-the-Loop Feedback
State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences(多模态人工智能系统国家重点实验室,自动化研究所,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);School of Industry-education Integration, University of Chinese Academy of Sciences(中国科学院大学产教融合学院)
提出NL-PDDL-Bench基准和规划器在环框架,通过验证器诊断和偏好优化提升LLM生成PDDL规范的可执行性与可靠性。
2026-06-29 cs.AI
Embodied Zero-Shot Task Planning via Hardware-Aware LLM-VLM Integration for Grounded Robotic Manipulation
Mississippi State University(密西西比州立大学);The University of Alabama(阿拉巴马大学)
本文提出一种硬件适配的LLM-VLM集成框架,用于仿真Franka Research 3机器人的具身零样本任务规划,通过分离符号推理与度量执行完成多类操作任务并经数字孪生试验验证。
2026-10-14 cs.AI cs.RO
Continuous Relaxation of Symbolic Planner for One-Shot Imitation Learning
Stanford University(斯坦福大学);Nvidia(英伟达)
我们解决一次性模仿学习,其目标是执行一个以前看不见的任务的基础上一个单一的演示。虽然在这个方向上已经取得了令人兴奋的进展,但大多数方法仍然需要几百个任务进行元训练,这限制了方法的可扩展性。我们的主要贡献是制定一杆模仿学习作为一个象征性的规划问题,随着符号接地问题。该公式将策略执行从任务间泛化中解脱出来,从而提高了数据效率。关键的技术挑战是符号基础在有限的训练数据下容易出错,并导致随后的符号规划失败。我们解决这个挑战,提出了一个连续放松的离散符号规划,直接计划的概率输出的符号接地模型。我们对规划器的连续放松仍然可以利用概率符号基础中包含的信息,并且在不使用大的训练数据的情况下,显著地改善了一次性模仿学习任务的基线规划器。
2019-11-05 cs.AI cs.LG cs.RO
A Novel Architecture for Symbolic Reasoning with Decision Trees and LLM Agents
Andrew Kiruluta(独立研究者)
提出一种融合决策树符号推理与LLM生成能力的多智能体混合架构,通过中央协调器统一管理,在多个推理基准上显著提升性能,提供可解释且可扩展的神经符号推理方案。
2025-08-07 cs.AI cs.CL
Planning in the LLM Era: Building for Reliability and Efficiency
本文探讨了在大语言模型时代规划领域的发展,重点介绍了通过生成可验证的符号求解器来提高规划的可靠性和效率的方法。
2026-05-21 cs.AI cs.CL
Grounding Vision and Language to 3D Masks for Long-Horizon Box Rearrangement
本文提出RAMP-3D模型,通过3D遮罩的序列预测实现长周期3D箱子整理任务,优于2D VLM基线,证明基于遮罩的反应策略在长周期规划中的潜力。
2026-03-24 cs.AI cs.RO
Inference-Time Code Selection via Symbolic Equivalence Partitioning
Texas Instruments(德州仪器)
本文提出SEP框架,通过符号执行将候选程序划分为功能等价类,提升推理时代码选择的准确性,无需辅助测试生成或额外LLM推理。
2026-05-11 cs.AI cs.LG
On the Prospects of Incorporating Large Language Models (LLMs) in Automated Planning and Scheduling (APS)
University of South Carolina(南卡罗来纳大学);New Mexico State University(新墨西哥州立大学);University of Brescia(布雷西亚大学);IBM Research(IBM研究院)
本文综述126篇论文,将LLM在自动规划与调度中的应用归纳为八类,指出其与传统符号规划器结合的神经符号方向最具潜力。
2024-01-20 cs.AI
NeSTR: A Neuro-Symbolic Abductive Framework for Temporal Reasoning in Large Language Models
National Key Laboratory of Big Data and Decision(大数据与决策国家重点实验室)
NeSTR通过结合符号表示与反思推理,提升大语言模型在复杂时间约束下的推理能力。
2025-12-08 cs.AI cs.CL cs.LG
Frontier Large Language Models Rival State-of-the-Art Planners
University of Oxford(牛津大学);Federal University of Rio Grande do Sul(里约格兰德杜斯尔大学);Linköping University(林霍普大学)
研究显示前沿大语言模型在规划任务中超越传统规划器, Gemini 3.1 Pro在标准任务中表现突出,GPT-5表现接近基线,且在符号规划中仍具竞争力,揭示了大语言模型规划能力的提升趋势。
2026-05-15 cs.AI cs.LG
Planning in the Dark: LLM-Symbolic Planning Pipeline without Experts
Google DeepMind(谷歌DeepMind)
本文提出一种无需专家干预的 LLM-符号规划流水线,通过构建动作模式库生成多候选方案并引入语义验证与排序模块自动筛选,解决了传统方法依赖专家导致的扩展性受限与解释偏差问题,实验证明其规划性能优于直接 LLM 方法。
2024-09-24 cs.AI
SPIRAL: Symbolic LLM Planning via Grounded and Reflective Search
IBM T.J. Watson Research Center(IBM TJ沃森研究中心)
SPIRAL 通过 grounded 和 reflective 搜索实现更稳健高效的 LLM 规划
2025-12-29 cs.AI cs.LG cs.MA
Probing Linguistic Information For Logical Inference In Pre-trained Language Models
Rose-Hulman Institute of Technology(罗斯-霍曼理工学院)
预先训练的语言模型的进展导致了下游任务自然语言理解的令人印象深刻的结果激增。最近关于探测预先训练的语言模型的工作揭示了编码在其上下文表示中的广泛的语言属性。然而,目前还不清楚它们是否编码了对符号推理方法至关重要的语义知识。我们提出了一种方法来探测语言信息的逻辑推理预训练语言模型表示。我们的探测数据集涵盖了主要符号推理系统所需的语言现象列表。我们发现:(i)预训练的语言模型确实编码了几种类型的语言信息用于推理,但也有一些类型的信息是弱编码的,(ii)语言模型可以通过微调有效地学习缺失的语言信息。总的来说,我们的研究结果提供了关于语言模型及其预训练过程捕获逻辑推理的语言信息的哪些方面的见解。此外,我们已经证明了语言模型的潜在语义和背景知识基础,支持符号推理方法。
2022-03-21 cs.AI cs.CL cs.LG
BaziQA-Benchmark: Evaluating Symbolic and Temporally Compositional Reasoning in Large Language Models
Shanghai Jiao Tong University(上海交通大学)
BaziQA-Benchmark通过结构化推理协议评估大语言模型在符号性和时间组合推理中的表现,揭示其在时间难度和推理顺序上的敏感性及系统性缺陷。
2026-02-13 cs.CL
Neuro-Symbolic Contrastive Learning for Cross-domain Inference
University of Durham(杜伦大学);University of Tokyo(东京大学);Kyoto University(京都大学);National Institute of Informatics(信息学国立研究院)
针对预训练语言模型在自然语言推理中过度依赖浅层启发式、归纳逻辑编程受限于离散输入的问题,提出神经符号对比学习方法,通过可微分优化提升逻辑准确性,显著增强模型跨域推理的泛化与推理能力。
2025-02-13 cs.CL cs.LG
Hidden in Plain Sight: Visual-to-Symbolic Analytical Solution Inference from Field Visualizations
Fudan University, China(复旦大学);Shanghai Artificial Intelligence Laboratory, China(上海人工智能实验室);University of Cambridge, UK(剑桥大学);Nankai University, China(南开大学);University of Oxford, UK(牛津大学)
本文研究了从二维线性稳态场的可视化中推断视觉到符号的解析解,提出ViSA-R2模型并发布ViSA-Bench基准,通过结构模式识别和物理学家路径验证,实现高精度符号表达推断。
2026-04-10 cs.AI
Aligning LLM+PDDL Symbolic Plans with Human Objective Specifications through Evolutionary Algorithm Guidance
College of Engineering and Computer Science, University of Central Florida(中央佛罗里达大学工程与计算机科学学院);Robotics Institute, Carnegie Mellon University(卡内基梅隆大学机器人研究所)
本研究提出一种进化算法引导方法,结合LLM与PDDL规划器,通过LSTM验证模型优化符号目标规范,提高生成计划对自然语言描述的符合度,并在海军灾难恢复任务中验证了有效性。
2025-10-09 cs.AI cs.NE
Leveraging LLMs for Hypothetical Deduction in Logical Inference: A Neuro-Symbolic Approach
University of Science and Technology of China(中国科学技术大学)
针对大语言模型逻辑推理依赖外部符号求解器、泛化性差且易丢失信息的问题,提出神经符号方法LINA,由LLM自主完成全流程逻辑推理,采用假设演绎范式缩小搜索空间,在多项逻辑推理任务上性能显著优于现有方法。
2024-10-29 cs.CL
Primender Sequence: A Novel Mathematical Construct for Testing Symbolic Inference and AI Reasoning
本研究提出融合素性与数字后缀规则的Primender序列作为LLM符号推理基准,设计评估框架测试多款前沿模型的规则推断、假设验证与序列生成能力,为相关基准测试提供新构造与可复现方法。
2025-06-12 cs.AI cs.HC cs.SC
Generative Interpretability via Scalable Neuro-Symbolic Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
针对大模型在智能体系统中输出不可逆行动的安全问题,提出生成式可解释性架构,使推理暴露可干预的语义检查点,并以神经符号模型实现。
2026-10-02 cs.AI cs.CL cs.LG
NELLIE: A Neuro-Symbolic Inference Engine for Grounded, Compositional, and Explainable Reasoning
Johns Hopkins University(约翰斯·霍普金斯大学);Allen Institute for AI(艾伦人工智能研究所)
该研究提出神经符号推理系统NELLIE,结合神经语言建模、引导生成与半参数检索替代Prolog手工规则,实现端到端可解释落地问答,性能优于同等规模最先进推理器,可利用多类型语料库引导推理,兼顾神经方法与符号推理优势。
2024-08-12 cs.CL
PDDLStream: Integrating Symbolic Planners and Blackbox Samplers via Optimistic Adaptive Planning
Computer Science and Artificial Intelligence Laboratory(计算机科学与人工智能实验室);Massachusetts Institute of Technology(麻省理工学院)
许多规划应用程序涉及定义在高维连续变量上的复杂关系。例如,机器人操作需要规划涉及机器人配置、对象姿态和机器人轨迹的运动学、碰撞、可见性和运动约束。这些约束通常需要专门的过程来采样满足值。我们扩展PDDL,以支持这些过程的通用,声明性规范,将其实现视为黑盒。我们提供域独立的算法,减少PDDLStream问题的一系列有限的PDDL问题。我们还介绍了一个算法,动态平衡探索新的候选计划和利用现有的。这使得算法能够在参数绑定的空间中进行全局搜索,以更快地解决严格约束的问题,并进行局部优化以产生低成本的解决方案。我们评估我们的算法在三个模拟机器人规划域以及几个现实世界的机器人任务。
2020-03-23 cs.AI cs.RO
Can Large Language Models Adequately Perform Symbolic Reasoning Over Time Series?
Emory University(埃默里大学);Amazon(亚马逊);Microsoft(微软);Penn State University(宾夕法尼亚州立大学)
本文提出SymbolBench基准,评估大型语言模型在时间序列上的符号推理能力,结合遗传编程构建闭环系统,揭示模型在科学发现中的优势与局限。
2026-04-24 cs.AI
Localizing and Correcting Errors for LLM-based Planners
Language Technologies Institute, Carnegie Mellon University, Pittsburgh, US(语言技术研究所,卡内基梅隆大学,匹兹堡,美国);Machine Learning Department, Carnegie Mellon University, Pittsburgh, USA(机器学习系,卡内基梅隆大学,匹兹堡,美国)
本研究提出 L-ICL 方法,通过局部上下文学习修正 LLM 规划器的错误,显著提升规划任务的有效性。
2026-09-09 cs.AI
Enhancing Large Language Model Efficiencyvia Symbolic Compression: A Formal Approach Towards Interpretability
Lumen AI(卢门人工智能公司);Tengzhou No. 1 Middle School(滕州市第一中学)
本文提出基于符号压缩的形式化框架,融合组合逻辑与信息论编码,在代码生成中实现78.3%的token压缩率并将逻辑可追溯性提升62%,为LLM高效推理与可解释性研究提供新理论工具。
2025-01-30 cs.AI cs.SE
IntelliSA: An Intelligent Static Analyzer for IaC Security Smell Detection Using Symbolic Rules and Neural Inference
The University of Melbourne(墨尔本大学)
IntelliSA通过结合符号规则和神经推理,有效检测IaC安全异味,实现高准确率和低成本的自动化安全分析。
2026-01-21 cs.AI cs.CR
DiSProD: Differentiable Symbolic Propagation of Distributions for Planning
Indiana University(印第安纳大学)
本文提出在线规划器 DiSProD,通过构建可微符号图捕获未来轨迹分布,实现高效的基于梯度的长时域搜索,在随机环境、稀疏奖励和大动作空间等任务上优于现有规划器。
2023-08-04 cs.AI cs.RO
Interleaving Scheduling and Motion Planning with Incremental Learning of Symbolic Space-Time Motion Abstractions
本文提出一种交织调度与运动规划的增量学习框架,用于多物体共享空间的调度与运动规划,通过符号时空运动抽象提升复杂时空约束下的执行效率。
2026-03-19 cs.AI cs.RO
Towards Combining HTN Planning and Geometric Task Planning
LAAS/CNRS(法国国家科学研究中心系统架构与分析实验室)
在本文中,我们提出了一个符号规划器和几何任务规划器之间的接口,这是一个标准的轨迹规划器的不同之处在于,前者是能够执行抽象的实体-任务的几何推理。我们相信,这种方法有利于一个更有原则的接口,象征性的规划,同时也留下了更多的空间,几何规划师作出独立的决定。我们展示了两个规划者如何进行接口,以及他们的规划和回溯如何交错。我们还提供了使用组合系统的方法的见解,和实验结果作为基准与未来的扩展组合系统,以及几何任务规划。
2013-07-04 cs.AI
Novelty Adaptation Through Hybrid Large Language Model (LLM)-Symbolic Planning and LLM-guided Reinforcement Learning
Department of Computer Science, Tufts University(塔夫茨大学计算机科学系);Austrian Institute of Technology GmbH(奥地利技术研究所)
本文提出一种融合大语言模型、符号规划和强化学习的神经符号架构,用于在动态开放环境中处理新颖物体,通过LLM识别缺失操作符并生成计划,提升机器人在连续领域中的操作符学习能力。
2026-10-05 cs.AI cs.RO
Symbolic Pattern Temporal Numeric Planning with Intermediate Conditions and Effects
本文提出了一种扩展的符号模式规划方法,用于处理具有中间条件和效果的时间规划问题,实验显示其在多个领域表现优异。
2026-02-10 cs.AI
Human-Centered Planning
Meta;Reality Labs Research, Meta(Meta现实实验室研究)
针对以人为中心的一日规划需求,该研究开发了带自我反思能力的LLM规划器LLMPlan和可转换文本约束的符号规划器SymPlan,实验显示LLMPlan约束满足能力接近符号规划器且用户满意度更高。
2023-11-08 cs.AI
Hierarchical Planning for Complex Tasks with Knowledge Graph-RAG and Symbolic Verification
University of Padova(帕多瓦大学);University of Cambridge(剑桥大学)
本文提出一种神经符号方法,将知识图谱RAG、分层规划与符号验证器集成到LLMs规划器中,以提升复杂长时程机器人任务的规划可靠性,并通过实验验证其优势。
2025-04-06 cs.AI cs.LG cs.RO
Classical Planning in Deep Latent Space: Bridging the Subsymbolic-Symbolic Boundary
Graduate School of Arts and Sciences, University of Tokyo(东京大学综合文化研究科)
目前领域无关的经典规划器需要问题域和实例的符号模型作为输入,导致知识获取瓶颈。同时,尽管深度学习在许多领域取得了巨大的成功,但知识是以子符号表示的方式编码的,这与规划师等符号系统不兼容。我们提出了LatPlan,一个结合了深度学习和经典规划的无监督架构。仅给定一组未标记的图像对,显示环境中允许的转换子集(训练输入),以及一对表示初始和目标状态的图像(规划输入),LatPlan在符号潜在空间中找到目标状态的计划并返回可视化的计划执行。本文的贡献是双重的:(1)状态自动编码器,它使用变分自编码器找到环境的命题状态表示。它从图像中生成一个离散的潜在向量,基于此可以构建PDDL模型,然后由现成的规划器求解。(2)Action Autoencoder / Discriminator,一种神经架构,它联合发现动作符号和隐式动作模型(前提条件/效果),并为隐式图搜索提供后继函数。我们使用3个规划域的基于图像的版本来评估LatPlan:8-puzzle,Hanoi塔和LightsOut。
2017-12-03 cs.AI
Hierarchical Neuro-Symbolic Decision Transformer
Rochester Institute of Technology(罗切斯特理工学院)
提出层次化神经符号控制框架,通过耦合符号规划器与基于Transformer的策略解决不确定性下长时序决策问题,兼顾可解释性与适应性,在随机网格世界中表现优于纯符号、纯神经及层次化基线。
2025-05-29 cs.AI cs.LG cs.SC
Visuospatial Skill Learning for Robots
Georgia Institute of Technology(佐治亚理工学院);University of Genova(热那亚大学);Imperial College London(帝国理工学院)
提出了一种新的技能学习方法,允许机器人获得类似人类的视觉空间技能的对象操作任务。视觉空间技能是通过演示来观察物体之间的空间关系。建议的视觉空间技能学习(VSL)是一个基于目标的方法,专注于实现所需的目标配置的对象相对于彼此,同时保持操作的顺序。VSL能够从一次演示中学习和概括多操作技能,同时需要关于对象和环境的最小先验知识。与许多现有的方法相比,VSL提供了简单,高效和用户友好的人机交互。我们还表明,VSL可以很容易地扩展到3D对象操作任务,只需采用点云处理技术。此外,一个机器人学习框架,VSL-SP,提出了集成VSL,模仿学习,和传统的规划方法。在VSL-SP中,执行动作的顺序是使用VSL学习的,而感觉运动技能是使用传统的基于记忆的学习方法学习的。这样的集成很容易将机器人的能力扩展到新的情况,即使用户没有编程能力。在VSL-SP中,VSL的内部规划器与现有的动作级符号规划器相集成。使用任务的底层约束和提取的符号谓词,由VSL识别,更新任务的符号表示。因此,规划器将每个技能的一般化表示保持为可重用的动作,其可以用于规划并在学习阶段独立执行。所提出的方法是通过几个真实世界的实验进行验证。
2017-06-03 cs.AI cs.RO
TASKOGRAPHY: Evaluating robot task planning over large 3D scene graphs
University of Toronto(多伦多大学);Université de Montréal(蒙特利尔大学);Microsoft(微软);Facebook AI Research(脸书人工智能研究院);Vector Institute(向量研究所)
3D场景图(3DSG)是一种新兴的描述,统一了符号,拓扑和度量场景表示。然而,典型的3DSG包含数百个对象和符号,即使对于小环境也是如此;在整个图上进行任务规划是不切实际的。我们构建了TASKOGRAPHY,这是第一个超过3DSGs的大规模机器人任务规划基准。虽然这一领域的大多数基准测试工作都集中在基于视觉的规划上,但我们系统地研究了符号规划,将规划性能与视觉表示学习分离。我们观察到,在现有的方法中,无论是经典的还是基于学习的规划者都不能实时规划整个3DSG。实现实时规划需要在以下两个方面取得进展:(a)稀疏化3DSG以进行易于处理的规划;(b)设计更好地利用3DSG层次结构的规划器。为了实现前一个目标,我们提出了SCRUB,一种任务条件下的3DSG稀疏化方法;使经典规划者能够匹配,并在某些情况下超越最先进的基于学习的规划者。对于后一个目标,我们提出了SEEK,一个程序,使学习为基础的规划人员利用3DSG结构,减少了数量级的重新规划查询所需的最佳方法。我们将开源所有代码和基线,以促进机器人任务规划、学习和3DSGs交叉点的进一步研究。
2022-07-11 cs.AI cs.LG cs.RO