Semantic Exploration from Language Abstractions and Pretrained Representations
DeepMind(深度思维)
本文提出利用自然图像描述数据预训练的视觉-语言表示构建语义状态抽象以定义新颖性,从而改善高维3D环境中的强化学习探索,并通过两类任务与消融实验验证其有效性。
2023-04-26 cs.AI cs.LG
Spatio-temporal Value Semantics-based Abstraction for Dense Deep Reinforcement Learning
Shanghai Key Laboratory of Trustworthy Computing(上海可信计算重点实验室)
针对深度强化学习在智能信息物理系统中的效率与泛化挑战,提出基于时空值语义的抽象建模方法,构建抽象MDP并优化,经PRISM验证及多场景实验证明有效。
2024-05-24 cs.AI cs.LG
STELLA: Guiding Large Language Models for Time Series Forecasting with Semantic Abstractions
Nanjing University of Science and Technology(南京理工大学)
STELLA通过动态语义抽象机制,提升大型语言模型在时间序列预测中的表现,实现更精准的长期和短期预测。
2025-12-04 cs.AI cs.CL cs.LG
Knowledge Abstraction for Knowledge-based Semantic Communication: A Generative Causality Invariant Approach
Department of Intelligent Computing and Data Science, VinUniversity(智能计算与数据科学系,文大学);School of Computer Science and Statistics, Trinity College Dublin(计算机科学与统计学系,三一学院);School of Computer Science, The University of Sydney(计算机科学系,悉尼大学);School of Engineering, The University of Newcastle(工程系,新castle大学);Department of Information Convergence Engineering, Pusan National University(信息融合工程系,釜山国立大学)
本文提出利用因果不变性学习的生成对抗网络提取语义知识,并通过稀疏更新协议保障跨域一致性,以低通信开销提升语义通信解码器的分类与数据重建性能。
2025-07-23 cs.LG
Syntactic Question Abstraction and Retrieval for Data-Scarce Semantic Parsing
NAVER Corp.(NAVER公司)
语义解析的深度学习方法需要大量的标记数据,但注释复杂的逻辑形式是昂贵的。在这里,我们提出了句法问题抽象和检索(SQAR),一种构建神经语义解析器的方法,该方法将自然语言(NL)查询转换为SQL逻辑形式(LF),其中注释示例少于1,000个。SQAR首先通过计算NL查询之间的相似性从训练数据中检索逻辑模式,然后基于检索到的模式的词汇信息来生成最终的LF。我们通过使用WikiSQL训练数据的各种小子集训练模型来验证SQAR,与WikiSQL测试集上的先前最先进的模型相比,LF准确度提高了4.9%。我们还表明,通过使用查询相似性来检索逻辑模式,SQAR可以利用释义数据集,与仅使用WikiSQL数据训练SQAR的情况相比,LF准确率提高了5.9%。与简单的模式分类方法相比,SQAR可以在添加新示例时生成不可见的逻辑模式,而无需重新训练模型。我们还讨论了一种理想的方法来创建成本效益和强大的训练数据集时,数据分布可以近似下的数据饥饿的设置。
2020-05-01 cs.CL cs.LG
Semantic RL with Action Grammars: Data-Efficient Learning of Hierarchical Task Abstractions
Einstein Center for Neurosciences Berlin(柏林爱因斯坦神经科学中心);Technical University Berlin(柏林工业大学);Imperial College London(帝国理工学院)
分层强化学习算法已经成功地应用于具有稀疏奖励信号的时间信用分配问题。然而,国家的最先进的算法需要手动规范的子任务结构,一个样本效率低下的探索阶段或缺乏语义可解释性。另一方面,人类可以有效地检测由周围环境引起的层次子结构。有人认为,这种推理过程普遍适用于语言,逻辑推理以及运动控制。因此,我们提出了一个认知启发的强化学习架构,它使用语法归纳来识别子目标策略。通过将政策轨迹视为从环境的政策条件语言中采样的句子,我们在无监督语法推理的帮助下识别分层成分。由此产生的一组时间抽象被称为动作语法(Pastra & Aloimonos,2012),并将符号和连接主义方法统一到强化学习中。它可以用来促进有效的模仿、迁移和在线学习。
2019-09-23 cs.AI cs.CL cs.LG
Causal Abstraction Learning based on the Semantic Embedding Principle
Sapienza University(罗马大学);National Inter-University Consortium for Telecommunications (CNIT)(国家大学电信联盟(CNIT));University of Bergen(卑尔根大学)
本文提出基于语义嵌入原则的因果抽象学习框架,通过范畴论方法在概率测度间寻找态射,并针对线性CA结合高斯测度与KL散度开发三种黎曼优化算法,在合成与真实脑数据上验证了有效性。
2025-05-31 cs.AI cs.LG
Semantic Communication meets System 2 ML: How Abstraction, Compositionality and Emergent Languages Shape Intelligence
Centre of Wireless Communications, University of Oulu(奥卢大学无线通信中心);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文主张超越纯技术层面,提出基于系统2认知原则的语义通信范式,通过抽象性、组合性与涌现通信三大支柱,构建能够推理、适应和协作的智能系统,从而统一无线通信、机器学习与机器人领域。
2025-05-27 cs.IT cs.LG math.IT
Planning to the Information Horizon of BAMDPs via Epistemic State Abstraction
Stanford University(斯坦福大学);DeepMind(深度思维)
贝叶斯-自适应马尔可夫决策过程(Bayes-Adaptive Markov Decision Process,BAMDP)形式主义追求强化学习中探索-利用权衡的贝叶斯最优解。由于贝叶斯学习问题的精确解的计算是棘手的,许多文献都集中在开发合适的近似算法。在这项工作中,在潜入算法设计,我们首先定义,温和的结构假设下,BAMDP规划的复杂性措施。由于BAMDPs中的有效探索取决于明智地获取信息,我们的复杂性度量突出了收集信息和耗尽认知不确定性的最坏情况下的困难。为了说明它的意义,我们建立了一个计算困难的,精确的规划算法,利用这一措施,以显示更有效的规划。然后,我们的结论是引入一种特定形式的状态抽象的潜力,以减少BAMDP的复杂性,并产生一个计算易处理的,近似的规划算法。
2022-10-30 cs.LG stat.ML
Reducing Planning Complexity of General Reinforcement Learning with Non-Markovian Abstractions
Research School of Computer Science, ANU(澳大利亚国立大学计算机科学研究学院);Google DeepMind(谷歌DeepMind)
一般强化学习(GRL)领域从根本上阐述了顺序决策问题。相互作用的历史构成了系统的“基态”,它永远不会重复。一方面,这种通用性允许GRL对几乎所有可能的领域进行建模,例如Bandits、MDP、POMDP、PSR和基于历史的环境。另一方面,在一般情况下,在GRL的近最优策略是完整的历史,这不仅阻碍了学习,而且在GRL规划的功能。规划部分的通常方法是给代理一个底层过程的马尔可夫抽象。因此,它可以使用任何MDP规划算法来找到一个接近最优的策略。极端状态聚合(ESA)框架已经将这一想法扩展到非马尔可夫抽象,而不影响通过(代理)MDP进行规划的可能性。ESA的一个显著特征是,它证明了代理MDP所需状态数上的$O\left(\varepsilon^{-A} \cdot (1-γ)^{-2A}\right)$的上界(其中$A$是动作数,$γ$是折扣因子,$\varepsilon$是最优间隙),其保持\emph{all}域的\emph{uniformly}。虽然一个普遍的约束的可能性是相当显着的,我们表明,这个约束是非常松散的。我们提出了一种新的非MDP抽象,它允许一个更好的上限的$O\left(\varepsilon^{-1} \cdot (1-γ)^{-2} \cdot A \cdot 2^{A}\right)$。此外,我们表明,这个界限可以进一步提高到$O\left(\varepsilon^…
2021-12-26 cs.AI cs.LG
Near Optimal Behavior via Approximate State Abstraction
Brown University(布朗大学);Carnegie Mellon University(卡内基梅隆大学)
困扰规划和强化学习(RL)算法的组合爆炸可以使用状态抽象来缓和。过大的任务表示可以被压缩,从而保留必要的信息,因此,解决方案是可追踪计算的。然而,只将完全相同的情况视为等效的精确抽象,无法在没有两种情况完全相同的环境中提供抽象的机会。在这项工作中,我们调查近似的状态抽象,这几乎等同的情况下对待。我们提出了从四种类型的近似抽象中推导出的行为质量的理论保证。此外,我们的经验表明,近似抽象导致减少任务的复杂性和有限的损失,在各种环境中的最优行为。
2017-01-15 cs.AI cs.LG
Localized Observation Abstraction Using Piecewise Linear Spatial Decay for Reinforcement Learning in Combat Simulations
Naval Postgraduate School(海军研究生院)
针对战斗模拟中RL训练效率随复杂度指数下降的问题,提出分段线性空间衰减的局部观测抽象方法,简化状态空间并保留关键信息,显著提升训练效率且优于全局观测。
2024-08-23 cs.AI cs.LG
Softly Induced Functional Simplicity: Implications for Neural Network Generalisation, Robustness, and Distillation
European Organization for Nuclear Research (CERN)(欧洲核子研究中心(CERN))
本研究通过柔和对称性尊重的归纳偏置,揭示了低复杂度解决方案在高能物理分类任务中提升泛化、鲁棒性和蒸馏效率的机制。
2026-01-15 cs.LG hep-ex
Semantic Level of Detail for Knowledge Graphs: Discovering Abstraction Boundaries via Spectral Heat Diffusion
Mnemoverse.AI, Funchal, Madeira, Portugal(Mnemoverse.AI,法赫尔,马德拉,葡萄牙)
本文提出SLoD框架,通过谱热扩散在图拉普拉斯上定义连续缩放操作,解决知识图谱中抽象层次边界检测问题,实验证明其在合成数据和WordNet中的有效性。
2026-05-01 cs.AI cs.LG
Kinematic State Abstraction and Provably Efficient Rich-Observation Reinforcement Learning
Microsoft Research(微软研究院)
我们提出了一个算法,HOMER,探索和强化学习在丰富的观察环境,可概括的一个未知的潜在状态空间。该算法交织表示学习,以确定一个新的概念的运动状态抽象与战略探索,以达到新的状态,使用学习的抽象。该算法可证明地探索环境与样本复杂性缩放多项式的数量的潜在状态和时间范围,并且,至关重要的是,与不依赖于的大小的观察空间,这可能是无限大的。这种探索保证进一步实现了任何奖励函数的样本有效全局策略优化。在计算方面,我们表明,该算法可以有效地实现某些监督学习问题是易处理的。从经验上讲,我们评估HOMER的一个具有挑战性的探索问题,在那里我们表明,该算法是指数更有效的样本比标准的强化学习基线。
2019-11-13 cs.LG stat.ML
Learning by Abstraction: The Neural State Machine
Stanford University(斯坦福大学)
我们引入神经状态机,寻求弥合人工智能的神经和符号视图之间的差距,并将它们的互补优势整合到视觉推理任务中。给定一个图像,我们首先预测一个概率图,表示其底层语义,并作为一个结构化的世界模型。然后,我们在图上执行顺序推理,迭代地遍历其节点以回答给定的问题或得出新的推理。与大多数旨在与原始感觉数据密切交互的神经架构相比,我们的模型在抽象的潜在空间中运行,通过将视觉和语言模态转换为基于语义概念的表示,从而实现增强的透明度和模块化。我们在VQA-CP和GQA上评估了我们的模型,这两个最近的VQA数据集涉及组合性,多步推理和多种推理技能,在这两种情况下都取得了最先进的结果。我们提供了进一步的实验来说明该模型在多个维度上的强大泛化能力,包括概念的新颖组合、答案分布的变化和看不见的语言结构,从而证明了我们方法的质量和有效性。
2019-11-25 cs.AI cs.CL cs.CV