Fast exploration and learning of latent graphs with aliased observations
Google DeepMind(谷歌DeepMind)
针对节点观测别名化且随机转移的潜在图恢复问题,提出一种高效探索算法,可在多种挑战性拓扑中指数级快于朴素探索,并在无别名情形下保持与基线相当的性能。
2023-09-25 cs.AI cs.LG
Fast active learning for pure exploration in reinforcement learning
Inria(法国国家信息与自动化研究所);Universitat Pompeu Fabra(庞培法布拉大学);CNRS(法国国家科学研究中心);ULille(里尔大学);Renault(雷诺集团);DeepMind(深度思维公司)
现实环境通常为代理提供非常有限的反馈。当环境最初是未知的,反馈,在一开始,可以是完全没有的,和代理可能会首先选择把他们所有的努力有效地探索。探索仍然是一个挑战,虽然它已经解决了许多手工调整的算法,一方面具有不同程度的通用性,另一方面有一些理论支持的探索策略。他们中的许多人体现了内在的动机,特别是探索奖金。探索奖励的一个常见经验法则是使用$1/\sqrt{n}$奖励,它被添加到奖励的经验估计中,其中$n$是访问该特定状态(或状态-动作对)的次数。我们发现,令人惊讶的是,对于一个纯粹的探索目标的奖励免费的探索,奖金规模与$1/n$带来更快的学习率,提高已知的上限方面的依赖地平线$H$。此外,我们表明,与改进的停止时间的分析,我们可以提高一个因素$H$的最佳策略识别设置,这是另一个纯粹的探索目标,其中环境提供奖励,但代理是不是惩罚其行为在探索阶段的样本复杂性。
2020-10-10 cs.LG stat.ML
A Fast Algorithm for the Real-Valued Combinatorial Pure Exploration of Multi-Armed Bandit
University of Tokyo(东京大学)
针对动作集随臂数多项式增长的R-CPE-MAB问题,提出CombGapE快速算法,实现匹配下界的样本复杂度,并在合成与真实数据集上显著优于现有方法。
2025-01-09 cs.LG
Optimal Exploration for Model-Based RL in Nonlinear Systems
University of Washington(华盛顿大学)
针对非线性系统中基于模型的强化学习探索问题,提出将控制器损失最小化转化为任务相关度量下的参数估计,设计近实例最优的高效探索算法,在真实非线性机器人系统实验中验证了有效性。
2023-06-15 cs.LG cs.RO cs.SY
Sample-efficient Safe Learning for Online Nonlinear Control with Control Barrier Functions
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校);Cornell University(康奈尔大学);Microsoft Corporation(微软公司)
强化学习(RL)和连续非线性控制已成功应用于多个领域的复杂顺序决策任务。然而,由于学习过程的探索性质和模型不确定性的存在,由于缺乏安全保证,将它们应用于安全关键控制任务是具有挑战性的。另一方面,虽然将控制理论方法与学习算法相结合在安全RL应用中显示出了希望,但用于控制的安全数据汇集过程的样本效率没有得到很好的解决。在本文中,我们提出了一个\emph{provably}样本有效的情节安全的学习框架,利用安全的探索和利用在一个未知的,非线性动力系统的在线控制任务。特别是,该框架1)在随机设置中扩展控制障碍函数(CBF),以在模型学习期间在不确定性下实现可证明的高概率安全性,以及2)集成基于优化的探索策略,以有效地引导安全探索过程与\emph{near optimal}控制性能的学习动态。我们提供了正式的分析,情节遗憾界对最优控制器和概率安全的理论保证。仿真结果证明了该算法的有效性和效率。
2022-07-29 cs.LG cs.RO cs.SY
Learning Abstract Models for Strategic Exploration and Fast Reward Transfer
Google Research(谷歌研究院)
基于模型的强化学习(RL)之所以有吸引力,是因为(i)它能够进行规划,从而进行更具战略性的探索,(ii)通过将动态与奖励解耦,它能够快速转移到新的奖励函数。然而,在高维状态(例如,原始像素)是极具挑战性的,因为它需要函数近似,这导致复合误差。相反,为了避免复合错误,我们建议在抽象状态上学习抽象MDP:状态的低维粗略表示(例如,捕获代理位置,忽略其他对象)。我们假设可以访问一个抽象函数,该函数将具体状态映射到抽象状态。在我们的方法中,我们构建了一个抽象的MDP,它通过规划进行战略探索而发展。与分层RL方法类似,抽象MDP的抽象操作由在抽象状态之间导航的学习子策略支持。我们的方法在三个最难的街机学习环境游戏(蒙特祖玛的复仇,陷阱!,和私家侦探),包括在陷阱超人的表现!没有示威。在对一个任务进行训练后,我们可以将学习到的抽象MDP重新用于新的奖励函数,从而在比从头开始训练的无模型方法少1000倍的样本中获得更高的奖励。
2020-07-12 cs.AI cs.LG stat.ML
FAST-Q: Fast-track Exploration with Adversarially Balanced State Representations for Counterfactual Action Estimation in Offline Reinforcement Learning
Games24x7 India(Games24x7印度)
FAST-Q利用梯度反转学习构建平衡状态表示,支持离线反事实探索与多目标Q值分解,解决了离线强化学习中分布外动作Q值高估问题,显著提升了推荐效果并降低成本。
2025-04-30 cs.AI cs.LG
Active Learning for Control-Oriented Identification of Nonlinear Systems
University of Pennsylvania(宾夕法尼亚大学)
针对基于模型的强化学习中现有最优探索算法仅适用于线性参数模型的局限,提出首个面向通用非线性动力学的主动学习有限样本分析方法,其超额控制成本达近最优速率,仿真验证了主动面向控制探索的优势。
2024-08-13 cs.LG cs.SY eess.SY
LNUCB-TA: Linear-nonlinear Hybrid Bandit Learning with Temporal Attention
Department of Industrial & Management Systems Engineering West Virginia University(西弗吉尼亚大学工业与管理系统工程系);Department of Electrical Engineering Iran University of Science and Technology(伊朗科学技术大学电气工程系);School of Mathematical & Data Sciences West Virginia University(西弗吉尼亚大学数学与数据科学学院)
针对上下文多臂老虎机算法难以捕捉时空模式且依赖静态探索率的问题,提出LNUCB-TA混合bandit模型,结合自适应k-NN非线性组件与全局-局部注意力探索机制,显著提升了奖励估计准确性与计算效率,并具备次线性遗憾界保证。
2025-06-29 cs.AI cs.LG stat.ML
Reinforcement Learning with Fast Stabilization in Linear Dynamical Systems
Caltech(加州理工学院);Purdue University(普渡大学)
在这项工作中,我们研究了基于基于模型的强化学习(RL)在未知的可镇定线性动力系统。当学习一个动态系统时,为了避免系统崩溃,需要稳定未知的动态。我们提出了一种算法,证明快速稳定的底层系统,有效地探索环境与改进的探索策略。我们表明,该算法达到$\tilde{\mathcal{O}}(\sqrt{T})$后悔后,$T$时间步长的代理-环境交互。我们还表明,所提出的算法的遗憾只有一个多项式依赖的问题的尺寸,这给了一个指数的改善,比以前的方法。我们改进的探索方法是简单的,但有效的,它结合了一个复杂的探索政策在RL与各向同性的勘探策略,以实现快速稳定和改善遗憾。我们的经验表明,该算法优于其他流行的方法在几个自适应控制任务。
2022-06-03 cs.LG math.OC stat.ML
Deep Exploration via Bootstrapped DQN
Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
本文提出Bootstrap DQN算法,通过随机价值函数实现高效探索,提升复杂环境中的学习速度和性能,尤其在Atari游戏中表现优异。
2016-07-04 cs.AI cs.LG cs.SY
Exploration of Fast-Slow Latent Recurrence for Train-Short, Test-Long Generalization
The University of Tokyo(东京大学);University of Tübingen(图宾根大学)
本文提出快慢复发机制,通过结合快速递归潜在更新与慢速观测更新,提升长周期序列建模的稳定性与泛化能力,优于LSTM等基线方法。
2026-07-09 cs.AI cs.LG
Exploration of Reinforcement Learning for Event Camera using Car-like Robots
The University of Tokyo(东京大学);Keio University(庆应义塾大学)
我们展示了第一个学习应用程序的机器人配备了一个事件摄像机。由于事件摄像机的延迟相当低,与使用标准摄像机的现有基于视觉的学习应用相比,可以实现更快的机器人控制。为了处理强化学习的事件流,我们引入了一个类似图像的功能,并证明了在模拟器中训练代理的两个任务的可行性:快速避碰和障碍物跟踪。最后,我们在现实世界中设置了一个带有事件摄像机的机器人,然后转移了在模拟器中训练的代理,从而成功地快速避免了随机投掷的物体。将事件摄像机应用到强化学习中,通过端到端学习方法,为需要快速控制的各种机器人应用(如自动驾驶汽车和无人机)开辟了新的可能性。
2020-04-02 cs.AI cs.LG cs.RO
Model Learning for Look-ahead Exploration in Continuous Control
Carnegie Mellon University(卡内基梅隆大学)
我们提出了一种探索方法,结合前瞻性搜索的基本学习技能和他们的动态,并使用它的强化学习(RL)的操作政策。我们的技能是使用现有的多目标RL公式在更简单的环境中孤立地学习多目标策略,类似于期权或宏动作。粗略的技能动态,即,学习由(完整的)技能执行引起的状态转换,并在前瞻搜索期间向前展开。策略搜索在探索期间受益于时间抽象,尽管其本身在低级别原始动作上操作,因此所产生的策略不会遭受由粗糙技能链引起的次优性和可扩展性。我们表明,所提出的探索策略比当前最先进的RL方法更快地有效学习复杂的操作策略,并且比使用选项或参数化技能作为策略本身的构建块的方法收敛到更好的策略,而不是指导探索。我们表明,所提出的探索策略比当前最先进的RL方法更快地有效学习复杂的操作策略,并且比使用选项或参数化技能作为策略本身的构建块的方法收敛到更好的策略,而不是指导探索。
2018-11-20 cs.AI cs.LG cs.RO
Fast Rates for Maximum Entropy Exploration
HSE University(高等经济大学);Artificial Intelligence Research Institute(人工智能研究院);Duisburg-Essen University(杜伊斯堡-埃森大学);Google DeepMind(谷歌DeepMind);École Polytechnique(巴黎综合理工学院);Mohamed Bin Zayed University of AI(穆罕默德·本·扎耶德人工智能大学);IDEMIA(艾德米亚);ENS Lyon(里昂高等师范学院)
本文研究稀疏或无奖励 RL 中的两类最大熵探索,提出博弈论与熵正则化算法,改进样本复杂度,并证明其相对无奖励探索的统计优势。
2023-06-06 cs.LG stat.ML
Fast Beam Alignment via Pure Exploration in Multi-armed Bandits
Zhejiang University(浙江大学);University of Alberta(阿尔伯塔大学);National University of Singapore(新加坡国立大学)
波束对准(BA)问题在于精确地对准发射器和接收器波束以在无线通信系统中建立可靠的通信链路。现有的BA方法搜索整个波束空间以识别最佳发射-接收波束对。当天线的数量很大时,这会引起显著的延迟。在这项工作中,我们开发了一种基于带宽的快速BA算法,以减少毫米波(mmWave)通信的BA延迟。我们的算法被命名为两阶段异方差跟踪和停止(2PHT\&S)。我们首先制定的BA问题作为一个纯粹的探索问题,在多武装土匪的目标是尽量减少所需的时间步长给定一定的固定的置信水平。该算法利用波束之间的相关性结构(即来自相邻波束的信息是相似的)和臂(波束)的回报方差与其均值相关的异方差特性,将所有波束分组为若干波束集合,首先选择最优波束集合,然后在该集合中识别最优波束。理论分析和仿真实验结果表明,该算法具有明显的优越性。
2022-10-23 cs.IT cs.LG math.IT
BBQ-Networks: Efficient Exploration in Deep Reinforcement Learning for Task-Oriented Dialogue Systems
我们提出了一种新算法,可以显著提高对话系统中深度Q学习代理的探索效率。我们的智能体通过汤普森采样进行探索,从贝叶斯反向传播神经网络中提取蒙特卡罗样本。我们的算法比常见的探索策略(如ε-greedy,Boltzmann,bootstrapping和基于内在奖励的策略)学习得更快。此外,我们还证明了,在重放缓冲区中加入一些成功的经验,可以使Q学习在可能失败的情况下变得可行。
2017-11-20 cs.AI cs.CL cs.LG
The Geometry of Nonlinear Reinforcement Learning
Max Planck Institute for Human Cognitive and Brain Sciences(马克斯·普朗克人类认知与脑科学研究所);Leipzig Center for Scalable Data Analytics and Artificial Intelligence (ScaDS.AI)(莱比锡可扩展数据与人工智能研究中心);Dresden/Leipzig(德累斯顿/莱比锡)
该研究提出统一几何框架,将强化学习中奖励最大化、安全探索等多目标整合为长期行为空间的单一优化问题,可推广经典RL方法至非线性效用与凸约束场景,并梳理了交叉领域的开放挑战。
2025-09-01 cs.LG
BBQ-Networks: Efficient Exploration in Deep Reinforcement Learning for Task-Oriented Dialogue Systems
Microsoft Research(微软研究院);Google Inc.(谷歌公司);Citadel(城堡投资);Carnegie Mellon University(卡内基梅隆大学);Amazon AI(亚马逊人工智能)
我们提出了一种新算法,可以显著提高对话系统中深度Q学习代理的探索效率。我们的智能体通过汤普森采样进行探索,从贝叶斯反向传播神经网络中提取蒙特卡罗样本。我们的算法学习速度远远快于常见的探索策略,如$ε$ -贪婪,玻尔兹曼,自举,和内在的奖励为基础的。此外,我们还证明了,在重放缓冲区中加入一些成功的经验,可以使Q学习在可能失败的情况下变得可行。
2017-11-23 cs.LG cs.NE stat.ML
Improving Exploration in Evolution Strategies for Deep Reinforcement Learning via a Population of Novelty-Seeking Agents
Uber AI Labs(优步人工智能实验室)
演化策略(ES)是一系列黑箱优化算法,能够粗略地训练深度神经网络,以及Q学习和策略梯度方法,以解决具有挑战性的深度强化学习(RL)问题,但速度更快(例如,几小时与几天),因为它们的并行化更好。然而,许多RL问题需要定向探索,因为它们具有稀疏或欺骗性的奖励函数(即包含局部最优值),并且不知道如何使用ES鼓励这种探索。在这里,我们表明,已经发明的算法,以促进定向探索小规模进化神经网络通过人口的探索代理,特别是新颖性搜索(NS)和质量多样性(QD)算法,可以与ES杂交,以提高其性能的稀疏或欺骗性的深度RL任务,同时保持可扩展性。我们的实验证实,由此产生的新算法,NS-ES和两个QD算法,NSR-ES和NSRA-ES,避免了ES遇到的局部最优,以实现更高的性能Atari和模拟机器人学习走动的欺骗性陷阱。因此,本文介绍了一个家庭的快速,可扩展的强化学习,能够直接探索算法。它还将这个新的探索算法家族添加到RL工具箱中,并提出了一种有趣的可能性,即具有多个同时探索路径的类似算法也可能与ES之外的现有RL算法很好地结合。
2018-10-29 cs.AI
Instance-Sensitive Algorithms for Pure Exploration in Multinomial Logit Bandit
Indiana University Bloomington(印第安纳大学伯明顿分校)
受快速时尚零售和在线广告等实际应用的启发,多项Logit Bandit(MNL-bandit)模型是在线学习和运筹学中的一个流行模型,在过去的十年中引起了人们的广泛关注。然而,令人有点惊讶的是,纯探索,一个基本的问题,在强盗理论,至今没有得到很好的研究MNL-强盗。在本文中,我们给出了有效的算法在MNL-强盗纯探索。我们的算法实现了实例敏感的拉复杂性。我们还补充了上界的几乎匹配的下限。
2021-08-15 cs.DS cs.LG
Learning Soft Robotic Dynamics with Active Exploration
Soft Robotics Lab, D-MAVT, ETH Zurich(软机器人实验室,ETH Zurich);Learning & Adaptive Systems Group, D-INFK, ETH Zurich(学习与自适应系统组,ETH Zurich);ETH AI Center, ETH Zurich(ETH人工智能中心,ETH Zurich)
提出不确定性感知的主动探索框架SoftAE,通过概率集成模型估计认知不确定性并引导探索,在多种软体机器人形态上实现了更准确、可泛化的动力学建模与零样本控制。
2026-11-05 cs.AI cs.RO
Combinatorial Pure Exploration with Full-Bandit or Partial Linear Feedback
Tsinghua University(清华大学);The University of Tokyo(东京大学);RIKEN(理化学研究所);Microsoft Research(微软研究院)
在本文中,我们首先研究了组合纯探索与全强盗反馈(CPE-BL)的问题,其中学习者被赋予一个组合动作空间$\mathcal{X} \subseteq \{0,1\}^d$,并在每一轮的学习者拉动作$x \in \mathcal{X}$和接收随机奖励与期望$x^{\top} θ$,与$θ\in \mathbb{R}^d$潜在的和未知的环境向量。目标是使用尽可能少的样本来确定具有最高预期回报的最佳行动。对于CPE-BL,我们设计了第一个{ \em多项式时间自适应}算法,其样本复杂度与一系列实例的下限(对数因子内)相匹配,并且具有对$Δ_{\min}$(最佳动作和次优动作之间的最小间隙)的轻度依赖。此外,我们提出了一种新的广义CPE-BL灵活的反馈结构,称为组合纯探索与部分线性反馈(CPE-PL),其中包括几个家庭的子问题,包括全强盗反馈,半强盗反馈,部分反馈和非线性奖励函数。在CPE-PL中,每个动作拉动$x$报告具有$M_{x} θ$期望的随机反馈向量,其中$M_x \in \mathbb{R}^{m_x \times d}$是$x$的变换矩阵,并且获得与$x$相关的随机(可能非线性)奖励。对于CPE-PL,我们开发了第一个{ \em多项式时间}算法,它同时解决了有限反馈,一般奖励函数和组合动作空间,并提供了其样本复杂度分析。我们的实证评估表明,我们的算法运行的数量级比现有的,我们的C…
2020-12-15 cs.LG stat.ML
Reinforcement Learning with Probabilistically Complete Exploration
University of Sydney(悉尼大学);Nvidia(英伟达)
平衡探索和利用仍然是强化学习(RL)的关键挑战。最先进的强化学习算法具有很高的样本复杂度,特别是在稀疏奖励的情况下,在找到第一个正奖励之前,它们只能在各个方向上进行探索。为了减轻这种情况,我们提出了快速随机探索强化学习(R3L)。我们制定探索作为一个搜索问题,并利用广泛使用的规划算法,如快速探索随机树(RRT),以找到初始的解决方案。这些解决方案被用作初始化策略的演示,然后通过通用RL算法进行优化,从而实现更快,更稳定的收敛。我们提供了理论保证R3L探索找到成功的解决方案,以及其采样复杂性的界限。我们的实验表明,该方法优于经典和内在的勘探技术,只需要一小部分的勘探样本,并实现更好的渐近性能。
2020-01-20 cs.LG cs.RO stat.ML
Chance-Constrained Trajectory Optimization for Safe Exploration and Learning of Nonlinear Systems
California Institute of Technology(加州理工学院)
基于学习的控制算法需要数据汇集和大量的训练监督。安全探索算法确保了该数据汇集过程的安全性,即使只有部分知识可用。提出了一种新的安全探索的最优运动规划方法,该方法集成了机会约束随机最优控制、动力学学习和反馈控制。本文提出了一种求解\underline{Info}-代价\underline{S}-随机\underline{N}-线性\underline{O}-最优\underline{C}控制问题(Info-SNOC)的迭代凸优化算法。该优化目标将控制成本编码为性能成本,将探索成本编码为学习成本,并将安全性作为分布鲁棒机会约束。动态是从一个强大的回归模型,从数据中学习预测。Info-SNOC算法用于计算安全运动计划的次优池,该安全运动计划有助于在安全约束下探索学习未知的剩余动力学。一个稳定的反馈控制器被用来执行运动计划和收集数据的模型学习。我们证明了我们的探索方法的安全性,并减少了不确定性,从而保证了我们的学习方法的一致性。我们通过设计和实现一个平面机器人的安全轨迹池来验证信息SNOC的有效性。我们证明了我们的方法相比,一个确定性的轨迹优化方法,在确保安全性有更高的成功率。
2020-10-27 cs.AI cs.RO cs.SY
Safe Exploration for Nonlinear Processes Using Online Gaussian Process Learning
ABB Corporate Research(ABB企业研究);KTH Royal Institute of Technology(皇家理工学院)
本文提出了一种安全数据驱动控制框架,用于具有部分已知动态的非线性系统。通过在线学习高斯过程残差捕捉未建模的非线性动态,结合概率控制不变集确保稳定性,实现安全且信息丰富的探索。
2026-05-10 cs.RO cs.SY eess.SY
Robust Output-Feedback MPC for Nonlinear Systems with Applications to Robotic Exploration
本文提出一种基于区间值预测器的鲁棒输出反馈MPC方法,通过初始镇定反馈参数化减小预测区间宽度,提升噪声环境下的控制性能,并应用于机器人自主探索。
2025-04-14 cs.SY eess.SY
NeuralExplorer: State Space Exploration of Closed Loop Control Systems Using Neural Networks
在本文中,我们提出了一个框架进行状态空间探索的闭环控制系统。我们的方法涉及近似的灵敏度和一个新引入的概念,逆灵敏度的神经网络。我们展示了如何近似的敏感性和逆敏感性可以用于计算估计的可达集。然后,我们概述了通过生成到达邻域的轨迹来执行状态空间探索的算法。我们证明了我们的方法的有效性,不仅适用于标准的线性和非线性动力系统,而且还适用于非线性混杂系统和基于神经网络的反馈控制系统。
2020-07-11 cs.SY eess.SY
Optimization-Based Exploration of the Feasible Power Flow Space for Rapid Data Collection
本文系统测试了40种非线性目标函数,利用豪斯多夫距离评估其探索最优潮流可行空间的能力,并在五个PGLib案例上验证,旨在快速收集数据。
2022-09-20 cs.SY eess.SY
Advancing Trajectory Optimization with Approximate Inference: Exploration, Covariance Control and Adaptive Risk
Technische Universität Darmstadt(达姆施塔特工业大学)
离散时间随机最优控制对于一般非线性系统仍然是一个具有挑战性的问题,实际的求解器通常依赖于确定性等价假设,重新规划和/或广泛的正则化。控制作为推理是一种将随机控制框架为等价推理问题的方法,并且已经证明了现有方法的理想品质,即在探索和正则化方面。我们专门着眼于输入推理控制(I2C)算法,并得出三个关键特性,使先进的轨迹优化:一个“专家”的线性高斯控制器,结合了开环优化和闭环方差减少的好处时,优化非线性系统,固有的自适应风险灵敏度的推理制定,和协方差控制功能,只有一个小的算法调整。
2021-03-10 cs.LG cs.RO cs.SY
Graph-based Simultaneous Coverage and Exploration Planning for Fast Multi-robot Search
Carnegie Mellon University(卡内基梅隆大学)
在大型未知环境中,通过并行化工作,使用多机器人舰队可以使搜索操作更加省时。这意味着机器人必须有效地执行协作映射(探索),同时搜索受害者的区域(覆盖范围)。以前的同步绘图和规划技术将这些问题视为单独的,并且没有利用统一方法的可能性。我们提出了一种新的探索覆盖规划器的桥梁映射和搜索域的随机树的增长集植根于通过映射产生的姿态图,以生成感兴趣的点,或任务。此外,重要的是,机器人首先优先考虑高信息任务,通过平衡覆盖和探索,在最短的时间内找到最多的受害者,这是目前的方法没有解决的。为了实现这一目标,我们还提出了一个新的多机器人任务分配器,制定了一个概念的层次信息启发式的时间关键的协作搜索。我们的研究结果表明,我们的算法产生了20%以上的覆盖效率,定义为平均每秒覆盖面积,与现有的最先进的。我们的算法和我们的多机器人搜索堆栈的其余部分是基于ROS和开源
2023-03-03 cs.MA cs.RO cs.SY
Finite Sample Identification of Analytic Nonlinear Systems
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Minnesota, Minneapolis(明尼苏达大学)
本文针对实解析特征函数的线性参数化非线性系统,证明非主动探索可实现其有限样本辨识,给出反例说明非实解析系统需主动探索,并通过数值实验验证理论结果。
2026-09-01 cs.SY eess.SY math.OC
Deep active learning for nonlinear system identification
Norwegian University of Science and Technology(挪威科技大学);SINTEF Digital(SINTEF数字研究所)
神经网络在非线性动力学系统建模中的爆炸性研究兴趣在很大程度上是由网络直接从数据建模复杂输入-输出关系的能力来解释的。然而,它们通常需要大量的训练数据才能得到很好的利用。动力系统的数据生成过程在时间和资源方面都是昂贵的努力。主动学习通过获取信息量最大的数据来解决这个缺点,从而减少了收集大量数据集的需要。当前工作的独特之处在于将深度主动学习框架集成到非线性系统辨识中。我们制定了一个一般的静态深度主动学习获取问题的非线性系统辨识。这是通过在输入空间的不同区域中局部探索系统动态来实现的,以获得覆盖更广泛输入空间的模拟数据集。该模拟数据集可用于被称为全局探索的静态深度主动学习获取方案。全局探索根据批量获取功能获取一批与信息量最大的状态-动作轨迹相对应的初始状态。局部探索解决了一个最优控制问题,找到了最大化某些信息测量的控制轨迹。在获得一批信息初始状态后,从该批初始状态进行新一轮的局部探索,以获得一组相应的控制轨迹,这些控制轨迹将被应用于系统动力学以从系统获得数据。在采集方案中使用的信息措施是从预测方差的神经网络的合奏。新方法优于标准的数据采集方法用于系统辨识的非线性动态系统的情况下进行的研究模拟数据。
2023-02-24 cs.AI cs.IT cs.SY
Mindalogue: LLM-Powered Nonlinear Interaction for Effective Learning and Task Exploration
针对生成式 AI 线性交互增加认知负荷的问题,提出基于“节点+画布”非线性交互的 Mindalogue 系统,显著减少任务步骤并提升用户对复杂信息的理解。
2024-10-15 cs.HC cs.SY eess.SY
Online Approximate Dynamic Programming within Linear Model Validity Regions Exploiting Impulsive Braking Inputs
Missouri University of Science and Technology(密苏里科技大学)
提出一种脉冲监督的受限探索框架,结合连续时间近似动态规划与脉冲监督层,通过脉冲制动将状态限制在局部线性近似有效的区域内,实现参数收敛所需的持续激励,同时避免状态偏离导致局部最优性失效。
2026-10-06 cs.SY eess.SY
A Simulation Framework for Fast Design Space Exploration of Unmanned Air System Traffic Management Policies
Syracuse University(雪城大学);Thales Digital Aviation Customer Success and Innovation, Americas(泰雷兹数字航空客户成功与创新(美洲))
本文提出了一种多智能体空气交通和资源使用仿真框架,用于快速评估不同的空交通管理政策及其与环境和交通模式的关系,同时为智能城市建设中的资源分配和发射站点选址提供工具。
2019-02-15 cs.SY eess.SY
Learning-based Symbolic Abstractions for Nonlinear Control Systems
符号模型或抽象被认为是具有逻辑规范的信息物理系统(CPS)控制设计的强大工具。本文研究了一种基于学习的非线性控制系统符号模型构造方法。具体地,基于从基于状态空间探索的训练数据学习动态的未建模部分以及表示相对于原始控制系统的行为关系的交替仿真关系的概念来构造符号模型。此外,我们的目标是实现安全探索,这意味着在收集训练数据时,系统的轨迹始终保证在安全区域内。此外,我们提供了一些技术,以减少计算负荷,在内存和计算时间方面,构建的符号模型和安全控制器的合成,使我们的方法实用。最后,数值仿真验证了该方法的有效性。
2022-08-03 cs.SY eess.SY
Nonlinear Attitude Filter on SO(3): Fast Adaptation and Robustness
与高斯姿态滤波器和其他姿态确定方法相比,非线性姿态滤波器被认为具有更简单的结构和更好的跟踪性能。非线性姿态滤波器设计的一个关键因素是误差准则的选择。非线性姿态滤波器的传统设计在快速自适应和鲁棒性之间进行权衡。在这项工作中,提出了一种新的功能的方法,基于模糊规则的在线连续调整的非线性姿态滤波器自适应增益。同时考虑姿态误差和姿态误差变化率,采用人工蜂群优化算法对输入输出隶属度函数进行优化调整。该方法在大误差时具有高的自适应增益,在小误差时具有小的自适应增益。因此,所提出的方法允许快速收敛性能与高的鲁棒性措施。仿真结果表明,该方法具有鲁棒性和高收敛能力,对大的初始化误差和不确定的测量。
2021-09-10 cs.SY eess.SY