Control invariant set enhanced reinforcement learning for process control: improved sampling efficiency and guaranteed stability
University of Alberta(阿尔伯塔大学);Nanyang Technological University(南洋理工大学)
本文提出控制不变集增强的强化学习方法,通过在离线阶段将CIS融入奖励、采样和重置,并在在线阶段以CIS为稳定性判据进行重训练,在模拟化学反应器中显著提升了采样效率与闭环稳定性。
2023-04-11 cs.AI cs.LG cs.SY
LatencyPrism: Online Non-intrusive Latency Sculpting for SLO-Guaranteed LLM Inference
Alibaba Cloud Computing(阿里云计算)
LatencyPrism是一种非侵入式延迟塑形系统,通过实时监控和异常检测保证LLM推理的SLA要求。
2026-01-20 cs.DC cs.LG cs.OS
Can Domain Generalization be Guaranteed in Small-Sample Learning?
本研究首次为小样本学习中的域泛化问题下的结构风险最小化提供了理论保证,基于稳定性推导了紧致的学习与泛化误差界,并探讨了其在深度学习中的适用性。
2026-10-06 cs.LG
Control invariant set enhanced safe reinforcement learning: improved sampling efficiency, guaranteed stability and robustness
University of Alberta(阿尔伯塔大学);Nanyang Technological University(南洋理工大学)
本文提出控制不变集增强的安全强化学习方法,将CIS融入离线奖励与采样设计以提升采样效率,并在在线阶段通过安全监督器保证闭环稳定性,在模拟化学反应器上验证了其有效性与鲁棒性。
2023-05-24 cs.AI cs.LG cs.SY
Accuracy-Guaranteed Collaborative DNN Inference in Industrial IoT via Deep Reinforcement Learning
University of Waterloo(滑铁卢大学);Huazhong University of Science and Technology(华中科技大学);Beijing Jiaotong University(北京交通大学)
工业物联网(IoT)设备和边缘网络之间的协作对于支持需要低延迟和高准确性的计算密集型深度神经网络(DNN)推理服务至关重要。采样率自适应根据网络条件动态配置工业物联网设备的采样率,是最小化服务延迟的关键。在本文中,我们研究了工业物联网网络中的协作DNN推理问题。为了捕捉信道的变化和任务到达的随机性,我们制定了一个约束马尔可夫决策过程(CMDP)的问题。具体而言,采样率自适应,推理任务卸载和边缘计算资源分配被联合考虑,以最小化平均服务延迟,同时保证不同推理服务的长期精度要求。由于CMDP无法直接解决一般的强化学习(RL)算法由于棘手的长期约束,我们首先转换CMDP到MDP利用李雅普诺夫优化技术。然后,提出了一种基于深度RL的算法来求解MDP。为了加快训练过程,在该算法中嵌入了优化子程序,直接获得最优的边缘计算资源分配。大量的仿真结果表明,所提出的基于RL的算法可以显着降低平均服务延迟,同时保持长期的推理精度与高概率。
2022-12-31 cs.AI cs.LG cs.SY
Neural Network Optimal Feedback Control with Guaranteed Local Stability
University of California, Santa Cruz(加州大学圣克鲁兹分校);NASA Langley Research Center(美国国家航空航天局兰利研究中心);Naval Postgraduate School(海军研究生院)
最近的研究表明,监督学习可以成为设计高维非线性动态系统的近优反馈控制器的有效工具。但神经网络控制器的行为仍然没有得到很好的理解。特别是,一些具有高测试精度的神经网络甚至不能局部稳定动态系统。为了解决这一挑战,我们提出了几种新的神经网络架构,我们证明,保证本地渐近稳定性,同时保留近似能力,学习最优反馈策略半全局。所提出的架构进行了比较,对标准的神经网络反馈控制器,通过数值模拟的两个高维非线性最优控制问题:稳定的不稳定的Burgers型偏微分方程,和高度和航向跟踪的无人机。模拟表明,标准的神经网络即使训练良好也无法稳定动态,而所提出的架构总是至少局部稳定,并且可以实现接近最佳的性能。
2022-10-07 cs.LG cs.SY eess.SY
A Theoretical Overview of Neural Contraction Metrics for Learning-based Control with Guaranteed Stability
Graduate Aerospace Laboratories, Caltech(加州理工学院研究生航空航天实验室);Nonlinear Systems Laboratory, MIT(麻省理工学院非线性系统实验室);Reliable Autonomous System Laboratory, MIT(麻省理工学院可靠自主系统实验室)
本文介绍了神经收缩度量(NCM)的理论概述:一个最优收缩度量和相应的微分李雅普诺夫函数的神经网络模型,它的存在是非自治非线性系统轨迹增量指数稳定的充分必要条件。其创新之处在于为基于学习的控制框架提供形式化的鲁棒性保证,利用收缩理论作为分析工具,通过凸优化研究学习系统的非线性稳定性。特别是,我们严格表明,在本文中,通过把建模误差的学习计划作为外部干扰,NCM控制能够获得显式的约束之间的距离随时间变化的目标轨迹和扰动的解决方案的轨迹,指数随时间的推移而下降,即使在确定性和随机扰动的存在下。这些有用的功能允许同时合成的收缩度量和相关的控制律的神经网络,从而使实时可计算的和可能鲁棒的学习为基础的控制一般控制仿射非线性系统。
2021-10-02 cs.LG cs.RO cs.SY
Recurrent Equilibrium Networks: Flexible Dynamic Models with Guaranteed Stability and Robustness
Australian Centre for Robotics(澳大利亚机器人中心);The University of Sydney(悉尼大学)
提出循环平衡网络(RENs),通过无约束参数化内置收缩稳定性、IQC、Lipschitz 与增量无源性保证,并在系统辨识、观测器和控制中验证其灵活建模能力。
2023-07-12 cs.LG cs.SY eess.SY
Physics-aware, probabilistic model order reduction with guaranteed stability
Technical University of Munich(慕尼黑工业大学)
给定来自高维、细粒度、多尺度动力系统的(少量)时间序列数据,我们提出了一个生成框架,用于学习有效的、低维、粗粒度动力学模型,该模型不仅可以预测细粒度系统的长期演化,还可以预测其在不同初始条件下的行为。我们的目标是细粒度模型,因为它们出现在物理应用中(例如分子动力学,基于代理的模型),其动力学是强非平稳的,但它们向平衡态的过渡是由未知的缓慢过程控制的,这些过程在很大程度上是无法通过蛮力模拟实现的。基于领域知识的方法严重依赖于物理洞察力,在识别时间上缓慢的功能,并未能执行长期稳定的学习动态。另一方面,纯统计框架缺乏可解释性,并且依赖于大量昂贵的模拟数据(长且多轨迹),因为它们无法注入领域知识。所提出的生成框架实现了上述desiderata通过采用灵活的前复杂平面上的潜在的,缓慢的过程,和一个中间层的物理动机的潜变量,减少对数据的依赖和灌输归纳偏见。与现有方案相比,它不需要从细粒度描述中先验定义投影算子,并同时解决了降维和模型估计的任务。我们证明了它的有效性和准确性,在粒子动力学的多尺度物理系统中产生的概率,长期预测的现象不包含在训练数据中。
2021-01-14 cs.LG physics.comp-ph stat.ML
Collapsed Variational Bayes Inference of Infinite Relational Model
NTT Communication Science Laboratories(NTT通信科学实验室);NTT Corporation(NTT公司);The University of Tokyo(东京大学)
无限关系模型(Infinite Relational Model,缩写为RRM)是一种基于观察到的关系将对象划分为簇的关系数据聚类的概率模型。本文提出了平均CVB(ACVB)解决方案,收敛保证和实用的快速折叠变分贝叶斯(CVB)推理。我们首先基于下限最大化推导出IRM的普通CVB和CVB 0。CVB解决方案产生确定性的迭代程序,用于推断给定截断数的聚类。我们的建议包括超参数的CVB0更新,包括狄利克雷过程的浓度参数,这在文献中还没有研究过。为了使CVB推理更具有实际应用价值,我们从两个方面对CVB推理进行了进一步的研究。首先,我们研究的收敛问题,并开发一个收敛保证算法的任何CVB为基础的推理称为ACVB,它可以自动收敛检测,并从困难和昂贵的手动监测推理过程中解放非专业从业人员。第二,我们提出了一些技术,以加快推理。特别是,我们描述了CVB0的线性时间推断,允许更大的关系数据使用的时间间隔。ACVB解决方案在实验中表现出与现有推理方法相当或更好的性能,并提供确定性,更快,更容易的收敛检测。
2014-09-16 cs.LG stat.ML
FedBIAD: Communication-Efficient and Accuracy-Guaranteed Federated Learning with Bayesian Inference-Based Adaptive Dropout
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
针对联邦学习上行通信瓶颈,本文提出 FedBIAD,利用贝叶斯推理和损失趋势重要性指标自适应丢弃权重行,并证明其极小极大最优收敛,实验显示通信减半、精度提升且训练时间最多降低 72%。
2023-07-14 cs.DC cs.LG
Tangential Randomization in Linear Bandits (TRAiL): Guaranteed Inference and Regret Bounds
University of Illinois, Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Coordinated Science Laboratory(协调科学实验室);Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出线性赌博机算法 TRAiL,通过在动作集切平面上扰动实现强制探索,证明了其推断质量 Ω(√T) 增长和遗憾 O(√T log T) 上界,并建立了遗憾与推断质量之间的渐近权衡关系。
2024-11-19 cs.LG cs.SY eess.SY
Any-Time Regret-Guaranteed Algorithm for Control of Linear Quadratic Systems
Coordinated Science Laboratory University of Illinois Urbana-Champaign(协调科学实验室 伊利诺伊大学厄巴纳-香槟分校)
提出用于线性二次系统控制的算法,基于SDP框架,通过调整正则化等构建置信椭球并设计输入扰动机制。开发两个变体,分析状态放大与遗憾值权衡,放宽顺序稳定性要求得最优遗憾值,还无需DARE解范数先验界。
2026-07-23 cs.LG cs.SY eess.SY
Sampling low-dimensional Markovian dynamics for pre-asymptotically recovering reduced models from data with operator inference
Courant Institute of Mathematical Sciences, New York University(纽约大学库朗数学科学研究所)
介绍了一种从高维黑箱动力系统的数据中学习低维模型的方法。新颖之处在于,所学习的模型正是传统上用模型降阶技术构造的降阶模型,所述模型降阶技术需要完全了解高维系统的控制方程和算子。因此,学习的模型保证继承了从传统的模型降阶得到的降阶模型的充分研究的性质。关键成分是一个新的数据采样方案,以获得重新投影的高维系统,对应于马尔可夫动力学在低维子空间的轨迹。精确恢复的降阶模型从这些重新投影的轨迹是保证前渐近在一定条件下的有限数量的数据和一个大类的系统与多项式非线性项。数值实验结果表明,该方法学习的低维模型与传统模型降阶到实际数值误差的降阶模型相匹配。数值结果进一步表明,低维模型拟合到重新投影的轨迹是预测的,即使在模型拟合到没有重新投影的轨迹是不准确和不稳定的情况下。
2019-08-29 cs.LG cs.NA math.NA
Beyond Perturbation Stability: LP Recovery Guarantees for MAP Inference on Noisy Stable Instances
MIT(麻省理工学院);Northwestern University(西北大学)
一些工作已经表明,扰动稳定的情况下,波茨模型的MAP推理问题,可以精确地解决使用自然的线性规划(LP)松弛。然而,大多数这些作品给很少(或没有)的LP解决方案的情况下,不满足相对严格的扰动稳定性定义的保证。在这项工作中,我们超越这些稳定性的结果表明,LP近似恢复MAP解决方案的一个稳定的实例,即使在该实例被噪声破坏。这种“嘈杂的稳定”模型实际上符合实际的MAP推理问题:我们设计了一个算法,寻找“接近”稳定的实例,并表明,从计算机视觉的几个现实世界的实例有附近的扰动稳定的实例。这些结果为LP弛豫在实际中的优异性能提供了新的理论解释。
2021-02-26 cs.LG stat.ML
Fundamental Linear Algebra Problem of Gaussian Inference
Institute for Aerospace Studies(航空航天研究所);University of Toronto(多伦多大学)
许多贝叶斯推理技术试图将后验近似为高斯分布,这是一个基本的线性代数问题,必须解决协方差的均值和关键项。即使当真实后验不是高斯时(例如,在非线性测量函数的情况下),我们可以使用在每次迭代中重复地求解该线性代数问题的变分方案。在大多数情况下,问题不在于这个问题是否存在解决方案,而在于我们如何利用特定于问题的结构来有效地找到它。我们的贡献是清楚地说明基本线性代数问题的高斯推理(FLAPOGI),并提供一个新的介绍(使用克罗内克代数)的不那么知名的结果高桥等。(1973),使之有可能解决的关键项目的协方差矩阵。我们首先提供了一个全球性的解决方案,然后一个本地版本,可以实现使用本地消息传递之间的代理并行计算的集合。相反的信念传播,我们的本地计划是保证收敛的平均值和所需的协方差量的全局解决方案,即使底层的因子图是loopy的情况下,同步更新,我们提供了收敛所需的迭代次数的限制。与信念传播相比,这种保证收敛的代价是额外的存储,计算和通信链路的情况下的循环;然而,我们展示了这些可以自动构建在飞行中只使用本地信息。
2020-10-15 cs.LG cs.RO math.ST
Alignment and stability of embeddings: measurement and inference improvement
Boğaziçi University(博阿齐奇大学);IMT Atlantique(大西洋国立高等工业技术与矿业学校);DSI Global Services(DSI全球服务公司)
表示学习(RL)方法学习对象的潜在嵌入,其中信息通过距离保留。由于距离对于某些线性变换是不变的,因此可以获得不同的嵌入,同时保留相同的信息。在动态系统中,嵌入的时间差异可以通过系统的稳定性或由于任意变换而导致的嵌入的不对准来解释。在文献中,嵌入对齐没有被正式定义,理论探讨,或经验分析。在这里,我们探索嵌入对齐及其部分,提供第一个正式的定义,提出新的指标来衡量对齐和稳定性,并通过合成实验显示其适用性。真实世界的实验表明,静态和动态RL方法都容易产生错位嵌入,这种错位会影响动态网络推理任务的性能。通过确保对齐,预测精度在静态RL方法中提高了90%,在动态RL方法中提高了40%。
2021-01-18 cs.LG cs.SI
Block Stability for MAP Inference
MIT(麻省理工学院);Northwestern University(西北大学)
为了理解近似MAP推断的经验成功,最近的工作(Lang等人,2018)已经表明,当输入实例稳定时,一些流行的近似算法表现得非常好。最简单的稳定性条件假设MAP的解决方案不改变时,一些成对的潜力(adversarially)扰动。不幸的是,这一强有力的条件在实践中似乎并不满足。在本文中,我们引入了一个更宽松的条件,只需要输入实例的块(部分)是稳定的。在这个块稳定性条件下,我们证明了两两线性规划松弛在稳定块上是持久的。我们补充我们的理论结果与现实世界的MAP推理实例从计算机视觉的实证评估。我们设计了一个算法来寻找稳定块,并发现这些真实的实例有很大的稳定区域。我们的工作给出了一个理论解释的普遍经验现象的持久性,这种LP松弛。
2020-11-13 cs.AI cs.LG stat.ML
Stability of Sequential and Parallel Coordinate Ascent Variational Inference
Department of Statistics, University of Wisconsin-Madison(威斯康星大学麦迪逊分校统计学系)
研究比较了序列与并行坐标上升变分推断在高维线性回归中的收敛性差异,揭示序列算法在更宽松条件下具有收敛保证。
2026-03-21 cs.LG math.ST stat.CO