Online estimation and control with optimal pathlength regret
Caltech(加州理工学院)
当为非平稳环境设计在线学习算法时,一个自然的目标是根据输入序列的时间变化限制算法的遗憾。直觉上,当变化很小时,算法应该更容易实现低遗憾,因为过去的观察可以预测未来的输入。这种依赖于数据的“路径长度”遗憾界最近已经获得了各种各样的在线学习问题,包括OCO和土匪。我们获得了线性动态系统在线控制和估计(如卡尔曼滤波)的第一个路径长度遗憾界。在我们的推导中的关键思想是减少路径长度最优滤波和控制的鲁棒估计和控制的某些变分问题,这些减少可能是独立的利益。数值模拟证实,我们的路径长度优化算法优于传统的$H_2$和$H_{\infty}$算法时,环境随时间变化。
2021-12-07 cs.LG math.OC
Finding the Stochastic Shortest Path with Low Regret: The Adversarial Cost and Unknown Transition Case
University of Southern California(南加州大学)
我们取得了显着进展的随机最短路径问题的对抗成本和未知的过渡。具体来说,我们开发的算法,实现$\widetilde{O}(\sqrt{S^2ADT_\star K})$后悔的全信息设置和$\widetilde{O}(\sqrt{S^3A^2DT_\star K})$后悔的强盗反馈设置,其中$D$是直径,$T_\star$是最优策略的预期命中时间,$S$是状态的数量,$A$是行动的数量,和$K$是情节的数量。我们的工作在全信息环境中严格改进(Rosenberg和Mansour,2020),扩展(Chen等人,2020)从已知过渡到未知过渡,也是第一个考虑最具挑战性的组合:具有对抗成本和未知过渡的强盗反馈。为了弥补我们的上界和当前最佳下界之间的差距,通过一个随机遗忘的对手,我们还提出了算法与近最佳遗憾这种特殊情况下。
2021-06-14 cs.AI cs.LG
Minimax Regret for Stochastic Shortest Path with Adversarial Costs and Known Transition
University of Southern California(南加州大学)
研究了具有对抗费用和已知转移的随机最短路问题,证明了在完全信息和强盗反馈下,极小极大后悔分别为$\widetilde{O}(\sqrt{DT^\star K})$和$\widetilde{O}(\sqrt{DT^\star SA K})$,其中$D$为直径,$T^\star$为最优策略的期望命中时间,$S$为状态数,$A$为行动数,$K$为发作数.我们的研究结果显着改进了现有的工作(Rosenberg和Mansour,2020),该工作只考虑了完全信息设置,并实现了次优的遗憾。我们的工作也是第一个考虑强盗反馈与对抗成本。我们的算法是建立在网上镜像下降框架的各种新技术,可能是独立的利益,包括改进的多尺度专家算法,减少从一般的随机最短路径到一个特殊的无环的情况下,倾斜的占用测量空间,和一个新的校正项添加到成本估计。有趣的是,最后两个元素分别通过正偏置和负偏置来减少学习者的方差和最优策略的方差,并且同时具有它们对于在强盗反馈设置中获得最优高概率界是至关重要的。
2021-06-22 cs.LG
Improved No-Regret Algorithms for Stochastic Shortest Path with Linear MDP
University of Southern California(南加州大学)
我们为具有线性MDP的随机最短路径(SSP)问题引入了两种新的无遗憾算法,这些算法显着改进了(Vial等人,2021年)。我们的第一个算法是计算效率,并实现了遗憾界$\widetilde{O}\left(\sqrt{d^3B_{\star}^2T_{\star} K}\right)$,其中$d$是特征空间的维数,$B_{\star}$和$T_{\star}$分别是最优策略的期望成本和命中时间的上限,$K$是情节的数量。同样的算法稍加修改也可以实现$O\left(\frac{d^3B_{\star}^4}{c_{\min}^2\text{gap}_{\min}}\ln^5\frac{dB_{\star} K}{c_{\min}} \right)$阶的对数后悔,其中$\text{gap}_{\min}$是最小次优间隙,$c_{\min}$是所有状态-动作对上的最小成本。我们的结果是通过发展一个更简单和改进的分析有限地平线近似(科恩等人,2021年),具有较小的近似误差,这可能是独立的利益。另一方面,在全局优化问题中使用方差感知置信集,我们的第二种算法在计算上是低效的,但实现了第一个“无水平”遗憾界$\widetilde{O}(d^{3.5}B_{\star}\sqrt{K})$,对$Ω(dB_{\star}\sqrt{K})$或$1/c_{\min}$没有多项式依赖性,几乎匹配来自(M…
2021-12-18 cs.LG
Learning Stochastic Shortest Path with Linear Function Approximation
Yale University(耶鲁大学);University of California, Los Angeles(加州大学洛杉矶分校)
研究了强化学习中的随机最短路径问题,其中转移核表示为未知模型的线性混合。我们称这类SSP问题为线性混合SSP。本文提出了一种新的基于Hoeffding型置信集的线性混合SSP学习算法,该算法可以获得$\tilde{\mathcal{O}}(d B_{\star}^{1.5}\sqrt{K/c_{\min}})$的遗憾值.这里,$K$是发作次数,$d$是混合模型中特征映射的维度,$B_{\star}$限定了最优策略的预期累积成本,而$c_{\min}>0$是成本函数的下界。我们的算法也适用于$c_{\min} = 0$和$\tilde{\mathcal{O}}(K^{2/3})$后悔保证的情况。据我们所知,这是第一个学习线性混合SSP的次线性后悔保证算法。此外,我们设计了一个改进的Bernstein型置信集,并提出了一种改进的算法,该算法可证明地实现了$\tilde{\mathcal{O}}(d B_{\star}\sqrt{K/c_{\min}})$遗憾。作为对遗憾上界的补充,我们还证明了$Ω(dB_{\star} \sqrt{K})$的一个下界.因此,我们的改进算法匹配的下限到一个$1/\sqrt{c_{\min}}$因子和多对数因子,实现了近最优的遗憾保证。
2022-07-05 cs.LG math.OC stat.ML
Implicit Finite-Horizon Approximation and Efficient Optimal Algorithms for Stochastic Shortest Path
University of Southern California(南加州大学)
我们引入了一个通用的模板,用于开发后悔最小化算法的随机最短路径(SSP)模型,只要确保某些属性,它可以实现最小最大最优后悔。我们的分析的关键是一个新的技术,称为隐式有限时域近似,近似的SSP模型的有限时域对应的分析,而没有明确的实施。使用这个模板,我们开发了两个新的算法:第一个是无模型的(据我们所知,这是文献中的第一个),并且在严格正成本下是最小最大最优的;第二个是基于模型的,并且即使在零成本状态-动作对下也是最小最大最优的,与来自[Tarbouriech等人,2021 b]。重要的是,这两种算法都允许高度稀疏的更新,这使得它们在计算上比所有现有算法都更有效。此外,两者都可以完全无参数。
2021-11-10 cs.LG stat.ML
Learning to Route Efficiently with End-to-End Feedback: The Value of Networked Structure
IDSS, MIT(麻省理工学院信息与决策系统实验室);LIDS, MIT(麻省理工学院信息与决策系统实验室)
我们引入有效的算法,实现近最佳的遗憾的问题,随机在线最短路径路由端到端的反馈。该设定是组合随机土匪问题的一个自然应用,是线性随机土匪问题的一个特例。我们展示了如何由大规模行动集所带来的困难,可以克服的行动集的网络结构。我们的方法提出了一种新的连接之间的强盗学习和最短路径算法。我们的主要贡献是一个自适应探索算法,几乎最佳的实例依赖遗憾的任何有向无环网络。然后,我们修改它,使接近最佳的最坏情况下的遗憾是同时实现的。在精心设计的前两名比较(TTC)技术的驱动下,这些算法可以高效地实现。我们进一步进行了大量的数值实验表明,我们提出的算法不仅实现了优越的遗憾性能,但也大大减少了运行时间。
2018-12-19 cs.LG stat.ML
Stochastic Shortest Path with Sparse Adversarial Costs
研究完全信息反馈下具有稀疏成本的对抗性随机最短路径问题,提出自适应稀疏性的 $\ell_r$-范数正则化器以实现 $\sqrt{\log M}$ 规模的最优遗憾,并证明未知转移设置下稀疏性好处有限。
2025-11-01 cs.LG stat.ML
Regret Lower Bounds for Decentralized Multi-Agent Stochastic Shortest Path Problems
Department of Mechanical Engineering(机械工程系);Indian Institute of Technology Bombay(孟买印度理工学院);School of Computer Science(计算机科学学院);University of Petroleum and Energy Studies(石油与能源研究大学);Industrial Engineering and Operations Research(工业工程与运筹学)
本文研究了去中心化多智能体随机最短路径问题,通过线性函数逼近提出首个遗憾下界,揭示了该问题的学习难度。
2025-12-13 cs.LG cs.MA
On the convergence of optimistic policy iteration for stochastic shortest path problem
University of Washington(华盛顿大学)
本文针对终止状态几乎必然可达的随机最短路径问题,证明了乐观策略迭代算法特例的收敛性,并在策略评估步骤中考虑了蒙特卡洛与TD(λ)方法。
2026-08-21 cs.LG stat.ML
Dynamic Regret of Online Markov Decision Processes
Nanjing University(南京大学)
我们研究在线马尔可夫决策过程(MDP)的不利变化的损失函数和已知的过渡。我们选择动态后悔作为绩效指标,定义为学习者与任何可行的改变策略序列之间的绩效差异。该措施是严格强于标准的静态后悔基准学习者的表现与一个固定的比较政策。我们认为在线MDP的三个基本模型,包括情节无环随机最短路径(SSP),情节SSP,和无限地平线MDP。对于这三个模型,我们提出了新的在线集成算法,并建立他们的动态后悔保证,其中的结果情节(无环)SSP是可证明的minimax最优的时间范围和一定的非平稳性措施。此外,当学习者遇到的在线环境是可预测的,我们设计了改进的算法,并实现了更好的动态遗憾界的情节(无循环)SSP,而且,我们证明了不可能的结果为无限地平线MDPs。
2022-08-26 cs.LG stat.ML
Power Weighted Shortest Paths for Clustering Euclidean Data
University of California, Los Angeles(加州大学洛杉矶分校);University of Michigan(密歇根大学)
我们研究使用功率加权最短路径距离函数聚类高维欧氏数据,假设数据是从一个不相交的低维流形的集合。我们认为,理论和实验,这导致更高的聚类精度。我们还提出了一个快速算法来计算这些距离。
2019-09-04 cs.LG stat.ML
Shortest path distance in random k-nearest neighbor graphs
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Hamburg(汉堡大学)
考虑一个加权或未加权的k-最近邻图,它是由n个数据点根据R^d上的某个密度p随机绘制的。本文研究了样本容量趋于无穷大时最短路距离的收敛性。我们证明,对于未加权的kNN图,这个距离收敛到一个不愉快的距离函数的基础空间,其属性是有害的机器学习。我们还研究了加权kNN图的最短路径距离的行为。
2012-07-09 cs.LG stat.ML
Shortest path distance approximation using deep learning techniques
University of Passau(帕绍大学)
计算节点之间的最短路径距离是许多图算法和应用程序的核心。传统的精确方法,如广度优先搜索(BFS),不能扩展到当代,快速发展的今天的大规模网络。因此,需要找到近似方法来实现具有显著加速的可扩展图形处理。在本文中,我们利用深度学习技术学习的向量嵌入来近似大型图中的最短路径距离。我们表明,前馈神经网络与嵌入美联储可以近似距离相对较低的失真误差。在Facebook、BlogCatalog、Youtube和Flickr社交网络上对所提出的方法进行了评估。
2020-02-12 cs.LG stat.ML
Learning Shortest Paths with Generative Flow Networks
HSE University(高等经济大学);CNRS(法国国家科学研究中心);École polytechnique(巴黎综合理工学院);Université Paris-Saclay(巴黎-萨克雷大学)
本文提出利用生成流网络学习最短路径,通过理论分析和实验验证,展示了在路径寻找和魔方求解中的有效性。
2026-10-14 cs.AI cs.LG stat.ML
Efficient Near-Optimal Algorithm for Online Shortest Paths in Directed Acyclic Graphs with Bandit Feedback Against Adaptive Adversaries
University of Washington(华盛顿大学);MIT(麻省理工学院)
本文研究了在自适应对手和Bandit反馈下有向无环图的在线最短路径问题,提出首个计算高效的算法,通过新颖的损失估计器和基于质心的分解实现了近似极小极大最优的遗憾界,并改进了多种博弈与老虎机问题的遗憾保证。
2025-04-01 cs.GT cs.LG
Stochastic Online Shortest Path Routing: The Value of Feedback
KTH Royal Institute of Technology(瑞典皇家理工学院);Ericsson Research(爱立信研究院);Supelec(法国高等电力学院)
研究了多跳网络中的在线最短路径路由问题。链路成本或延迟是时变的,并且由独立同分布的随机过程建模,其参数最初是未知的。这些参数以及最优路径只能通过在网络中路由数据包并观察实现的延迟来估计。我们的目标是找到一个路由策略,最大限度地减少遗憾(预期延迟的累积差异)之间的路径选择的政策和未知的最优path.We制定的问题作为一个组合的强盗优化问题,并考虑几种情况下,不同的路由决策和决策时提供的信息。对于每一种情况下,我们得出一个严格的渐近下限的遗憾,必须满足任何在线路由策略。这些界限有助于我们理解当(i)在每一跳而不是仅在源处进行路由决策,以及(ii)观察每个链路的延迟而不是端到端的路径延迟时,我们可以预期的性能改进。特别是,我们表明,(i)是没有用的,而(ii)可以有一个壮观的影响。三个算法,与计算复杂性和性能之间的权衡,提出。这些算法的遗憾上界改善了现有的算法,他们显着优于国家的最先进的算法在数值实验中。
2017-01-18 cs.LG cs.NI math.OC
Generalized Shortest Path Kernel on Graphs
Tokyo Institute of Technology(东京工业大学);Chalmers University of Technology(查尔姆斯理工大学)
我们考虑使用图核的分类图的问题。我们定义了一个新的图核,称为广义最短路径核,基于节点之间的最短路径的数量和长度。对于我们的例子分类问题,我们考虑从两个著名的家庭分类随机图的任务,通过它们包含的集群的数量。我们验证经验,广义最短路径内核优于原始最短路径内核的一些数据集。对实验结果进行了理论分析。特别是,我们估计的最短路径内核和广义最短路径内核的预期特征向量的分布,我们展示了一些证据来解释为什么我们的图形内核优于我们的图形分类问题的最短路径内核。
2015-10-22 cs.DS cs.LG
Adaptive Shortest-Path Routing under Unknown and Stochastically Varying Link States
Univ. of California, Davis(加利福尼亚大学戴维斯分校)
本文研究了无线网络中链路状态未知且随机变化的自适应最短路径路由问题。在这个问题中,我们的目标是通过自适应路径选择来优化源和目的地之间的通信质量。由于网络动态中的随机性和不确定性,每个链路的质量根据具有未知分布的随机过程随时间变化。在选择了用于通信的路径之后,该路径上的所有链路的聚合质量(例如,总路径延迟)。每个单独链路的质量是不可观察的。我们把这个问题表述为一个多臂的强盗与依赖武器。我们发现,通过利用手臂的依赖性,可以实现一个遗憾多项式的网络规模,同时保持最佳的对数阶随时间的推移。这与忽略手臂依赖性的经典MAB策略的直接应用所提供的网络大小的指数后悔顺序形成鲜明对比。此外,我们的研究结果下得到的链路质量分布(包括重尾分布)的一般模型,并发现在认知无线电和ad hoc网络与未知的和动态的通信环境中的应用。
2012-01-24 cs.LG cs.NI
Multi-scale Wasserstein Shortest-path Graph Kernels for Graph Classification
College of Electronic and Information Engineering, Tongji University(同济大学电子与信息工程学院)
针对现有R-卷积图核无法兼顾多尺度比较与子结构分布考量的问题,提出融合多尺度截断BFS树与Wasserstein距离的MWSP图核,在多数基准数据集上达最优性能。
2024-05-13 cs.AI cs.LG
Shortest Paths in Graphs with Matrix-Valued Edges: Concepts, Algorithm and Application to 3D Multi-Shape Analysis
TU Munich(慕尼黑工业大学);University of Bonn(波恩大学)
在图中寻找最短路径与计算机视觉和图形学中的许多问题有关,包括图像分割、形状匹配或离散表面上的测地线距离的计算。传统上,最短路径的概念被认为是具有标量边权重的图,这使得通过将各个边权重相加来计算路径的长度成为可能。然而,具有标量边权重的图在其表达能力方面受到严重限制,因为边通常用于编码更复杂的相互关系。在这项工作中,我们弥补了这种建模的限制,并引入了新的图论概念的最短路径图与矩阵值的边缘。为此,我们定义了一个有意义的方法来量化矩阵值边的路径长度,我们提出了一个简单而有效的算法来计算各自的最短路径。虽然我们的形式主义是通用的,因此适用于各种设置在视觉,图形和超越,我们专注于展示其优点的上下文中的3D多形状分析。
2021-12-08 cs.CV cs.GR cs.LG