Generalized Inverse Optimization through Online Learning
University of Pittsburgh(匹兹堡大学);Duke University(杜克大学)
逆优化是一种强大的学习偏好和限制的范例,可以根据一组外部信号和相应的决策对来解释决策者的行为。然而,大多数逆优化算法是专门设计在批量设置,其中所有的数据是预先可用的。因此,很少在适合于实时应用的在线设置中使用这些方法。在本文中,我们提出了一个通用的框架,通过在线学习逆优化。具体来说,我们开发了一个在线学习算法,使用隐式更新规则,可以处理噪声数据。此外,在额外的规律性假设的数据和模型,我们证明了我们的算法收敛速度为$\mathcal{O}(1/\sqrt{T})$,是统计上一致的。在我们的实验中,我们表明,在线学习方法可以学习的参数具有很高的精度,是非常强大的噪声,并实现了显着提高计算效率的批处理学习方法。
2018-11-02 cs.LG math.OC stat.ML
Online semi-parametric learning for inverse dynamics modeling
University of Padova(帕多瓦大学);Istituto Italiano di Tecnologia(意大利技术研究院);Massachusetts Institute of Technology(麻省理工学院);Università degli Studi di Genova(热那亚大学)
提出了一种机器人逆动力学模型在线学习的半参数算法。它结合了参数化和非参数化建模的优势。前者利用刚体动力学方程,而后者利用一个合适的核函数。我们提供了一个广泛的比较与其他方法从文献中使用的真实数据从iCub人形机器人。在这样做时,我们还比较了两种不同的技术,即交叉验证和边际似然优化,估计超参数的核函数。
2016-10-09 cs.LG math.OC stat.ML
Diffusion-BBO: Diffusion-Based Inverse Modeling for Online Black-Box Optimization
University of California San Diego(加利福尼亚大学圣迭戈分校)
提出Diffusion-BBO框架,利用条件扩散模型作为逆向代理模型并结合不确定性感知探索获取函数进行在线黑盒优化,在6项科学发现任务中优于基线且理论上达到近最优解。
2025-02-02 cs.LG
On Correcting Inputs: Inverse Optimization for Online Structured Prediction
University of Maryland(马里兰大学)
算法设计者通常假设输入数据是正确的,然后使用该输入数据继续寻找“最优”或“次优”解决方案。然而,这种正确数据的假设在实践中并不总是成立,特别是在在线学习系统的背景下,其中目标是在给定一些训练样本的情况下学习适当的特征权重。这种情况下需要研究逆优化问题,其中一个给定的输入实例以及所需的输出,任务是调整输入数据,使给定的输出确实是最优的。受学习结构化预测模型的启发,在本文中,我们考虑了具有裕度的逆优化,即,我们要求给定的输出比所有其他可行的输出好一个期望的裕度。我们认为这样的逆优化问题的最大权拟阵的基础上,拟阵的交集,完美匹配,最小成本最大流,最短路径,并得出第一个已知的结果,这样的问题与非零利润。这些算法的有效性,结构化预测的在线学习的方法进行了讨论。
2015-10-12 cs.LG
Online Inverse Integer Linear Optimization via Small-Gradient Skipping: Constant Regret and Finite Mistakes
NEC Corporation(日本电气株式会社)
本文提出小梯度跳过机制,应用于在线逆整数线性优化,在均匀分离条件下跳过无错误轮次的更新,实现常数遗憾和有限错误,并去除 $\log T$ 因子。
2026-10-06 cs.DS cs.LG math.OC
Contextual Inverse Optimization: Offline and Online Learning
Columbia Business School(哥伦比亚大学商学院);NYU Stern School of Business(纽约大学斯特恩商学院)
研究带反馈的离线与在线上下文逆优化问题,通过几何刻画最优极小化极大策略并开发新算法,实现了首个对数级别的在线累积遗憾界且仿真表现更优。
2023-07-01 cs.LG math.OC stat.ML
Revisiting Online Learning Approach to Inverse Linear Optimization: A Fenchel$-$Young Loss Perspective and Gap-Dependent Regret Analysis
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目);Kyoto University(京都大学)
本文从Fenchel-Young损失视角重新理解逆线性优化的在线学习方法,并利用最优与次优目标值之间的间隔结构,获得了与时间范围无关的更快遗憾上界,突破了标准O(√T)界。
2025-02-07 cs.LG
Learning Inverse Statics Models Efficiently
Technische Universität Braunschweig(布伦瑞克工业大学)
在线目标Babbling和方向采样是最近提出的直接学习逆运动学映射从头开始,即使在高维感觉运动空间的“学习,而行为”的范式。为了从头开始学习逆静态映射-主要用于重力补偿-并且不使用任何闭环控制器,我们修改并增强了在线目标模糊和方向采样方案。此外,我们利用逆静态映射中的对称性来大幅减少学习逆静态模型所需的样本数量。一个2 R平面机器人,一个3R简化的人的手臂,和一个4 R人形机器人手臂的结果清楚地表明,他们的逆静态映射可以成功地学习我们修改后的在线目标Babbling计划。此外,我们表明,2 R和3R臂所需的样本数量可以减少至少8和16的一个因素。- 取决于发现的对称性的数量。
2017-10-17 cs.LG
Inverse Online Learning: Understanding Non-Stationary and Reactionary Policies
University of Cambridge(剑桥大学)
众所周知,人类决策是不完美的,在试图帮助或提高决策者执行任务的能力时,单独分析这些过程的能力至关重要,例如提醒他们注意潜在的偏见或疏忽。要做到这一点,有必要开发可解释的表示,说明代理如何做出决策,以及随着代理在线学习对累积经验的反应,这一过程如何随时间而变化。为了理解一组观察到的轨迹背后的决策过程,我们将策略推理问题转化为这个在线学习问题的逆问题。通过在潜在结果框架内解释行动,我们引入了一个有意义的映射,该映射基于代理选择他们认为具有最大治疗效果的行动。我们引入了一个实用的算法,回顾性地估计这种感知的影响,通过代理更新它们的过程中,使用一种新的架构,建立在深状态空间模型的表达家庭。通过应用于UNOS器官捐献接受决策的分析,我们证明了我们的方法可以为管理决策过程的因素以及它们如何随着时间的推移而变化带来有价值的见解。
2022-09-30 cs.LG
Decomposition and Adaptive Sampling for Data-Driven Inverse Linear Optimization
University of Minnesota(明尼苏达大学)
这项工作解决逆线性最优化的目标是推断未知的成本向量的线性规划。具体而言,我们考虑数据驱动的设置,其中可用的数据是对应于线性规划的不同实例的最优解的噪声观测。我们引入了一个新的配方的问题,相比其他现有的方法,允许恢复的限制性较小,一般更适当的容许集的成本估计。可以看出,这个逆最优化问题产生有限数量的解决方案,我们开发了一个精确的两阶段算法来确定所有这样的解决方案。此外,我们提出了一个有效的分解算法来解决大的问题。该算法自然地扩展到在线学习环境,在该环境中,随着时间的推移,新数据变得可用,它可以用于提供成本估计的快速更新。对于在线设置,我们进一步开发了一个有效的自适应采样策略,指导下一个样本的选择。所提出的方法的有效性证明在计算实验中涉及两个应用程序,客户偏好学习和生产计划的成本估计。结果表明,显着减少计算和采样的努力。
2021-12-06 cs.LG math.OC
Derivative-free online learning of inverse dynamics models
Mitsubishi Electric Research Labs (MERL)(三菱电机研究实验室(MERL));University of Padova(帕多瓦大学);Massachusetts Institute of Technology(麻省理工学院);Istituto Italiano di Tecnologia(意大利理工学院)
本文讨论了机器人逆动力学建模的在线算法。几个模型类,包括刚体动力学(RBD)模型,数据驱动模型和半参数模型(这是前两个类的组合)被放置在一个共同的框架。虽然在文献中使用的模型类通常利用联合速度和加速度,这需要近似诉诸数值微分方案,在本文中提出了一个新的“衍生自由”的框架,不需要这个预处理步骤。一个广泛的实验研究,从右臂的iCub机器人的真实数据,比较不同的模型类和估计程序,表明所提出的“衍生自由”的方法优于现有的方法。
2018-09-13 cs.LG stat.ML
An Online-Learning Approach to Inverse Optimization
Friedrich-Alexander-Universität Erlangen-Nürnberg(弗里德里希-亚历山大大学埃尔兰根-纽伦堡分校);Technische Universität Berlin(柏林工业大学);Zuse-Institut Berlin(柏林祖斯研究所);Fraunhofer Institut für Integrierte Schaltungen IIS(弗劳恩霍夫集成电路研究所IIS)
在本文中,我们演示了如何学习决策者的目标函数,同时只观察问题的输入数据和决策者的相应决策多轮。我们提出了精确的算法,这个在线版本的逆优化,收敛速度为$ \mathcal{O}(1/\sqrt{T}) $的观测数~ $T$,并比较其进一步的性能。特别是,它们都允许在相对较少的迭代之后做出基本上与观察到的决策者的决策一样好的决策,但是最适合于每个不同的设置。我们的方法是基于在线学习和工程的线性目标在任意可行的集合,我们有一个线性最优化预言。因此,它概括了以前的KKT系统分解和对偶的基础上的方法。我们还介绍了几个概括,如近似学习的非线性目标函数,动态变化以及参数化的目标和次优观察决策的情况下。当应用到随机离线的情况下,我们的算法能够保证学习目标的预期质量。最后,我们展示了我们的方法在指示性计算实验的有效性和可能的应用。
2020-03-29 cs.AI cs.LG math.OC
Projection-Free Online Convex Optimization via Efficient Newton Iterations
本文提出一种利用自和谐障碍函数和高效牛顿迭代的无投影在线凸优化算法,通过利用牛顿迭代稳定性减少矩阵求逆次数,实现最先进遗憾界。
2023-06-19 cs.LG math.OC
Online Observer-Based Inverse Reinforcement Learning
Oklahoma State University(俄克拉荷马州立大学)
该研究将线性系统的输出反馈逆强化学习问题转化为状态估计问题,提出两种基于观测器的IRL技术,含带历史栈的新型观测器,给出收敛与鲁棒性理论保证,并通过仿真验证其在不同测量条件下的性能。
2023-07-17 cs.LG cs.SY eess.SY
A Framework and Method for Online Inverse Reinforcement Learning
University of Georgia(佐治亚大学);University of Southern Mississippi(南密西西比大学)
逆强化学习(IRL)是从对Agent在任务上的行为的观察中学习其偏好的问题。虽然这个问题已经得到了很好的研究,相关的问题{ \em online} IRL-其中的意见是递增累积的,但应用程序的需求往往禁止一个完整的IRL方法-收到了相对较少的关注。我们介绍了第一个正式的框架在线IRL,称为增量IRL(I2 RL),和一种新的方法,先进的最大熵IRL与隐藏变量,到这个设置。我们的形式分析表明,新方法具有单调改善的性能与更多的示范数据,以及概率有界的误差,完全和部分的可观测性。在一个模拟机器人应用程序中的实验,穿透一个连续的巡逻下闭塞显示相对改善的性能和速度的新方法,并验证了在线IRL的效用。
2018-05-21 cs.AI cs.LG stat.ML
Optimal and Efficient Online Inverse Optimization
Google Research(谷歌研究院);New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出一种确定性多项式时间算法,在在线逆向线性优化中达到最优遗憾 $O(\sqrt d)$,通过变度量更新撤销机制解决了Sakaue提出的开放问题。
2026-10-07 cs.DS cs.LG
Quasi-Newton Steps for Efficient Online Exp-Concave Optimization
Massachusetts Institute of Technology(麻省理工学院)
本文的目的是设计计算效率和最优算法的在线和随机指数凹优化设置。用于这些设置的典型算法,例如在线牛顿步长(ONS),可以保证在$T$轮之后其遗憾上的$O(d\ln T)$界限,其中$d$是可行集的维度。然而,这样的算法执行所谓的广义投影时,他们的迭代步骤可行集之外。这种广义投影需要$Ω(d^3)$算术运算,即使对于诸如欧几里得球的简单集合也是如此,从而在最坏的情况下使得$T$轮之后的$d^3 T$阶ONS的总运行时间。在本文中,我们侧步广义投影使用自协调障碍作为正则化计算牛顿步骤。这确保了迭代总是在可行集内,而不需要投影。这种方法仍然需要在每一步计算障碍的Hessian的逆。然而,使用的牛顿步骤的稳定性,我们表明,逆的海森可以有效地近似通过泰勒展开的大多数回合,导致在一个$O(d^2 T +d^ω\sqrt{T})$总的计算复杂性,其中$ω$是矩阵乘法的指数。在随机设置中,我们表明,这转化为一个$O(d^3/ε)$计算复杂性找到一个$ε$ -次优点,回答一个开放的问题Koren 2013。我们首先显示这些新的结果的简单情况下,可行集是一个欧几里得球。然后,移动到一般的凸集,我们使用一个减少到在线凸优化欧几里德球。我们的最终算法可以被看作是一个更有效的版本的ONS。
2023-02-14 cs.LG math.OC
Online Convex Optimization Perspective for Learning from Dynamically Revealed Preferences
Carnegie Mellon University(卡内基梅隆大学)
我们研究的问题,在线学习(OL)从显示的偏好:学习者希望学习一个非战略代理的私人效用函数,通过观察代理的效用最大化的行动,在不断变化的环境。我们采用了在线逆优化设置,学习者观察代理的行动流在网上的时尚和学习性能的衡量与损失函数的遗憾。我们首先刻画了一类特殊但广泛的智能体效用函数,然后利用这种结构设计了一个新的凸损失函数。我们建立了关于我们的新损失函数的后悔也限制了关于文献中所有其他常见的损失函数的后悔。这使我们能够设计一个灵活的OL框架,使一个统一的处理损失函数,并支持各种在线凸优化算法。我们证明与理论和实证证据表明,我们的框架的基础上新的损失函数(特别是在线镜像下降)的遗憾性能和解决方案的时间比其他OL算法从文献和绕过以前的技术假设,以及显着的优势。
2021-06-04 cs.LG math.OC
Online Pricing with Offline Data: Phase Transition and Inverse Square Law
The Hong Kong Polytechnic University(香港理工大学);Massachusetts Institute of Technology(麻省理工学院)
本文研究了在动态定价的背景下,预先存在的离线数据对在线学习的影响。研究了销售期为$T$的单产品动态定价问题。每个时期的需求量由产品的价格决定,根据一个参数未知的线性需求模型。我们假设在销售期开始之前,卖家已经有了一些预先存在的离线数据。离线数据集包含$n$样本,每个样本都是由历史价格和相关联的需求观测组成的输入-输出对。卖方希望利用预先存在的离线数据和连续的在线数据来最小化在线学习过程的遗憾。我们的特点的联合效应的大小,位置和分散的离线数据上的最佳遗憾的在线学习过程。具体地,离线数据的大小、位置和离散度分别通过历史样本的数量$n$、平均历史价格和最优价格之间的距离$δ$以及历史价格的标准偏差$σ$来测量。我们证明了最优遗憾是$\widetilde Θ\left(\sqrt{T}\wedge \frac{T}{(n\wedge T)δ^2+nσ^2}\right)$,并设计了一个基于“乐观面对不确定性”原则的学习算法,其遗憾是最优的对数因子。我们的研究结果揭示了令人惊讶的转型的最佳后悔率相对于离线数据的大小,我们称之为相变。此外,我们的研究结果表明,离线数据的位置和分散性也对最佳后悔有内在的影响,我们通过平方反比定律量化这种影响。
2021-11-17 cs.LG stat.ML
Efficient Online Inverse Optimization with $O(d)$ Regret
Google Research(谷歌研究院);Yale University(耶鲁大学);New York University(纽约大学);Google DeepMind(谷歌DeepMind)
提出首个高效且适当的在线逆线性优化算法,实现 $O(d)$ 遗憾界和每轮 $O(d^2)$ 时间,通过自归一化更新与迹幂势函数改进,并具鲁棒性。
2026-09-15 cs.DS cs.LG
IP-Basis PINNs: Efficient Multi-Query Inverse Parameter Estimation
Department of Applied Mathematics University of Waterloo(应用数学系 温哥华大学)
提出IP-Basis PINNs元学习框架,通过离线训练基函数和在线轻量线性层,实现多查询逆问题的高效参数估计,显著加速并稳健处理稀疏噪声数据。
2025-09-08 cs.LG
Decentralized Online Learning for Random Inverse Problems Over Graphs
No.2 High School of East China Normal University(华东师范大学第二附属中学);School of Mathematical Sciences, East China Normal University(华东师范大学数学科学学院);Key Laboratory of Management, Decision and Information Systems, Institute of Systems Science, Academy of Mathematics and Systems Science, Chinese Academy of Sciences(中国科学院数学与系统科学研究院系统科学研究所管理、决策与信息系统重点实验室);School of Mathematical Sciences, University of Chinese Academy of Sciences(中国科学院大学数学科学学院)
本文提出了一种去中心化在线学习算法,用于网络图上的分布式随机逆问题,统一了Hilbert空间中的分布式参数估计与RKHS中的最小均方问题,并证明了算法在满足持久激励条件下的渐近稳定性。
2026-04-07 cs.DC cs.LG cs.SY
Learning Rate Should Scale Inversely with High-Order Data Moments in High-Dimensional Online Independent Component Analysis
MLIP Research Group, KUIS AI Center \& Department of EEE, Koç University İstanbul, Turkey
本文基于高维极限下的ODE分析,研究高阶矩对在线ICA学习动态的影响,发现高阶矩增大会导致收敛变慢,并需要更低学习率和更大初始对齐,从而为矩感知初始化和自适应学习率策略提供理论依据。
2025-09-18 cs.LG stat.ML
Oracle-Based Robust Optimization via Online Learning
Technion(以色列理工学院)
鲁棒优化是不确定性优化中的一种常用框架,它是指当问题参数未知时,但已知参数属于某个给定的不确定性集合。在鲁棒优化框架中,所解决的问题是一个最小-最大问题,其中根据参数的最差可能实现的性能来判断解决方案。在许多情况下,某种类型的鲁棒最优化问题的直接解决方案需要解决更复杂类型的最优化问题,并且在某些情况下甚至是NP难的。例如,解决一个强大的圆锥二次规划,如在强大的SVM,椭球不确定性一般导致一个半定的计划。在本文中,我们开发了一种方法,近似解决一个强大的最优化问题使用工具,从在线凸优化,在每一个阶段的标准(非鲁棒)优化程序解决。我们的算法找到一个近似的强大的解决方案,使用一些调用的预言,解决了原来的(非鲁棒性)的问题,是成反比的目标精度的平方。
2014-02-25 cs.LG math.OC
IBCB: Efficient Inverse Batched Contextual Bandit for Behavioral Evolution History
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
针对在线决策者行为演化历史带来的模仿学习挑战,提出逆批量上下文老虎机(IBCB)框架,将其转化为二次规划问题以高效估计奖励参数和策略,在合成与真实数据上优于现有算法且运行更快。
2025-04-03 cs.LG
Tight Regret Bound for Online Inverse Linear Optimization via Multiscale Matrix Weights
CyberAgent(赛博艾坚特);National Institute of Informatics(国立信息学研究所);RIKEN(理化学研究所)
针对固定未知线性效用的在线逆线性优化问题,提出基于多尺度矩阵权重的随机算法,实现期望遗憾 $O(\sqrt d)$,在常数因子内最优,且无需预知时间范围。
2026-09-24 cs.DS cs.LG stat.ML
Learning State-Dependent Losses for Inverse Dynamics Learning
Facebook AI Research(脸书人工智能研究院)
能够快速适应动态变化是基于模型的控制对象操作任务的最重要的。为了影响逆动力学模型参数的快速自适应,数据效率是至关重要的。给定观察到的数据,优化器如何更新模型参数的一个关键元素是损失函数。在这项工作中,我们建议应用元学习学习结构化的,状态依赖的损失函数在元训练阶段。然后,我们在在线适应任务中用学习到的损失替换标准损失。我们评估我们提出的方法在逆动力学学习任务,无论是在模拟和真实的硬件数据。在这两种设置中,与标准的状态无关的损失函数相比,结构化和状态相关的学习损失提高了在线自适应速度。
2020-08-14 cs.LG cs.RO
Statistical Inference for Online Decision-Making: In a Contextual Bandit Setting
North Carolina State University(北卡罗来纳州立大学)
在线决策问题要求我们根据增量信息做出一系列决策。常见的解决方案通常需要学习给定上下文信息的不同行为的奖励模型,然后最大化长期奖励。了解所提出的模型是否合理,以及模型在渐近意义下的表现如何,是很有意义的。我们在线性报酬模型的情境强盗框架下研究了这个问题。采用$\varepsilon$ -贪婪策略来解决经典的探索和利用困境。利用鞅中心极限定理,证明了模型参数的在线普通最小二乘估计是渐近正态的。当线性模型被误定时,我们提出了利用逆倾向得分加权的在线加权最小二乘估计,并建立了其渐近正态性。基于参数估计的性质,我们进一步证明了样本内逆倾向加权值估计是渐近正态的。我们说明我们的结果使用模拟和应用程序的新闻文章推荐数据集从雅虎!
2020-10-14 cs.LG stat.ML
Online Inverse Linear Optimization: Efficient Logarithmic-Regret Algorithm, Robustness to Suboptimality, and Lower Bound
University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);Kyoto University(京都大学);Institute of Statistical Mathematics(统计数学研究所);Hokkaido University(北海道大学)
本文提出首个每轮复杂度与时间范围无关的在线逆线性优化对数遗憾算法,达到最优界$O(n\ln T)$,并处理次优动作情形,给出下界$Ω(n)$。
2025-05-22 cs.LG
How does Inverse RL Scale to Large State Spaces? A Provably Efficient Approach
Politecnico di Milano(米兰理工大学);Technion(以色列理工学院)
针对大状态空间下在线逆强化学习可行集估计难的问题,提出奖励兼容性框架与样本高效算法CATY-IRL,其复杂度与状态空间基数无关,表格设置下达极小极大最优,还改进了无奖励探索的下界并提出统一框架。
2024-10-08 cs.LG
Online Intention Prediction via Control-Informed Learning
School of Aeronautics and Astronautics, Purdue University(普渡大学航空航天学院)
本文提出基于控制信息的学习框架,用于实时预测自主系统意图,通过逆最优控制建模,结合动态调整策略实现高效参数更新,验证了在复杂环境中的预测准确性。
2026-04-10 cs.LG cs.RO cs.SY
Nonuniqueness and Convergence to Equivalent Solutions in Observer-based Inverse Reinforcement Learning
Oklahoma State University(俄克拉荷马州立大学)
本文针对在线实时确定性逆强化学习中的多解非唯一性问题,提出了一种正则化历史栈观测器,能够收敛到具有不同代价泛函但相同反馈矩阵的近似等价解,并开发了新的数据丰富性条件,通过仿真验证了其有效性。
2024-05-30 cs.LG cs.SY eess.SY
Brand New K-FACs: Speeding up K-FAC with Online Decomposition Updates
University of Oxford(牛津大学)
本文利用在线数值线性代数技术提出一种在层大小上呈线性扩展的K-factor逆更新方法,显著降低了K-FAC的计算成本,并在CIFAR10分类任务中比RS-KFAC更快达到目标准确率。
2023-09-12 cs.LG cs.NA math.NA
Using BART to Perform Pareto Optimization and Quantify its Uncertainties
The Ohio State University(俄亥俄州立大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
减少工业生态系统能源负担的技术通常需要解决多目标优化问题。然而,收集实验数据通常是昂贵或耗时的。在这种情况下,统计方法可能会有所帮助。本文提出了使用贝叶斯加性回归树(BART)的Pareto Front(PF)和Pareto Set(PS)估计方法,BART是一种非参数模型,其假设通常比流行的替代方案(如高斯过程(GP))限制较少。这些限制较少的假设允许BART处理GP难以处理的场景(例如,高维输入空间,非平滑响应,大型数据集)。我们的BART为基础的方法的性能进行比较,GP为基础的方法,使用分析测试功能,表现出令人信服的优势。最后,我们的基于BART的方法被应用到一个激励工程问题。本文的补充材料,包括定理证明、算法和R代码,都可以在网上找到。
2021-09-03 cs.LG stat.ME
Optimal Hidden-Target Learning for Online Inventory Optimization on General Convex Sets
UIUC(伊利诺伊大学厄巴纳-香槟分校)
针对一般凸容量集上的在线库存优化问题,提出隐藏目标投影方法,将遗憾从逆概率依赖改进为平方根逆概率依赖,并证明匹配下界,同时首次给出强凸损失的 polylog 遗憾和动态遗憾保证。
2026-06-15 cs.LG cs.SY eess.SY
Finite and Corruption-Robust Regret Bounds in Online Inverse Linear Optimization under M-Convex Action Sets
Institute for Chemical Reaction Design and Discovery (ICReDD), Hokkaido University(化学反应设计与发现研究所(ICReDD),北海道大学);D3 Center, The University of Osaka(大阪大学D3中心);Center for Advanced Intelligence Project, RIKEN(先进智能项目中心,RIKEN);CyberAgent, Tokyo, Japan(CyberAgent,日本东京);National Institute of Informatics, Tokyo, Japan(信息技术国家研究所,日本东京)
研究在线逆线性优化问题,提出在M-凸可行集下可实现O(d log d)的有限后悔界,并扩展到对抗性腐败反馈场景。
2026-05-11 cs.DS cs.LG stat.ML
Online-BLS: An Accurate and Efficient Online Broad Learning System for Data Stream Classification
South China University of Technology(华南理工大学);University of Macau(澳门大学)
本文提出了一种准确且高效的在线广度学习系统,通过改进权重估计和在线更新策略,提升数据流分类任务的性能。
2025-12-07 cs.LG
Online Policy Learning and Inference by Matrix Completion
Hong Kong University of Science and Technology(香港科技大学);University of Michigan(密歇根大学)
针对缺乏个性化协变量的在线决策问题,提出矩阵补全bandit框架,结合$\varepsilon$-greedy策略与在线梯度下降进行两阶段策略学习,并开发基于逆倾向加权的在线去偏推断方法,在旧金山停车定价项目中表现优于基准策略。
2024-12-19 cs.LG stat.ML
Best-of-All-Worlds Bounds for Online Learning with Feedback Graphs
Tel Aviv University(特拉维夫大学);Google Research(谷歌研究院)
我们研究了由Mannor和Shamir(2011)引入的反馈图框架的在线学习,其中在线学习者收到的反馈由可用动作的图$G$指定。我们开发了一种算法,同时实现遗憾的形式界限:$\smash{\mathcal{O}(\sqrt{θ(G) T})}$与对抗性损失; $\mathcal{O}(θ(G)\operatorname{polylog}{T})$与随机损失;和$\mathcal{O}(θ(G)\operatorname{polylog}{T} + \smash{\sqrt{θ(G) C})}$与随机损失受到$C$对抗性腐败。这里,$θ(G)$是图$G$的团覆盖数。我们的算法是Follow-the-Regularized-Leader的一个实例,它具有一种新的正则化,可以看作是Tsallis熵分量(受Zimmert和Seldin(2019)的启发)和Shannon熵分量(Amir等人在损坏的随机情况下进行分析)的产物。我们的关键技术贡献之一是建立这个正则化的凸性和控制其逆Hessian,尽管其复杂的产品结构。
2021-07-20 cs.LG
Bandit and Delayed Feedback in Online Structured Prediction
The University of Tokyo(东京大学);RIKEN AIP(理化学研究所AIP);CyberAgent
本文提出带宽和延迟反馈算法,解决了在线结构预测中反馈信息有限的问题,通过改进的估计方法实现更优的遗憾界限。
2026-01-04 cs.LG stat.ML
Efficient Online Portfolio with Logarithmic Regret
University of Southern California(南加州大学);Peking University(北京大学);Beijing Institute of Big Data Research(北京大数据研究院)
我们研究了几十年来的在线投资组合管理的问题,并提出了第一个算法与对数遗憾,不是基于封面的通用投资组合算法,并承认更快的实现。具体地说,通用投资组合在$T$轮上对$N$金融工具享有最优后悔$\mathcal{O}(N\ln T)$,但需要对数凹采样并且具有大的多项式运行时间。我们的算法,另一方面,确保一个稍大,但仍然对数遗憾的$\mathcal{O}(N^2(\ln T)^4)$,是基于研究的在线镜像下降框架与一个新的正则化,可以通过标准的优化方法,在每轮时间$\mathcal{O}(TN^{2.5})$。遗憾的所有其他现有的作品要么是多项式在$T$或有一个潜在的无界因素,如逆的最小价格相对。
2018-11-16 cs.LG stat.ML
Combining Online Learning and Offline Learning for Contextual Bandits with Deficient Support
Applied Artificial Intelligence Institute(应用人工智能研究院);Deakin University(迪肯大学)
我们在上下文强盗中使用记录的数据来解决策略学习。当前离线策略学习算法大多基于逆倾向得分(IPS)加权,其要求日志记录策略具有\emph{full support},即对于评估策略的任何上下文/动作的非零概率。然而,许多现实世界的系统并不保证这样的日志记录策略,特别是当动作空间很大并且许多动作的回报很差或缺失时。利用这种\emph{support deficiency},离线学习无法找到最优策略。我们提出了一种新的方法,使用离线学习与在线探索的混合。在线探索用于探索记录数据中不支持的动作,而离线学习用于从记录数据中利用支持的动作,避免不必要的探索。我们的方法确定了一个最优的政策,理论保证使用最少数量的在线探索。我们证明了我们的算法的有效性经验上的不同的数据集。
2021-07-24 cs.LG stat.ML
Statistical Inference for Online Decision Making via Stochastic Gradient Descent
Department of Statistics, North Carolina State University(北卡罗来纳州立大学统计系)
在线决策旨在通过个性化决策和递归更新决策规则来学习最优决策规则。在大数据的帮助下,这变得比以前更容易,但新的挑战也随之而来。由于决策规则应该每步更新一次,因此使用所有历史数据的离线更新在计算和存储方面是低效的。为此,我们提出了一个完全在线的算法,可以通过随机梯度下降在线决策和更新决策规则。它不仅是有效的,而且支持各种参数奖励模型。针对在线决策的统计推断问题,建立了算法产生的参数估计量和用于估计最优值的在线逆概率加权值估计量的渐近正态性。在线插件估计的参数和值估计的方差也被提供,并显示是一致的,使区间估计和假设检验是可能的,使用我们的方法。通过仿真和新闻文章推荐的实际数据应用,对所提出的算法和理论结果进行了测试。
2020-10-14 cs.LG stat.ML
Online Statistical Inference for Contextual Bandits via Stochastic Gradient Descent
New York University(纽约大学);University of Texas at Austin(得克萨斯大学奥斯汀分校);Purdue University(普渡大学)
本文提出了一种基于随机梯度下降的在线统计推断框架,通过逆概率权重提高估计效率,并分析了自适应数据收集对收敛速度的影响。
2026-01-21 cs.LG stat.ML
MORAD: Reinforcement Learning with Multi-Objective Rewards for RNA Inverse Design
Fudan University(复旦大学)
本研究提出MORAD框架,通过多目标奖励强化学习优化RNA逆设计,在多项关键指标上优于现有方法,达成该领域新的最优性能。
2026-10-12 cs.LG q-bio.BM
Robust Online Covariance and Sparse Precision Estimation Under Arbitrary Data Corruption
Purdue University(普渡大学)
针对任意对抗性数据破坏下的在线协方差与稀疏精度估计问题,提出改进的截断内积在线算法,并给出误差界与收敛性保证。
2023-09-16 cs.CR cs.LG cs.SY
Deep Adaptive Multi-Intention Inverse Reinforcement Learning
Eindhoven University of Technology(埃因霍温理工大学)
提出了一种深度逆强化学习(IRL)框架,该框架可以从未标记专家的演示中学习先验未知数量的非线性奖励函数。为此,我们使用狄利克雷过程的工具,并提出一种自适应方法来同时考虑复杂且未知数量的奖励函数。使用条件最大熵原理,我们将专家的多意图行为建模为潜在意图分布的混合,并推导出两种算法来估计深度奖励网络的参数以及来自未标记演示的专家意图的数量。所提出的算法进行评估的三个基准,其中两个已专门扩展在本研究中的多意图IRL,并与众所周知的基线。我们通过几个实验证明了我们的算法的优势,现有的方法和在线推断的好处,而不是事先固定,专家的意图的数量。
2021-07-14 cs.AI cs.LG
GRACE: A Language Model Framework for Explainable Inverse Reinforcement Learning
Apple(苹果公司)
GRACE通过大型语言模型和进化搜索,从专家轨迹中逆向工程可解释的代码奖励函数,实现高效准确的奖励学习并生成强大策略。
2026-01-28 cs.AI cs.LG
Inverse Reinforcement Learning by Estimating Expertise of Demonstrators
University of California, Santa Barbara(加州大学圣巴巴拉分校)
针对模仿学习中次优异构演示数据利用难的问题,提出无需演示者专业度先验的IRLEED框架,结合次优性模型与最大熵IRL改进算法,经多场景实验验证其适应性与有效性。
2024-12-13 cs.AI cs.LG
Robo-Advising: Enhancing Investment with Inverse Optimization and Deep Reinforcement Learning
The Vanguard Group, Inc.(先锋集团)
机器学习(ML)已被金融行业视为一种强大的工具,在包括投资管理在内的各个领域都有显着的应用。在这项工作中,我们提出了一个全周期数据驱动的投资机器人建议框架,由两个ML代理组成。第一代理,逆投资组合优化代理,使用在线逆优化直接从历史分配数据推断投资者的风险偏好和预期收益率。第二个代理,深度强化学习(RL)代理,聚合预期收益率的推断序列,以制定一个新的多期均值-方差投资组合优化问题,可以使用深度强化学习方法来解决。拟议的投资管道应用于2016年4月1日至2021年2月1日的实际市场数据,并显示其表现始终优于代表总体市场最佳配置的标准普尔500指数基准投资组合。这可能归因于多周期规划(与单周期规划相比)和数据驱动的RL方法(与经典估计方法相比)。
2021-05-19 cs.LG q-fin.CP q-fin.PM
Distributed Estimation of Sparse Inverse Covariances
Purdue University(普渡大学)
从时间序列数据中学习各种实体之间的关系在许多应用中是必不可少的。已经研究了高斯图形模型来推断这些关系。然而,现有的算法在一个中心位置批量处理数据,限制了它们在不同代理收集数据的场景中的应用。在本文中,我们提出了一种分布式稀疏逆协方差算法来学习网络结构(即,观察到的实体之间的依赖性)。我们的方法是建立在一个在线的图形交替最小化算法,增加了一个共识项,允许代理合作学习所需的结构。我们允许系统设计人员选择每个数据点的通信轮数和优化步骤。我们描述了我们的算法的收敛速度,并提供模拟合成数据集。
2021-09-30 cs.LG cs.MA cs.SY
Privately Learning Decision Lists and a Differentially Private Winnow
Boston University(波士顿大学)
本文提出差分隐私算法,用于在PAC和在线模型中高效学习决策列表和半空间,实现隐私保护下的高质量学习保证。
2026-02-07 cs.CR cs.LG stat.ML
Online Proximal ADMM for Graph Learning from Streaming Smooth Signals
Pontificia Universidad Católica del Perú(秘鲁天主教大学);University of Rochester(罗切斯特大学)
本文提出一种基于近端ADMM的在线图学习算法,用于从流式平滑信号中高效学习动态图结构,具有低内存消耗和次线性遗憾,并在实验中优于现有基线。
2024-09-19 cs.LG eess.SP
Necessary and Sufficient Conditions for Inverse Reinforcement Learning of Bayesian Stopping Time Problems
Cornell University(康奈尔大学)
本文提出了一种求解贝叶斯停时问题的逆强化学习~(IRL)框架。通过观察贝叶斯决策者的行为,我们提供了一个充分必要条件,以确定这些行动是否与优化成本函数一致。在贝叶斯(部分观察)设置中,逆学习器最多可以识别观察到的策略的最优性。我们的IRL算法识别最优性,然后构造成本函数的集值估计。为了实现这个IRL目标,我们使用了贝叶斯揭示的微观经济学偏好的新思想。我们说明了建议的IRL计划使用两个重要的例子停止时间问题,即顺序假设检验和贝叶斯搜索。作为一个现实世界的例子,我们说明了使用YouTube数据集,包括元数据从190000个视频如何建议IRL方法预测用户参与在线多媒体平台的高精度。最后,对于有限数据集,我们提出了一个IRL检测算法,并给出了其错误概率的有限样本界。
2023-03-15 cs.LG cs.SY econ.TH