Doubly-Bounded Queue for Constrained Online Learning: Keeping Pace with Dynamics of Both Loss and Constraint
Hong Kong Baptist University(香港浸会大学)
该研究针对带时变约束的在线凸优化问题,提出带双界虚拟队列的COLDQ算法,无需Slater条件即可严格控制约束违反,实现了随动态性减弱趋近最优的动态遗憾与硬约束违反界,性能优于现有方法。
2025-01-14 cs.LG
Constrained Bayesian Experimental Design via Online Planning
ELLIS Institute Finland(芬兰ELLIS研究所);Department of Computer Science, Aalto University, Finland(芬兰阿尔托大学计算机科学系);Department of Computer Science, University of Manchester, UK(英国曼彻斯特大学计算机科学系)
提出一种结合离线预训练摊销策略和后验网络与在线多步前瞻规划(场景树)的方法,以在动态约束下优化贝叶斯实验设计,相比现有方法获得更优信息序列且计算开销适中。
2026-05-26 cs.LG stat.ML
Regret Analysis of Policy Optimization over Submanifolds for Linearly Constrained Online LQG
Department of Mechanical and Industrial Engineering, Northeastern University, Boston, USA(机械与工业工程系,东北大学,波士顿,美国)
本文研究线性约束下在线 LQG 控制问题,提出基于黎曼流形的在线牛顿法(ONM)算法,利用代价函数二阶信息即时生成控制器,并证明了基于路径长度的遗憾界限。
2025-07-13 cs.LG cs.SY eess.SY
Online Nonstochastic Control with Adversarial and Static Constraints
ShanghaiTech University(上海科技大学);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
本文研究了具有对抗约束和静态约束的在线非随机控制问题。我们提出了在线非随机控制算法,实现了次线性遗憾和次线性对抗性约束违反,同时保持静态约束违反最小的最优约束线性控制策略在事后。为了建立结果,我们引入了一个在线凸优化与记忆框架下的对抗性和静态约束,作为一个子程序的约束在线非随机控制算法。该子程序还实现了约束在线凸优化问题的最新遗憾和约束违反界,这是独立的利益。我们的实验表明,所提出的控制算法是自适应的对抗性约束,并实现较小的累积成本和违规。此外,我们的算法是不太保守,实现显着较小的累积成本比国家的最先进的算法。
2023-02-05 cs.LG cs.SY eess.SY
Stochastic Averaging for Constrained Optimization with Application to Online Resource Allocation
University of Minnesota(明尼苏达大学);University of Pennsylvania(宾夕法尼亚大学);Fudan University(复旦大学);Florida Atlantic University(佛罗里达大西洋大学)
现有的随机网络资源分配方法面临着快速收敛和可容忍延迟的挑战。本文利用在线学习的进步,以促进随机资源分配任务。通过认识到拉格朗日乘数的核心作用,基本的约束最优化问题被制定为一个机器学习任务,涉及训练和操作模式,以学习所寻求的乘数在一个快速和有效的方式的目标。为此,一个订单最优的离线学习方法首先开发的批量训练,然后将其推广到在线设置称为学习和适应的过程。新的资源分配协议渗透随机逼近和统计学习的好处,以获得低复杂度的在线更新与学习误差接近统计精度限制,同时仍然保持适应性能,这在随机网络优化的上下文中保证队列稳定性。理论分析和仿真实验表明,该方法在延迟和收敛性能上都有明显的改善。
2017-02-26 cs.DC cs.LG math.OC
Optimal Bounds for Adversarial Constrained Online Convex Optimization
本文研究约束在线凸优化(COCO)问题,首次基于新的代理损失函数,证明Follow-the-Regularized-Leader和Online Gradient Descent能在遗憾和累积约束违反上同时获得最优的$O(\sqrt{T})$界。
2025-05-29 cs.DS cs.LG math.OC
Minimax Regret of Switching-Constrained Online Convex Optimization: No Phase Transition
Yale University(耶鲁大学);Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);Massachusetts Institute of Technology(麻省理工学院);University of Southern California(南加利福尼亚大学)
我们研究的问题切换约束在线凸优化(OCO),玩家有有限的机会改变她的行动。虽然这个在线学习任务的离散模拟已被广泛研究,以前的工作在连续设置既没有建立极大极小率,也没有算法实现it.In本文中,我们表明,$ T $轮开关约束OCO少于$ K $开关有极大极小遗憾$ Θ(\frac{T}{\sqrt{K}}) $。特别地,对于一维,其至少为$ \frac{T}{\sqrt{2K}} $,对于更高维度,其至少为$ \frac{T}{\sqrt{K}} $。在高维的下界是通过一个正交子空间的论点。在一维中,一种新的对抗策略产生了$O(\frac{T}{\sqrt{K}})$的下界,但更涉及到包含常数的精确极大极小分析。为了建立更严格的一维结果,我们引入了\emph{fugal game}松弛,其极小极大遗憾的下限开关约束OCO。我们证明了逃逸对策的最小最大遗憾至少是$ \frac{T}{\sqrt{2K}} $,从而建立了一维最优最小最大遗憾下界。为了建立与维数无关的上界,我们接下来证明了一个minimax算法提供了一个$ O(\frac{T}{\sqrt{K}}) $上界,因此得出结论,对于任何$K$,切换约束OCO的极小极大遗憾是$ Θ(\frac{T}{\sqrt{K}}) $。这是在鲜明的对比,它的离散对应,开关约束预测专家的问题,表现出一个相变之间的低开关和高开关制度的最小最大遗…
2020-10-22 cs.LG math.OC stat.ML
Constrained Online Convex Optimization without Slater's Condition
KAIST(韩国科学技术院);Seoul National University(首尔国立大学)
提出一种自适应正则化的原始-对偶框架,无需Slater条件即可实现随机约束下$O(\sqrt{T})$遗憾和$O(\sqrt{T}\log T)$约束违反,并扩展到对抗约束。
2026-07-01 cs.LG math.OC
Near-Optimal Sample Complexity for Online Constrained MDPs
University of California, Los Angeles(加州大学洛杉矶分校)
本文提出了一种基于模型的对偶算法,解决了在线约束马尔可夫决策过程的安全性问题,证明了在允许小规模违规的情况下,算法能以近最优样本复杂度生成安全策略。
2026-02-16 cs.LG stat.ML
Constrained Online Convex Optimization with Polyak Feasibility Steps
University of California-Santa Barbara(加州大学圣芭芭拉分校)
研究带固定约束的在线凸优化,提出基于Polyak步长的可行性步方法,在仅访问约束值和次梯度下实现任意时刻约束满足且保持 $O(\sqrt{T})$ 遗憾界。
2025-07-15 cs.LG math.OC
Communication-Constrained Private Decentralized Online Personalized Mean Estimation
New Jersey Institute of Technology(新泽西理工学院);Newark, New Jersey 07102, USA(新泽西州纽克塞尔07102, 美国)
本文研究通信受限下多智能体协作个性化均值估计的隐私保护问题,提出基于共识的差分隐私算法,并从理论和数值上证明私有协作可快于完全本地方法收敛。
2025-11-02 cs.IT cs.LG cs.SI
Online Inference of Constrained Optimization: Primal-Dual Optimality and Sequential Quadratic Programming
本文提出了一种全新的在线序列二次规划方法,用于解决具有等式和不等式约束的随机优化问题,实现了对偶渐近最小最大最优性,无需投影运算。
2025-11-27 cs.LG math.OC math.ST
A Two-Stage Training Method for Modeling Constrained Systems With Neural Networks
University of Minho(米尼奥大学);University of Porto(波尔图大学)
针对现有带约束神经网络训练需手动调超参、约束融入效果存疑的问题,提出一种适用于任意NN架构的Neural ODE两阶段训练法,分阶段找可行参数与最优解,实验证明其能满足约束、提升预测性能与收敛性、增强可解释性并降低数据需求。
2024-03-05 cs.CE cs.LG math.OC
On Dynamic Regret and Constraint Violations in Constrained Online Convex Optimization
Tata Institute of Fundamental Research(塔塔基础研究所)
一个约束版本的在线凸优化(OCO)问题被认为是。对于时隙时间,对于每个时隙,首先选择一个动作。随后的损失函数和约束违反罚款评估在选定的行动点。对于每个槽,假设损失函数以及定义约束集的函数都是光滑且强凸的。此外,一旦一个动作被选择,一个可行的集在一个小的邻域内的当前动作的本地信息也被揭示。算法被允许在给定所描述的反馈以选择下一动作的情况下在其选择点处计算至多一个梯度。算法的目标是同时最小化动态遗憾(与预言机的损失相比所产生的损失)和约束违反惩罚(与预言机的惩罚相比所产生的惩罚)。我们提出了一个算法,按照投影梯度下降在一个适当的选择集周围的当前动作。我们表明,动态遗憾和约束违反顺序有界的{ \it路径长度},连续的最佳行动之间的距离之和。此外,我们证明了导出的界限是最好的可能。
2023-01-24 cs.LG math.OC stat.ML
$O(\sqrt{T})$ Static Regret and Instance Dependent Constraint Violation for Constrained Online Convex Optimization
School of Technology and Computer Science(技术与计算机科学学院);Tata Institute of Fundamental Research(塔塔基础研究所)
针对约束在线凸优化(COCO)问题,提出一种算法,实现$O(\root\boldsymbol{T})$静态遗憾与实例依赖的累积约束违反(CCV),通过利用约束集几何性质改进了现有通用CCV结果。
2025-02-07 cs.DS cs.LG
Online Statistical Inference for Parameters Estimation with Linear-Equality Constraints
Texas Tech University(德州理工大学);North Dakota State University(北达科他州立大学);New Jersey Institute of Technology(新泽西理工学院)
随机梯度下降(SGD)和投影随机梯度下降(PSGD)是计算无约束和约束优化问题中模型参数的可扩展算法。与SGD相比,PSGD通过投影将其迭代值强制到约束参数空间中。本文从统计的角度研究了当真参数满足线性等式约束时,基于PSGD的估计的极限分布。我们的理论研究结果揭示了投影的PSGD为基础的估计的不确定性中发挥的作用。作为一个副产品,我们提出了一个在线的假设检验过程来测试线性等式约束。对合成数据的模拟研究和对真实世界数据集的应用证实了我们的理论。
2022-03-22 cs.LG stat.ML
Regret and Cumulative Constraint Violation Analysis for Distributed Online Constrained Convex Optimization
KTH Royal Institute of Technology(瑞典皇家理工学院);Digital Futures(数字未来);Tongji University(同济大学);Shanghai Research Institute for Intelligent Autonomous Systems(上海自主智能无人系统科学中心);Northeastern University(东北大学);Nanyang Technological University(南洋理工大学)
研究了智能体网络上的分布式在线时变约束凸优化问题。这是一个序列决策问题的两个序列的任意变化的凸损失和约束函数。在每一轮,每个代理从决策集中选择一个决策,然后只有一部分的损失函数和约束函数的坐标块在这一轮是私人透露给这个代理。网络的目标是最小化随着时间的推移而积累的网络范围内的损失。提出了完全信息和强盗反馈两种分布式在线算法。该算法分析了动态和静态网络遗憾界,并采用网络累积约束违反来度量约束违反,排除了严格可行约束可以补偿违反约束影响的情况.特别是,我们表明,所提出的算法实现$\mathcal{O}(T^{\max\{κ,1-κ\}})$静态网络遗憾和$\mathcal{O}(T^{1-κ/2})$网络累积约束违反,其中$T$是时间范围和$κ\in(0,1)$是一个用户定义的权衡参数。此外,如果损失函数是强凸的,则静态网络遗憾界可以约化为$\mathcal{O}(T^κ)$ .最后,通过数值模拟验证了理论结果的有效性。
2022-12-27 cs.LG math.OC
Capacity-Constrained Online Convex Optimization with Delayed Feedback
Department of Statistical Sciences, University of Toronto(多伦多大学统计科学系);Vector Institute(向量研究所);Institute for Data, Econometrics, Algorithms, and Learning (IDEAL), hosted by UIC and TTIC(数据、计量经济学、算法与学习研究所(IDEAL),由伊利诺伊大学芝加哥分校和丰田工业大学芝加哥分校主办)
研究在硬容量约束下(最多同时跟踪C个待处理轮次)的延迟在线凸优化,通过引入半先知模型和延迟加权FTRL算法,首次给出了凸和强凸损失下容量受限OCO的遗憾界。
2026-11-10 cs.LG stat.ML
Online Learning: Stochastic and Constrained Adversaries
University of Pennsylvania(宾夕法尼亚大学);TTIC(丰田理工学院芝加哥分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
学习理论主要集中在两个主要的学习场景。第一种是经典的统计设置,其中实例是独立同分布的。第二种情况是在线学习,完全对抗性的情况,其中对手在每个时间步都选择最差的实例提供给学习者。可以说,在现实世界中,这两个假设都是不合理的。因此,重要的是要研究问题的一系列假设的数据。不幸的是,在这方面的理论成果是稀缺的,可能是由于缺乏一般的分析工具。专注于遗憾的制定,我们定义了一个游戏的最小最大值的对手在他的动作受到限制。该框架捕捉了对数据的随机和非随机假设。建立在顺序对称化方法,我们定义了一个概念的分布依赖的拉德马赫复杂度的频谱问题,从i.i.d.最坏的情况。这些界限让我们可以立即推导出变分类型的界限。然后我们考虑i.i.d.对手,并显示等价的在线和批量学习。在监督设置中,我们考虑各种混合假设的方式,x和y变量的选择。最后,我们考虑平滑的学习问题,并表明半空间是在线学习的平滑模型。事实上,在对手的决策中加入指数级的小噪声,将这个具有无限Littlestone维数的问题变成了一个可学习的问题。
2011-04-27 cs.GT cs.LG stat.ML
BAGEL: Adversarially Constrained Online Convex Optimization under Separation Oracle Access
Purdue University(普渡大学);Mila - Quebec AI Institute/McGill University(蒙特利尔AI研究所/麦吉尔大学)
BAGEL 是一种无投影算法,通过强化 oracle 假设,在对抗性约束在线凸优化中实现了与投影方法相同的收敛速率。
2026-08-27 cs.AI cs.LG math.OC
A Multi-stage Constrained Optimization Framework for Data-driven Problems
Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔电气与计算机工程学院)
该研究针对基于VAE的约束优化的三个挑战,提出多阶段约束优化框架MCOF,通过结合EC-VAE、UT模块、CPFM等方法,在潜在空间有效采样、识别有效决策变量并执行约束,经合成问题和药物设计任务验证了该框架的有效性。
2026-07-28 cs.LG math.OC stat.ML
On Analyzing Estimation Errors due to Constrained Connections in Online Review Systems
约束连接是指由于兴趣范围狭窄或注意力有限,评论者只能评论产品/服务的一个子集的现象。在这项工作中,我们研究了约束连接如何影响在线审查系统(ORS)的估计性能。我们发现,审查者的约束连接会导致估计性能差,无论是从估计精度和贝叶斯克拉默-拉奥下限的测量。
2013-07-14 cs.LG cs.SI
Optimistic Critic Reconstruction and Constrained Fine-Tuning for General Offline-to-Online RL
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
本文针对通用离线到在线强化学习问题,提出乐观评论家重建与约束微调方法,通过同时解决评估与改进不匹配并应对分布偏移,实现从任意离线方法到任意在线方法的稳定高效性能提升。
2024-12-25 cs.LG
Adaptive Two-Stage Online Learning for Service-Affecting Failure Detection in Mobile Core Networks
Vodacom Group Limited(沃达康集团有限公司)
针对移动核心网络中基于流量的故障检测难题,提出两阶段在线学习框架。第一阶段用带时间感知特征的轻量级回归建模正常流量动态,第二阶段结合上下文指标分析预测残差。该框架在线运行,在多种模型中实现最佳精确率-召回率权衡,凸显残差分解对故障检测的重要性。
2026-07-22 cs.LG
Accurate Online Posterior Alignments for Principled Lexically-Constrained Decoding
IIT Bombay(印度理工学院孟买分校)
机器翻译中的在线对齐是指当目标序列仅被部分解码时将目标词与源词对齐的任务。良好的在线对齐有助于重要的应用程序,例如词汇约束翻译,其中用户定义的字典用于将词汇约束注入翻译模型。我们提出了一种新的后对齐技术,是真正的在线执行和优越的对齐出错率相比,现有的方法。我们提出的推理技术联合考虑对齐和令牌概率的原则性方式,可以无缝集成在现有的约束波束搜索解码算法。在五个语言对,包括两个遥远的语言对,我们实现了一致的下降对齐出错率。当部署在七个词汇约束的翻译任务,我们实现了显着的改进,特别是在BLEU的约束位置。
2022-04-02 cs.CL cs.LG
Last-Iterate Guarantees for Online Reinforcement Learning in Structured Constrained MDPs
针对结构化约束马尔可夫决策过程,提出统计高效的框架,分离正则化原始-对偶动力学与演员近似及统计误差,实现无模型最后迭代收敛,并在线性CMDP上验证稳定性。
2026-09-29 cs.LG
Online and Streaming Algorithms for Constrained $k$-Submodular Maximization
Boston University(波士顿大学);Northeastern University(东北大学)
本文针对基数约束和背包约束下的单调与非单调 k-子模最大化问题,提出了具有常数因子近似保证的单遍流式和在线组合算法,在近似比、空间和运行时间上均达到最优,并在广告分配等应用中验证了其高效性和可扩展性。
2023-05-25 cs.DS cs.LG
Competitive Algorithms for Online Budget-Constrained Continuous DR-Submodular Problems
University of Washington(华盛顿大学);Tetration Analytics, Cisco Systems, Inc.(思科系统公司Tetration Analytics部门)
在本文中,我们研究了一类在线最优化问题,其中的目标是最大化一个函数,不一定是凹的,并满足递减收益(DR)的预算约束下的性质。我们分析了一个原始对偶法,称为广义序列算法,我们得到的竞争比的第一界的在线单调DR-次模函数最大化的线性包装约束下匹配的特殊情况下的线性目标函数紧界。
2019-06-30 cs.LG math.OC stat.ML
ROSFD: Robust Online Streaming Fraud Detection with Resilience to Concept Drift in Data Streams
National Institute of Technology(印度国家理工学院)
针对传统批处理难以捕捉流数据中欺诈模式快速演变的问题,提出ROSFD框架,通过离线模型初始化解决冷启动问题,结合实时漂移检测实现模型自适应,在五个数据集中的四个取得最高AUC,减少重新训练次数且不影响性能。
2025-04-14 cs.LG
Eluder-Dimension-Free Regret for Stage-Wise Constrained Contextual Bandits via Offline Regression
Massachusetts Institute of Technology(麻省理工学院)
本文提出统一框架处理带阶段可行性约束的上下文在线决策,通过上反事实置信界和广义eluder维数,涵盖受限老虎机、主动学习等问题,并给出理论保证。
2026-10-23 cs.LG stat.ML
Online Two-stage Thermal History Prediction Method for Metal Additive Manufacturing of Thin Walls
Simon Fraser University(西蒙菲莎大学);Tampere University(坦佩雷大学)
本文提出一种可集成于金属增材制造的在线两阶段热历史预测方法,结合逐层预测与降阶模型,在低成本台式机上0.1秒内完成待打印层温度场构建,微调后预测相对误差小于0.09,具有高效性和泛化能力。
2023-11-17 cs.LG
Online 3D Bin Packing with Constrained Deep Reinforcement Learning
National University of Defense Technology(国防科技大学);Clemson University(克莱姆森大学)
我们解决了一个具有挑战性的,但实际上有用的3D装箱问题(3D-BPP)的变种。在我们的问题中,代理商对要装入垃圾箱的物品的信息有限,并且物品必须在到达后立即打包,而无需缓冲或重新调整。物品的放置也受到避免碰撞和物理稳定性的限制。我们制定这个在线3D-BPP作为一个约束马尔可夫决策过程。为了解决这个问题,我们提出了一个有效的和易于实现的约束深度强化学习(DRL)方法下的演员-评论家框架。特别是,我们引入了一个可行性预测器来预测布局动作的可行性掩码,并使用它来调节演员在训练过程中输出的动作概率。这样的监督和转换到DRL促进代理学习可行的政策有效。我们的方法也可以推广,例如,具有处理前视或具有不同方向的项目的能力。我们已经进行了广泛的评估表明,学习的政策显着优于国家的最先进的方法。用户研究表明,我们的方法达到了人类水平的性能。
2022-01-13 cs.LG stat.ML
Online Two-Stage Submodular Maximization
Boston University(波士顿大学);EPFL(苏黎世联邦理工学院);Northeastern University(东北大学)
针对在线两阶段子模最大化问题,提出算法在一般拟阵和均匀拟阵下分别达到亚线性遗憾界,并在真实数据上验证性能。
2025-10-22 cs.DS cs.LG
Two-stage Deep Reinforcement Learning for Inverter-based Volt-VAR Control in Active Distribution Networks
Tsinghua University(清华大学)
基于模型的无功/无功优化方法被广泛应用于消除电压违规、降低网损。然而,有源配电网(ADN)的参数不是现场识别的,所以可能会涉及到显着的误差在模型中,使基于模型的方法是不可行的。为了解决这个关键问题,我们提出了一种新的两阶段深度强化学习(DRL)方法,通过调节基于逆变器的能量资源来改善电压分布,该方法由离线阶段和在线阶段组成。在离线阶段,开发了一种高效的对抗性强化学习算法来训练离线代理对模型失配具有鲁棒性。在序贯在线阶段,我们将离线代理安全地转移为在线代理,以执行在线的持续学习和控制,从而显着提高安全性和效率。IEEE测试用例的数值模拟不仅表明,所提出的对抗性强化学习算法优于最先进的算法,而且还表明,我们提出的两阶段方法实现了更好的性能比现有的DRL为基础的方法在在线应用。
2020-05-20 cs.LG cs.SY eess.SY
DynGraph2Seq: Dynamic-Graph-to-Sequence Interpretable Learning for Health Stage Prediction in Online Health Forums
George Mason University(乔治梅森大学);IBM Research(IBM研究院)
在线健康社区,如在线乳腺癌论坛,使患者(即,用户)在各种分论坛中进行互动和相互帮助,这些分论坛是主要论坛中专门讨论特定健康主题的子论坛。用户在不同分论坛的活动性质不断变化,这可能是其健康状况变化的有力指标。这些额外的信息可以让医疗机构迅速做出反应,并为患者提供额外的帮助。然而,随着时间的推移,在不同的子论坛之间对单个用户的活动的复杂过渡进行建模,并了解这些活动如何与他/她的健康阶段相对应,这是非常具有挑战性的。在本文中,我们首先制定了用户活动的过渡作为一个动态图与多属性节点,然后形式化的健康阶段推理任务作为一个动态图到序列的学习问题,因此提出了一种新的动态图到序列神经网络架构(DynGraph 2Seq),以解决所有的挑战。我们提出的DynGraph 2Seq模型由一个新的动态图编码器和一个可解释的序列解码器组成,该解码器可以学习一系列随时间演变的用户活动图和一系列目标健康阶段之间的映射。我们继续提出动态图层次注意力机制,以促进必要的多层次的可解释性。一个全面的实验分析,其使用的健康阶段预测任务证明了所提出的模型的有效性和可解释性。
2019-08-22 cs.LG stat.ML
Online Constrained Model-based Reinforcement Learning
University of the Witwatersrand(威特沃特斯兰德大学);University of Sheffield(谢菲尔德大学);Council for Scientific and Industrial Research(科学与工业研究委员会)
将强化学习应用于机器人系统提出了许多具有挑战性的问题。一个关键的需求是能够处理连续的状态和动作空间,同时保持在有限的时间和资源预算。此外,为了安全运行,系统必须在硬约束下做出稳健的决策。为了解决这些挑战,我们提出了一个基于模型的方法,结合高斯过程回归和滚动时域控制。使用稀疏谱高斯过程,我们扩展了以前的工作,通过更新的动态模型增量从一个流的传感器数据。这导致智能体可以在非线性约束下实时学习和计划。我们测试我们的方法在一个车杆摆动的环境,并证明了在线学习的好处,对一个自主的赛车任务。环境的动态是从有限的训练数据中学习的,并且可以在新的任务实例中重用,而无需重新训练。
2020-04-07 cs.LG stat.ML
Turn-to-Diarize: Online Speaker Diarization Constrained by Transformer Transducer Speaker Turn Detection
Google(谷歌)
在本文中,我们提出了一种新的扬声器日记系统的流式设备上的应用程序。在这个系统中,我们使用一个Transformer传感器来检测说话人的话轮,用一个说话人嵌入来表示每个说话人的话轮,然后用检测到的说话人话轮的约束来聚类这些嵌入。与传统的基于聚类的日记系统相比,由于说话人话轮的稀疏性,我们的系统大大降低了聚类的计算成本。与其他需要标注时间戳的说话人标签进行训练的有监督的说话人日志化系统不同,我们的系统只需要在转录过程中包括说话人回合标记,这在很大程度上减少了数据收集中涉及的人工努力。
2022-01-25 cs.LG cs.SD eess.AS
Taming the One-Epoch Phenomenon in Online Recommendation System by Two-stage Contrastive ID Pre-training
Pinterest Inc.(Pintrix公司)
针对在线推荐系统嵌入易过拟合导致的单轮训练问题,提出两阶段对比ID预训练策略,扩大数据覆盖并提升泛化,在Pinterest部署后显著提升参与度。
2025-08-26 cs.IR cs.LG
Hierarchical Upper Confidence Bounds for Constrained Online Learning
Rochester Institute of Technology(罗切斯特理工学院)
针对分层结构、多层约束和上下文动作空间下的在线决策问题,提出HCB框架与HC-UCB算法,证明其次线性遗憾、约束满足保证及近最优极小极大性能。
2024-10-25 cs.LG cs.SY eess.SY
An Online Algorithm for Chance Constrained Resource Allocation
Cainiao Network(菜鸟网络)
研究了具有机会约束的在线随机资源分配问题。在线RAP是一个0-1整数线性规划问题,其中资源消耗系数与相应的收入系数一起逐列显示。当一列被显示时,相应的决策变量被立即确定,而不需要未来的信息。此外,在在线应用中,资源消耗系数通常通过预测来获得。为了模拟它们的不确定性,我们考虑了机会约束。据我们所知,这是第一次在在线RAP问题中引入机会约束。假设不确定变量具有已知的高斯分布,随机RAP可以转化为一个确定性的,但非线性的整数二阶锥约束问题。接下来,我们线性化这个非线性问题,并分析了香草在线原始对偶法的性能来解决线性化的随机RAP。在温和的技术假设下,最优性缺口和约束违反都是$\sqrt{n}$的数量级。然后,为了进一步提高算法的性能,提出了几种带有启发式修正的在线原始对偶法。最后,大量的数值实验上的合成和真实数据证明了我们的方法的适用性和有效性。
2023-03-06 cs.LG math.OC stat.ML
Online LLM Selection via Constrained Bandits with Time-Varying Demand
Department of Electrical and Computer Engineering, University of Florida(佛罗里达大学电气与计算机工程系);Manning College of Information and Computer Sciences, University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院)
针对边缘云推理系统中异构LLM的选择问题,提出一种基于置信界估计和需求预测的在线学习算法,在硬预算和软延迟约束下实现亚线性遗憾和约束违反。
2026-06-17 cs.AI cs.LG
On Adaptivity in Information-constrained Online Learning
Chennai Mathematical Institute(金奈数学研究所);Indian Institute of Science(印度科学学院)
我们研究如何适应平滑变化(“容易”)的环境中,在著名的在线学习的问题,获取信息是昂贵的。对于标签有效预测的问题,这是一个预算版本的预测与专家的意见,我们提出了一个在线算法,其遗憾最佳取决于允许的标签和$Q^*$(损失的最佳行动在事后的二次变化)的数量,以及一个无参数对应的遗憾最佳取决于$Q$(损失的所有行动的二次变化)。这些数量可以显着小于$T$(总的时间范围),产生了改善现有的,变分无关的结果的问题。然后,我们将我们的分析扩展到处理具有强盗反馈的标签有效预测,即,高效的强盗我们的工作建立在乐观的在线镜像下降的框架,并利用二阶校正以及精心设计的混合正则化编码的约束信息结构的问题。然后,我们考虑揭示行动部分监控游戏-标签有效的预测与添加剂的信息成本的一个版本,这在一般情况下是众所周知的,躺在\textit{hard}类的游戏具有极大极小遗憾的顺序$T^{\frac{2}{3}}$。我们提供了一个策略,一个$\mathcal{O}((Q^*T)^{\frac{1}{3}})$绑定揭示动作游戏,随着一个$\mathcal{O}((QT)^{\frac{1}{3}})$绑定的全类硬部分监控游戏,都是严格的改进,目前的界限。
2019-12-06 cs.LG stat.ML
Neuromodulated Neural Architectures with Local Error Signals for Memory-Constrained Online Continual Learning
Argonne National Laboratory(阿贡国家实验室)
从输入数据流中持续学习而不发生灾难性遗忘的能力对于设计智能系统至关重要。许多现有的持续学习方法依赖于随机梯度下降及其变体。然而,这些算法必须实现各种策略,例如存储器缓冲器或重放,以克服随机梯度下降方法在稳定性、贪婪和短期记忆方面的众所周知的缺点。为此,我们开发了一个生物启发的轻量级神经网络架构,它结合了本地学习和神经调节,使输入处理数据流和在线学习。接下来,我们解决的挑战,是不知道的任务,提前实现转移元学习:使用贝叶斯优化,探索设计空间跨越多个本地学习规则和他们的超参数,我们确定高性能的配置在经典的单任务在线学习,我们将它们转移到持续学习任务与任务相似性的考虑。我们证明了我们的方法在单一任务和持续学习设置的有效性。对于单任务学习设置,我们在MNIST,Fashion MNIST和CIFAR-10数据集上展示了优于其他本地学习方法的性能。使用高性能的配置元在单任务学习设置,我们实现了优越的持续学习性能分裂MNIST,和分裂CIFAR-10数据相比,其他内存受限的学习方法,并匹配的最先进的内存密集型重放为基础的方法。
2021-03-13 cs.LG stat.ML
Improved Multi-Stage Training of Online Attention-based Encoder-Decoder Models
Samsung Research(三星研究院)
在本文中,我们提出了一种改进的多阶段多任务训练策略,以提高在线基于注意力的编码器-解码器(AED)模型的性能。提出了一种基于字符编码器、基于字节对编码(BPE)的编码器和注意力解码器的三级训练方法。此外,多任务学习的基础上两个层次的语言粒度,即字符和BPE,使用。我们探索了编码器的不同预训练策略,包括双向编码器的迁移学习。我们的编码器-解码器模型与在线注意力相比,对于较小和较大的模型,分别显示出35%和10%的相对改善。在与基于长短期记忆(LSTM)的外部语言模型(LM)融合后,我们的模型在Librispeech测试干净数据上的单词错误率(WER)分别为5.04%和4.48%。
2019-12-28 cs.LG cs.SD eess.AS
Networked Online Learning for Control of Safety-Critical Resource-Constrained Systems based on Gaussian Processes
Technical University of Munich(慕尼黑工业大学)
在未知环境中运行的安全关键技术系统需要能够快速调整其行为,这可以通过从运行期间生成的数据流在线推断模型来实现控制。基于高斯过程的学习特别适合于安全关键型应用,因为它确保了有界的预测误差。虽然存在用于在线推理的计算上有效的近似,但是这些方法缺乏对预测误差的保证并且具有高存储器要求,并且因此不适用于具有严格存储器约束的安全关键系统。在这项工作中,我们提出了一种新的基于高斯过程回归的网络在线学习方法,它通过在云中采用远程数据管理来解决本地资源有限的问题。我们的方法形式上保证了一个有界的跟踪误差与高概率,这是用来识别最相关的数据,以实现一定的控制性能。我们进一步提出了一个有效的本地系统和云之间的数据传输方案,考虑到传输信道的带宽限制和时间延迟。仿真结果表明了该方法的有效性。
2022-02-23 cs.LG cs.SY eess.SY
Distributionally-Constrained Adversaries in Online Learning
Columbia University(哥伦比亚大学)
本文提出分布约束对抗者框架,刻画可学习分布类,并证明对线性分类器等自然函数类,无需先验知识即可同时对抗任意可学习分布类内的对抗者。
2025-06-17 cs.LG math.ST stat.ML
Bidding-Aware Retrieval for Multi-Stage Consistency in Online Advertising
Taobao \& Tmall Group of Alibaba Beijing China;Taobao \& Tmall Group of Alibaba
针对在线广告系统检索与排序阶段的竞价不一致问题,提出BAR框架,经阿里平台验证可提升收入4.32%、正向广告展示量22.2%
2026-08-25 cs.IR cs.LG
Finite-Time Complexity of Online Primal-Dual Natural Actor-Critic Algorithm for Constrained Markov Decision Processes
School of Electrical and Computer Engineering, Georgia Institute of Technology(佐治亚理工学院电气与计算机工程学院);Bradley Department of Electrical and Computer Engineering, Virginia Tech(弗吉尼亚理工大学布拉德利电气与计算机工程学院)
本文研究约束马尔可夫决策过程的策略优化问题,提出在线原始-对偶自然演员-评论家算法,并首次证明其以O(1/K^{1/6})速率有限时间收敛到全局最优解。
2024-11-20 cs.LG math.OC
Offline RL With Resource Constrained Online Deployment
The Ohio State University(俄亥俄州立大学);Microsoft(微软)
离线强化学习用于在对环境的实时访问昂贵或不可能的场景中训练策略。作为这些苛刻条件的自然结果,代理可能缺乏在采取行动之前充分观察在线环境的资源。我们把这种情况称为资源受限环境。这导致离线数据集(可用于训练)可以包含完全处理的特征(使用强大的语言模型,图像模型,复杂的传感器等)。当实际在线采取行动时,这些信息不可用。这种脱节导致了离线RL中一个有趣且未探索的问题:是否有可能使用经过丰富处理的离线数据集来训练一个在在线环境中访问较少功能的策略?在这项工作中,我们介绍和形式化这种新的资源受限的问题设置。我们强调了使用完整离线数据集训练的策略和使用有限功能训练的策略之间的性能差距。我们解决这个性能差距的策略传输算法,首先训练教师代理使用离线数据集的功能是完全可用的,然后将此知识转移到学生代理,只使用资源受限的功能。为了更好地捕捉这种设置的挑战,我们提出了一个数据汇集过程:资源约束数据集RL(RC-D4 RL)。我们在RC-D4 RL和流行的D4 RL基准测试上评估了我们的传输算法,并观察到基线(TD 3 +BC无传输)的一致改进。实验代码可在https://github.com/JayanthRR/RC-OfflineRL上获得。
2021-12-07 cs.AI cs.LG cs.SY
Lotus: learning-based online thermal and latency variation management for two-stage detectors on edge devices
Northeastern University(东北大学);University of Michigan(密歇根大学);University of Pittsburgh(匹兹堡大学)
针对边缘设备上两阶段检测器因高计算成本和动态proposals引起的严重热问题和延迟变化,提出基于深度强化学习的Lotus框架,在线动态联合调节CPU和GPU频率,实验证明其能显著降低延迟变化、加快推理并维持较低温度。
2024-10-01 cs.CV cs.LG
Near-Optimal Online Deployment and Routing for Streaming LLMs
Stony Brook University(史泰森布鲁克大学)
StageRoute算法通过优化部署和路由策略,在流式LLM管理中实现近最优的并发和成本控制。
2026-01-29 cs.AI cs.LG
The adaptive projected subgradient method constrained by families of quasi-nonexpansive mappings and its application to online learning
University of Peloponnese(伯罗奔尼撒大学);Tokyo Institute of Technology(东京工业大学)
许多在线,即,信号处理和机器学习中的时间自适应逆问题属于非负、凸和连续函数序列的渐近最小化的广泛范围。为了将先验知识纳入设计中,渐近最小化任务通常被约束在一个固定的闭凸集上,该凸集由可用的先验信息决定。为了增加对可用信息的使用的通用性,本手稿扩展了自适应投影次梯度法(APSM)通过引入一个算法方案,该方案通过一系列强吸引的拟非扩张映射在一个真正的希尔伯特空间的设计中采用了先验知识。通过这种方式,所提出的方法为在线学习任务提供的好处以两种方式展开:1)丰富的准非扩张映射类提供了大量的方法来投射先验知识,以及2)通过引入一系列这样的映射,所提出的方案能够捕获先验信息的时变性质。该算法的收敛性能进行了研究,几个特殊的情况下,具有广泛的适用性的方法显示,和所提出的计划的潜力,证明了考虑越来越重要的,现在,在线稀疏系统/信号恢复任务。
2011-08-05 cs.IT cs.LG math.IT
Long-term Fairness For Real-time Decision Making: A Constrained Online Optimization Approach
针对实时决策中时变公平性约束的挑战,本文提出受约束的在线优化框架及新型算法LoTFair,在保证长期性能的同时使整体公平性违规可忽略不计。
2024-01-04 cs.CY cs.LG
A Multi-stage Framework with Mean Subspace Computation and Recursive Feedback for Online Unsupervised Domain Adaptation
Purdue University(普渡大学);Qualcomm Technologies Inc.(高通技术公司)
在本文中,我们解决了在线无监督领域自适应(OUDA)问题,并提出了一种新的多阶段框架,以解决现实世界的情况下,目标数据是未标记的,并在批量顺序到达在线。为了将数据从源和目标域投影到一个公共子空间并实时操作投影数据,我们提出的框架提出了一种新的方法,称为增量计算均值子空间(ICMS)技术,该技术计算Grassmann流形上的均值目标子空间的近似,并被证明是Karcher均值的近似。此外,从平均目标子空间计算的变换矩阵被应用于递归反馈阶段中的下一个目标数据,使目标数据更接近源域。变换矩阵的计算和下一个目标子空间的预测通过考虑格拉斯曼流形上的目标子空间的流之间的累积时间依赖性来利用递归反馈阶段的性能。利用预先训练好的源分类器对变换后的目标数据进行分类预测,然后利用变换后的数据和预测的标签对分类器进行更新。在六个数据集上进行了广泛的实验,深入研究了我们提出的框架中每个阶段的效果和贡献,以及在分类精度和计算速度方面与以前的方法相比的性能。此外,传统的基于流形的学习模型和基于神经网络的学习模型上的实验表明,我们提出的框架适用于各种类型的学习模型。
2022-06-24 cs.CV cs.LG eess.IV