Budgeted Online Influence Maximization
Adobe Research（Adobe研究院）；Inria Lille（Inria里尔分校）；DeepMind（深度Mind）
本文提出一种新的预算化框架，考虑广告活动的总成本而非传统选择影响者集合的基数约束。通过独立级联扩散模型和边级半带反馈，提出算法并提供理论和实验结果，改进了基数约束下的后悔界。
2026-04-21 cs.LG stat.ML
Learning-Assisted Algorithm Unrolling for Online Optimization with Budget Constraints
University of California, Riverside（加州大学河滨分校）
多预算约束的在线优化是具有挑战性的，因为在短时间内的在线决策是由严格的库存约束耦合在一起的。现有的人工设计的算法不能达到令人满意的平均性能，因为他们往往需要大量的时间步长收敛和/或可能违反库存约束。在本文中，我们提出了一种新的机器学习（ML）辅助展开方法，称为LAAU（学习辅助算法展开），它展开在线决策管道，并利用ML模型在线更新拉格朗日乘子。为了通过反向传播进行有效的训练，我们推导出决策管道随时间的梯度。我们还提供了两种情况下的平均成本界限时，训练数据离线和在线收集，分别。最后，我们提出了数值结果，以强调LAAU可以优于现有的基线。
2023-03-07 cs.AI cs.LG math.OC
Online Continuous DR-Submodular Maximization with Long-Term Budget Constraints
University of Washington（华盛顿大学）
在本文中，我们研究了一类具有长期预算约束的在线优化问题，其中目标函数不一定是凹的（也不一定是凸的），但它们满足递减收益（DR）性质。具体地，单调DR-子模块目标函数$\{f_t(x)\}_{t=1}^T$和单调线性预算函数$\{\langle p_t,x \rangle \}_{t=1}^T$的序列随时间到达，并且假设总目标预算$B_T$，目标是在每个时间$t\in\{1,\dots,T\}$选择点$x_t$，而不知道该步骤上的$f_t$和$p_t$，以实现次线性遗憾界限，同时总预算违反$\sum_{t=1}^T \langle p_t,x_t \rangle -B_T$也是次线性的。先前的工作表明，实现次线性后悔是不可能的，如果预算功能选择相反。因此，我们修改的概念，遗憾的代理人对$(1-\frac{1}{e})$ -近似的最佳固定的决定，在事后，满足预算约束成比例的任何窗口长度$W$。我们提出了在线鞍点混合梯度（OSPHG）算法来解决这类在线问题。对于$W=T$，我们恢复了上述不可能结果。然而，当$W=o(T)$，我们表明，它是可能的，以获得次线性界限为$(1-\frac{1}{e})$ -遗憾和总预算违反。
2019-06-30 cs.LG math.OC stat.ML
Online Budgeted Matching with General Bids
University of Houston（休斯顿大学）；University of California, Riverside（加州大学河滨分校）；California Institute of Technology（加州理工学院）
本文研究了一般出价下的在线预算匹配问题，移除了分数最后匹配假设，提出了元算法MetaAd，实现了由最大出价预算比参数化的可证明竞争比，并扩展至学习增强算法设计。
2024-11-14 cs.DM cs.GT cs.LG
Online Decision Deferral under Budget Constraints
Georgia Institute of Technology（佐治亚理工学院）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Tübingen（蒂宾根大学）
本文针对预算约束下模型与专家决策延迟的在线自适应问题，提出上下文赌博机框架及其高效扩展，在真实数据集上验证了显著性能。
2024-09-30 cs.LG
An Adaptable Budget Planner for Enhancing Budget-Constrained Auto-Bidding in Online Advertising
School of Computer Science, Peking University（北京大学计算机学院）；Center on Frontiers of Computing Studies, Peking University（北京大学计算科学前沿中心）；Alibaba Group（阿里巴巴集团）
本文提出少样本可适配预算规划器ABPlanner，通过分层竞价框架和上下文强化学习驱动的序贯决策，在不同广告主间快速调整预算分配，从而提升预算约束下自动竞价的累积价值。
2025-01-26 cs.GT cs.LG
Hidden Representation Clustering with Multi-Task Representation Learning towards Robust Online Budget Allocation
Meituan Beijing, China（美团北京）
本文提出一种基于多任务表示学习和隐表示聚类的在线预算分配方法，将大规模个体分组并建模为整数随机规划问题，在美团平台实验中显著优于现有算法。
2025-06-01 cs.LG
Real Time Bid Optimization with Smooth Budget Delivery in Online Advertising
Turn Inc（Turn公司）
如今，每天都有数十亿的展示广告展示通过实时的竞价（RTB）交易所主办的公开拍卖进行购买。广告商必须在毫秒内做出决定，为每个选定的RTB广告请求提交出价。受预算限制，目标是购买一组广告展示，以达到尽可能多的目标用户。广告主特定的期望动作（转换）包括购买产品、填写表格、注册电子邮件等。此外，广告主通常更喜欢随着时间的推移平稳地花费他们的预算，以便在一天中接触到更广泛的受众，并产生可持续的影响。然而，由于转换很少发生，并且发生反馈通常延迟，因此同时实现预算和性能目标非常具有挑战性。在本文中，我们提出了一种在线方法，以顺利交付预算，同时优化转换性能。我们的算法试图选择高质量的印象，并调整投标价格的基础上，在一个自适应的方式，通过分配预算最佳跨时间的先验性能分布。我们从真实的广告活动的实验结果表明，我们所提出的方法的有效性。
2013-05-14 cs.GT cs.LG
BARA: Efficient Incentive Mechanism with Online Reward Budget Allocation in Cross-Silo Federated Learning
Sun Yat-sen University（中山大学）；Macquarie University（麦考瑞大学）
本文针对跨机构联邦学习中奖励预算跨轮次分配难题，提出基于贝叶斯优化的在线算法BARA，通过建模预算分配与模型精度关系动态优化各轮预算，结合逆向拍卖机制，在同等预算下显著提升了模型效用。
2023-05-16 cs.LG
Online Learning with Cumulative Oversampling: Application to Budgeted Influence Maximization
Columbia University（哥伦比亚大学）；Fudan University（复旦大学）
提出了一种用于在线学习的累积过采样方法。我们的主要思想是在每一轮中从更新的信念空间中对参数估计进行一次采样（类似于Thompson采样），并利用当前轮的累积样本来构建乐观的参数估计，这些参数估计渐近地集中在真实参数周围，与标准UCB方法构建的参数估计相比，置信上限更紧。我们将CO应用到一个新的预算变体的影响力最大化（IM）半土匪与线性推广的边缘权重，其离线问题是NP-难的。结合CO和我们为离线问题设计的预言机，我们的在线学习算法同时处理预算分配、参数学习和奖励最大化。我们表明，对于IM半土匪，我们的CO为基础的算法实现了规模的遗憾相比，基于UCB的算法在理论上，并在数值实验中表现与汤普森采样。
2020-09-16 cs.LG cs.SI stat.ML
AFA-BANDIT: Provably Near-Optimal Online Multi-Feature Classification Under Budget Constraints
The University of Sydney（悉尼大学）
本文提出LP-Chain算法，将在线主动特征获取建模为组合背包老虎机问题，实现预算约束下可证明近似最优的分类，并在合成数据上优于现有基线。
2026-10-07 cs.LG
When and What to Teach: Budget-Aware Online Adaptation for Web Agents
University of Electronic Science and Technology of China（电子科技大学）；Institute of Software Chinese Academy of Sciences（中国科学院软件研究所）
针对Web智能体在线部署中教学成本高的问题，提出预算感知框架，通过可解性门控和分数引导回合选择，在保持性能的同时大幅降低教师调用和训练计算。
2026-09-09 cs.AI cs.CV cs.LG
Safe and Efficient Online Convex Optimization with Linear Budget Constraints and Partial Feedback
Research Institute of China Electronics Technology Group（中国电子科技集团公司研究所）；School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
本文研究未知线性预算约束下的在线凸优化问题，提出安全高效的Lyapunov优化算法SELO，实现$O(\sqrt{T})$遗憾与零累积约束违反，计算高效并在分布式数据中心应用中验证有效。
2025-03-07 cs.LG math.OC
Multi-Platform Budget Management in Ad Markets with Non-IC Auctions
MIT（麻省理工学院）；Meta Platforms, Inc.（Meta平台公司）
针对在线广告市场多平台非激励相容拍卖下的预算约束出价问题，提出最优出价策略与在线学习算法，实现期望效用最大化与$O(T^{3/4})$悔值，在合成及真实数据集上表现优于现有自适应步速算法。
2023-06-12 cs.GT cs.LG math.OC
An Empirical Study on Budget-Aware Online Kernel Algorithms for Streams of Graphs
Qatar Computing Research Institute, HBKU（卡塔尔计算研究所，哈马德·本·哈利法大学）；University of Padova（帕多瓦大学）
核方法被认为是一种有效的在线学习技术。许多方法已经被开发用于当问题施加存储器约束时表示核方法的对偶解决方案的压缩。然而，在文献中没有工作是专门针对流的图形。出于这样一个事实，即许多国家的最先进的图形内核的特征空间表示的大小是相对较小的，因此它是明确可计算的，我们研究是否执行内核算法在特征空间中可以更有效地比经典的对偶方法。我们研究了三种不同的算法和各种战略的预算管理。所提出的方法的效率和功效进行了实验评估相对较大的图形流表现出概念漂移。事实证明，当必须强制执行严格的内存预算约束时，考虑到图内核的当前技术水平，在特征空间中工作不仅仅是双重方法的可行替代方案，无论是在速度还是分类性能方面。
2016-07-20 cs.LG
Online Fair Division with Budget Constraints
University of Oxford（牛津大学）
研究广义分配预算约束下离散公平分配的在线变体，确定有界密度扩展条件并获近似算法，研究资源增强及刻画保证改进，还开发学习增强框架，证明其性质及单独预测边际的不足。
2026-07-28 cs.AI cs.GT cs.LG
Bi-Level Online Provisioning and Scheduling with Switching Costs and Cross-Level Constraints
Dept. of Electrical Engineering University at Buffalo, Buffalo, NY（电气工程系 网络布法罗大学）；Computer Engineering The Ohio State University, Columbus, OH（计算机工程 俄亥俄州立大学）
本文提出了一种双层OCO-CMDP算法，解决具有切换成本和跨层约束的网络资源配置与调度问题，通过双时间尺度交互和预算自适应探索实现近最优性能。
2026-02-20 cs.LG
Online Adaptive Asymmetric Active Learning with Limited Budgets
South China University of Technology（华南理工大学）；Tencent AI Lab（腾讯人工智能实验室）
在线主动学习（OAL）通过有选择地查询数据的标签来管理未标记的数据流。OAL适用于许多现实问题，如医疗保健和金融领域的异常检测。在这些问题中，有两个关键的挑战：查询预算往往是有限的，类之间的比例是高度不平衡的。在实践中，当只有有限的标签预算可以查询用于训练时，处理不平衡的未标记数据流是相当困难的。为了解决这个问题，以前的OAL研究采用非对称损失或查询（一个孤立的非对称策略）来解决不平衡，并使用一阶方法来优化成本敏感的措施。然而，孤立策略限制了它们在类不平衡中的性能，而一阶方法限制了它们的优化性能。在本文中，我们提出了一种新的在线自适应非对称主动学习算法，基于一种新的非对称策略（合并非对称损失和查询策略），和二阶优化。从理论上分析了它的错误界和代价敏感度量界。此外，为了更好地平衡性能和效率，我们通过草图技术增强了我们的算法，这大大加快了计算速度，性能略有下降。实验结果表明了所提方法的有效性和高效性。
2019-11-18 cs.LG stat.ML
Adapt Only When It Pays: Budgeted Decision-Loss Priority for Delayed Online Time-Series Adaptation
Xibai Wang（王希拜）
提出ADOWIP框架，通过决策损失优先级门控在反馈到达时选择性更新，在有限预算下降低决策损失，并在公共数据集上验证有效性。
2026-06-25 cs.AI cs.LG
Budgeted Online Continual Learning by Adaptive Layer Freezing and Frequency-based Sampling
Seoul National University（首尔大学）
针对在线持续学习中计算与存储预算不一致导致比较不公的问题，提出以 FLOPs 和总字节内存统一预算，并结合自适应层冻结与频率采样检索，在多个图像数据集上以同等总预算取得优于 SOTA 的效果。
2025-03-16 cs.AI cs.CV cs.LG
Online Joint Bid/Daily Budget Optimization of Internet Advertising Campaigns
Politecnico di Milano（米兰理工大学）
按点击付费广告包括各种形式（\emph{e.g.}、搜索、上下文、社交），全球每年的总投资超过2000亿美元。广告主每天都有预算分配几个，甚至数千个活动，主要是区分广告，目标或渠道。此外，发布商选择要显示的广告以及如何使用拍卖机制来分配它们，在拍卖机制中，广告商每天为每个活动设置与他们愿意支付的每次点击的最大金额和每日预算的一部分相对应的出价。在本文中，我们研究的问题，自动化的在线联合投标/每日预算优化付费点击广告活动在多个渠道。我们制定我们的问题作为一个组合半强盗问题，这需要解决一个特殊的情况下，多选择背包问题的每一天。此外，对于每个广告系列，我们通过高斯过程捕获点击次数对出价和每日预算的依赖性，因此需要对这些函数的规律性进行温和的假设。我们设计了四个算法，并表明他们遭受的遗憾，这是一个上限的高概率为O（sqrt{T}），其中T是学习过程的时间范围。我们实验评估我们的算法与合成设置从雅虎的真实数据生成，我们提出了在现实世界的应用程序中采用我们的算法的结果，每天平均花费1,000欧元超过一年。
2020-03-03 cs.LG stat.ML
Safe Online Bid Optimization with Return on Investment and Budget Constraints
Politecnico di Milano（米兰理工学院）
本文提出GCB_safe算法，在保证投资回报和预算约束安全的同时，通过容忍度ψ和ϕ实现子线性遗憾和线性约束违反。
2025-12-04 cs.AI cs.LG
Very Fast Kernel SVM under Budget Constraints
ENSEA（法国高等电力学院）；Université de Cergy-Pontoise（塞尔吉-蓬图瓦兹大学）；CNRS（法国国家科学研究中心）
在本文中，我们提出了一种快速在线核SVM算法在紧预算约束。我们建议使用LVQ分割输入空间，并在每个聚类中训练一个核SVM。为了允许在线训练，我们建议使用不同的策略限制每个集群的支持向量集的大小。我们在实验中表明，我们的算法能够实现高精度，同时在训练和评估中每秒处理的样本数量非常多。
2016-12-31 cs.LG stat.ML
Coordinated Dynamic Bidding in Repeated Second-Price Auctions with Budgets
Peking University（北京大学）；Huawei TCS Lab（华为TCS实验室）
该研究针对带预算的重复第二价格拍卖场景，提出可保证每个客户效用高于独立出价最优水平、实现最大联盟福利的协同出价算法，并通过实验验证性能，填补了带约束在线重复拍卖中竞拍者协同研究的空白。
2023-06-13 cs.GT cs.LG econ.TH
Memory Constraint Online Multitask Classification
Università degli Studi di Milano（米兰大学）
我们调查在线内核算法，同时处理多个分类任务，而一个固定的约束施加在其活动集的大小。我们特别关注的算法设计，可以有效地处理任务的数量是非常高的，任务数据是大规模的问题。引入了两种新的基于投影的算法，以有效地解决这些问题，同时提出了不同的权衡如何管理可用的内存相对于先验信息的学习任务。通过将随机预算感知器和Forgetron算法与多任务内核耦合，设计了理论上合理的预算算法。我们展示了如何从多个任务中学习和保持恒定的内存足迹这两个看似对立的属性可以平衡，以及如何自动照顾不同任务之间的可用空间共享。我们提出并讨论了多任务内核的新见解。实验表明，在线内核多任务算法运行在预算可以有效地解决现实世界中的学习问题，涉及多个任务。
2012-10-01 cs.LG
An End-to-End Framework for Marketing Effectiveness Optimization under Budget Constraint
Kuaishou Inc（快手公司）
在线平台通常激励消费者提高用户参与度和平台收入。由于不同的消费者可能会对激励措施做出不同的反应，因此个人层面的预算分配是营销活动中的一项重要任务。在这一领域的最新进展往往解决预算分配问题，使用两个阶段的范例：第一阶段估计个人水平的治疗效果，使用因果推理算法，第二阶段调用整数规划技术，以找到最佳的预算分配解决方案。由于这两个阶段的目标可能并不完全一致，这样的两阶段模式可能会损害整体营销效果。在本文中，我们提出了一种新的端到端的框架，直接优化预算约束下的业务目标。我们的核心思想是构造一个正则化器来表示营销目标，并使用梯度估计技术有效地优化它。因此，所获得的模型可以直接和精确地学习最大化营销目标。我们广泛评估我们提出的方法在离线和在线实验，实验结果表明，我们的方法优于当前国家的最先进的方法。我们提出的方法目前已被部署用于为短视频平台上的数亿用户分配营销预算，并实现了显着的业务目标改进。我们的代码将公开。
2023-02-09 cs.LG
Budgeted Online Model Selection and Fine-Tuning via Federated Learning
University of California Irvine（加州大学尔湾分校）
针对边缘设备内存受限问题，提出服务器存储全部候选模型、客户端仅存子集并协作微调的在线联邦模型选择框架，证明其次线性遗憾并通过真实数据集验证有效性。
2024-01-19 cs.LG
E-Commerce Promotions Personalization via Online Multiple-Choice Knapsack with Uplift Modeling
促销和折扣是现代电子商业平台的重要组成部分，通常用于激励客户完成购买。促销活动也会影响收入，并可能导致经常受到专用促销预算限制的金钱损失。我们研究的在线约束多选择促销个性化问题，其中的优化目标是为每个客户选择的促销，以最大限度地提高购买完成，同时也符合全球预算的限制。我们的工作形式化的问题作为一个在线多选择背包问题，并通过解决负权重和值的情况下，现有的文献进行了扩展。我们提供了一种实时的自适应方法，保证了预算约束的合规性，并在各种数据集上实现了99.7%以上的最佳促销效果。我们的方法在世界领先的在线旅游平台之一的大规模实验研究中进行了评估。
2021-08-31 cs.AI cs.IR cs.LG
Online Learning under Budget and ROI Constraints via Weak Adaptivity
Politecnico di Milano（米兰理工大学）；Bocconi University（博科尼大学）；Columbia University（哥伦比亚大学）
针对预算与 ROI 约束在线学习，本文提出带弱自适应遗憾最小化器的 dual-balancing 原始-对偶框架，无需 Slater 参数和逐轮严格可行性，并给出随机/对抗输入下的无遗憾保证及广告拍卖最优竞价应用。
2024-03-02 cs.GT cs.LG
No-regret Learning in Repeated First-Price Auctions with Budget Constraints
Peking University（北京大学）；Zhejiang University（浙江大学）；Shanghai Jiaotong University（上海交通大学）
最近，在线广告市场已经呈现出从第二价格拍卖到第一价格拍卖的逐渐转变。虽然已经有一系列的工作，关于网上投标策略在一价拍卖，它仍然是开放的，如何处理预算约束的问题。在本文中，我们提出了一个买家的预算学习在线投标策略在重复的第一价格拍卖。针对静态竞争下的最优非预期策略，提出了一种基于RL的竞价算法。我们的算法获得$\widetilde O(\sqrt T)$ -如果出价都在每轮结束时显示，则表示遗憾。在每轮投标后买方只能看到中标者的限制下，我们的改进算法利用生存分析的技术得到$\widetilde O(T^{\frac{7}{12}})$ -后悔。我们的分析扩展到更一般的情况下，买方有任何有界的瞬时效用函数的遗憾相同的顺序。
2022-05-29 cs.GT cs.LG
Budget-Constrained Online Retrieval-Augmented Generation: The Chunk-as-a-Service Model
Information and Computing Technology (ICT) Division, College of Science and Engineering, Hamad Bin Khalifa University（信息与计算技术系（ICT）, 科学与工程学院, 哈马德·本·卡西姆大学）；School of Electrical Engineering and Information Technology, German Jordanian University（电气工程与信息科技学院, 德国约旦大学）；Department of Computer and Information Sciences, Fordham University（计算机与信息科学系, 芙兰克大学）；Department of Computer Science and Engineering, College of Engineering, Qatar University（计算机科学与工程系, 工程学院, 卡塔尔大学）
本文提出块即服务模型，通过在线选择算法提升检索增强生成的透明性和成本效益，实验显示其在性能和预算利用上优于现有方法。
2026-04-28 cs.IR cs.LG
Information-Theoretic Foundations of Online Temperature Sampling
Purdue University（普渡大学）
针对LLM解码的重复退化问题，该研究提出熵在线采样（EOS）方法，在信息论框架下解决在线温度采样的最优策略问题，其性能在$\log n$因子内达到最优，且实验表现优于固定温度采样。
2026-10-14 cs.LG
WISERouter: LLM Routing with Workload Budget Constraint
The University of British Columbia（英属哥伦比亚大学）
研究针对大规模使用LLMs成本高的问题，将LLM路由建模为约束上下文多臂老虎机问题，提出WISERouter框架，支持离线和在线学习。证明WR-Online有次线性遗憾界，实验表明WR-Offline性能超基线且更守预算，WR-Online用较少探索数据达可比性能。
2026-07-28 cs.AI cs.LG
Stochastic Bandits for Multi-platform Budget Optimization in Online Advertising
Facebook Core Data Science（Facebook核心数据科学部门）；Sapienza University of Rome（罗马大学）；Facebook AI Applied Research（Facebook人工智能应用研究部门）
我们研究的问题，一个在线广告系统，希望以最佳的方式花费广告客户的给定预算的活动在多个平台上，不知道的价值为显示广告的用户在这些平台上。我们模拟这个具有挑战性的实际应用作为一个背包问题的随机土匪在$T$轮的投标与一组不同的投标$m$ -元组，其中$m$是平台的数量的一组武器。我们修改了Badanidiyuru \emph{et al.,}中提出的算法，将其扩展到多平台的情况下，获得离散和连续出价空间的算法。也就是说，对于离散投标空间，我们给出了一个带遗憾的算法$O\left(OPT \sqrt {\frac{mn}{B} }+ \sqrt{mn OPT}\right)$，其中$OPT$是已知分布的最优算法的性能。对于连续的出价空间，我们的算法的遗憾是$\tilde{O}\left(m^{1/3} \cdot \min\left\{ B^{2/3}, (m T)^{2/3} \right\} \right)$。当限制到这种特殊情况时，这个界限在$OPT \ll T$体系中比Sankararaman和Slivkins更好，就像手头的特定应用中的情况一样。其次，我们显示了一个$ Ω\left (\sqrt {m OPT} \right)$的离散情况下的下限和一个$Ω\left( m^{1/3} B^{2/3}\right)$的连续设置的下限，几乎匹配的上限。最后，我们使用了一个来自一家拥有…
2021-03-25 cs.GT cs.LG
DARA: Few-shot Budget Allocation in Online Advertising via In-Context Decision Making with RL-Finetuned LLMs
Peking University（北京大学）；School of Computer Science（计算机科学学院）；Alibaba Group（阿里巴巴集团）；Theta Labs, Inc.（Theta Labs公司）
DARA通过结合LLMs的上下文学习与细粒度优化，实现在线广告中的少样本预算分配，提升广告商价值。
2026-01-21 cs.AI cs.LG
Online Uniform Sampling: Randomized Learning-Augmented Approximation Algorithms with Application to Digital Health
Duke-NUS Medical School（杜克-国大医学院）；Cornell Tech（康奈尔理工学院）；Texas A&M（德克萨斯农工大学）；Harvard University（哈佛大学）；Amazon（亚马逊公司）
本文针对数字健康场景中的在线均匀采样问题，提出首个随机算法及其学习增强版本，给出最坏情况近似保证，并通过合成实验与HeartSteps真实案例验证其优于已有启发式方法的平均性能。
2024-10-19 cs.LG math.OC
LBCF: A Large-Scale Budget-Constrained Causal Forest Algorithm
Kuaishou Inc.（快手公司）；University of Science and Technology of China（中国科学技术大学）
提供激励措施（例如，亚马逊的优惠券、优步的折扣和Tiktok的视频奖励）是在线平台提高用户参与度和平台收入的常用策略。尽管其有效性已被证明，但这些营销激励措施会产生不可避免的成本，如果使用不当，可能会导致低投资回报率（ROI）。另一方面，不同的用户对这些激励措施的反应不同，例如，一些用户从不购买没有优惠券的某些产品，而另一些用户则无论如何都会购买。因此，如何在预算约束下选择合适的激励（即治疗）给每个用户是一个重要的研究问题，具有很大的实际意义。在本文中，我们称这样的问题作为一个受约束的治疗选择（BTS）问题。挑战是如何有效地解决大规模数据集上的BTS问题，并实现比现有技术更好的结果。我们提出了一种新的基于树的预算约束下的治疗选择技术，称为大规模预算约束的因果森林（LBCF）算法，这也是一个有效的治疗选择算法适用于现代分布式计算系统。提出了一种新的离线评估方法，以克服在随机对照试验（RCT）数据中评估BTS问题解决方案性能的固有挑战。我们在一个大规模视频平台上的真实场景中部署了我们的方法，该平台提供奖金以增加用户的活动参与持续时间。仿真分析，离线和在线实验都表明，我们的方法优于各种基于树的最先进的基线。该方法目前正在为平台上的数亿用户提供服务，并在这几个月内实现了最巨大的改进之一。
2022-02-18 cs.IR cs.LG
QueryMarket: Cost-Aware Online Active Learning in Data Markets
Dyson School of Design Engineering, Imperial College London（帝国理工学院戴森设计工程学院）；Halfspace (part of Accenture)（埃森哲旗下Halfspace）；Technical University of Denmark (DTU Management)（丹麦技术大学（DTU管理系））；Aarhus University (CoRE)（奥胡斯大学（CoRE））
提出QueryMarket框架和OVBAL算法，通过D-最优性准则估计边际效用，在滚动预算约束下实现成本感知的在线主动学习，适应非平稳流和异构标签成本。
2026-06-17 cs.LG
Online Resource Allocation with Average Budget Constraints
Institute for Data, Systems, and Society（数据、系统与社会研究所）；Department of Civil and Environmental Engineering（土木与环境工程系）；Operations Research Center（运筹学中心）
针对平均预算约束的在线资源分配问题，提出带安全缓冲区的策略，将遗憾从Ω(√T)或Ω(T)降至O(ln²T)，并验证于纽约出租车数据。
2025-09-26 cs.LG math.OC math.PR
Online Learning in Budget-Constrained Dynamic Colonel Blotto Games
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文研究预算约束动态Colonel Blotto博弈中的在线资源分配问题，将其转化为有向图路径规划，结合组合老虎机与带背包的老虎机算法求解，理论证明遗憾值具次线性上界并经仿真验证。
2023-05-08 cs.GT cs.LG cs.MA
Near-Optimal Online Deployment and Routing for Streaming LLMs
Stony Brook University（史泰森布鲁克大学）
StageRoute算法通过优化部署和路由策略，在流式LLM管理中实现近最优的并发和成本控制。
2026-01-29 cs.AI cs.LG
Lazy OCO: Online Convex Optimization on a Switching Budget
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
本文研究遗忘对手设置下带切换次数预算的在线凸优化问题，提出对一般凸损失和强凸损失分别达到 O(T/S) 和 Õ(T/S^2) 遗憾界的高效算法，并给出匹配下界。
2023-09-17 cs.LG math.OC stat.ML
Optimal Delivery with Budget Constraint in E-Commerce Advertising
Alibaba Group（阿里巴巴集团）
电子商业平台中的在线广告为卖家提供了一个机会，以实现具有不同目标的潜在受众。将广告分配到页面的广告服务系统（如显示和搜索广告系统）应满足目标，例如品牌广告商的大量受众，基于性能的广告商的点击或转换，同时尝试最大化平台的整体收入。在本文中，我们提出了一种基于线性规划受约束的方法，以优化收入，同时提高不同的性能目标。通过在阿里巴巴电子商业平台上实现一个离线仿真系统，并在考虑系统性能、排名和定价模式的情况下运行在线请求的拍卖，验证了我们的算法。我们还将我们的算法与相关工作进行了比较，结果表明，我们的算法可以有效地提高活动的性能和平台的收入。
2019-10-08 cs.AI cs.LG stat.ML
Causal Inference Struggles with Agency on Online Platforms
University of California, Berkeley（加州大学伯克利分校）；Twitter（推特）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
在线平台定期进行随机实验，以了解平台的变化如何因果地影响各种感兴趣的结果。然而，在线平台上的实验一直受到批评，因为除其他问题外，缺乏有意义的监督和用户同意。随着平台为用户提供更大的代理权，可以进行观察性研究，其中用户自行选择感兴趣的治疗，作为平台控制用户是否接受治疗的实验的替代方案。在本文中，我们在Twitter上进行了四项大规模的研究内比较，旨在评估在线平台上用户自我选择的观察性研究的有效性。在研究内比较中，根据观察性研究如何有效复制相同目标人群的随机实验结果，评估观察性研究的治疗效果。我们测试组均值估计量、精确匹配、回归调整和治疗加权的逆概率的朴素差异，同时控制合理的混杂变量。在所有情况下，所有观察估计在从类似的随机实验中恢复地面实况估计方面表现不佳。除一种情况外，在所有情况下，观察估计值与随机估计值的符号相反。我们的研究结果表明，来自用户自我选择的观察性研究是在线平台上随机实验的糟糕替代方案。在讨论我们的研究结果时，我们假设了一个“第22条军规”，这表明在这些环境中因果推理的成功可能与为用户提供更大代理的原始动机不一致。
2022-05-10 cs.LG stat.AP
Budget-Constrained Causal Bandits: Bridging Uplift Modeling and Sequential Decision-Making
本文提出预算约束因果老虎机框架，解决冷启动场景下的广告分配问题，通过在线学习提升用户响应并优化预算分配，相较于传统方法更高效且稳定。
2026-08-31 cs.LG econ.EM stat.ML
Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning
University of Illinois at Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出首个针对在线深度强化学习的黑盒定向奖励投毒攻击，仅需有限预算和计算资源即可在未知环境中高效引导智能体达到目标策略，并在理论框架下证明了其最优性。
2023-05-18 cs.CR cs.LG
Online Budget Allocation with Censored Semi-Bandit Feedback
Institut universitaire de France（法国大学研究院）；University of Ottawa（渥太华大学）；Politecnico di Milano（米兰理工大学）
本文提出了一种在截断半带反馈下进行在线预算分配的算法，证明了其在递减回报情况下具有对数多项式遗憾，同时在一般情况下也达到了K√T的上界，并给出了匹配的下界。
2026-11-06 cs.GT cs.LG stat.ML
Online Stochastic Optimization with Wasserstein Based Non-stationarity
New York University（纽约大学）
我们考虑一个一般的在线随机优化问题，多个预算约束在有限的时间段内的地平线。在每个时间段内，揭示了一个奖励函数和多个成本函数，决策者需要从凸和紧凑的行动集中指定一个行动，以收集奖励并消耗预算。每个成本函数对应于一个预算的消耗。在每个周期中，奖励和成本函数都是从一个未知的分布中得出的，这个分布在时间上是非平稳的。决策者的目标是在预算约束下最大化累积报酬。该公式涵盖了广泛的应用，包括在线线性规划和网络收入管理等。在本文中，我们考虑两种设置：（i）数据驱动的设置，其中真实分布是未知的，但先验估计（可能不准确）是可用的;（ii）无信息的设置，其中真实分布是完全未知的。我们提出了一个统一的Wasserstein距离为基础的措施，以量化的不准确性的先验估计设置（i）和非平稳的系统设置（ii）。我们表明，建议的措施导致一个次线性遗憾在这两种设置的可达性的充分必要条件。对于设置（i），我们提出了一个新的算法，它采取了原始-对偶的角度来看，并集成到一个在线的梯度下降过程中的对偶空间的潜在分布的先验信息。该算法也自然延伸到无信息的设置（ii）。在这两种情况下，我们证明了相应的算法实现了最优顺序的遗憾。在数值实验中，我们演示了如何将所提出的算法自然地与重新求解技术相结合，以进一步提高经验性能。
2022-07-25 cs.LG math.OC
Optimally Pacing Budget Spending and Learning
Princeton University（普林斯顿大学）；Google Research（谷歌研究院）
该研究针对对抗环境下预算约束在线学习问题，提出全信息算法，匹配已有下界，可扩展至在线资源分配，是首个能为相关任务实现o(√T)保证的算法。
2026-10-09 cs.GT cs.LG
Question-type Identification for Academic Questions in Online Learning Platform
Course Hero, Inc.（课程英雄公司）
在线学习平台提供学习材料，并由专家、同行或系统回答学生的学术问题。本文探讨了在线学习平台中的问题类型识别问题。问题类型标识符的目的是使用问题文本、主题和结构特征，根据问题类型的结构和复杂性对其进行分类。我们定义了12个问题类型类，包括多项选择题（MCQ）、短文等。我们编制了一个学生问题的内部数据集，并结合使用弱监督技术和手动注释。然后，我们在这个数据集上训练了一个基于BERT的集成模型，并在一个单独的人类标记的测试集上评估了这个模型。我们的实验产生了一个F1得分为0.94 MCQ二进制分类和12类多标签分类有希望的结果。我们在我们的在线学习平台中部署了该模型，作为内容理解的关键推动因素，以增强学生的学习体验。
2022-11-24 cs.AI cs.CL cs.LG
Trading Off Resource Budgets for Improved Regret Bounds
University of Oxford（牛津大学）
在这项工作中，我们考虑了一个变体的对抗性在线学习，在每一轮中，一个人从$N$武器中挑选$B$，并产生等于所选每个武器成本的$\textit{minimum}$的成本。我们提出了一个算法，称为跟随扰动多个领导者（FPML）这个问题，我们表明（通过适应Kalai和Vempala [2005]的技术）实现预期的遗憾$\mathcal{O}(T^{\frac{1}{B+1}}\ln(N)^{\frac{B}{B+1}})$在时间范围$T$相对于$\textit{single}$最好的手臂在事后。这引入了预算$B$和单最佳臂遗憾之间的权衡，并且我们继续研究这种权衡的几个应用。首先，我们观察到使用标准后悔最小化器作为子程序的算法有时可以通过用FPML替换这些子程序来适应，并且我们使用它来推广现有的在线子模块函数最大化算法[Streeter和Golovin，2008]在全反馈和半强盗反馈设置中。接下来，我们经验评估我们的新算法在线黑盒超参数优化问题。最后，我们展示了FPML如何导致线性规划的新算法，这些算法需要更强大的预言机，但却可以减少预言机的调用。
2022-10-11 cs.LG stat.ML
Fast Bounded Online Gradient Descent Algorithms for Scalable Kernel-Based Online Learning
Nanyang Technological University（南洋理工大学）；Michigan State University（密歇根州立大学）
基于内核的在线学习通常在许多在线学习任务中表现出最先进的性能。然而，它有一个主要的缺点，即支持向量的数量是无限的，这使得它不具有可扩展性，不适合大规模数据集的应用。在这项工作中，我们研究的问题，有界核为基础的在线学习，旨在限制支持向量的数量由一个预定义的预算。虽然在文献中已经提出了几种算法，它们既不是计算效率，由于其密集的预算维护策略，也不是有效的，由于使用简单的感知器算法。为了克服这些限制，我们提出了一个框架，有界核为基础的在线学习的基础上在线梯度下降的方法。我们提出了两个有效的算法有界在线梯度下降（BOGD）的可扩展的基于内核的在线学习：（i）BOGD通过维护支持向量使用均匀采样，和（ii）BOGD++通过维护支持向量使用非均匀采样。我们目前的理论分析的遗憾界的算法，并发现有前途的实证性能方面的功效和效率进行比较，几个著名的算法有界核为基础的在线学习大规模数据集。
2012-06-18 cs.LG stat.ML
Risk-Aware Bid Optimization for Online Display Advertisement
GERAD；HEC Montréal（蒙特利尔高等商学院）
本研究的重点是在实时竞价设置在线显示广告，其中的广告客户，或广告客户的代理人，有机会访问的网站访问者的功能和广告位的类型，以决定最佳的投标价格给定一个预定的总广告预算的出价优化问题。我们提出了一个风险感知的数据驱动的投标优化模型，利用历史数据设计前期的投标策略，将广告机会的类型映射到投标价格，并考虑在给定的时间段内违反预算约束的风险，从而最大限度地提高广告客户的预期利润。采用拉格朗日松弛后，我们推导出一个参数化的最优投标策略的封闭形式的表达。使用真实世界的数据集，我们证明了我们的风险规避方法可以有效地控制超支预算的风险，同时实现具有竞争力的利润水平相比，风险中性模型和最先进的数据驱动的风险感知投标方法。
2022-10-28 cs.GT cs.IR cs.LG
A Bandit Approach to Posterior Dialog Orchestration Under a Budget
IBM Research AI（IBM研究院人工智能部门）
构建多领域人工智能智能体是人工智能领域的一个具有挑战性的课题和开放性问题。在对话领域内，协调多个独立训练的对话代理或技能以创建统一系统的能力具有特别重要的意义。在这项工作中，我们研究的任务，在线后对话编排，我们定义后编排的任务，选择一个子集的技能，最适当地回答用户输入使用的功能，从用户输入和个人技能。为了解释与提取技能特征相关的各种成本，我们考虑在技能执行预算下的在线后编排。我们将此设置形式化为具有观察的上下文注意强盗（CABO），上下文注意强盗的变体，并在模拟的非会话和专有会话数据集上对其进行评估。
2019-06-22 cs.AI cs.CL cs.LG
