An Adaptable Budget Planner for Enhancing Budget-Constrained Auto-Bidding in Online Advertising
School of Computer Science, Peking University(北京大学计算机学院);Center on Frontiers of Computing Studies, Peking University(北京大学计算科学前沿中心);Alibaba Group(阿里巴巴集团)
本文提出少样本可适配预算规划器ABPlanner,通过分层竞价框架和上下文强化学习驱动的序贯决策,在不同广告主间快速调整预算分配,从而提升预算约束下自动竞价的累积价值。
2025-01-26 cs.GT cs.LG
Adapter-Augmented Bandits for Online Multi-Constrained Multi-Modal Inference Scheduling
School of Computer Science and Engineering, Sun Yat-sen University, Guangzhou, 510006, China.(中山大学计算机科学与工程学院);School of Computing, Macquarie University, NSW 2109, Australia(麦考瑞大学计算机学院)
M-CMAB通过多适配器增强框架,实现多模态任务调度中的多约束优化,提升推断效率和预算利用效率。
2026-03-06 cs.LG
Online Budgeted Learning for Classifier Induction
Ben Gurion University of the Negev(内盖夫本-古里安大学)
在现实世界的机器学习应用中,存在与不同特征的采样相关联的成本。迭代学习可以用来选择从数据集中的每个实例中获取哪些特征值,从而在给定的约束条件下导出最佳模型。然而,这种方法在在线学习领域中是不可能的,因为不能从过去的实例中追溯地获取特征值。在在线学习中,挑战是找到从数据流到达时从每个实例获取的最佳特征集。在本文中,我们介绍了在线预算学习的问题,并描述了一个总体框架,以应对这一挑战。我们提出了两种类型的特征值获取策略的基础上的多臂强盗问题:随机和自适应。自适应策略根据来自数据流的新信息执行在线调整,而随机策略对来自数据流的信息不敏感。我们对五个真实世界数据集的比较研究表明,对于大多数预算限制和数据集,自适应策略优于随机策略。此外,我们发现,在某些情况下,自适应的政策达到接近最优的结果。
2019-03-13 cs.AI cs.LG stat.ML
Online Sign Identification: Minimization of the Number of Errors in Thresholding Bandits
Univ. Lille(里尔大学);Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);Centrale Lille(里尔中央理工学校);UMR 9189 CRIStAL(CRIStAL联合研究单位);Univ. Grenoble Alpes(格勒诺布尔-阿尔卑斯大学);Grenoble INP(格勒诺布尔理工学院);LJK(LJK实验室);Crest(CREST研究中心);Ensae(法国国家统计与经济管理学院);Criteo AI Lab(Criteo人工智能实验室)
在固定预算阈值强盗问题中,算法顺序地将预算数量的样本分配到不同的分布。然后,它预测每个分布的平均值是大于还是小于给定的阈值。我们介绍了一个大家庭的算法(包含大多数现有的相关),灵感来自弗兰克-沃尔夫算法,并提供了一个全面而通用的分析其性能。这使我们能够构建新的显式算法,为广泛的一类问题,其损失是在一个小的常数因子的非自适应Oracle的。非常有趣的是,我们观察到自适应方法在经验上大大优于非自适应神谕,这在标准在线学习设置中是一种不常见的行为,例如后悔最小化。我们解释这个令人惊讶的现象上有见地的玩具问题。
2021-10-18 cs.LG
Online Learning with Cumulative Oversampling: Application to Budgeted Influence Maximization
Columbia University(哥伦比亚大学);Fudan University(复旦大学)
提出了一种用于在线学习的累积过采样方法。我们的主要思想是在每一轮中从更新的信念空间中对参数估计进行一次采样(类似于Thompson采样),并利用当前轮的累积样本来构建乐观的参数估计,这些参数估计渐近地集中在真实参数周围,与标准UCB方法构建的参数估计相比,置信上限更紧。我们将CO应用到一个新的预算变体的影响力最大化(IM)半土匪与线性推广的边缘权重,其离线问题是NP-难的。结合CO和我们为离线问题设计的预言机,我们的在线学习算法同时处理预算分配、参数学习和奖励最大化。我们表明,对于IM半土匪,我们的CO为基础的算法实现了规模的遗憾相比,基于UCB的算法在理论上,并在数值实验中表现与汤普森采样。
2020-09-16 cs.LG cs.SI stat.ML
Online and Offline Reinforcement Learning by Planning with a Learned Model
DeepMind
从少量数据中有效学习一直是基于模型的强化学习的重点,无论是在与环境交互时的在线情况下,还是在从固定数据集学习时的离线情况下。然而,到目前为止,没有一个统一的算法可以在这两种设置中展示最先进的结果。在这项工作中,我们描述了重新分析算法,该算法使用基于模型的策略和值改进算子来计算现有数据点上新的改进训练目标,从而可以有效地学习数据预算,这些数据预算变化了几个数量级。我们进一步表明,Reanalyse也可以用于完全从演示中学习,而无需任何环境交互,就像离线强化学习(离线RL)一样。结合Reanalyze和MuZero算法,我们引入了MuZero Unplugged,这是一个适用于任何数据预算的统一算法,包括离线RL。与以前的工作相比,我们的算法不需要对离线策略或离线RL设置进行任何特殊调整。MuZero Unplugged在RL Unplugged离线RL基准测试以及Atari的在线RL基准测试中以标准的2亿帧设置了新的最先进的结果。
2021-04-13 cs.LG
Understanding the Role of Feedback in Online Learning with Switching Costs
Virginia Tech(弗吉尼亚理工大学);Wayne State University(韦恩州立大学)
本文研究带切换成本的在线学习中反馈对遗憾值的影响,刻画了带额外观测的赌博机学习及总观测预算两种场景的极小极大遗憾值,提出通用算法框架实现匹配上界,揭示了反馈量与最优遗憾值的关联规律。
2023-06-16 cs.LG
No-regret Learning in Repeated First-Price Auctions with Budget Constraints
Peking University(北京大学);Zhejiang University(浙江大学);Shanghai Jiaotong University(上海交通大学)
最近,在线广告市场已经呈现出从第二价格拍卖到第一价格拍卖的逐渐转变。虽然已经有一系列的工作,关于网上投标策略在一价拍卖,它仍然是开放的,如何处理预算约束的问题。在本文中,我们提出了一个买家的预算学习在线投标策略在重复的第一价格拍卖。针对静态竞争下的最优非预期策略,提出了一种基于RL的竞价算法。我们的算法获得$\widetilde O(\sqrt T)$ -如果出价都在每轮结束时显示,则表示遗憾。在每轮投标后买方只能看到中标者的限制下,我们的改进算法利用生存分析的技术得到$\widetilde O(T^{\frac{7}{12}})$ -后悔。我们的分析扩展到更一般的情况下,买方有任何有界的瞬时效用函数的遗憾相同的顺序。
2022-05-29 cs.GT cs.LG
WISERouter: LLM Routing with Workload Budget Constraint
The University of British Columbia(英属哥伦比亚大学)
研究针对大规模使用LLMs成本高的问题,将LLM路由建模为约束上下文多臂老虎机问题,提出WISERouter框架,支持离线和在线学习。证明WR-Online有次线性遗憾界,实验表明WR-Offline性能超基线且更守预算,WR-Online用较少探索数据达可比性能。
2026-07-28 cs.AI cs.LG
DARA: Few-shot Budget Allocation in Online Advertising via In-Context Decision Making with RL-Finetuned LLMs
Peking University(北京大学);School of Computer Science(计算机科学学院);Alibaba Group(阿里巴巴集团);Theta Labs, Inc.(Theta Labs公司)
DARA通过结合LLMs的上下文学习与细粒度优化,实现在线广告中的少样本预算分配,提升广告商价值。
2026-01-21 cs.AI cs.LG
Near-Optimal Online Deployment and Routing for Streaming LLMs
Stony Brook University(史泰森布鲁克大学)
StageRoute算法通过优化部署和路由策略,在流式LLM管理中实现近最优的并发和成本控制。
2026-01-29 cs.AI cs.LG
Stochastic Bandits for Multi-platform Budget Optimization in Online Advertising
Facebook Core Data Science(Facebook核心数据科学部门);Sapienza University of Rome(罗马大学);Facebook AI Applied Research(Facebook人工智能应用研究部门)
我们研究的问题,一个在线广告系统,希望以最佳的方式花费广告客户的给定预算的活动在多个平台上,不知道的价值为显示广告的用户在这些平台上。我们模拟这个具有挑战性的实际应用作为一个背包问题的随机土匪在$T$轮的投标与一组不同的投标$m$ -元组,其中$m$是平台的数量的一组武器。我们修改了Badanidiyuru \emph{et al.,}中提出的算法,将其扩展到多平台的情况下,获得离散和连续出价空间的算法。也就是说,对于离散投标空间,我们给出了一个带遗憾的算法$O\left(OPT \sqrt {\frac{mn}{B} }+ \sqrt{mn OPT}\right)$,其中$OPT$是已知分布的最优算法的性能。对于连续的出价空间,我们的算法的遗憾是$\tilde{O}\left(m^{1/3} \cdot \min\left\{ B^{2/3}, (m T)^{2/3} \right\} \right)$。当限制到这种特殊情况时,这个界限在$OPT \ll T$体系中比Sankararaman和Slivkins更好,就像手头的特定应用中的情况一样。其次,我们显示了一个$ Ω\left (\sqrt {m OPT} \right)$的离散情况下的下限和一个$Ω\left( m^{1/3} B^{2/3}\right)$的连续设置的下限,几乎匹配的上限。最后,我们使用了一个来自一家拥有…
2021-03-25 cs.GT cs.LG
Black-Box Targeted Reward Poisoning Attack Against Online Deep Reinforcement Learning
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出首个针对在线深度强化学习的黑盒定向奖励投毒攻击,仅需有限预算和计算资源即可在未知环境中高效引导智能体达到目标策略,并在理论框架下证明了其最优性。
2023-05-18 cs.CR cs.LG
Active Offline-to-Online Reinforcement Learning
Virginia Commonwealth University(弗吉尼亚共同体大学);University of Virginia(弗吉尼亚大学)
研究离线到在线强化学习中有限交互预算下的主动策略选择问题,提出基于未来性能上置信界主动选策略微调的方法,经实验验证其优于现有基线,能更有效利用预算,推动离线强化学习在现实系统的实际部署。
2026-07-14 cs.AI cs.LG
Multi-Task Combinatorial Bandits for Budget Allocation
North Carolina State University(北卡罗来纳州立大学);Amazon(亚马逊)
本文将预算分配建模为多任务组合老虎机问题,提出融合贝叶斯层次模型、多种建模技术与汤普森采样的在线分配系统,并通过离线和在线实验验证其能有效最大化累计回报。
2024-08-31 cs.LG stat.ML
Budget-Constrained Causal Bandits: Bridging Uplift Modeling and Sequential Decision-Making
本文提出预算约束因果老虎机框架,解决冷启动场景下的广告分配问题,通过在线学习提升用户响应并优化预算分配,相较于传统方法更高效且稳定。
2026-08-31 cs.LG econ.EM stat.ML
A New Benchmark for Online Learning with Budget-Balancing Constraints
Princeton University(普林斯顿大学);Google Research(谷歌研究院)
针对对抗式背包老虎机问题现有经典基准无法实现无遗憾学习的问题,提出基于推土机距离(EMD)的新基准,证明满足EMD条件时可实现次线性遗憾,在窗口节奏特例下得到最优上下界。
2025-03-19 cs.GT cs.LG
Online Budget Allocation with Censored Semi-Bandit Feedback
Institut universitaire de France(法国大学研究院);University of Ottawa(渥太华大学);Politecnico di Milano(米兰理工大学)
本文提出了一种在截断半带反馈下进行在线预算分配的算法,证明了其在递减回报情况下具有对数多项式遗憾,同时在一般情况下也达到了K√T的上界,并给出了匹配的下界。
2026-11-06 cs.GT cs.LG stat.ML
Online Learning in Budget-Constrained Dynamic Colonel Blotto Games
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文研究预算约束动态Colonel Blotto博弈中的在线资源分配问题,将其转化为有向图路径规划,结合组合老虎机与带背包的老虎机算法求解,理论证明遗憾值具次线性上界并经仿真验证。
2023-05-08 cs.GT cs.LG cs.MA
A Query Is Not a Commitment: Learning to Correct Expert Answers in Online Deferral
National University of Singapore(新加坡国立大学);Toulouse INP(图卢兹国立理工学院);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院)
针对在线延迟决策中专家答案可能不准确的问题,提出ORUCB算法,通过共享和专家特定多项式响应及误差校准,实现高概率伪遗憾界,并在实验中降低成本。
2026-10-07 cs.LG stat.ML
A Bandit Approach to Posterior Dialog Orchestration Under a Budget
IBM Research AI(IBM研究院人工智能部门)
构建多领域人工智能智能体是人工智能领域的一个具有挑战性的课题和开放性问题。在对话领域内,协调多个独立训练的对话代理或技能以创建统一系统的能力具有特别重要的意义。在这项工作中,我们研究的任务,在线后对话编排,我们定义后编排的任务,选择一个子集的技能,最适当地回答用户输入使用的功能,从用户输入和个人技能。为了解释与提取技能特征相关的各种成本,我们考虑在技能执行预算下的在线后编排。我们将此设置形式化为具有观察的上下文注意强盗(CABO),上下文注意强盗的变体,并在模拟的非会话和专有会话数据集上对其进行评估。
2019-06-22 cs.AI cs.CL cs.LG
Multi-task Offline Reinforcement Learning for Online Advertising in Recommender Systems
Taobao \& Tmall Group of Alibaba City University of Hong Kong Hangzhou China;Southern University of Science;Technology, City University of Hong Kong Hong Kong China;City University of Hong Kong Hong Kong China;University of Queensland Brisbane Australia;Taobao \& Tmall Group of Alibaba Beijing China;Taobao \& Tmall Group of Alibaba City University of Hong Kong;Technology, City University of Hong Kong;City University of Hong Kong;University of Queensland;Taobao \& Tmall Group of Alibaba
针对在线广告中离线强化学习面临的过估计、分布偏移和预算约束问题,提出多任务离线RL模型MTORL,结合因果状态编码与多任务学习,实现渠道推荐和预算分配,实验证明其优越性。
2025-07-09 cs.IR cs.LG
How to Spend Your Robot Time: Bridging Kickstarting and Offline Reinforcement Learning for Vision-based Robotic Manipulation
DeepMind(深度思维)
强化学习(RL)已被证明是有效的学习控制经验。然而,RL通常需要与环境进行大量的在线交互。这限制了它对现实世界的适用性,例如在机器人技术中,这种交互是昂贵的。在这项工作中,我们研究的方法,以尽量减少在线互动的目标任务,通过重用一个次优的政策,我们可能会访问,例如从相关的先前任务的培训,或在模拟。为此,我们开发了两种RL算法,不仅可以使用教师策略的动作分布,还可以使用这些策略在手头任务上收集的数据来加快训练速度。我们进行了一个彻底的实验研究,如何使用次优教师在一个具有挑战性的机器人操作基准基于视觉的堆叠与不同的对象。我们将我们的方法与离线,在线,离线到在线和kickstarting RL算法进行比较。通过这样做,我们发现,对教师和学生的数据进行训练,可以在有限的数据预算下实现最佳性能。我们研究如何最好地分配有限的数据预算-目标任务-教师和学生之间的政策,并报告实验使用不同的预算,两个教师不同程度的次优,和五个堆叠任务,需要一套不同的行为。我们在模拟和现实世界中的分析表明,我们的方法在数据预算中是最好的,而当提供足够的数据时,教师推出的标准离线RL是令人惊讶的有效。
2022-05-06 cs.LG cs.RO
Combinatorial Bandits under Strategic Manipulations
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shanghai Jiao Tong University(上海交通大学)
针对顺序学习方法的策略行为,例如在实际推荐系统中的“点击框架”,已经被广泛观察到。这种行为的动机,我们研究的组合多武装土匪(CMAB)的策略操纵下的奖励,其中每个手臂可以修改自己的利益发出的奖励信号的问题。对抗行为的这种特征是对先前研究得很好的设置(例如对抗攻击和对抗腐败)的放松。本文提出了一种组合UCB算法的策略变体,在策略操作下,该算法的遗憾最多为$O(m\log T + m B_{max})$,其中$T$为时间范围,$m$为臂数,$B_{max}$为臂的最大预算,并给出了该算法产生一定遗憾的臂预算下限.大量的实验在线工人选择众包系统,在线影响力最大化和在线建议与合成和真实的数据集证实了我们的理论研究结果的鲁棒性和遗憾的界限,在各种制度的操纵预算。
2021-11-19 cs.AI cs.LG
HiBid: A Cross-Channel Constrained Bidding System with Budget Allocation by Hierarchical Offline Deep Reinforcement Learning
School of Computer Science and Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院);Meituan(美团);Institute for Advanced Algorithms Research(先进算法研究院)
HiBid提出分层离线深度强化学习框架,实现跨渠道预算分配与自适应竞价,满足CPC约束,并在大规模数据和在线测试中优于六个基线,已部署于美团平台。
2024-08-20 cs.GT cs.LG
Multi-layered Network Exploration via Random Walks: From Offline Optimization to Online Learning
The Chinese University of Hong Kong(香港中文大学);Carnegie Mellon University(卡内基梅隆大学);Bytedance(字节跳动);Microsoft Research(微软研究院)
多层网络探测(MuLaNE)问题是从许多应用中抽象出来的一个重要问题。在MuLaNE中,有多个网络层,每个节点都有一个重要性权重,每个层都通过随机游走进行探索。MuLaNE任务是将总随机游走预算$B$分配到每个网络层,使得随机游走访问的唯一节点的总权重最大化。我们从离线优化到在线学习系统地研究了这个问题。对于离线优化设置的网络结构和节点的权重是已知的,我们提供了基于贪婪的常数比近似算法重叠的网络,和贪婪或基于动态规划的最优解非重叠的网络。对于在线学习设置,最初既不知道网络结构也不知道节点权重。我们采用组合多臂强盗框架和设计算法学习随机游走相关参数和节点权重,同时优化多轮预算分配,并证明他们达到对数遗憾界。最后,我们在真实世界的社交网络数据集上进行实验,以验证我们的理论结果。
2021-06-09 cs.AI cs.LG
ParetoBandit: Budget-Paced Adaptive Routing for Non-Stationary LLM Serving
Independent Researcher(独立研究者)
ParetoBandit提出一种基于成本感知上下文老虎机的自适应路由方法,解决非平稳环境下LLM服务的预算控制与在线适应问题,实现高质量与低成本的平衡。
2026-04-14 cs.CL cs.LG
Blocked Collaborative Bandits: Online Collaborative Filtering with Per-Item Budget Constraints
Google Research(谷歌研究院)
针对带单臂预算约束的分块协同老虎机问题,提出B-LATTICE算法,通过分阶段聚类与组内协同学习,在合理假设下取得首个次线性遗憾界,实验性能优于基线方法。
2023-10-31 cs.IR cs.LG stat.ML
Adaptive Rollout Allocation for Online Reinforcement Learning with Verifiable Rewards
The Chinese University of Hong Kong(香港中文大学);Huawei Hong Kong Research Center(华为香港研究中心)
VIP通过基于方差的预测分配策略提高在线强化学习中可验证奖励的采样效率和性能。
2026-03-05 cs.AI cs.CL cs.LG
To Defer or Not to Defer? Online Learning with LLMs and Congested Experts
KTH Royal Institute of Technology(瑞典皇家理工学院)
该研究针对结合LLM与拥塞专家的在线决策问题,提出KL-PBD算法,通过Kullback-Leibler下置信界指导延迟决策,在合成与真实问答数据集上验证了其最优遗憾性能。
2026-10-14 cs.AI cs.LG
Online Changepoint Detection on a Budget
Splunk
变点是底层数据分布的突变。检测数据流中的变化是许多应用的重要问题。在本文中,我们感兴趣的变化点检测算法,在这个意义上,它的存储要求和最坏情况下的计算复杂性每个观察是独立的以前的意见的数量在一个在线设置。我们提出了一个在线的单变量和多变量数据的变点检测算法相比,毫不逊色,离线变点检测算法,同时也在严格的约束计算模型。此外,我们提出了一个简单的在线超参数自动调整技术,这些算法。
2022-01-11 cs.LG
Budgeted Online Active Learning with Expert Advice and Episodic Priors
Oregon State University(俄勒冈州立大学);Washington State University(华盛顿州立大学)
本文针对标签预算极少的有限时域数据流,提出一种同时利用专家预测器和情景行为先验的预算在线主动学习方法,并在农业模拟与真实葡萄数据上验证其显著优于现有基线。
2025-06-03 cs.LG
Budget Online Multiple Kernel Learning
School of Information Systems(信息系统学院);Singapore Management University(新加坡管理大学);Institute for Infocomm Research (I2R)(资讯通信研究院(I2R));A*STAR(新加坡科技研究局)
多核在线学习近年来得到了越来越多的关注,并得到了广泛的应用。对于分类任务,在线多核分类(OMKC),它学习基于核的分类器,通过寻求最佳的线性组合池的单核分类器在在线的时尚,实现了优越的精度和享有极大的灵活性相比,传统的单核分类器。尽管被广泛研究,现有的OMKC算法遭受高的计算成本,由于其无限数量的支持向量。为了克服这个缺点,我们提出了一个新的预算在线多核学习(BOMKL)的框架,并提出了一个新的稀疏被动积极学习执行有效的预算在线学习。具体来说,我们采用了一个简单而有效的Bernoulli采样来决定是否应该将传入的实例添加到当前的支持向量集。通过限制支持向量的数量,我们的方法可以显着加快OMKC,同时保持令人满意的精度,是现有的OMKC算法相媲美。我们从理论上证明了我们的新方法达到了预期的最佳遗憾界,并实证发现,该算法优于各种OMKC算法,可以很容易地扩展到大规模数据集。
2015-11-18 cs.LG
Hidden Representation Clustering with Multi-Task Representation Learning towards Robust Online Budget Allocation
Meituan Beijing, China(美团北京)
本文提出一种基于多任务表示学习和隐表示聚类的在线预算分配方法,将大规模个体分组并建模为整数随机规划问题,在美团平台实验中显著优于现有算法。
2025-06-01 cs.LG
BARA: Efficient Incentive Mechanism with Online Reward Budget Allocation in Cross-Silo Federated Learning
Sun Yat-sen University(中山大学);Macquarie University(麦考瑞大学)
本文针对跨机构联邦学习中奖励预算跨轮次分配难题,提出基于贝叶斯优化的在线算法BARA,通过建模预算分配与模型精度关系动态优化各轮预算,结合逆向拍卖机制,在同等预算下显著提升了模型效用。
2023-05-16 cs.LG
An Empirical Study on Budget-Aware Online Kernel Algorithms for Streams of Graphs
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学);University of Padova(帕多瓦大学)
核方法被认为是一种有效的在线学习技术。许多方法已经被开发用于当问题施加存储器约束时表示核方法的对偶解决方案的压缩。然而,在文献中没有工作是专门针对流的图形。出于这样一个事实,即许多国家的最先进的图形内核的特征空间表示的大小是相对较小的,因此它是明确可计算的,我们研究是否执行内核算法在特征空间中可以更有效地比经典的对偶方法。我们研究了三种不同的算法和各种战略的预算管理。所提出的方法的效率和功效进行了实验评估相对较大的图形流表现出概念漂移。事实证明,当必须强制执行严格的内存预算约束时,考虑到图内核的当前技术水平,在特征空间中工作不仅仅是双重方法的可行替代方案,无论是在速度还是分类性能方面。
2016-07-20 cs.LG
Memory Constraint Online Multitask Classification
Università degli Studi di Milano(米兰大学)
我们调查在线内核算法,同时处理多个分类任务,而一个固定的约束施加在其活动集的大小。我们特别关注的算法设计,可以有效地处理任务的数量是非常高的,任务数据是大规模的问题。引入了两种新的基于投影的算法,以有效地解决这些问题,同时提出了不同的权衡如何管理可用的内存相对于先验信息的学习任务。通过将随机预算感知器和Forgetron算法与多任务内核耦合,设计了理论上合理的预算算法。我们展示了如何从多个任务中学习和保持恒定的内存足迹这两个看似对立的属性可以平衡,以及如何自动照顾不同任务之间的可用空间共享。我们提出并讨论了多任务内核的新见解。实验表明,在线内核多任务算法运行在预算可以有效地解决现实世界中的学习问题,涉及多个任务。
2012-10-01 cs.LG
Budgeted Online Model Selection and Fine-Tuning via Federated Learning
University of California Irvine(加州大学尔湾分校)
针对边缘设备内存受限问题,提出服务器存储全部候选模型、客户端仅存子集并协作微调的在线联邦模型选择框架,证明其次线性遗憾并通过真实数据集验证有效性。
2024-01-19 cs.LG
Ahpatron: A New Budgeted Online Kernel Learning Machine with Tighter Mistake Bound
College of Intelligence and Computing, Tianjin University(天津大学智能与计算学院)
针对预算在线核学习的错误界问题,提出新型模型Ahpatron,通过基于主动更新感知机AVP的半样本移除投影预算维护机制,实现更紧错误界,性能在同或更小预算下优于现有最优算法。
2023-12-12 cs.LG stat.ML
Information-Theoretic Foundations of Online Temperature Sampling
Purdue University(普渡大学)
针对LLM解码的重复退化问题,该研究提出熵在线采样(EOS)方法,在信息论框架下解决在线温度采样的最优策略问题,其性能在$\log n$因子内达到最优,且实验表现优于固定温度采样。
2026-10-14 cs.LG
Budgeted Online Influence Maximization
Adobe Research(Adobe研究院);Inria Lille(Inria里尔分校);DeepMind(深度Mind)
本文提出一种新的预算化框架,考虑广告活动的总成本而非传统选择影响者集合的基数约束。通过独立级联扩散模型和边级半带反馈,提出算法并提供理论和实验结果,改进了基数约束下的后悔界。
2026-04-21 cs.LG stat.ML
QueryMarket: Cost-Aware Online Active Learning in Data Markets
Dyson School of Design Engineering, Imperial College London(帝国理工学院戴森设计工程学院);Halfspace (part of Accenture)(埃森哲旗下Halfspace);Technical University of Denmark (DTU Management)(丹麦技术大学(DTU管理系));Aarhus University (CoRE)(奥胡斯大学(CoRE))
提出QueryMarket框架和OVBAL算法,通过D-最优性准则估计边际效用,在滚动预算约束下实现成本感知的在线主动学习,适应非平稳流和异构标签成本。
2026-06-17 cs.LG
Near-Optimal Experimental Design Under the Budget Constraint in Online Platforms
Peking University(北京大学);Purdue University(普渡大学);Zhejiang University(浙江大学);Tencent Technology (Shenzhen) Co., Ltd.(腾讯科技(深圳)有限公司)
A/B测试或受控实验是在在线平台上因果比较算法性能的金标准方法。然而,传统的伯努利随机化在A/B测试面临着许多挑战,如溢出和结转效应。我们的研究重点是另一个挑战,特别是对于双边平台上的A/B测试-预算限制。双边平台上的买家通常预算有限,传统的A/B测试可能无法应用,部分原因是两种分配算法可能会冲突,如果同时实施,可能会导致一些买家超出预算。我们开发了一个模型来描述买家预算有限的双边平台。然后,我们提供了一个最佳的实验设计,保证小偏差和最小方差。当有更多的预算和更高的供求率时,偏差更低。我们在合成数据和真实数据上测试了我们的实验设计,验证了理论结果,并显示了我们与Bernoulli随机化相比的优势。
2023-02-10 cs.LG cs.PF
An End-to-End Framework for Marketing Effectiveness Optimization under Budget Constraint
Kuaishou Inc(快手公司)
在线平台通常激励消费者提高用户参与度和平台收入。由于不同的消费者可能会对激励措施做出不同的反应,因此个人层面的预算分配是营销活动中的一项重要任务。在这一领域的最新进展往往解决预算分配问题,使用两个阶段的范例:第一阶段估计个人水平的治疗效果,使用因果推理算法,第二阶段调用整数规划技术,以找到最佳的预算分配解决方案。由于这两个阶段的目标可能并不完全一致,这样的两阶段模式可能会损害整体营销效果。在本文中,我们提出了一种新的端到端的框架,直接优化预算约束下的业务目标。我们的核心思想是构造一个正则化器来表示营销目标,并使用梯度估计技术有效地优化它。因此,所获得的模型可以直接和精确地学习最大化营销目标。我们广泛评估我们提出的方法在离线和在线实验,实验结果表明,我们的方法优于当前国家的最先进的方法。我们提出的方法目前已被部署用于为短视频平台上的数亿用户分配营销预算,并实现了显着的业务目标改进。我们的代码将公开。
2023-02-09 cs.LG
Competitive Algorithms for Online Budget-Constrained Continuous DR-Submodular Problems
University of Washington(华盛顿大学);Tetration Analytics, Cisco Systems, Inc.(思科系统公司Tetration Analytics部门)
在本文中,我们研究了一类在线最优化问题,其中的目标是最大化一个函数,不一定是凹的,并满足递减收益(DR)的预算约束下的性质。我们分析了一个原始对偶法,称为广义序列算法,我们得到的竞争比的第一界的在线单调DR-次模函数最大化的线性包装约束下匹配的特殊情况下的线性目标函数紧界。
2019-06-30 cs.LG math.OC stat.ML
Real Time Bid Optimization with Smooth Budget Delivery in Online Advertising
Turn Inc(Turn公司)
如今,每天都有数十亿的展示广告展示通过实时的竞价(RTB)交易所主办的公开拍卖进行购买。广告商必须在毫秒内做出决定,为每个选定的RTB广告请求提交出价。受预算限制,目标是购买一组广告展示,以达到尽可能多的目标用户。广告主特定的期望动作(转换)包括购买产品、填写表格、注册电子邮件等。此外,广告主通常更喜欢随着时间的推移平稳地花费他们的预算,以便在一天中接触到更广泛的受众,并产生可持续的影响。然而,由于转换很少发生,并且发生反馈通常延迟,因此同时实现预算和性能目标非常具有挑战性。在本文中,我们提出了一种在线方法,以顺利交付预算,同时优化转换性能。我们的算法试图选择高质量的印象,并调整投标价格的基础上,在一个自适应的方式,通过分配预算最佳跨时间的先验性能分布。我们从真实的广告活动的实验结果表明,我们所提出的方法的有效性。
2013-05-14 cs.GT cs.LG
Learning-Assisted Algorithm Unrolling for Online Optimization with Budget Constraints
University of California, Riverside(加州大学河滨分校)
多预算约束的在线优化是具有挑战性的,因为在短时间内的在线决策是由严格的库存约束耦合在一起的。现有的人工设计的算法不能达到令人满意的平均性能,因为他们往往需要大量的时间步长收敛和/或可能违反库存约束。在本文中,我们提出了一种新的机器学习(ML)辅助展开方法,称为LAAU(学习辅助算法展开),它展开在线决策管道,并利用ML模型在线更新拉格朗日乘子。为了通过反向传播进行有效的训练,我们推导出决策管道随时间的梯度。我们还提供了两种情况下的平均成本界限时,训练数据离线和在线收集,分别。最后,我们提出了数值结果,以强调LAAU可以优于现有的基线。
2023-03-07 cs.AI cs.LG math.OC
Safe and Efficient Online Convex Optimization with Linear Budget Constraints and Partial Feedback
Research Institute of China Electronics Technology Group(中国电子科技集团公司研究所);School of Information Science and Technology(信息科学与技术学院);ShanghaiTech University(上海科技大学)
本文研究未知线性预算约束下的在线凸优化问题,提出安全高效的Lyapunov优化算法SELO,实现$O(\sqrt{T})$遗憾与零累积约束违反,计算高效并在分布式数据中心应用中验证有效。
2025-03-07 cs.LG math.OC
Online Continuous DR-Submodular Maximization with Long-Term Budget Constraints
University of Washington(华盛顿大学)
在本文中,我们研究了一类具有长期预算约束的在线优化问题,其中目标函数不一定是凹的(也不一定是凸的),但它们满足递减收益(DR)性质。具体地,单调DR-子模块目标函数$\{f_t(x)\}_{t=1}^T$和单调线性预算函数$\{\langle p_t,x \rangle \}_{t=1}^T$的序列随时间到达,并且假设总目标预算$B_T$,目标是在每个时间$t\in\{1,\dots,T\}$选择点$x_t$,而不知道该步骤上的$f_t$和$p_t$,以实现次线性遗憾界限,同时总预算违反$\sum_{t=1}^T \langle p_t,x_t \rangle -B_T$也是次线性的。先前的工作表明,实现次线性后悔是不可能的,如果预算功能选择相反。因此,我们修改的概念,遗憾的代理人对$(1-\frac{1}{e})$ -近似的最佳固定的决定,在事后,满足预算约束成比例的任何窗口长度$W$。我们提出了在线鞍点混合梯度(OSPHG)算法来解决这类在线问题。对于$W=T$,我们恢复了上述不可能结果。然而,当$W=o(T)$,我们表明,它是可能的,以获得次线性界限为$(1-\frac{1}{e})$ -遗憾和总预算违反。
2019-06-30 cs.LG math.OC stat.ML
Online Budgeted Matching with General Bids
University of Houston(休斯顿大学);University of California, Riverside(加州大学河滨分校);California Institute of Technology(加州理工学院)
本文研究了一般出价下的在线预算匹配问题,移除了分数最后匹配假设,提出了元算法MetaAd,实现了由最大出价预算比参数化的可证明竞争比,并扩展至学习增强算法设计。
2024-11-14 cs.DM cs.GT cs.LG
HALO: Hindsight-Augmented Learning for Online Auto-Bidding
针对多约束竞价中传统自动竞价方案样本低效且泛化受限的问题,提出HALO框架,通过后见机制重定向轨迹以复用探索数据,并结合B样条函数表示实现跨约束空间的连续出价映射,有效提升了多尺度约束下的适应性与GMV。
2025-08-08 cs.LG
Online Adaptive Asymmetric Active Learning with Limited Budgets
South China University of Technology(华南理工大学);Tencent AI Lab(腾讯人工智能实验室)
在线主动学习(OAL)通过有选择地查询数据的标签来管理未标记的数据流。OAL适用于许多现实问题,如医疗保健和金融领域的异常检测。在这些问题中,有两个关键的挑战:查询预算往往是有限的,类之间的比例是高度不平衡的。在实践中,当只有有限的标签预算可以查询用于训练时,处理不平衡的未标记数据流是相当困难的。为了解决这个问题,以前的OAL研究采用非对称损失或查询(一个孤立的非对称策略)来解决不平衡,并使用一阶方法来优化成本敏感的措施。然而,孤立策略限制了它们在类不平衡中的性能,而一阶方法限制了它们的优化性能。在本文中,我们提出了一种新的在线自适应非对称主动学习算法,基于一种新的非对称策略(合并非对称损失和查询策略),和二阶优化。从理论上分析了它的错误界和代价敏感度量界。此外,为了更好地平衡性能和效率,我们通过草图技术增强了我们的算法,这大大加快了计算速度,性能略有下降。实验结果表明了所提方法的有效性和高效性。
2019-11-18 cs.LG stat.ML
Adapt Only When It Pays: Budgeted Decision-Loss Priority for Delayed Online Time-Series Adaptation
Xibai Wang(王希拜)
提出ADOWIP框架,通过决策损失优先级门控在反馈到达时选择性更新,在有限预算下降低决策损失,并在公共数据集上验证有效性。
2026-06-25 cs.AI cs.LG
When and What to Teach: Budget-Aware Online Adaptation for Web Agents
University of Electronic Science and Technology of China(电子科技大学);Institute of Software Chinese Academy of Sciences(中国科学院软件研究所)
针对Web智能体在线部署中教学成本高的问题,提出预算感知框架,通过可解性门控和分数引导回合选择,在保持性能的同时大幅降低教师调用和训练计算。
2026-09-09 cs.AI cs.CV cs.LG