Dynamic Assortment Selection and Pricing with Censored Preference Feedback
Seoul National University(首尔大学)
研究动态多产品选择与定价问题,提出基于截断多项Logit(C-MNL)模型的框架,结合LCB定价与UCB或TS选择策略,实现有界遗憾并经仿真验证有效。
2025-04-03 cs.LG stat.ML
Learning Thresholds with Latent Values and Censored Feedback
Peking University(北京大学);Harvard University(哈佛大学);Yale University(耶鲁大学);Google Research(谷歌研究院)
研究删失反馈下的潜在空间主动阈值学习,刻画其查询复杂度,并扩展至在线学习,给出紧遗憾界。
2023-12-07 cs.GT cs.LG
Multi-Armed Bandits with Censored Consumption of Resources
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
我们考虑经典多臂强盗问题的资源感知变体:在每一轮中,学习者选择一个手臂并确定资源限制。然后,只要消耗的资源(随机)量保持低于限制,它就会观察到相应的(随机)奖励。否则,观测被删失,即,没有获得任何奖励。对于这个问题的设置,我们引入了一个措施的遗憾,它结合了实际分配的资源,每个学习轮以及最优的可实现的奖励。因此,为了最小化遗憾,学习者需要设置资源限制并以这样的方式选择手臂,即在预定义的资源限制内实现高奖励的机会很高,而资源限制本身应保持尽可能低。我们提出了一个UCB启发的在线学习算法,我们从理论上分析了其遗憾上限。在模拟研究中,我们表明,我们的学习算法优于标准的多臂强盗算法的直接扩展。
2022-10-17 cs.LG stat.ML
Resource-Adaptive Primal-Dual Learning for One-Warehouse Multi-Store Systems with Censored Demand
School of Management, Fudan University(复旦大学管理学院)
针对带删失需求的单仓库多门店系统,提出资源自适应原始对偶学习框架,获对数级预期悔值,优于现有策略,且经数值实验验证性能良好。
2026-08-17 cs.LG math.OC
Curating Always-Loaded Context for LLM Agents: A Capacitated Assortment Model with Censored Feedback
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Georgia Institute of Technology(佐治亚理工学院);Saint Louis University(圣路易斯大学)
本研究将LLM智能体的上下文策划建模为带删失反馈的容量约束assortment问题,证明最优文件规模上界等结论,发现追加指令或不如选最优子集,还验证无关规则会降低语言模型合规性。
2026-10-09 cs.AI cs.LG math.OC
In-Context Learning for Data-Driven Censored Inventory Control
Julius-Maximilians-Universität Würzburg(乌尔姆-马克斯·普朗克大学);Zaragoza Logistics Center(萨拉戈萨物流中心);National University of Singapore(新加坡国立大学)
本文提出ICGPS方法,结合生成模型与上下文自回归生成,通过学习潜在需求完成来解决决策依赖的censored新svendor问题,理论证明其贝叶斯遗憾可被控制,并在实际应用中表现优异。
2026-05-14 cs.LG math.OC stat.ML
Learn to Allocate Resources in Vehicular Networks
Shaanxi Normal University(陕西师范大学);Georgia Institute of Technology(佐治亚理工学院)
资源分配对车联网(V2X)网络的性能有着直接而深远的影响。考虑到车辆环境的动态特性,设计一种分散的策略来执行有效的资源共享是很有吸引力的。在本文中,我们利用深度学习来促进多辆车之间的协调,并提出了一种混合架构,包括集中式决策和分布式资源共享,以最大限度地提高所有车辆的长期总和率。为了减少网络信令开销,每个车辆使用深度神经网络来压缩其自己的观测信息,该观测信息随后被反馈回集中式决策单元,该决策单元采用深度Q网络来分配资源,然后将决策结果发送到所有车辆。我们还为每个车辆采用了一个量化层,它学习对连续反馈进行量化。大量的仿真结果表明,所提出的混合架构可以达到接近最佳的性能。同时,连续反馈和二进制反馈分别存在一个最优数目。此外,该结构对不同的反馈间隔、输入噪声和反馈噪声具有鲁棒性。
2019-07-30 cs.IT cs.LG cs.NI
Learn to Compress CSI and Allocate Resources in Vehicular Networks
Shaanxi Normal University(陕西师范大学);Georgia Institute of Technology(佐治亚理工学院)
资源分配对车联网(V2X)网络的性能有着直接而深远的影响。在本文中,我们开发了一种混合体系结构,包括集中式决策和分布式资源共享(C-决策方案),以最大限度地提高所有车辆的长期总和率。为了减少网络信令开销,每辆车都使用深度神经网络来压缩其观察到的信息,然后将其反馈给集中式决策单元。集中式决策单元采用深度Q网络分配资源,然后将决策结果发送给所有车辆。我们还为每个车辆采用了一个量化层,它学习对连续反馈进行量化。此外,我们设计了一种机制来平衡车辆到车辆(V2 V)链路和车辆到基础设施(V2 I)链路的传输。为了进一步促进分布式频谱共享,我们还为每个V2 V链路提出了分布式决策和频谱共享架构(D-Decision方案)。通过大量的仿真结果,我们表明,建议的C-决策和D-决策方案都可以达到接近最优的性能,是强大的反馈间隔的变化,输入噪声和反馈噪声。
2019-08-12 cs.LG eess.SP
Combinatorial Multi-armed Bandits for Resource Allocation
Carnegie Mellon University(卡内基梅隆大学)
我们研究的顺序资源分配问题,决策者反复分配资源之间的预算。激励性示例包括将有限的计算时间或无线频谱带分配给多个用户(即,资源)。在每一个时间步,决策者应该在不同的资源之间分配其可用的预算,以最大限度地提高预期回报,或等价地减少累积的遗憾。在这样做时,决策者应该从每个用户收到的奖励的反馈中了解为每个用户分配的资源的价值。例如,用户可以通过无线频谱带发送不同紧急程度的消息;通过向用户分配频谱而生成的奖励则取决于消息的紧急程度。我们假设每个用户的奖励遵循一个最初未知的随机过程。我们设计了组合多臂强盗算法来解决这个问题,离散或连续的预算。我们证明了所提出的算法实现对数遗憾下半强盗反馈。
2021-05-10 cs.LG stat.ML
Learning Competitive Equilibria in Exchange Economies with Bandit Feedback
University of California, Berkeley(加州大学伯克利分校)
多个理性主体共享稀缺资源是经济学中的经典问题之一。在用来模拟这种情况的交换经济中,代理人从最初的资源禀赋开始,以互利的方式交换资源,直到达到竞争均衡(CE)。在CE上的分配是帕累托有效和公平的。因此,它们被广泛用于设计公平分配机制。然而,计算CE需要代理偏好的知识,这是未知的几个感兴趣的应用程序。在这项工作中,我们探索了一种新的在线学习机制,在每一轮,分配资源的代理和收集随机反馈他们的经验,在使用该分配。它的目标是通过这种反馈来学习代理效用,并从长远来看模仿CE的分配。我们量化CE行为通过两个损失,并提出了一个随机算法,实现次线性损失下的参数类的公用事业。经验上,我们通过数值模拟证明了这种机制的有效性。
2022-02-21 cs.LG
Deep Page-Level Interest Network in Reinforcement Learning for Ads Allocation
Meituan(美团);Tsinghua University(清华大学)
广告和有机项目的混合列表通常显示在饲料中,如何分配有限的插槽,以最大限度地提高整体收入是一个关键问题。同时,用历史行为对用户偏好进行建模在推荐和广告中是必不可少的(例如,CTR预测和广告分配)。大多数先前的用户行为建模工作仅对用户的历史点级正反馈(即,点击),忽略了页面级信息的反馈和其他类型的反馈。为此,我们提出了深度页面级兴趣网络(DPIN)来建模页面级用户偏好,并利用多种类型的反馈。具体而言,我们引入了四种不同类型的页面级反馈作为输入,并通过多通道交互模块捕获用户在不同感受野下对项目排列的偏好。通过在美团外卖平台上进行大量的线下和线上实验,我们证明了DPIN可以有效地建模页面级别的用户偏好,并增加平台的收入。
2022-04-01 cs.LG
CERO: Where and When to Allocate Rollouts for RL Post-Training
Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学)
CERO提出在线原始-对偶调度器,在强化学习后训练中动态分配有限回放预算,通过凹效用与Fenchel表示优化提示准入和预算节奏,在数学推理基准上取得最优平均性能。
2026-10-08 cs.AI cs.LG
Nearly Tight Bounds for Cross-Learning Contextual Bandits with Graphical Feedback
School of Data Science Fudan University(复旦大学数据科学学院)
研究具有图形反馈的交叉学习上下文博弈,在遗忘对抗损失模型下,针对强可观测图给出肯定答案,算法通过隔离无自环动作、悲观校正等实现\(\widetilde O(\sqrt{\alpha T})\)期望遗憾,实验展示相关好处及缩放。
2026-07-28 cs.LG
No Bidding, No Regret: Pairwise-Feedback Mechanisms for Digital Goods and Data Auctions
Stanford(斯坦福大学)
针对效用售后揭示、生产成本高的数据与数字商品重复拍卖,提出基于成对比较和 epsilon-greedy 的无出价反馈机制,并证明其真实性、个体理性及福利收入最优。
2023-06-02 cs.AI cs.GT cs.LG
Extreme bandits
Statistical Laboratory, CMS University of Cambridge(统计实验室,计算机科学与应用数学系,剑桥大学);SequeL team INRIA Lille - Nord Europe(SequeL团队,法国国家信息与自动化研究所里尔-北欧洲研究中心)
本文研究在有限反馈下如何高效分配资源检测极端值,提出ExtremeHunter算法并进行实验证明其有效性。
2026-04-27 cs.LG stat.ML
Online Market Making and the Value of Observing the Order Book
Politecnico di Milano(米兰理工大学)
本文研究了在线市场做市问题,其中学习者在与持有私人估值的交易者交互时,依次发布买入和卖出价格。与现有在线学习公式假设完全截断反馈不同,我们引入了受真实限价簿启发的动作依赖反馈模型。我们证明,这种额外信息从根本上改变了问题的学习性。在随机设置中,我们提出了一种消除算法,以高概率达到O(√T)的遗憾,而无需对交易者估值分布的光滑性做出任何假设。然后我们将这一结果扩展到广泛的均值回归价格过程中,考虑了局部自回归动态和基于累积偏离均值的较弱全局漂移条件。在任一假设下,我们建立了高概率O(√T)的遗憾界,依赖于一个新的有趣的集中不等式。最后,在对抗性设置中,我们设计了探索后扰动算法,保证了期望O(T^{2/3})的遗憾。
2026-05-19 cs.LG stat.ML
Where Should RL Post-Training Compute Go? Model Size, Search, Learning, and Feedback
Technische Universität Berlin(柏林工业大学)
研究强化学习训练后计算资源分配问题,引入浮点运算核算框架,通过LoRA适配的Qwen2.5策略发现条件分配前沿,揭示模型选择与训练分配关联及奖励系统对核算影响,提出RACE协议,建议相关论文报告总浮点运算及计算分配方式。
2026-07-16 cs.CL cs.LG
Allocating Divisible Resources on Arms with Unknown and Random Rewards
University of Toronto Mississauga(多伦多大学密西沙加分校);University of Toronto(多伦多大学);Shanghai University of Finance and Economics(上海财经大学)
研究未知随机奖励下的可分资源分配问题,构建衔接多臂老虎机与全反馈学习的框架,提出两种达最优悔度界的算法并发现b=1/2处的相变,推导支撑理论的新型集中不等式。
2023-11-03 cs.LG math.ST stat.ML
Universal Auto-encoder Framework for MIMO CSI Feedback
Samsung Semiconductor Inc.(三星半导体公司)
针对 MIMO CSI 反馈中天线数和资源块变化导致 AE 输入输出尺寸不一的问题,提出支持多尺寸和多压缩率的通用自编码器框架,在降低硬件复杂度的同时保持相当的率失真性能。
2024-03-01 cs.AI cs.IT cs.LG
Cascaded Algorithm-Selection and Hyper-Parameter Optimization with Extreme-Region Upper Confidence Bound Bandit
Nanjing University(南京大学)
自动机器学习(AutoML)任务是同时选择最佳算法及其超参数。以往算法的超参数都是联合在一个单一的搜索空间中,由于超参数的很多维度与所选算法无关,不仅空间庞大而且冗余。在本文中,我们提出了一个级联的方法,算法选择和超参数优化。在超参数优化的层次上采用搜索过程,而在算法选择的层次上运行基于搜索反馈分配预算的强盗策略。由于强盗需要选择具有最大性能的算法,而不是平均性能,因此,我们提出了极值区域置信上限(ER-UCB)策略,该策略侧重于底层反馈分布的极值区域。我们从理论上证明了ER-UCB在独立反馈下有一个后悔上界$O\left(K \ln n\right)$,它和经典的UCB bandit一样有效。我们还对一个合成问题以及一组AutoML任务进行了实验。结果验证了该方法的有效性。
2019-05-31 cs.LG stat.ML
Optimal No-regret Learning in Repeated First-price Auctions
Center for Data Science, New York University(纽约大学数据科学中心);Stern School of Business, New York University(纽约大学斯特恩商学院);Department of Electrical Engineering, Stanford University(斯坦福大学电气工程系)
针对重复第一价格拍卖中仅能观测中标价的审查式反馈问题,提出基于偏序上下文老虎机的框架及结合收益函数的样本高效算法,分别在随机和对抗私有估值场景下取得近似最优悔界。
2024-03-04 cs.GT cs.IT cs.LG
BARA: Efficient Incentive Mechanism with Online Reward Budget Allocation in Cross-Silo Federated Learning
Sun Yat-sen University(中山大学);Macquarie University(麦考瑞大学)
本文针对跨机构联邦学习中奖励预算跨轮次分配难题,提出基于贝叶斯优化的在线算法BARA,通过建模预算分配与模型精度关系动态优化各轮预算,结合逆向拍卖机制,在同等预算下显著提升了模型效用。
2023-05-16 cs.LG
Fair Algorithms for Learning in Allocation Problems
University of Pennsylvania(宾夕法尼亚大学)
贷款和监管等设置可以通过集中代理在几个组之间分配资源(贷款或警察)来建模,以最大化某些目标(偿还贷款或逮捕罪犯)。在这类问题中,公平性往往也是一个问题。基于机会平等的一般原则,一个自然的公平概念要求,以个人作为资源的候选人为条件,实际获得资源的概率近似独立于个人的群体。在贷款方面,这意味着不同种族群体中同样信誉良好的个人获得贷款的机会大致相同。在警务方面,这意味着两个人在不同地区犯下同样的罪行,被逮捕的机会大致相同。我们正式提出这种公平的概念分配问题,并调查其算法的后果。我们的主要技术成果包括一种高效的学习算法,即使每个组中候选人(信誉良好的个人或犯罪分子)的频率未知,该算法也会收敛到最佳公平分配。该算法运行在一个审查反馈模型,其中只有候选人的数量谁收到的资源在一个给定的分配可以观察到,而不是候选人的真实数量。这表明,如果一个地区的警察人数很少,我们既不了解我们不提供贷款的个人的信誉,也不了解所犯下的罪行。作为我们的框架的应用程序,我们认为预测警务问题。学习算法是根据前几天从自己的部署中收集的逮捕数据进行训练的,这导致了一个潜在的反馈回路,我们的算法可以证明克服这个反馈回路。我们实证研究了我们的算法在费城犯罪事件数据集上的性能。
2018-11-14 cs.LG stat.ML
FASE : A Fairness-Aware Spatiotemporal Event Graph Framework for Predictive Policing
Department of Information Systems University of Maryland, Baltimore County(信息系统系马里兰大学巴尔的摩分校);Department of Statistics Jagannath University(统计系贾甘纳思大学);MBBS Shaheed M. Monsur Ali Medical College(谢赫莫纳斯尔阿里医学院)
FASE框架整合时空犯罪预测与公平性约束的巡逻分配,通过闭环反馈模拟器减少数据偏见对种族差异的放大效应。
2026-04-22 cs.AI cs.LG
Think Before You Duel: Understanding Complexities of Preference Learning under Constrained Resources
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);TTIC(丰田技术研究所)
本文研究资源约束下的决斗式老虎机奖励最大化问题,指出其因反馈相对性而更难且不可学习,并提出一种基于EXP3的算法,实现了$\tilde{\mathcal{O}}(OPT^{(b)}/B \cdot K^{1/3}T^{2/3})$遗憾,并通过模拟验证有效性。
2023-12-28 cs.LG stat.ML
Stochastic Network Utility Maximization with Unknown Utilities: Multi-Armed Bandits Approach
Indian Institute of Technology Bombay(印度理工学院孟买分校)
在本文中,我们研究了一个新的随机网络效用最大化(NUM)问题,其中代理的效用是未知的。每个代理的效用取决于它从网络运营商/控制器接收的资源量。运营商希望进行使网络的预期总效用最大化的资源分配。我们考虑阈值类型的效用函数,其中每个代理获得非零效用,如果它收到的资源量高于一定的阈值。否则,其效用为零(硬实时)。我们把这个NUM设置与未知的效用作为一个遗憾最小化问题。我们的目标是确定一个政策,执行作为一个Oracle的政策,知道代理的实用程序。我们将这个问题设置为一个强盗设置,在每一轮中获得的反馈取决于分配给代理的资源。我们提出了这种新的设置使用多播放多武装土匪和组合半土匪的想法算法。我们表明,该算法是最优的,当所有代理具有相同的效用。我们通过数值实验验证了我们提出的算法的性能保证。
2020-06-17 cs.LG cs.NI stat.ML
Adaptive Reinforcement Learning for Dynamic Configuration Allocation in Pre-Production Testing
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出一种将配置分配重构为序列决策问题的强化学习框架,首次结合Q学习与混合奖励设计,并开发自适应在线-离线训练方案,在模拟中优于静态基线,接近最优性能。
2025-10-02 cs.LG cs.SE stat.ML
OptPO: Optimal Rollout Allocation for Test-time Policy Optimization
Department of Computing, The Hong Kong Polytechnic University(香港理工大学计算机系);Department of Computer Science, Sichuan University(四川大学计算机学院)
OptPO通过自适应分配推理预算,结合贝叶斯序列概率比率检验实现测试时间策略优化,减少回放开销并提高准确性。
2025-12-02 cs.AI cs.CL cs.LG