Online Learning via Offline Greedy Algorithms: Applications in Market Design and Optimization
Chicago Booth School of Business（芝加哥大学布斯商学院）；MIT Sloan School of Management（麻省理工学院斯隆管理学院）；Google Research（谷歌研究院）
在线决策的动机在时变组合环境中，我们研究的问题，离线算法转换到他们的在线同行。我们专注于离线组合的问题，是服从一个常数因子近似使用贪心算法，是强大的本地错误。对于这样的问题，我们提供了一个通用的框架，有效地将离线强大的贪心算法在线使用Blackwell逼近。我们表明，由此产生的在线算法有$O(\sqrt{T})$（近似）遗憾下的充分信息设置。我们进一步介绍了一个强盗扩展的Blackwell可接近性，我们称之为强盗Blackwell可接近性。我们利用这个概念，将贪婪的强大的离线算法转化为$O(T^{2/3})$（近似）的遗憾，在强盗设置。展示了我们的框架的灵活性，我们将我们的离线到在线的转换应用于收入管理，市场设计和在线优化的交叉点上的几个问题，包括在线平台中的产品排名优化，拍卖中的底价优化和子模块最大化。我们还扩展我们的减少贪婪的连续优化中使用的一阶方法，如用于最大化连续强DR单调子模函数凸约束。我们表明，我们的变换，当应用到这些应用程序中，导致新的遗憾界或改善目前已知的界限。我们补充我们的理论研究进行数值模拟我们的两个应用程序，在这两个我们观察到，我们的转换的数值性能优于理论保证在实际情况下。
2023-02-04 cs.DS cs.GT cs.LG
Complete Policy Regret Bounds for Tallying Bandits
Carnegie Mellon University（卡内基梅隆大学）
策略后悔是衡量在线学习算法对自适应对手的性能的一个很好的概念。我们研究了对对手的限制，这些限制可以有效地最小化\emph{complete policy regret}，这是政策遗憾的最强可能版本。我们确定了一个差距，在目前的理论理解，什么样的限制允许在这个具有挑战性的设置的易处理性。为了解决这个差距，我们考虑一个推广的随机多臂强盗，我们称之为\emph{tallying bandit}。这是一个在线学习设置，具有$m$ -内存限制对手，其中播放动作的平均损失是最后一个$m$时间步中播放该动作的次数（或计数）的未知函数。为了计算具有$K$动作和时间范围$T$的强盗问题，我们提供了一个算法，w.h.p实现了$\tilde{\mathcal{O}}(mK\sqrt{T})$的完全策略后悔保证，其中$\tilde{\mathcal{O}}$符号仅隐藏对数因子。此外，我们证明了$\tildeΩ(\sqrt{m K T})$下界的任何清点强盗算法的预期完整的政策遗憾，证明了我们的方法的近最优性。
2022-04-24 cs.AI cs.LG stat.ML
Robust No-Regret Learning in Min-Max Stackelberg Games
Brown University（布朗大学）；Pomona College（波莫纳学院）
无遗憾学习算法的行为在两个玩家的最小-最大（即零和）游戏中得到了很好的理解。本文研究了具有依赖策略集的最小-最大博弈中的无悔学习行为，其中第一个局中人的策略约束第二个局中人的行为。这种游戏最好理解为顺序游戏，即，最小最大Stackelberg，游戏。我们考虑两种设置，一种是只有第一个玩家使用无遗憾算法选择他们的行动，而第二个玩家最好的反应，另一种是两个玩家都使用无遗憾算法。对于前一种情况下，我们表明，无悔动力学收敛到Stackelberg均衡。对于后者的情况下，我们引入了一种新的类型的遗憾，我们称之为拉格朗日遗憾，并表明，如果双方球员最大限度地减少他们的拉格朗日遗憾，然后发挥收敛到Stackelberg均衡。然后，我们观察到这两种设置中的在线镜像下降（OMD）动态分别对应于已知的嵌套（即，顺序）梯度下降-上升（GDA）算法和一个新的同步GDA类算法，从而建立这些算法的收敛到Stackelberg平衡。最后，我们分析了OMD动态的鲁棒性扰动调查在线最小-最大Stackelberg游戏。我们证明了OMD动力学是强大的一个大类的在线最小最大游戏独立的策略集。在依赖的情况下，我们证明了OMD动态的鲁棒性实验模拟他们在网上费舍尔市场，一个典型的例子，一个最小-最大的Stackelberg游戏依赖的策略集。
2022-04-13 cs.GT cs.LG econ.TH
Logarithmic Regret in Feature-based Dynamic Pricing
University of California, Santa Barbara（加州大学圣巴巴拉分校）
基于库存的动态定价是一种越来越流行的为高度差异化的产品定价的模型，其应用于数字营销、在线销售、房地产等。该问题被正式研究为在线学习问题[Javanmard & Nazerzadeh，2019年]其中卖方需要基于$x$的特征为一系列$T$产品即时提出价格，同时有一点遗憾相对于最好的-“无所不知”-定价策略，她可以想出事后。我们重新审视这个问题，并提供了两个算法（EMLP和ONSP）的随机和对抗性的功能设置，分别，并证明了最佳的$O(d\log{T})$遗憾界。相比之下，最好的现有结果分别是$O\left(\min\left\{\frac{1}{λ_{\min}^2}\log{T}, \sqrt{T}\right\}\right)$和$O(T^{2/3})$，其中$λ_{\min}$是$\mathbb{E}[xx^T]$的最小特征值，可以任意接近$0$。我们还证明了一个$Ω(\sqrt{T})$信息理论的下限稍微更一般的设置，这表明，“知道的需求曲线”导致指数改善功能为基础的动态定价。
2021-10-25 cs.LG econ.EM stat.ML
Cost-Sensitive Online Window Size Selection for Portfolio Management
National Tsing Hua University（国立清华大学）
本文提出一个两层框架，通过在线学习动态聚合候选窗口大小的投资组合，并推导成本敏感跟踪遗憾界，以应对市场变化。
2026-09-29 cs.LG math.OC q-fin.PM
Tight Regret Bounds for Bilateral Trade under Semi Feedback
Hong Kong University of Science and Technology（香港科技大学）
本文提出一种$\widetilde{O}(T^{2 / 3})$的懊悔机制，解决了GBB半反馈固定价格机制在对抗性价值下的紧懊悔界问题。
2026-01-23 cs.GT cs.LG
Markets with Heterogeneous Agents: Dynamics and Survival of Bayesian vs. No-Regret Learners
Cornell University（康奈尔大学）
研究比较贝叶斯学习者与无遗憾学习者在资产市场中的表现，探讨其生存条件及市场主导因素，提出混合策略提升鲁棒性与适应性。
2026-05-01 cs.AI cs.GT cs.MA
Learn to Match with No Regret: Reinforcement Learning in Markov Matching Markets
Northwestern University（西北大学）；Yale University（耶鲁大学）；University of California, Berkeley（加州大学伯克利分校）
我们研究了一个马尔可夫匹配市场，涉及一个计划者和一组战略代理人在市场的两侧。在每一步，代理都会呈现一个动态上下文，其中上下文决定实用程序。规划者控制情境的转换以最大化累积的社会福利，而智能体的目标是在每一步都找到一个短视的稳定匹配。这样的设置涵盖了包括拼车平台在内的一系列应用。我们正式提出了一个强化学习框架，集成了最大权重匹配的乐观值迭代的问题。该算法解决了顺序探索，匹配稳定性和函数逼近的耦合挑战。我们证明了该算法实现次线性遗憾。
2022-03-07 cs.AI cs.GT cs.LG
Dynamic Regret via Discounted-to-Dynamic Reduction with Applications to Curved Losses and Adam Optimizer
National Key Laboratory for Novel Software Technology（新型软件技术国家实验室）；School of Artificial Intelligence（人工智能学院）；University of Washington（华盛顿大学）
本文通过折扣到动态的还原方法，改进了FTRL相关问题的动态后悔界，并应用于曲面损失和Adam优化器，获得了非凸非光滑设置下的最优收敛速率。
2026-09-30 cs.LG math.OC
A Competition-based Pricing Strategy in Cloud Markets using Regret Minimization Techniques
Amirkabir University of Technology（阿米尔卡比尔理工大学）
本文将云提供商竞争建模为不完全信息博弈，提出基于遗憾最小化算法的定价策略，通过迭代更新策略概率加速遗憾收敛，实验证明其能显著提升利润并改善投资回报率。
2023-09-20 cs.AI cs.GT
Towards a Dimension-Free Understanding of Adaptive Linear Control
University of California, Berkeley（加州大学伯克利分校）；Microsoft Research（微软研究院）
研究了高维甚至无穷维系统的线性二次型调节器的适应控制问题。我们证明，虽然次线性遗憾需要有限维输入，系统的环境状态维数不需要有界，以进行在线控制。我们提供了第一个遗憾的界限LQR持有无限维系统，取代依赖于环境尺寸与更自然的概念问题的复杂性。我们的保证产生于一种新的扰动界的确定性等价的规模与预测误差估计系统参数，而不需要一致的参数恢复更严格的措施，如运营商规范。当专门有限维设置，我们的界限恢复附近的最佳尺寸和时间范围的依赖。
2021-07-15 cs.LG math.OC stat.ML
Risk and Regret of Hierarchical Bayesian Learners
MIT（麻省理工学院）
通常的统计实践表明，贝叶斯方法的全部功能在使用分层先验之前是无法实现的，因为这些先验允许更大的“鲁棒性”和“共享统计强度”的能力。“然而，这是一个持续的挑战，提供一个学习理论上健全的形式主义的概念，这些概念：提供有关何时以及如何最好地利用分层模型的实际指导;提供洞察什么是一个良好的分层先验;并且，当先验的形式已经选择，可以指导超参数设置的选择。我们提出了一套分析工具，用于理解在线和批处理学习设置中的分层先验。我们提供了遗憾的界限下的对数损失，这表明某些层次模型比较，在回顾中，最好的单一模型的模型类。我们还展示了如何转换贝叶斯日志损失的遗憾界到贝叶斯风险界的任何有界损失，结果可能是独立的利益。Student的$t$和分层高斯先验的风险和后悔界限允许我们形式化“鲁棒性”和“共享统计强度”的概念。“也研究了特征选择的先验。我们的研究结果表明，使用分层先验的学习理论的好处往往可以在实际问题上的成本很小。
2015-05-19 cs.LG stat.ML
Between Stochastic and Adversarial Online Convex Optimization: Improved Regret Bounds via Smoothness
University of Amsterdam（阿姆斯特丹大学）；Korteweg-de Vries Institute for Mathematics（科尔特韦格-德弗里斯数学研究所）；University of Twente（特文特大学）；Pontificia Universidad Católica de Chile（智利天主教大学）
随机数据和对抗数据是在线学习中被广泛研究的两种环境。但许多优化任务既不是独立同分布的。也不是完全敌对的，这使得它的根本利益，以获得更好的理论理解之间的世界这两个极端。在这项工作中，我们建立了新的遗憾界在线凸优化的设置，随机i.i.d.之间插值。和完全对抗性的损失通过利用预期损失的平滑性，这些界限用梯度的方差代替了对最大梯度长度的依赖性，这在以前只针对线性损失是已知的。另外，他们削弱了i.i.d.假设，例如，允许敌对中毒轮，这是以前考虑在专家和土匪设置。我们的结果扩展到在线凸优化框架。在完整的身份证上。在这种情况下，我们的边界匹配随机加速结果的预期速率，并且在完全对抗的情况下，它们优雅地恶化以匹配极小极大遗憾。我们还提供了下限表明，我们的遗憾上限是紧的随机方差和对抗性变化的损失梯度的所有中间制度。
2022-06-08 cs.LG math.OC stat.ML
Collaborative Linear Bandits with Adversarial Agents: Near-Optimal Regret Bounds
University of Pennsylvania（宾夕法尼亚大学）
我们考虑一个线性随机强盗问题，涉及$M$代理，可以通过一个中央服务器合作，以尽量减少遗憾。这些代理人中的一小部分$α$是敌对的，可以任意行事，导致以下紧张局势：虽然合作可以潜在地减少遗憾，但它也可以破坏学习过程。在这项工作中，我们提供了一个基本的理解，这种紧张局势，通过精心构建的强大的置信区间，通过设计新的算法，平衡的勘探开发权衡。我们还补充我们的算法与严密的分析。首先，我们开发了一个强大的协作阶段消除算法，实现$\tilde{O}\left(α+ 1/\sqrt{M}\right) \sqrt{dT}$后悔每个好的代理，在这里，$d$是模型维和$T$是地平线。对于小的$α$，我们的结果因此揭示了一个明确的好处，尽管对手的合作。使用信息理论的参数，然后，我们证明了一个匹配的下限，从而提供了第一套紧密的，接近最优的遗憾界限合作线性土匪与对手。此外，通过利用高维鲁棒统计的最新进展，我们将我们的算法思想和结果显著扩展到（i）允许非线性观察图的广义线性Bandit模型;以及（ii）允许时变特征向量的上下文Bandit设置。
2022-06-06 cs.LG cs.MA cs.SY
Perishability of Data: Dynamic Pricing under Varying-Coefficient Models
University of Southern California（南加州大学）
我们考虑的是一家以在线方式向客户销售大量产品的公司。每个产品都由一个高维特征向量描述，并且产品的市场价值被假设为在其特征值中是线性的。估值模式的参数为未知，并可能随时间而改变。公司顺序观察产品的特征，并可以使用历史销售数据（二进制销售/无销售反馈）来设置当前产品的价格，目的是最大化所收集的收入。我们通过后悔来衡量动态定价策略的性能，后悔是与预先知道模型参数序列的千里眼相比的预期收入损失。我们提出了一个定价策略的基础上，预计随机梯度下降（PSGD）和其遗憾的时间$T$，功能维度$d$，和时间的变化模型参数，$δ_t$。我们考虑两种设置。在第一个模型中，特征向量的选择具有对抗性，我们证明了PSGD定价策略的后悔性是$O(\sqrt{T} + \sum_{t=1}^T \sqrt{t}δ_t)$阶的。在第二种设置（称为随机特征模型）中，特征向量独立于未知分布绘制。我们证明了在这种情况下，PSGD定价策略的后悔是$O(d^2 \log T + \sum_{t=1}^T tδ_t/d)$阶的。
2017-04-24 cs.GT cs.LG stat.ML
Fast and Furious Learning in Zero-Sum Games: Vanishing Regret with Non-Vanishing Step Sizes
Singapore University of Technology and Design（新加坡科技设计大学）
据我们所知，我们第一次证明，在零和游戏的在线学习中，有可能调和两个看似矛盾的目标：消失的时间平均后悔和非消失的步长。这种现象，我们在游戏中创造了“快速而激烈”的学习，为最大最小优化和多智能体系统的可能性设定了一个新的基准。我们的分析并不依赖于引入一个精心定制的动态。相反，我们专注于最好的研究在线动态，梯度下降。同样，我们专注于最简单的教科书游戏类，两个代理两个策略零和游戏，如匹配便士。即使对于这个最简单的基准测试，在我们的工作之前，最著名的完全后悔的界限是$O(T)$的平凡界限，它甚至可以直接应用于非学习代理。基于对对偶空间中非平衡轨迹几何的严格理解，我们证明了$Θ(\sqrt{T})$的遗憾界与在线设置中自适应步长的众所周知的最佳界相匹配。这一保证适用于所有固定步长，而不必提前知道时间范围并相应地调整固定步长。作为一个推论，我们建立，即使有固定的学习率的时间平均的混合策略，效用收敛到其确切的纳什均衡值。
2019-05-11 cs.GT cs.LG cs.MA
Two-Sided Time-Independent Regret for Matching Markets with Limited Interviews
University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特分校）
针对面试次数有限的匹配市场，提出利用面试作为提示进行双面学习，并通过策略性延迟纠正早期错误，实现与时间无关的遗憾界。
2026-05-23 cs.AI cs.GT econ.TH
Learning Performance of Prediction Markets with Kelly Bettors
IBM Research（IBM研究院）；Yahoo! Research（雅虎研究院）
在评估预测市场（和其他群体预测机制）时，研究人员反复观察到所谓的“群体智慧”效应，大致意思是参与者的平均表现要比参与者的平均表现好得多。市场价格--在本文中，我们提出了一个更强烈的问题：市场价格如何与最佳交易者的信念相比较，而不仅仅是平均交易者。我们衡量市场最坏情况下的日志遗憾，这是机器学习理论中常见的概念。为了得到一个有意义的答案，我们需要对交易者的行为做出一些假设。我们假设每个交易者都根据凯利准则进行优化，这是一种可证明的策略，可以在一系列（无限）市场互动中最大化财富的复合增长。我们展示了几个后果。首先，市场预测是个体参与者信念的财富加权平均值。第二，市场以最优速率学习，市场价格的反应就像是根据贝叶斯定律更新，市场预测对最佳个体参与者的最坏情况下的日志遗憾很低。我们模拟了一系列的市场存在一个潜在的真实概率，表明市场收敛到真正的目标频率，如果更新贝塔分布，理论预测。如果代理人采用分数凯利标准，一个常见的实际变体，我们表明，代理人的行为就像全凯利代理人的信念之间加权自己和市场的，市场价格收敛到一个时间折扣的频率。我们的分析为分数凯利投注提供了一个新的理由，这是一种因特殊原因而在实践中广泛使用的策略。最后，我们提出了一种方法，一个代理学习她自己的最佳凯利分数。
2012-01-31 cs.AI q-fin.GN
Decentralized, Communication- and Coordination-free Learning in Structured Matching Markets
University of California Berkeley（加州大学伯克利分校）；Caltech（加州理工学院）
本文研究了双边匹配市场下竞争环境下的在线学习问题。特别是，市场的一方，代理商，必须了解他们的偏好，通过反复的互动，同时与其他代理商竞争成功的匹配。我们提出了一类分散的，通信和协调的免费算法，代理可以使用它来达到他们的稳定匹配结构化匹配市场。与以前的作品相比，所提出的算法仅根据代理人自己的游戏历史做出决策，不需要预先知道公司的偏好。我们的算法是通过分裂学习一个人的偏好，从嘈杂的观察，从竞争的公司的问题的统计问题。我们表明，根据现实的结构性假设的代理人和公司的基本偏好，所提出的算法招致的遗憾，增长在时间范围内的最grammically。我们的研究结果表明，在匹配市场的情况下，竞争不需要急剧影响分散的，通信和协调自由的在线学习算法的性能。
2022-06-06 cs.AI cs.LG cs.MA
Regret Minimization in Population Network Games: Vanishing Heterogeneity and Convergence to Equilibria
School of Mechanical Engineering, Northwestern Polytechnical University（西北工业大学机械工程学院）；Department of Computing, Hong Kong Polytechnic University（香港理工大学计算机学院）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；School of Statistics and Mathematics, Yunnan University of Finance and Economics（云南财经大学统计与数学学院）；School of Artificial Intelligence, Optics and Electronics (iOPEN), Northwestern Polytechnical University（西北工业大学人工智能、光学与电子学院（iOPEN））；School of Cybersecurity, Northwestern Polytechnical University（西北工业大学网络安全学院）
本文用遗憾概率分布与连续性方程分析平滑遗憾匹配，证明大规模异质多智能体的遗憾方差会衰减并形成共识，从而在竞争与合作场景中收敛至量子响应均衡。
2025-07-23 cs.AI cs.GT cs.MA
When Life Gives You AI, Will You Turn It Into A Market for Lemons? Understanding How Information Asymmetries About AI System Capabilities Affect Market Outcomes and Adoption
University of Göttingen（哥廷根大学）；University of Cagliari（卡利阿里大学）；Delft University of Technology（代尔夫特理工大学）；Columbia University（哥伦比亚大学）
本文通过实验证明信息不对称对AI系统采用的负面影响，并探讨部分披露设计如何提升决策效率。
2026-01-29 cs.AI cs.HC
StakeBench: Evaluating Language Understanding Grounded in Market Commitment
University of Bristol（布里斯托大学）
提出StakeBench框架，通过将市场评论与可验证的交易记录关联，从市场行为中自动生成监督信号，评估语言模型对市场承诺的理解能力。
2026-05-25 cs.AI cs.CL q-fin.GN
