Online variants of the cross-entropy method
Istvan Szita, Andras Lorincz
交叉熵法是一种简单而有效的全局优化方法。在本文中，我们提供了两个在线变种的基本CEM，连同收敛性证明。
The cross-entropy method is a simple but efficient method for global optimization. In this paper we provide two online variants of the basic CEM, together with a proof of convergence.
机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。
继续探索
Protected Test-Time Adaptation via Online Entropy Matching: A Betting Approach
针对测试时分布偏移问题，提出结合投注鞅检测与在线熵匹配的自训练适应框架，并基于最优传输构建自监督损失，提升偏移场景下准确率且保持无偏移时的校准性能。
Assign Experiment Variants at Scale in Online Controlled Experiments
在线控制实验（A/B测试）已经成为了解科技公司新产品功能影响的黄金标准。随机化使得能够从A/B检验中推断因果关系。随机分配将最终用户映射到实验桶，并在组之间平衡用户特征。因此，实验可以将实验组之间的任何结果差异归因于实验下的产品特征。技术公司大规模地运行A/B测试--同时进行数百甚至数千个A/B测试，每个测试都有数百万用户。大规模对随机化提出了独特的挑战。首先，随机分配必须快速，因为实验服务每秒接收数十万个查询。其次，变量赋值必须在实验之间独立。第三，当用户重新访问或实验招募更多用户时，分配必须一致。我们提出了一种新的分配算法和统计检验来验证随机分配。我们的结果表明，不仅是该算法的计算速度快，但也满足统计要求-无偏和独立。
Drift, Then Spread: Learning One-Step Generative Policies for Online Reinforcement Learning
针对在线强化学习中生成策略采样代价高的问题，提出单步生成策略DriftSpread，其在MuJoCo上的聚合归一化回报最高，且训练与推理效率优于扩散、流类基线方法。
Improving Offline-to-Online Reinforcement Learning with Q Conditioned State Entropy Exploration
针对离线到在线强化学习中的分布偏移问题，提出Q条件状态熵（QCSE）作为内在奖励，通过最大化状态熵并隐式实现状态边际匹配，提升在线微调性能，实验显示在CQL和Cal-QL上分别提升约13%和8%。
An Online Prediction Algorithm for Reinforcement Learning with Linear Function Approximation using Cross Entropy Method
在本文中，我们提供了两个新的稳定的在线算法的预测问题的强化学习，\emph{i.e.}，估计的价值函数的无模型马尔可夫奖励过程使用线性函数逼近架构和内存和计算成本的规模平方的特征集。该算法采用多时标随机近似变量的非常流行的交叉熵（CE）优化方法，这是一个基于模型的搜索方法，找到一个真正的价值函数的全局最优。使用ODE方法的算法的收敛性的证明。我们补充我们的理论结果与实验比较。该算法在许多RL基准问题上取得了良好的性能，在计算效率，准确性和稳定性方面相当一致。
Retrieval-Augmented Memory for Online Learning
RAM-OL通过结合检索增强的记忆机制，提升在线学习在概念漂移场景下的准确性和鲁棒性。
Max-Entropy Reinforcement Learning with Flow Matching and A Case Study on LQR
本文提出了一种基于流模型的SAC变体，通过重要性采样流匹配技术提升策略更新效率，并在LQR问题中验证了其学习最优动作分布的能力。
Information-Theoretic Foundations of Online Temperature Sampling
针对LLM解码的重复退化问题，该研究提出熵在线采样（EOS）方法，在信息论框架下解决在线温度采样的最优策略问题，其性能在$\log n$因子内达到最优，且实验表现优于固定温度采样。
Continual Test-Time Adaptation via Entropy Sensitivity-Guidance in Strict Online Setting
本文提出SEGA方法，用于严格在线持续测试时适应，通过结构化擦除探测熵变化以协调恢复与样本选择，在多数据集上提升了鲁棒性与稳定性并减少反向传播次数。
Learning-Augmented Algorithms for Online TSP on the Line
我们研究了在线旅行商问题（TSP）与机器学习的预测线上增强。在经典问题中，有一个请求流随着时间的推移沿着实数线释放。目标是最小化算法的最大完工时间。我们区分了开放变量和封闭变量，在封闭变量中，我们还要求算法在服务所有请求后返回到原点。现有技术是分别用于封闭和开放变体的$1.64$ -竞争算法和$2.04$ -竞争算法，即\cite{Bjelde:1.64} .在这两种情况下，一个严格的下限是已知的\cite{Ausiello:1.75, Bjelde:1.64}。在这两种变体中，我们的主要预测模型都涉及请求的预测位置。我们引入算法，（i）在完美预测的情况下，获得封闭变量的1.5竞争比和开放变量的1.66竞争比，（ii）对无界预测误差具有鲁棒性，以及（iii）平滑，即，它们的性能随着预测误差的增加而适度地降低。此外，我们进一步研究了开放变体中的学习增强设置，还考虑了最佳离线算法服务的最后一个请求的预测。我们针对这种增强设置的算法获得了1.33的竞争比，具有完美的预测，同时也是平滑和鲁棒的，击败了我们针对开放变体的原始预测设置显示的1.44的下限。此外，我们为这种增强设置提供了1.25的下限。
Efficient Online Linear Optimization with Approximation Algorithms
我们重新审视问题的\textit{online linear optimization}的情况下，一组可行的行动是通过一个近似的线性优化预言与因子$α$乘法近似保证。这种设置是特别有趣的，因为它捕获了自然的在线扩展的研究\textit{offline}线性优化问题，这是NP难，但承认有效的近似算法。这里的目标是最小化$α$ \textit{-regret}，它是\textit{online learning}中标准\textit{regret}对此设置的自然扩展。我们提出了新的算法，显着提高了甲骨文的复杂性，为充分的信息和土匪的变种的问题。主要是，对于这两种变体，我们提出了$α$ -遗憾界的$O(T^{-1/3})$，$T$是预测轮数，平均每次迭代仅使用$O(\log{T})$调用近似oracle。这些是第一个结果，以获得平均预言复杂性的$O(\log{T})$（或甚至多对数的$T$）和$α$ -遗憾界$O(T^{-c})$为一个常数$c>0$，为两个变种。
When Genomic Masking Priors Fail to Transfer: Strong Variant Prediction, Weak Functional Generation
该研究开发GenDA模型，发现其微调后变异预测性能优于同规模自回归模型，但功能生成未达预期，表明三者需单独验证。
Failure Modes of Maximum Entropy RLHF
本文研究了最大熵强化学习在在线RLHF中的表现，发现其易出现过度优化和KL动态不稳定，且熵正则化无法有效防止奖励黑客，揭示了参考自由方法在在线与离线学习中的不同挑战。
A Large-Scale Dataset of Twitter Chatter about Online Learning during the Current COVID-19 Omicron Wave
据报道，COVID-19 Omicron变体是COVID-19最具免疫逃避性的变体，导致全球COVID-19病例激增。这使得世界各地的中小学、学院和大学都开始转向在线学习。因此，Twitter等社交媒体平台以推文形式出现的与在线学习相关的对话正在增加。挖掘这些推文以开发数据集可以作为不同应用程序和用例的数据资源，这些应用程序和用例与当前由Omicron变体引起的COVID-19病例激增期间对在线学习的兴趣、观点、意见、观点、态度和反馈的分析有关。因此，这项工作展示了自2021年11月发现首例COVID-19 Omicron变异病例以来，来自世界不同地区关于在线学习的大规模开放访问Twitter对话数据集。该数据集符合隐私政策、开发者协议和Twitter内容再分发指南，以及科学数据管理的FAIR原则（可查找性、可访问性、互操作性和可重用性）。本文还简要概述了大数据，数据采掘，自然语言处理及其相关学科领域的一些潜在应用，特别关注在这一Omicron浪潮中可以使用该数据集进行研究，探索和调查的在线学习。
An Efficient Variant of One-Class SVM with Lifelong Online Learning Guarantees
本文提出SONAR，一种基于SGD的高效单类SVM求解器，通过强凸正则化实现非平稳数据下的终身学习保证，并在对抗性数据中展示适应性保证。
Distributed Online Optimization with Stochastic Agent Availability
本文研究智能体以概率p随机活跃且仅双方活跃才能通信的分布式在线优化，提出FTRL分布式变体并证明其网络遗憾上界，同时论证该遗憾定义与标准最坏情况遗憾等价，表明所得界在p=1时难以显著改进。
Revisiting Decentralized Online Convex Optimization with Compressed Communication
针对带压缩通信的分布式在线凸优化，首次提出两种基于跟随正则化领导者的算法，在完整信息和赌博机设置下分别匹配或显著改进现有遗憾界与通信成本。
Risk-Averse No-Regret Learning in Online Convex Games
我们考虑一个在线随机游戏的风险厌恶代理人，其目标是学习最佳决策，最大限度地减少风险，招致显着的高成本。具体来说，我们使用的条件风险价值（CVaR）作为一个风险度量，代理可以估计使用强盗反馈的形式，只有他们选择的行动的成本值。由于成本函数的分布取决于所有代理人的行为，而这些行为通常是不可观察的，因此它们本身是未知的，因此成本的CVaR值很难计算。为了解决这个问题，我们提出了一个新的在线风险厌恶学习算法，依赖于一点零阶估计的CVaR梯度计算使用CVaR值，估计通过适当的采样成本函数。我们表明，该算法实现了高概率的次线性后悔。我们还提出了两个变种，这种算法，提高性能。第一种变体依赖于一种新的采样策略，该策略使用来自前一次迭代的样本来提高CVaR值的估计精度。第二种变体采用残差反馈，其使用来自先前迭代的CVaR值来减小CVaR梯度估计的方差。我们从理论上分析了这些变种的收敛特性，并说明了他们的表现在一个在线市场的问题，我们模型作为一个古诺游戏。
Online Nonparametric Regression
我们建立了在线回归的最佳速率为任意类的回归函数的序贯熵（Rakhlin，Sridharan，Tewari，2010）。最佳速率显示出类似于i.i.d./统计学习案例，研究于（Rakhlin，Sridharan，Tsybakov 2013）。在序列熵和i.i.d.经验熵匹配，我们的结果指出了一个有趣的现象，统计学习平方损失和在线非参数回归的速度是相同的。除了非算法研究的极大极小遗憾，我们展示了一个通用的预测，享有既定的最佳利率。我们还提供了一个配方设计在线回归算法，可以计算效率。我们说明的技术，通过现有的和新的预测有限的专家和在线线性回归的情况下。
Profit over Proxies: A Scalable Bayesian Decision Framework for Optimizing Multi-Variant Online Experiments
针对A/B/n实验中p值窥视和代理指标误导利润的问题，提出融合转化与交易价值建模、期望损失停止规则的可扩展贝叶斯决策框架。
Online Parameter-Free Learning of Multiple Low Variance Tasks
我们提出了一种方法来学习一个共同的偏置向量的增长序列的低方差任务。与最先进的方法不同，我们的方法不需要调整任何超参数。我们的方法是在非统计设置，可以是两个变量。“积极”的一个更新每个数据点后的偏差，“懒惰”的一个更新偏差只有在每个任务结束。我们推导出该方法的跨任务后悔界。与最先进的方法相比，积极的变体返回更快的速率，懒惰的变体恢复标准速率，但不需要调整超参数。然后，我们调整方法的统计设置：积极的变体成为一个多任务的学习方法，懒惰的一个元学习方法。实验证明了我们的方法在实践中的有效性。
CEBoosting: Online Sparse Identification of Dynamical Systems with Regime Switching by Causation Entropy Boosting
本文提出因果熵提升（CEBoosting）策略，通过在线模型辨识高效检测复杂动力学系统的体制切换并发现新动力学，利用因果熵指标反转触发模型结构修正与参数估计，适用于部分观测及极端事件场景。
A Common Misassumption in Online Experiments with Machine Learning Models
本文指出机器学习模型A/B测试常因模型使用汇集数据训练而产生干扰，导致无偏因果估计所需假设难以成立，并讨论其对实践与研究的影响。
Online GentleAdaBoost -- Technical Report
研究GentleAdaBoost的在线变体，通过线搜索将批处理方法扩展为在线方法并提供理论证明，在多种基准数据集上验证了其有效性。
Online, Informative MCMC Thinning with Kernelized Stein Discrepancy
贝叶斯推理中的一个基本挑战是目标分布的有效表示。许多非参数方法通过使用马尔可夫链蒙特卡罗（MCMC）的变体对大量点进行采样来实现。我们提出了一个MCMC变体，它只保留那些超过KSD阈值的后验样本，我们称之为KSD细化。我们建立的收敛性和复杂性权衡的几个设置KSD细化KSD阈值参数，样本大小，和其他问题的参数的函数。最后，我们提供了对其他在线非参数贝叶斯方法，生成低复杂性的后验表示，并观察优越的一致性/复杂性权衡实验比较。代码可在github.com/colehawkins/KSD-Thinning上获得。
Model Order Selection in DoA Scenarios via Cross-Entropy based Machine Learning Techniques
在本文中，我们提出了一种机器学习方法来估计入射波前的数量在一个波达方向的情况。与以前的工作相比，训练了一个具有交叉熵目标的多层神经网络。此外，我们调查的在线训练过程，允许自适应的神经网络的天线阵列的缺陷，而不明确校准阵列流形。我们通过模拟表明，该方法优于经典的模型阶选择计划的基础上的信息标准的准确性，特别是对于少量的快照和低信噪比。此外，在线训练过程使神经网络能够适应只有几个在线训练样本，如果通过离线训练人工数据初始化。
Online Strongly Convex Optimization with Unknown Delays
研究了具有未知时滞的在线凸优化问题，其中决策反馈具有任意时滞。以往的研究提出了一种延迟的在线梯度下降算法（OGD），并仅利用凸性条件得到了$O(\sqrt{T+D})$的遗憾界，其中$D$是$T$轮上的延迟之和.在本文中，我们进一步利用强凸性来提高遗憾界。具体地说，我们首先扩展了强凸函数的OGD的延迟变体，并建立了$O(d\log T)$的更好的遗憾界，其中$d$是最大延迟。其基本思想是让学习率随接收到的反馈总数线性衰减。此外，我们考虑更具挑战性的强盗设置，并获得类似的理论保证，将经典的多点梯度估计到我们的扩展方法。据我们所知，这是第一个工作，解决在线强凸优化一般延迟设置。
Cross-Entropy Method Variants for Optimization
交叉熵方法是一种简单有效的随机优化方法。设计用于目标事件发生概率相对较小的稀有事件模拟，CE方法依赖于足够的目标函数调用来准确估计底层分布的最佳参数。某些目标函数的计算代价可能很高，CE方法可能会陷入局部最小值。这与需要具有足够宽的初始协方差以覆盖感兴趣的设计空间的需求相结合。我们引入CE方法的新变体来解决这些问题。为了减少昂贵的函数调用，在优化过程中，我们使用每个样本来构建一个代理模型来近似目标函数。该代理模型增加了目标函数的置信度，并降低了评估成本。我们使用高斯过程为我们的代理模型，将不确定性的预测，这是特别有用的，当处理稀疏数据。为了解决局部最小收敛问题，我们使用高斯混合模型来鼓励对设计空间的探索。我们实验评估调度技术重新分配真正的目标函数调用在优化的早期，当协方差是最大的。为了测试我们的方法，我们创建了一个参数化的测试目标函数，其中包含许多局部最小值和一个全局最小值。我们的测试函数可以调整，以控制最小值的传播和区分。运行实验以强调交叉熵方法变体，并且结果表明基于代理模型的方法使用相同数量的函数评估来减少局部最小值收敛。
On Differentially Private Online Predictions
在这项工作中，我们介绍了一个互动的联合差分隐私处理在线过程中，现有的隐私定义似乎过于限制性的变种。我们研究这个定义的基本属性，并证明它满足（合适的变体）的组隐私，组成，和后处理。然后，我们研究了成本的互动联合隐私的基本设置在线分类。我们表明，任何（可能非私人）的学习规则可以有效地转换为私人的学习规则，只有一个多项式开销的错误界。这表明了与更严格的隐私概念的明显区别，例如Golowich和Livni（2021）研究的隐私概念，其中只有错误界的双指数开销是已知的（通过信息论上限）。
Algorithm Adaptation Bias in Recommendation System Online Experiments
本文指出推荐系统在线A/B测试中存在未被充分研究的算法适配偏差，分析其由飞轮效应导致的机制与低估小流量测试版本性能的影响，结合真实实验实证推动相关解决方案探讨。
Online Laplace Model Selection Revisited
本工作重新推导了在线 Laplace 方法，证明其优化一个不作平稳性假设的模式校正变分界，并在 UCI 回归数据集上验证其能有效防止过拟合，优于基于验证的早期停止。
Efficient Transductive Online Learning via Randomized Rounding
大多数传统的在线学习算法都是基于镜像下降或跟随领导者的变体。在本文中，我们提出了一个在线算法的基础上，一个完全不同的方法，专为transductive设置，它结合了“随机播放”和随机舍入的损失次梯度。作为我们的方法的应用，我们提出了第一个计算效率高的在线算法与跟踪范数约束矩阵的协同过滤。作为第二个应用，我们解决了一个连接批量学习和转换式在线学习的开放问题
Extreme Q-Learning: MaxEnt RL without Entropy
现代深度强化学习（RL）算法需要估计最大Q值，这在具有无限数量可能动作的连续域中很难计算。在这项工作中，我们引入了一个新的在线和离线RL的更新规则，直接使用极值理论（EVT）的最大值模型，从经济学中汲取灵感。通过这样做，我们避免了使用分布外操作来计算Q值，这通常是错误的重要来源。我们的关键见解是引入一个目标，直接估计最大熵RL设置中的最佳软价值函数（LogSumExp），而不需要从策略中采样。使用EVT，我们得到我们的\emph{Extreme Q-Learning}框架，因此在线，并首次离线MaxEnt Q-学习算法，不明确要求访问的政策或其熵。我们的方法在D4 RL基准测试中获得了一致的强劲性能，在具有挑战性的Franka Kitchen任务上优于\emph{10+ points}的先前工作，同时在在线DM控制任务上提供了SAC和TD 3的适度改进。可视化和代码可以在我们的网站https://div99.github.io/XQL/上找到。
REALM: Robust Entropy Adaptive Loss Minimization for Improved Single-Sample Test-Time Adaptation
本文提出了一种名为REALM的通用框架，通过结合自步学习和鲁棒损失函数来提高完全测试时自适应对噪声样本的鲁棒性，从而在单样本设置下实现更稳定的模型适应和更高的准确率。
Entropy Partial Transport with Tree Metrics: Theory and Practice
最优运输理论为比较概率测度提供了强有力的工具。然而，OT仅限于具有相同质量的非负测度，并且在计算和统计方面存在严重缺陷。这导致了最近的文献中OT的正则化变体的几个建议。在这项工作中，我们考虑了一个\textit{entropy partial transport}（EPT）问题的非负措施的树具有不同的质量。的EPT被证明是相当于一个标准的完整的OT问题上的一个节点的扩展树。我们推导出它的对偶公式，然后利用这一点提出了一种新的正则化EPT承认快速计算和负定性。据我们所知，提出的正则化EPT是第一种方法，产生一个\textit{closed-form}解决方案之间的可用变种的不平衡OT。对于实际应用中没有先验知识的树结构的措施，我们提出了树切片的变量的正则化EPT，计算平均这些措施之间的正则化EPT使用随机树度量，自适应地建立从支持数据点。利用我们的正则化EPT的负定性，我们引入了一个正定内核，并评估它对基准任务，如文档分类与词嵌入和拓扑数据分析的其他基线。此外，我们的经验表明，我们的正则化也提供了有效的近似。
Bandit-Feedback Online Multiclass Classification: Variants and Tradeoffs
本研究在对抗性在线多分类错误界模型中，分析了bandit feedback与full information、随机化与确定性学习者、自适应与遗忘对手之间的损失差异，给出了近乎紧致的$O(k)$与$\ ildeΘ(k)$界，并回答了相关开放问题。
Quantitative Mitigation of Timing Side Channels
定时侧信道对软件应用程序的安全性和隐私性构成重大威胁。我们提出了一种方法来减轻这个问题，通过降低侧通道的强度，如基于熵的目标，如最小猜测熵测量。我们的目标是最大限度地减少信息泄漏，同时保证用户指定的最大可接受的性能开销。我们把这个问题的决定版本香农缓解，并考虑两个变量，确定性和随机。首先，我们证明了确定性变量是NP难的。然而，我们给出了一个多项式算法，找到一个最佳的解决方案，从一个限制集。其次，对于随机变量，我们开发了一种算法，该算法使用特定于所使用的基于熵的目标的优化技术。例如，对于最小猜测熵，我们使用混合整数线性规划。我们将该算法应用到一个威胁模型中，攻击者可以进行功能性观察，也就是说，她观察程序的运行时间与不同的公共输入值相结合的相同的秘密值。现有的缓解方法不提供这种威胁模型的机密性或性能保证。我们评估我们的工具SCHMIT上的一些微基准和现实世界中的应用程序与不同的基于熵的目标。与现有的缓解方法相比，我们表明，在功能观察威胁模型，SCHMIT是可扩展的，能够最大限度地提高保密性的性能开销约束下。
GoldenStart: Q-Guided Priors and Entropy Control for Distilling Flow Policies
本文提出GoldenStart方法，通过Q引导先验和显式熵控制，改进流匹配策略的生成起点和探索能力，实现在连续控制任务中高效且具有探索性的策略。
On the Optimality of Dilated Entropy and Lower Bounds for Online Learning in Extensive-Form Games
针对扩展式博弈中在线学习的最优距离生成函数问题，提出原始-对偶树复形范数分析框架，证明扩张熵正则化在对数因子下最优，并改进了n人博弈粗相关均衡的近似率。
Greedy Actor-Critic: A New Conditional Cross-Entropy Method for Policy Improvement
许多策略梯度方法是Actor-Critic（AC）的变体，其中学习价值函数（critic）以促进更新参数化策略（actor）。对演员的更新涉及由动作值加权的对数似然更新，并为软变量添加熵正则化。在这项工作中，我们探索了一种替代的演员更新，基于交叉熵方法（CEM）的扩展条件的输入（状态）。我们的想法是从一个更广泛的策略开始，慢慢地集中在最大的动作上，使用最大似然更新来更新每个状态中最高百分位的动作。这种集中的速度由建议策略控制，该建议策略以比参与者更慢的速度集中。我们首先提供了一个理想化的设置策略改进的结果，然后证明我们的条件CEM（CCEM）策略跟踪每个状态的CEM更新，即使不断变化的动作值。我们的经验表明，我们的贪婪AC算法，使用CCEM的演员更新，表现优于软演员批评，是不太敏感的熵正则化。
ECHO: Entropy-Confidence Hybrid Optimization for Test-Time Reinforcement Learning
针对测试时强化学习中高熵分支导致rollout崩溃和早期伪标签噪声引发过拟合的问题，提出熵-置信度混合组相对策略优化（ECHO），通过自适应分支控制和置信度剪枝缓解崩溃，并采用置信度自适应裁剪和优势塑造增强训练鲁棒性。
The Real-World-Weight Cross-Entropy Loss Function: Modeling the Costs of Mislabeling
在本文中，我们提出了一个新的度量来衡量分类器的拟合优度，真实世界成本函数。该指标考虑了有关真实世界问题的信息，例如财务影响，而其他指标（如准确性或F1）则没有。这个指标也更直接地为用户解释。为了优化这个指标，我们在二进制和单标签分类变体中引入了真实世界权重交叉熵损失函数。这两种变体都允许直接输入真实世界的成本作为权重。对于单标签、多类别分类，我们的损失函数还允许在机器学习模型的训练期间直接惩罚按标签加权的概率误报。我们比较了我们的损失函数的设计，二进制交叉熵和分类交叉熵函数，以及它们的加权变体，以讨论在处理各种已知的缺点机器学习，从不平衡类，医疗诊断错误，社会偏见的强化的改进潜力。我们使用MNIST数据集创建模拟这些问题的场景，并展示我们新的损失函数的经验结果。最后，我们基于极大似然估计给出了该函数的证明，并讨论了未来的研究方向。
Smoothed Online Optimization for Regression and Control
我们认为在线凸优化（OCO）的设置中的成本是$m$ -强凸和在线学习者支付切换成本的轮之间改变决定。我们发现，最近提出的在线平衡下降（OBD）算法是恒定的竞争力，在这种设置中，与竞争比$3 + O(1/m)$，无论周围的尺寸。此外，我们表明，当成本函数的序列是$ε$ -光滑，OBD具有接近最佳的动态遗憾，并保持较强的每轮精度。我们证明了我们的方法的一般性，通过显示OBD框架可用于构建各种在线学习和控制问题的竞争算法，包括岭回归，逻辑回归，最大似然估计和LQR控制的在线变体。
Combining Online Learning Guarantees
我们展示了如何采取任何两个无参数的在线学习算法与不同的遗憾保证，并获得一个单一的算法，其遗憾是最小的两个基本算法。我们的方法非常简单：只需添加迭代。这个技巧可以生成同时适应许多范数的高效算法，以及提供仍然保持无量纲保证的对角风格算法。然后，我们继续展示如何在这个想法的一个变种产生一个黑盒程序生成乐观的在线学习算法。这产生了第一个乐观的遗憾保证在无约束的设置和一般增加适应性。此外，我们的乐观算法保证不差于他们的非乐观同行，无论提供给算法的乐观估计的质量。
Faster Projection-free Online Learning
在许多在线学习问题中，基于梯度的方法的计算瓶颈是投影运算。由于这个原因，在许多问题中，最有效的算法是基于Frank-Wolfe方法，该方法用线性优化代替投影。然而，在一般情况下，在线无投影方法比基于投影的方法需要更多的迭代：最著名的遗憾界尺度为$T^{3/4}$。尽管在弗兰克-沃尔夫方法的各种变体上进行了大量的工作，但这个界限十年来一直保持不变。在本文中，我们给出了一个有效的无投影算法，保证$T^{2/3}$遗憾的一般在线凸优化光滑的成本函数和一个线性优化计算，每次迭代。与以前的Frank-Wolfe方法不同，我们的算法是使用跟随扰动领导者方法导出的，并使用在线原始对偶框架进行分析。
GRPODropout: Less is More for Online Reinforcement Learning Rollouts
针对GRPO等RL方法的策略熵崩溃问题，提出GRPODropout方法，通过选择性移除少量高概率正优势rollout提升性能，仅产生可忽略的计算开销，实验验证其在更少样本下仍能取得更优效果。
Online Optimization with Feedback Delay and Nonlinear Switching Cost
我们研究了在线优化的一个变体，其中学习者接收$k$ -关于命中成本的$\textit{delayed feedback}$轮，并且存在多步非线性切换成本，即，成本以非线性方式取决于多个先前的动作。我们的主要结果表明，一种新的迭代正则化在线平衡下降（iROBD）算法具有恒定的，无量纲的竞争比是$O(L^{2k})$，其中$L$是Lipschitz常数的切换成本。此外，我们提供了下限，说明Lipschitz条件是必需的，并且对$k$和$L$的依赖性是紧密的。最后，通过减少，我们表明，这种设置是密切相关的延迟，非线性动力学和对抗性干扰，其中iROBD直接提供恒定的竞争力的在线政策的在线控制问题。
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈
发表机构由 AI 从论文文本抽取，如发现错误，欢迎反馈修正建议。