Directional Optimism for Safe Linear Bandits
University of California Santa Barbara（加利福尼亚大学圣巴巴拉分校）
针对安全线性老虎机问题，提出方向乐观法以提升两类场景的遗憾保证，同时给出经验性能更优且遗憾保证匹配的新算法，并推广至凸约束场景。
2024-03-11 cs.LG
A Unified Optimism-Agnostic Framework for Linear Bandits over Spherical Action Sets
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Chicago Booth School of Business（芝加哥大学布斯商学院）
本文提出一个统一框架，通过设计矩阵最小特征值增长和动作集中性条件，证明UCB和TS变体在球形动作集上达到最优遗憾率，连接参数估计质量与遗憾累积。
2026-09-29 cs.LG stat.ML
Why Most Optimism Bandit Algorithms Have the Same Regret Analysis: A Simple Unifying Theorem
Cornell University（康奈尔大学）
本文提出一个简单的统一定理，揭示了多种乐观老虎机算法在后悔分析上的共同本质，通过两个确定性引理实现了对数级别的后悔推导，并扩展到现代老虎机变体。
2025-12-20 cs.LG cs.SY eess.SY
Experimental Design for Regret Minimization in Linear Bandits
University of Washington（华盛顿大学）
在本文中，我们提出了一种新的实验设计为基础的算法，以尽量减少在线随机线性和组合土匪的遗憾。虽然现有的文献往往集中在基于乐观主义的算法-这已被证明是次优的，在许多情况下-我们的方法仔细计划采取哪些行动，通过平衡信息增益和奖励之间的权衡，克服乐观主义的失败。此外，我们利用经验过程的上确界理论的工具来获得后悔保证，该保证随行动集的高斯宽度而扩展，避免浪费的联合边界。我们提供了国家的最先进的有限时间后悔保证，并表明我们的算法可以适用于在土匪和半土匪反馈制度。在组合半强盗设置，我们表明，我们的算法是计算效率高，只依赖于调用线性最大化预言。此外，我们表明，稍加修改，我们的算法可以用于纯探索，获得国家的最先进的纯探索保证在半强盗设置。最后，我们提供了，据我们所知，第一个例子，乐观失败的半土匪政权，并表明，在这种情况下，我们的算法成功。
2021-02-27 cs.LG stat.ML
Follow the Perturbed Leader: Optimism and Fast Parallel Algorithms for Smooth Minimax Games
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
我们考虑的问题，在线学习和它的应用解决极大极小对策。对于在线学习问题，跟随扰动领导者（FTPL）是一个广泛研究的算法，它享有最佳的$O(T^{1/2})$最坏情况下的遗憾保证凸和非凸损失。在这项工作中，我们表明，当序列的损失函数是可预测的，一个简单的修改FTPL，结合乐观可以实现更好的遗憾保证，同时保留最佳的最坏情况下的遗憾保证不可预测的序列。在获得这些更严格的遗憾界的一个关键挑战是随机性和乐观的算法，这需要不同的分析技术比那些常用的FTPL的分析。我们在分析中使用的关键成分是作为正则化的扰动的对偶视图。虽然我们的算法有几个应用程序，我们认为具体的应用极大极小游戏。对于光滑凹凸博弈，我们的算法只需要访问一个线性优化预言机。对于Lipschitz和光滑非凸非凹游戏，我们的算法需要访问一个优化预言计算扰动的最佳响应。在这两种设置中，我们的算法使用对优化oracle的$T$调用来解决游戏，精度高达$O(T^{-1/2})$。我们的算法的一个重要特点是，它是高度并行化，只需要$O(T^{1/2})$迭代，每次迭代$O(T^{1/2})$并行调用的优化预言。
2020-06-13 cs.LG stat.ML
Crush Optimism with Pessimism: Structured Bandits Beyond Asymptotic Optimality
The University of Arizona（亚利桑那大学）
我们研究随机结构土匪最小化遗憾。近年来，研究人员发现，流行的乐观算法不能实现渐进的实例依赖后悔最优性（简称渐近最优性）。另一方面，众所周知，人们可以实现有限的遗憾（即，不会随着$n$无限增长）。不幸的是，现有的渐近最优算法依赖于引入$ω(1)$项w.r.t.时间的地平线$n$在他们的遗憾，未能适应“容易”的实例。在本文中，我们专注于有限假设的情况下，并询问是否可以达到渐近最优，同时尽可能享受有限的遗憾。我们通过引入一种名为CRush Optimism with Pessimism（CROP）的新算法来提供一个积极的答案，该算法通过拉动悲观假设所指示的信息臂来消除乐观假设。我们的有限时间分析表明，作物$(i)$实现了一个常数因子的渐近最优性，由于强制探索的设计，$(ii)$适应有界遗憾，和$(iii)$的遗憾界规模不与$K$，但与我们介绍的有效数量的武器$K_ψ$。我们还讨论了一类问题，其中作物可以指数优于现有的算法在\textit{nonasymptotic}制度。这个问题类还揭示了一个令人惊讶的事实，即使是一个千里眼的先知谁发挥根据渐近最优的手臂拉方案可能会遭受线性最坏情况下的遗憾。
2020-10-23 cs.LG stat.ML
Linear Convergence in Games with Delayed Feedback via Extra Prediction
Soken University, Kanagawa, Japan（神户大学）
本文提出通过额外乐观预测在延迟反馈游戏中实现线性收敛的方法，证明其在双线性游戏中具有更快的收敛速率。
2026-02-19 cs.GT cs.LG cs.MA
Optimism in Reinforcement Learning and Kullback-Leibler Divergence
LTCI（电信与图像处理实验室）；TELECOM ParisTech（巴黎高等电信学院）；CNRS（法国国家科学研究中心）
我们考虑有限马尔可夫决策过程（MDP）中基于基于模型的强化学习，重点是所谓的乐观策略。在MDP中，乐观可以通过在与估计的模型转换概率一致的约束下执行扩展值迭代来实现。Auer，Jaksch和Ortner（2009）的UCRL 2算法遵循这一策略，最近被证明可以保证接近最优的遗憾界限。在本文中，我们强烈主张使用Kullback-Leibler（KL）分歧。通过研究KL约束下的线性最大化问题，给出了求解KL-乐观延值迭代的一个有效算法KL-UCRL。使用最近的偏差界KL分歧，我们证明，KL-UCRL提供了相同的保证，UCRL 2的遗憾。然而，在经典基准上的数值实验显示出显着改善的行为，特别是当MDP具有减少的连接。为了支持这一观察，我们提供了两种算法之间的几何考虑的COM-AQUITIONS的元素。
2010-10-13 cs.LG math.ST stat.ML
Randomized Exploration for Non-Stationary Stochastic Linear Bandits
University of Michigan（密歇根大学）
我们研究了两种扰动方法，以克服保守性，乐观的算法长期遭受在实践中。第一种方法在使用置信集时用简单的随机化代替乐观。第二种方法在最大化预期回报之前，将随机扰动添加到其当前估计值中。对于非平稳线性强盗，其中每个动作与$d$维特征相关联，并且未知参数随总变差$B_T$而时变，我们通过两种扰动方法提出了两种随机化算法，贴现随机化LinUCB（D-RandLinUCB）和贴现线性Thompson采样（D-LinTS）。我们强调的统计最优性与计算效率之间的权衡，前者渐近实现最佳动态遗憾$\tilde{O}(d^{7/8} B_T^{1/4}T^{3/4})$，但后者是甲骨文效率与额外的对数因子相比，最小最优动态遗憾的武器数量。在仿真研究中，这两种算法在解决贴现LinUCB所面临的保守性问题上表现出了出色的性能。
2021-10-11 cs.LG stat.ML
Reinforcement Learning for Markovian Bandits: Is Posterior Sampling more Scalable than Optimism?
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔理工学院）；Institute of Engineering Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学工程学院）
研究了带折扣的经典马尔可夫强盗问题的学习算法。我们解释了如何调整PSRL [24]和UCRL 2 [2]来利用问题结构。这些变体被称为MB-PSRL和MB-UCRL 2。虽然遗憾的界限和香草实现的PSRL和UCRL 2的时间是指数的强盗的数量，我们表明，情节的遗憾的MB-PSRL和MB-UCRL 2是$\tilde{O}(S\sqrt{nK})$其中$K$是情节的数量，$n$是强盗的数量和$S$是每个强盗的状态数（在S，n和K中的确切界限在本文中给出）。直到因子$\sqrt S$，这与我们在论文中也导出的$Ω(\sqrt{SnK})$的下限相匹配。MB-PSRL在计算上也是高效的：它的运行时间与强盗的数量成线性关系。我们进一步表明，这种线性运行时间不能通过适应经典的非贝叶斯算法，如UCRL 2或UCBVI马尔可夫强盗问题。最后，我们进行数值实验，证实MB-PSRL优于其他现有的算法在实践中，无论是在遗憾和计算时间。
2022-05-03 cs.AI cs.LG
A General Theory of the Stochastic Linear Bandit and Its Applications
Stanford University（斯坦福大学）
最近越来越多的实验在实践中被采用，导致了对多武装匪徒的关注激增，作为一种减少在线实验机会成本的技术。在这种情况下，决策者在一组给定的行动中依次选择，观察它们的噪声奖励，并旨在最大化她的累积预期奖励（或最小化后悔）在长度为$T$的范围内。在本文中，我们介绍了一个一般的分析框架和一个家庭的随机线性强盗问题，其中包括著名的算法，如在面对的不确定性线性强盗（OFUL）和汤普森采样（TS）作为特殊情况下的优化算法。我们的分析技术桥接了先前文献的几个流，并产生了一些新的结果。首先，我们的新概念乐观的期望产生了一个新的算法，称为筛选贪婪（SG），减少了过度探索问题的OFUL。SG利用这些数据来丢弃具有相对较低不确定性的动作，然后从剩余的动作中选择一个。除了证明SG在理论上是速率最优的，我们的经验模拟表明，SG优于现有的基准，如贪婪，OFUL和TS。我们的通用框架的第二个应用是（据我们所知）在与Goldenshluger和Zeevi（2013）的条件类似的条件下，OFUL和TS的第一个多对数（在$T$中）遗憾界限。最后，我们通过因子$\sqrt{k}$得到了$k$武装的上下文MABs的更精确的后悔界限.
2022-03-31 cs.LG stat.ML
Efficient Online Linear Control with Stochastic Convex Costs and Unknown Dynamics
Tel Aviv University（特拉维夫大学）；Google Research（谷歌研究院）
研究了一类未知线性动力系统在状态和费用函数均为随机凸代价和全反馈下的控制问题。我们提出了一个计算效率高的算法，达到最佳的$\sqrt{T}$后悔率相比，最好的稳定线性控制器在事后。与之前的工作不同，我们的算法基于面对不确定性的乐观范式。这导致显著改进的计算复杂性和更简单的分析。
2022-06-22 cs.LG math.OC stat.ML
When and why randomised exploration works (in linear bandits)
Criteo AI Lab（Criteo AI实验室）；University of Oxford（牛津大学）；Imperial College London（伦敦帝国学院）
本文提出一种不依赖强制乐观或后验膨胀的分析方法，证明在动作空间光滑且强凸的d维线性赌博机中，随机探索算法（如汤普森采样）可实现O(d√n log(n))的n步遗憾界，首次表明在非平凡线性赌博机设置中汤普森采样能达到最优维度依赖。
2026-06-03 cs.LG stat.ML
Stability of Q-Learning Through Design and Optimism
University of Florida（佛罗里达大学）
本文既是随机逼近与Q-learning的教程，也提出两项新成果：通过改进Gibbs策略的乐观训练证明带线性函数逼近的Q-learning稳定，以及提出无需矩阵求逆的Zap Zero算法，可用于含非线性函数逼近的Q-learning等随机逼近场景。
2023-08-21 cs.LG cs.SY eess.SY
Learning Infinite-horizon Average-reward MDPs with Linear Function Approximation
University of Southern California（南加州大学）
我们开发了几个新的算法学习马尔可夫决策过程中的一个无限地平线的平均回报设置与线性函数逼近。使用乐观原则，并假设MDP具有线性结构，我们首先提出了一个计算效率低下的算法与最佳的$\widetilde{O}(\sqrt{T})$遗憾和另一个计算效率高的变体与$\widetilde{O}(T^{3/4})$遗憾，其中$T$是互动的数量。接下来，从对抗性线性强盗中获得灵感，我们在不同的假设下开发了另一种有效的$\widetilde{O}(\sqrt{T})$后悔算法，改进了Hao等人（2020）使用$\widetilde{O}(T^{2/3})$后悔的最佳现有结果。此外，我们将该算法与Kakade（2002）提出的自然策略梯度算法联系起来，并表明我们的分析改进了Agarwal等人（2020）最近给出的样本复杂度界。
2021-04-26 cs.LG stat.ML
On Function Approximation in Reinforcement Learning: Optimism in the Face of Large State Spaces
Princeton University（普林斯顿大学）；Northwestern University（西北大学）；University of California, Berkeley（加州大学伯克利分校）
强化学习（RL）的经典理论集中于价值函数的表格和线性表示。进一步的进展取决于将RL与核函数和深度神经网络等现代函数逼近器相结合，事实上，在大规模应用中利用这种组合已经取得了许多经验性的成功。然而，在开发一种理论来支持这一企业方面存在着深刻的挑战，最值得注意的是需要考虑RL核心的探索-利用权衡，以及现代基于函数近似的学习系统中出现的计算和统计权衡。我们通过研究最小二乘值迭代算法的乐观修改来接近这些挑战，在由核函数或过参数化神经网络表示的动作价值函数的上下文中。我们建立多项式运行时复杂度和多项式样本复杂度的算法，没有额外的假设的数据生成模型。特别是，我们证明了该算法招致的$\tilde{\mathcal{O}}(δ_{\mathcal{F}} H^2 \sqrt{T})$遗憾，其中$δ_{\mathcal{F}}$的特点是内在的复杂性的功能类$\mathcal{F}$，$H$是每个情节的长度，和$T$是情节的总数。我们的遗憾界是独立的状态的数量，这一结果清楚地表现出在RL函数逼近的好处。
2020-12-29 cs.AI cs.LG math.OC
A Simple and Provably Efficient Algorithm for Asynchronous Federated Contextual Linear Bandits
University of California, Los Angeles（加州大学洛杉矶分校）；Yale University（耶鲁大学）
我们研究联邦上下文线性强盗，其中$M$代理相互合作，以解决一个全球性的上下文线性强盗问题的帮助下，一个中央服务器。我们考虑异步设置，其中所有代理独立工作，一个代理和服务器之间的通信不会触发其他代理的通信。我们提出了一个简单的算法命名为\texttt{FedLinUCB}基于乐观的原则。我们证明了\texttt{FedLinUCB}的后悔受$\tilde{O}(d\sqrt{\sum_{m=1}^M T_m})$约束，通信复杂性为$\tilde{O}(dM^2)$，其中$d$是上下文向量的维数，$T_m$是第$m$个体与环境交互的总次数.据我们所知，这是第一个可证明有效的算法，允许完全异步通信的联邦上下文线性土匪，同时实现相同的遗憾保证在单代理设置。
2022-07-07 cs.LG stat.ML
Making Linear MDPs Practical via Contrastive Representation Learning
UC Berkeley（加州大学伯克利分校）；UT Austin（德克萨斯大学奥斯汀分校）；Google Brain（谷歌大脑）；University of Alberta（阿尔伯塔大学）
马尔可夫决策过程（MDP）中的维数灾难通常通过利用低秩表示来解决。这激发了最近对线性MDP的理论研究。然而，大多数方法都需要在不切实际的假设下对分解的归一化进行给定的表示，或者在实践中引入未解决的计算挑战。相反，我们考虑线性MDP的另一种定义，它自动确保归一化，同时允许通过对比估计进行有效的表示学习。该框架还允许信心调整的指数算法，使一个有效的和有原则的方法，在面对不确定性时纳入乐观或悲观。据我们所知，这为线性MDP提供了第一个实用的表示学习方法，该方法实现了强有力的理论保证和经验性能。理论上，我们证明了该算法是样本有效的在线和离线设置。从经验上讲，我们表现出优越的性能超过现有的最先进的基于模型和无模型的算法在几个基准。
2022-12-07 cs.LG stat.ML
A spectral-based analysis of the separation between two-layer neural networks and linear methods
Peking University（北京大学）；Princeton University（普林斯顿大学）
我们提出了一种基于谱的方法来分析如何两层神经网络分离线性方法在逼近高维函数。我们表明，量化这种分离可以减少到估计两层神经网络的Kolmogorov宽度，后者可以进一步通过使用相关的内核的频谱。与以前的工作不同，我们的方法允许获得上界，下界，并确定明确的硬函数在一个统一的方式。我们提供了一个系统的研究如何激活功能的选择影响的分离，特别是对输入尺寸的依赖。具体来说，对于非光滑的激活函数，我们将已知的结果扩展到更多的激活函数与更尖锐的界限。作为具体的例子，我们证明了任何单个神经元可以实例化神经网络和随机特征模型之间的分离。对于光滑的激活函数，一个令人惊讶的发现是，除非内层权重的范数相对于输入维度是多项式大，否则分离是可以忽略的。相反，非光滑激活函数的分离与内层权的范数无关。
2022-02-23 cs.LG stat.ML
Improved Algorithms for Stochastic Linear Bandits Using Tail Bounds for Martingale Mixtures
Bosch Center for Artificial Intelligence（博世人工智能中心）；Technische Universität Darmstadt（达姆施塔特工业大学）；University of Southern Denmark（南丹麦大学）；Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)（德国人工智能研究中心）
本文利用自适应鞅混合尾部界构造更紧的置信序列，提出随机线性老虎机改进算法，并通过凸规划实现高效动作选择，在理论和实验上均获得更优的最坏情况遗憾及超参数调优性能。
2023-09-27 cs.LG stat.ML
Optimal Batched Linear Bandits
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；Duke University（杜克大学）
本文提出 E$^4$ 算法，通过探索-估计-消除-利用框架解决分批线性赌博机问题，同时实现极小极大与渐近最优遗憾及最优批次复杂度，并在实验中一致优于基线算法。
2024-06-06 cs.LG math.ST stat.ML
Linear Bandits beyond Inner Product Spaces, the case of Bandit Optimal Transport
CREST, ENSAE, \& INRIA FairPlay team, Palaiseau, France
本文提出了一种改进的OFUL算法，通过将动作集嵌入希尔伯特子空间以实现线性老虎机在非内积结构下的高效学习，其后悔界介于~O(√T)和O(T)之间。
2026-10-06 cs.LG stat.ML
An Asymptotically Optimal Primal-Dual Incremental Algorithm for Contextual Linear Bandits
Politecnico di Milano（米兰理工大学）；Facebook AI Research（脸书人工智能研究院）
在上下文的线性强盗设置，建立在乐观原则的算法未能利用问题的结构，并已被证明是渐近次优的。在本文中，我们遵循最近的方法，从问题相关的遗憾下界导出渐近最优算法，我们引入了一种新的算法，提高了国家的最先进的沿多个维度。我们建立在一个重新制定的下限，上下文分布和勘探政策是解耦的，我们得到了一个算法的鲁棒性不平衡的上下文分布。然后，使用增量原始-对偶方法来解决拉格朗日松弛的下限，我们得到一个可扩展的和计算效率高的算法。最后，我们删除了强制探索，并建立在优化问题的置信区间上，以鼓励更好地适应问题结构的最低水平的探索。我们证明了我们的算法的渐近最优性，同时提供问题相关和最坏情况下的有限时间后悔保证。我们的界限规模与武器的数量的对数，从而避免了线性依赖常见的所有相关的先前的作品。值得注意的是，我们建立极小极大最优的任何学习视野中的特殊情况下，非上下文的线性土匪。最后，我们验证了我们的算法获得了更好的经验性能比国家的最先进的基线。
2020-11-20 cs.LG stat.ML
Linear Bellman Completeness Suffices for Efficient Online Reinforcement Learning with Few Actions
MIT（麻省理工学院）
针对线性函数逼近的在线强化学习中Bellman完备性下现有统计算法需解非凸优化、缺乏计算高效方法的问题，本文首次提出动作数为任意常数时满足线性Bellman完备性的多项式时间RL算法。
2024-06-18 cs.AI cs.LG stat.ML
Nearly Optimal Algorithms for Linear Contextual Bandits with Adversarial Corruptions
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Google Research（谷歌研究院）；The Hong Kong University of Science and Technology（香港科技大学）
我们研究了存在对抗性腐败的线性上下文强盗问题，其中每一轮的奖励都被对手腐败，腐败水平（即，在范围上的损坏幅度的总和）是$C\geq 0$。在这种情况下，最著名的算法是有限的，因为它们要么是计算效率低，或需要一个强大的假设上的腐败，或他们的遗憾是至少$C$倍，比没有腐败的遗憾。在本文中，为了克服这些局限性，我们提出了一种新的算法的基础上的乐观原则，面对不确定性。我们算法的核心是加权岭回归，其中每个选择的动作的权重取决于其置信度达到某个阈值。我们发现，对于已知的$C$和未知的$C$的情况下，我们的算法与适当的选择超参数实现了遗憾，几乎匹配的下限。因此，我们的算法几乎是最佳的对数因子的两种情况下。值得注意的是，我们的算法实现了近最优的遗憾损坏和未损坏的情况下（$C=0$）同时。
2022-07-10 cs.LG stat.ML
Almost Optimal Algorithms for Two-player Zero-Sum Linear Mixture Markov Games
University of California, Los Angeles（加州大学洛杉矶分校）
我们研究了有限时间内两人零和马尔可夫博弈的强化学习，其中底层马尔可夫博弈的转移核可以通过当前状态、两个玩家的动作和下一个状态的线性函数来参数化。特别是，我们假设我们可以控制双方的球员，并旨在找到纳什均衡通过最小化的二元差距。我们提出了一个算法Nash-UCRL的基础上的原则“乐观面对不确定性”。我们的算法只需要找到一个粗相关均衡（CCE），这是计算效率。具体来说，我们证明了纳什UCRL可以证明实现$\tilde{O}(dH\sqrt{T})$遗憾，其中$d$是线性函数的尺寸，$H$是游戏的长度和$T$是在游戏中的步骤总数。为了评估我们的算法的最优性，我们还证明了一个$\tildeΩ( dH\sqrt{T})$下界的遗憾。我们的上限匹配的下限对数因子，这表明我们的算法的最优性。
2022-04-20 cs.LG math.OC stat.ML
In-Context Learning of Linear Dynamical Systems with Transformers: Approximation Bounds and Depth-Separation
School of Mathematics University of Minnesota, Twin Cities（数学系 明尼苏达大学 Twin Cities分校）
本文从近似理论角度分析 transformer 对含噪线性动力系统的上下文学习，证明对数深度多层模型可逼近最小二乘估计，而单层线性 transformer 存在非衰减误差下界并体现深度分离及 IID/非 IID 差异。
2025-10-21 cs.LG stat.ML
On the achievability of blind source separation for high-dimensional nonlinear source mixtures
RIKEN Center for Brain Science（理化学研究所脑科学中心）；The University of Tokyo（东京大学）
多年来，主成分分析（PCA）和独立成分分析（ICA）的组合被用于盲源分离（BSS）。然而，目前还不清楚为什么这些线性方法与涉及非线性源混合的真实世界数据很好地工作。这项工作从理论上验证了线性PCA和ICA的级联可以准确地解决非线性BSS问题-当传感器输入通过具有足够维度的非线性映射从隐藏源生成时。我们提出的定理，称为渐近线性化定理，理论上保证了应用线性PCA的输入可以可靠地提取一个子空间跨越的线性投影从每个隐藏的源作为主要成分-从而投影到其主要特征空间的输入可以有效地恢复隐藏的源的线性变换。然后，随后应用线性ICA可以分离出所有真正独立的隐藏源准确。当信源维数很大且输入维数充分大于信源维数时，零元误差非线性盲源分离是渐近实现的。我们提出的定理是验证解析和数值。此外，同样的计算可以通过使用Hebbian类可塑性规则来执行，这意味着这种非线性BSS策略的生物相容性。我们的研究结果突出了线性PCA和ICA在准确可靠地恢复非线性混合源方面的实用性，并进一步表明了采用具有足够维度的传感器来识别真实世界数据的真正隐藏源的重要性。
2020-12-13 cs.LG stat.ML
Adaptive Exploration in Linear Contextual Bandit
Princeton University（普林斯顿大学）；Deepmind；University of Alberta（阿尔伯塔大学）
上下文强盗作为一个基本模型，许多顺序决策任务。最流行的理论上合理的方法是基于乐观原则。虽然这些算法可以是实用的，但它们被认为是次优的渐近。另一方面，现有的渐近最优算法，这个问题不利用线性结构的最佳方式，并遭受低阶项，占主导地位的遗憾，在所有实际上有趣的制度。我们开始弥合差距，设计一个算法，是渐近最优的，并具有良好的有限时间的经验性能。与此同时，我们与最近的文献联系起来，探讨免探索方法何时有效。事实上，如果上下文的分布表现良好，那么我们的算法主要表现为greatly，并享受亚对数遗憾。此外，我们的方法是自适应的，在这个意义上说，它自动检测的好的情况下。数值结果表明，我们的方法相对于几个基线显着减少遗憾。
2020-03-15 cs.LG math.ST stat.ML
Separation capacity of linear reservoirs with random connectivity matrix
University of Liverpool（利物浦大学）
本研究开发了分析随机线性储备池分离能力的数学框架，揭示了连接矩阵缩放、对称性等对分离的影响，为储备池设计提供理论依据，分离能力可用于随机储备池的分析。
2026-08-17 cs.LG math.PR stat.ML
Set Membership Estimation for Stochastic Linear Contextual Bandits
The Grainger College of Engineering（格里纳尔工程学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
针对有界奖励噪声的随机线性上下文赌博机，提出基于集合成员估计和乐观原则的SME-OFU算法，实现O(log T)的遗憾界，优于次高斯噪声下的最优界。
2026-10-16 cs.LG math.OC stat.ML
Unsupervised Separation of Dynamics from Pixels
DeepMind（深度思维）
我们提出了一种方法来学习多个对象的动态图像序列中的无监督的方式。我们引入了一个概率模型，首先通过一个单独的线性状态空间模型为每个对象生成嘈杂的位置，然后通过一个高度非线性的过程呈现在同一图像中的所有对象的位置。这种动态的线性表示使我们能够提出一种推理方法，该方法使用精确和高效的推理工具，并且可以部署为以不同的方式查询模型而无需重新训练。
2019-07-20 cs.CV cs.LG stat.ML
Efficient Exploration through Bayesian Deep Q-Networks
Caltech（加州理工学院）
研究了高维情景马尔可夫决策过程（MDP）中的强化学习（RL）.我们考虑基于值的RL时，最佳Q值是一个线性函数的d维状态-动作特征表示。例如，在深度Q网络（DQN）中，Q值是特征表示层（输出层）的线性函数。我们提出了两个算法，一个基于乐观，LINUCB，另一个基于后验采样，LINPSRL。我们保证频率论和贝叶斯后悔上界的O（d sqrt{T}）这两个算法，其中T是情节的数量。我们将这些方法扩展到深度RL，并提出贝叶斯深度Q网络（BDQN），它使用高效的Thompson采样算法进行高维RL。我们部署了双DQN（DDQN）方法，并且我们不是使用线性回归来学习Q网络的最后一层，而是使用贝叶斯线性回归，从而得到Q函数的近似后验。这使我们能够直接将不确定性纳入Q函数，并在学习的后验分布上部署Thompson采样，从而实现有效的探索/利用权衡。我们实证研究了BDQN在各种Atari游戏上的行为。由于BDQN进行更有效的勘探和开采，因此与DDQN相比，它能够更快地获得更高的回报。
2019-09-06 cs.AI cs.LG stat.ML
Gaussian-Width Bounds for Offline-to-Online Linear Bandits
University of Alberta（阿尔伯塔大学）
该研究针对部分覆盖离线数据的随机线性多臂老虎机问题，利用高斯向量 Lipschitz 函数集中度得到更紧的 regret 界，开发了分阶段消除算法并给出纯探索的上下界。
2026-10-12 cs.LG
StrADiff: A Structured Source-Wise Adaptive Diffusion Framework for Linear and Nonlinear Blind Source Separation
PolyU
StrADiff通过结构化源级自适应扩散框架实现无监督盲源分离，无需监督标签或后处理，联合优化源生成、结构正则化和观测空间重构，展示在线性和非线性混合中的稳定性能。
2026-04-28 cs.LG cs.SD stat.ML
A Muon-Accelerated Algorithm for Low Separation Rank Tensor Generalized Linear Models
Iowa State University（爱荷华州立大学）
本文提出LSRTR-M算法，通过引入Muon更新方法优化低分离秩张量广义线性模型的估计与分类，提升收敛速度和计算效率。
2026-04-06 cs.LG eess.SP stat.ML
Stochastic Linear Bandits with Protected Subspace
The University of Texas at Austin（得克萨斯大学奥斯汀分校）；Google（谷歌公司）；Indian Institute of Science（印度科学学院）；IBM AI Research（IBM人工智能研究院）
我们研究的随机线性强盗问题的一个变种，其中我们优化的线性目标函数，但奖励只产生正交的未知子空间（我们解释为\textit{protected space}）只给零阶随机Oracle访问的目标本身和受保护的子空间。特别是，在每一轮，学习者必须选择是否查询目标或保护子空间，同时选择一个动作。我们的算法，来自OFUL原则，使用一些查询得到的保护空间的估计，并（在几乎所有回合）发挥乐观相对于这个空间的置信度集。当动作空间是$\mathbb{R}^d$中的完全单位球，$s < d$是保护子空间的维数，$T$是时域时，我们给出了一个$\tilde{O}(sd\sqrt{T})$后悔上界.此外，我们证明了一个离散的行动空间可以导致线性后悔与乐观的算法，加强了次优的乐观在某些设置。我们还表明，保护约束意味着，对于某些设置，没有一致的算法可以有一个遗憾小于$Ω(T^{3/4}).$我们最后经验验证我们的结果与合成和真实的数据集。
2021-03-01 cs.LG
On Linear Separation Capacity of Self-Supervised Representation Learning
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文从理论上研究自监督学习中数据增强使多流形数据线性可分离的条件，证明其能提升线性分离能力的信息论最优速率，并表明下游线性分类器性能主要取决于表示的线性可分离性而非有标签数据规模。
2024-05-05 cs.LG math.ST stat.ML
Computationally Efficient RL under Linear Bellman Completeness for Deterministic Dynamics
Cornell University（康奈尔大学）；MIT（麻省理工学院）；Microsoft Research（微软研究院）
针对线性Bellman完整设置，提出一种基于随机噪声注入和零空间设计的计算高效强化学习算法，适用于大动作空间和确定性动力学，解决了误差放大问题。
2025-03-01 cs.LG cs.RO cs.SY
Misspecified Linear Bandits
University of California, Berkeley（加州大学伯克利分校）；Indian Institute of Science（印度科学院）
研究了误定线性随机多臂强盗问题的在线学习问题。最先进的线性强盗算法的后悔保证，如面对不确定性的乐观线性强盗（OFUL），在假设武器预期奖励在其特征上是完全线性的情况下成立。然而，感兴趣的是调查潜在的误指定的影响，在线性强盗模型中，预期的回报被扰动远离由武器功能确定的线性子空间。虽然OFUL最近已被证明是鲁棒的相对较小的偏离线性，我们表明，任何线性强盗算法，享有最佳的遗憾性能在完美的线性设置（例如，OFUL）在线性模型的稀疏加性扰动下必须遭受线性后悔。为了克服这个负面的结果，我们定义了一个自然类的土匪模型，其特征在于从线性的非稀疏偏差。我们认为，OFUL算法可能无法实现次线性的遗憾，即使在模型，有非稀疏deviation.We最后开发了一种新的土匪算法，包括一个假设检验线性其次是决定使用OFUL或上置信限（UCB）算法。对于完全线性的bandit模型，该算法可证明具有OFUL良好的后悔性能，而对于满足非稀疏偏差性质的错误指定模型，该算法避免了线性后悔现象，回归到UCB的次线性后悔尺度.数值实验合成数据，并从公共雅虎推荐数据！学习排序挑战数据集，经验支持我们的发现。
2017-04-23 cs.LG
Constraint-based Causal Discovery for Non-Linear Structural Causal Models with Cycles and Latent Confounders
Informatics Institute（信息学研究所）；University of Amsterdam（阿姆斯特丹大学）
我们解决的问题，因果发现数据，利用最近提出的因果建模框架的模块化结构因果模型（mSCM）来处理周期，潜在的混杂因素和非线性。本文引入了σ-连通图（σ-CG），这是一类新的具有附加结构的混合图（包含无向、双向和有向边），并将σ-分离的概念推广到σ-CG上，σ-分离是d-分离概念的适当推广.我们证明了σ-分离在边缘化和条件下的封闭性，并利用这一点来实现σ-CG上的σ-分离测试。然后，这将我们带到第一个因果发现算法，该算法可以处理非线性函数关系，潜在混杂因素，循环因果关系以及来自不同（随机）完美干预的数据。作为概念证明，我们在合成数据上展示了该算法如何恢复模块化结构因果模型的因果图的特征。
2018-07-09 cs.AI cs.LG stat.ML
Blind Source Separation for Mixture of Sinusoids with Near-Linear Computational Complexity
我们提出了一个多音分解算法，可以找到的频率，幅度和相位的基本正弦信号在一个嘈杂的观察序列。在独立同分布的高斯噪声下，我们的方法利用最大似然方法从受污染的观测中估计相关的音调参数。在估计$M$数目的正弦源时，我们的算法连续地估计它们的频率，并联合优化它们的幅度和相位。我们的方法也可以实现为一个盲源分离器的信息的情况下，有关$M$。我们的算法的计算复杂度是近似线性的，即，$\tilde{O}(N)$。
2022-03-27 cs.LG eess.AS eess.SP
Provably robust blind source separation of linear-quadratic near-separable mixtures
Télécom Paris, Institut Polytechnique de Paris（巴黎电信学院，巴黎综合理工学院）；University of Mons（蒙斯大学）；University of Toulouse, IRIT/INP-ENSEEIHT（图卢兹大学，IRIT/INP-ENSEEIHT）
在这项工作中，我们考虑的问题，盲源分离（BSS）离开通常的线性模型，并专注于线性二次（LQ）模型。我们提出了两种可证明鲁棒且计算上易于处理的算法来在可分离性假设下解决这个问题，这些假设要求源作为样本出现在数据集中。第一种算法推广了为线性盲源分离设计的连续非负投影算法（SNPA），称为SNPALQ。通过显式建模的产品项固有的LQ模型沿着SNPA计划的迭代，混合的非线性贡献被减轻，从而提高分离质量。SNPALQ被证明是能够恢复地面真实的因素，产生的数据，即使在存在噪声。第二个算法是一个蛮力（BF）算法，它被用作SNPALQ的后处理步骤。它能够丢弃由SNPALQ提取的假（混合）样本，从而扩大其适用性。反过来，BF被证明是强大的噪声下，比SNPALQ检查和温和的条件下。我们表明，SNPALQ与BF后处理和没有在现实的数值实验是相关的。
2020-11-24 cs.LG cs.NA eess.IV
A PC Algorithm for Max-Linear Bayesian Networks
Max Planck Institute for Mathematics in the Sciences（马克斯·普朗克数学研究所）
针对极大线性贝叶斯网络（MLBNs）不满足d分离忠实性导致经典因果发现算法失效的问题，本文基于$\boldsymbol{\text{*}}$-分离预言机证明PC算法的一致性，并提出PCstar算法以定向更多边，推进MLBNs的约束基发现研究。
2025-08-19 cs.LG math.CO math.ST
Improving the Performance of PieceWise Linear Separation Incremental Algorithms for Practical Hardware Implementations
Universitat Politécnica de Catalunya（加泰罗尼亚理工大学）
在本文中，我们将审查与分段线性分离增量算法相关的常见问题。这种神经模型在处理某些分类问题时性能较差，这是由于用于构建所得网络的进化方案。为了避免这种不良行为，我们将提出一个修改标准。它基于一个函数的定义，该函数将在学习阶段提供有关网络增长过程质量的信息。随着网络结构的发展，该函数会定期进行评估，并且正如我们将通过详尽的基准测试所展示的那样，它将大大提高由这些增量模型生成的网络所提供的性能（以网络复杂性和泛化能力来衡量）。
2007-12-21 cs.AI cs.LG cs.NE
Separation of Chaotic Signals by Reservoir Computing
University of Maryland（马里兰大学）；College Park（学院公园）；Maryland 20742（马里兰州20742（注意：这是地址信息，根据规则不应提取，此处可能是示例中的错误，实际应仅提取“University of Maryland”））
我们展示了机器学习的效用，在叠加混沌信号的分离使用一种技术称为水库计算。我们假设没有知识的动态方程产生的信号，只需要训练数据组成的分量信号的有限时间样本。我们测试我们的方法形成的信号作为线性组合的信号从两个洛伦兹系统具有不同的参数。比较我们的非线性方法与分离问题的最佳线性解决方案，维纳滤波器，我们发现，我们的方法显着优于维纳滤波器在我们研究的所有情况下。此外，当分量信号具有相似的频谱时，这种差异特别显著。事实上，我们的方法工作得很好，当分量频谱是不可区分的-维纳滤波器执行基本上没有分离的情况下。
2019-10-25 cs.LG eess.SP
Neural Network Verification as Piecewise Linear Optimization: Formulations for the Composition of Staircase Functions
Rice University（莱斯大学）；Google Research（谷歌研究院）
我们提出了一种技术，神经网络验证使用混合整数规划（MIP）配方。我们使用分段线性激活函数为网络中的每个神经元导出一个\emph{strong formulation}。此外，在一般情况下，这些公式可能需要指数数量的不等式，我们还推导出一个分离过程，在输入维的超线性时间运行。我们首先介绍并开发了我们在\emph{staircase}函数类上的技术，该技术概括了ReLU、二进制化和量化的激活函数。然后，我们使用楼梯激活函数的结果，得到一般分段线性激活函数的分离方法。从经验上讲，使用我们的强大的配方和分离技术，我们可以减少计算时间在精确的验证设置的基础上MIP和提高假阴性率依赖于松弛的MIP配方的不精确的验证。
2022-11-27 cs.LG math.OC
Multi-channel Speech Separation Using Spatially Selective Deep Non-linear Filters
Universität Hamburg（汉堡大学）
本文提出一种基于DNN的空间选择性滤波器（SSF），通过目标方向初始化RNN层实现空间导向以提取目标说话人，在多说话人及未见噪声场景下优于DS方法。
2023-11-21 cs.LG cs.SD eess.AS
Differentiable Dictionary Search: Integrating Linear Mixing with Deep Non-Linear Modelling for Audio Source Separation
Johannes Kepler University Linz（约翰内斯·开普勒大学林茨分校）
本文介绍了几个改进的信号分解的新方法，我们最近制定的名称下的微分字典搜索（DDS）。DDS的基本思想是利用一类强大的深度可逆密度估计器（称为归一化流），以线性分解方法（如NMF）对字典进行建模，有效地在字典元素空间和相关概率空间之间创建双射，允许在估计密度的指导下通过字典空间进行可微搜索。由于最初的公式是一个概念证明，有一些实际的限制，我们将提出几个步骤，使其可扩展，希望提高计算复杂性的方法和信号分解能力。作为实验评估的测试平台，我们选择了框架级钢琴转录的任务，其中信号被分解为活动归因于单个钢琴音符的源。为了突出改进的非线性建模源的影响，我们比较我们的方法的变体的线性过完备NMF基线。实验结果将表明，即使在没有额外的约束，我们的模型产生越来越稀疏和精确的分解，根据两个相关的评估措施。
2022-11-28 cs.LG cs.SD eess.AS
An Exponential Separation Between Quantum and Quantum-Inspired Classical Algorithms for Linear Systems
Kvantify；Aarhus University（奥胡斯大学）
本文首次证明了在输入矩阵良好条件且具有稀疏行和列时，量子与量子启发经典算法在解线性系统问题上的指数分离。
2025-12-02 cs.CC cs.DS cs.LG
