The Markovian Thinker: Architecture-Agnostic Linear Scaling of Reasoning
Mila；Microsoft Research（微软研究院）；McGill University（麦吉尔大学）；ServiceNow Research（ServiceNow研究院）；Canada CIFAR AI Chair（加拿大CIFAR人工智能主席）；Chandar Research Lab（Chandar研究实验室）；Polytechnique Montréal（蒙特利尔理工学院）；Université de Montréal（蒙特利尔大学）
针对强化学习训练长思维链推理大语言模型时状态无界导致二次方计算成本的问题，提出马尔可夫思考范式及Delethink实例，实现线性计算与恒定内存，在多样基准上性能匹配或超越现有方法，为高效推理LLM开辟路径。
2025-11-13 cs.AI cs.CL cs.LG
Deep Belief Markov Models for POMDP Inference
The Pennsylvania State University（宾夕法尼亚州立大学）；Technical University of Munich（慕尼黑工业大学）
提出深度置信马尔可夫模型DBMM，利用变分推断和神经网络从观测数据中高效推断POMDP置信状态，并在离散与连续基准问题上验证。
2025-03-17 cs.AI cs.LG
On the Convergence Theory of Debiased Model-Agnostic Meta-Reinforcement Learning
Massachusetts Institute of Technology（麻省理工学院）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们考虑模型不可知元学习（MAML）方法的强化学习（RL）的问题，其目标是找到一个政策，使用数据从几个任务表示的马尔可夫决策过程（MDP），可以更新一步的随机策略梯度实现MDP。特别是，在MAML更新步骤中使用随机梯度对于RL问题至关重要，因为精确梯度的计算需要访问大量可能的轨迹。对于这个公式，我们提出了一个变体的MAML方法，命名为随机梯度Meta-强化学习（SG-MRL），并研究其收敛特性。我们推导出SG-MRL的迭代和样本复杂度，以找到$ε$ -一阶稳定点，据我们所知，这为模型不可知的Meta强化学习算法提供了第一个收敛保证。我们进一步展示了我们的结果如何扩展到的情况下，多个步骤的随机策略梯度方法在测试时使用。最后，我们在几个深度RL环境中实证比较了SG-MRL和MAML。
2021-11-17 cs.LG math.OC stat.ML
Improved Bounds for Reward-Agnostic and Reward-Free Exploration
Department of Engineering, Tel Aviv University, Tel Aviv, Israel（特拉维夫大学工程系，以色列特拉维夫）；Google Research, Tel Aviv, Israel（谷歌研究，以色列特拉维夫）
本文研究了有限时间回合马尔可夫决策过程中的奖励自由和奖励无关探索，提出了一种放松ε要求的新算法，并建立了奖励自由探索的紧下界。
2026-05-15 cs.LG
Learning to Switch Among Agents in a Team via 2-Layer Markov Decision Processes
University of Toronto（多伦多大学）；Indian Institute of Technology Bombay（印度理工学院孟买分校）；Max Planck Institute for Software Systems（马克斯·普朗克软件系统研究所）
本文通过2层马尔可夫决策过程定义了团队中智能体控制切换问题，提出一种基于上置信界的在线学习算法，其总后悔值为次线性，并在避障任务仿真中证明优于问题无关算法。
2023-06-30 cs.CY cs.HC cs.LG
Span-Agnostic Optimal Sample Complexity and Oracle Inequalities for Average-Reward RL
Department of Computer Sciences, University of Wisconsin-Madison（计算机科学系，威斯康星大学麦迪逊分校）
本文解决了平均奖励MDP中无最优偏置跨度先验知识时的样本复杂度问题，提出视野校准和经验跨度惩罚算法，在无先验知识下达到最优复杂度并在良性环境中超越极小化复杂度。
2025-02-16 cs.IT cs.LG math.IT
Progressive Safeguards for Safe and Model-Agnostic Reinforcement Learning
University of Washington（华盛顿大学）；Microsoft Research（微软研究院）
受家长渐进式保护孩子的模式启发，提出一种模型无关的安全强化学习元学习框架，通过基于安全规范的有限状态机防护机制和任务间安全偏好迁移，实现少样本适配新安全规范并显著降低安全违规次数，在多类场景验证有效。
2024-10-31 cs.LG cs.LO
Minimax-Optimal Reward-Agnostic Exploration in Reinforcement Learning
University of Pennsylvania（宾夕法尼亚大学）；Princeton University（普林斯顿大学）
本文针对强化学习中的奖励无关探索问题，提出一种算法，通过收集约SAH^3/ε^2个样本，实现对所有多项式数量奖励函数的ε-最优策略，首次达到可证明的极小极大最优性，并扩展至任意奖励函数场景。
2024-05-23 cs.IT cs.LG cs.SY
A Sharp Analysis of Model-based Reinforcement Learning with Self-Play
Princeton University（普林斯顿大学）；MIT（麻省理工学院）；Salesforce Research（Salesforce研究院）
基于模型的算法--通过构建和利用估计模型来探索环境的算法--广泛用于强化学习实践，理论上可以实现马尔可夫决策过程（MDP）中单代理强化学习的最佳样本效率。然而，对于马尔可夫博弈中的多智能体强化学习，基于模型的算法目前最知名的样本复杂度是次优的，与最近的无模型方法相比是不利的。在本文中，我们提出了一个尖锐的分析模型为基础的自我发挥算法的多智能体马尔可夫游戏。我们设计了一个两人零和马尔可夫博弈的算法--乐观纳什值迭代算法（Nash-VI），该算法能够在博弈的$\tilde{\mathcal{O}}(H^3SAB/ε^2)$情节中输出一个$ε$ -近似纳什策略，其中$S$是状态数，$A,B$是两人各自的行动数，$H$是视界长度.这显著地改进了$\tilde{\mathcal{O}}(H^4S^2AB/ε^2)$的最佳已知的基于模型的保证，并且是除了$\min\{A,B\}$因子之外第一个匹配信息理论下限$Ω(H^3S(A+B)/ε^2)$的保证。此外，我们的保证比较有利的最知名的无模型算法，如果$\min \{A,B\}=o(H^3)$，并输出一个单一的马尔可夫策略，而现有的样本效率的无模型算法输出的马尔可夫策略，一般是非马尔可夫的嵌套混合，而不方便存储和执行。我们进一步调整我们的分析，以设计一个可证明有效的零和马尔可夫游戏的任务不可知算法，并设计第一行的可证明样本有效的多玩家一般和马尔…
2021-02-07 cs.AI cs.LG stat.ML
Model-agnostic Measure of Generalization Difficulty
Massachusetts Institute of Technology（麻省理工学院）
本文提出首个模型无关的归纳偏置复杂度度量，通过拟合训练数据且可泛化假设的体积比例量化任务固有难度，可统一比较监督、强化与元学习。
2023-06-02 cs.AI cs.LG stat.ML
Robust Average-Reward Markov Decision Processes: Minimax-Optimal Learning via Plug-in Reductions
Yale University（耶鲁大学）；University of Pennsylvania（宾夕法尼亚大学）
该研究针对平均报酬准则下的分布鲁棒马尔可夫决策过程，推导了极小极大最优样本复杂度界，并提出两种插件约简学习程序以实现该复杂度。
2026-08-10 cs.LG math.OC stat.ML
Personalized Federated Reinforcement Learning via Model-Agnostic Meta-Learning: Convergence of Exact and Hessian-Free Meta-Policy Gradients
Stockholm University（斯德哥尔摩大学）；Mahidol University（玛希隆大学）
本研究提出Per-FedAvg-PG算法，通过MAML式策略初始化实现个性化联邦强化学习，证明其收敛性并分析免Hessian变体，实验表明以更低样本成本实现有效迁移。
2026-09-22 cs.LG cs.MA
Learning Task Automata for Reinforcement Learning using Hidden Markov Models
University of Oxford（牛津大学）；Microsoft Azure Quantum（微软Azure量子部门）
针对强化学习中非马尔可夫稀疏奖励下奖励手工设计易出错的问题，提出基于隐马尔可夫模型Baum-Welch算法学习乘积MDP并提取任务自动机的方法，可加速策略学习、具备可解释性且适用于迁移学习，实验验证了其性能。
2023-10-03 cs.AI cs.LG
Faster Fixed-Point Methods for Multichain MDPs
本文研究了在平均奖励准则下求解一般多链马尔可夫决策过程的值迭代算法，提出改进的导航子问题解决方法，实现更快收敛速度和更精确的复杂度度量。
2026-04-21 cs.LG math.OC stat.ML
Learning Deterministic Policies with Policy Gradients in Constrained Markov Decision Processes
Politecnico di Milano（米兰理工大学）
本文提出与探索方式无关的约束策略梯度算法 C-PG，证明其在梯度占优和随机扰动噪声模型下可全局收敛至最优确定性策略，并通过 C-PGAE 与 C-PGPE 实验验证有效性。
2025-06-06 cs.LG
Finding good policies in average-reward Markov Decision Processes without prior knowledge
Univ. Lille（里尔大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Centrale Lille（里尔中央理工学院）；UMR 9189-CRIStAL
针对平均奖励MDP中ε-最优策略识别，提出无需先验知识的首个PAC算法，样本复杂度近最优，并给出在线设置下界与新停止规则方法。
2024-05-27 cs.LG
Problem Dependent Reinforcement Learning Bounds Which Can Identify Bandit Structure in MDPs
Stanford University（斯坦福大学）
为了在不确定性下做出好的决策，智能体必须从观察中学习。要做到这一点，两个最常见的框架是上下文强盗和马尔可夫决策过程（MDP）。在本文中，我们研究是否存在算法的更一般的框架（MDP），自动提供最佳的性能界限的具体问题在手，无需用户干预，无需修改算法。特别是，它被发现，最近提出的MDP的强化学习算法的一个非常小的变化已经匹配的最佳可能的遗憾界$\tilde O (\sqrt{SAT})$在主导的术语，如果部署在一个表格上下文强盗问题，尽管代理不可知这样的设置。
2019-11-03 cs.AI cs.LG stat.ML
Sequential Knockoffs for Variable Selection in Reinforcement Learning
London School of Economics and Political Science（伦敦政治经济学院）；University of California, Irvine（加州大学欧文分校）；George Washington University（乔治华盛顿大学）；Duke University（杜克大学）
提出SEEK算法估计MDP中的最小充分状态，实现选择一致性，提升变量选择精度与regret表现。
2024-07-30 cs.LG stat.ML
Hybrid Reinforcement Learning Breaks Sample Size Barriers in Linear MDPs
The Wharton School, University of Pennsylvania（宾夕法尼亚大学沃顿商学院）
本文针对线性 MDP 中的混合强化学习，在不依赖单策略集中性假设下提出计算高效算法，同时突破纯离线与纯在线 RL 的样本复杂度下界，建立了当前最紧的理论保证。
2024-08-08 cs.LG stat.ML
RLang: A Declarative Language for Describing Partial World Knowledge to Reinforcement Learning Agents
Brown University（布朗大学）
本文提出声明式领域特定语言RLang，可描述马尔可夫决策过程各元素的部分世界知识，并通过解析器落地为算法无关的世界模型与策略，以支持多种强化学习方法。
2023-05-30 cs.AI cs.LG
Deep Primal-Dual Reinforcement Learning: Accelerating Actor-Critic using Bellman Duality
Princeton University（普林斯顿大学）
我们开发了一种基于深度神经网络的参数化原始-对偶$π$学习方法，用于具有大状态空间和离线强化学习的马尔可夫决策过程。与基于非线性Bellman方程的逐次逼近的流行Q学习和演员-评论家方法相比，我们的方法利用基本的线性Bellman对偶对策略和价值函数进行原始-对偶更新。使用深度神经网络的原始-对偶$π$学习方法的朴素参数化将遇到两个主要挑战：（1）每次更新都需要计算状态空间上的概率分布，并且是难以处理的;（2）迭代是不稳定的，因为参数化的拉格朗日函数不再是线性的。我们解决这些挑战，提出了一个放松的拉格朗日公式与正则化惩罚使用的优势函数。我们表明，在我们的方法中的双策略更新步骤是等价的策略梯度更新的行动者-批评者的方法在某些特殊情况下，而价值的更新有很大的不同。原始-对偶$π$学习方法的主要优点在于使用Bellman对偶将值和策略更新紧密耦合在一起，因此信息量更大。一个简单的推车极点问题的实验表明，该算法显着优于一步的时间差actor-critic方法，这是最相关的基准方法进行比较。我们相信，对价值和政策函数的原始-对偶更新将加快学习过程。所提出的方法可能为更有效的算法和更清晰的理论分析打开一扇大门。
2017-12-07 cs.LG
Shuffling the Data, Stretching the Step-size: Sharper Bias in constant step-size SGD
University of Pennsylvania（宾夕法尼亚大学）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；Archimedes Research Unit（阿基米德研究单位）
本文研究了在有限和最小-最大优化问题中，通过随机重洗数据和Richardson-Romberg外推的组合，提升固定步长SGD的收敛性，提供理论保证和实验验证。
2026-04-11 cs.LG math.OC
From Pixels to Factors: Learning Independently Controllable State Variables for Reinforcement Learning
Brown University（布朗大学）；UC Berkeley（伯克利大学）
针对高维观测下强化学习无法利用因子化结构提升样本效率的问题，提出基于对比学习的动作可控因子化方法ACF，利用动作影响的稀疏性挖掘独立可控潜变量，在三个基准测试中性能优于现有解耦算法。
2025-10-02 cs.AI cs.LG
Unveiling the Black Box: A Multi-Layer Framework for Explaining Reinforcement Learning-Based Cyber Agents
Monash University（墨尔本大学）
本文提出一种多层解释框架，用于解释基于强化学习的攻击代理，揭示策略和战术层面的决策过程，提升网络安全领域的可解释性与防御能力。
2026-05-15 cs.CR cs.LG
Expressive Temporal Specifications for Reward Monitoring
本文提出基于定量线性时间逻辑的奖励监控方法，用于提升强化学习中奖励密度和训练效率。
2025-12-29 cs.AI cs.LG cs.LO
Near Optimal Convergence to Coarse Correlated Equilibrium in General-Sum Markov Games
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文改进了一般和马尔可夫博弈中向粗相关均衡的收敛速率，通过将自适应步长技术扩展至马尔可夫设定并定制OFTRL算法，实现了已知最快的收敛速率。
2025-11-04 cs.AI cs.GT cs.LG
Improving Reinforcement Learning Sample-Efficiency using Local Approximation
本研究推导了无限视界MDP设定下更尖锐的强化学习渐近样本复杂度PAC界，通过使用状态空间子集构建较小MDP进行局部近似，将样本复杂度降低至 $O(SA \log A)$，并扩展至无模型设定且实验验证了其显著改进。
2025-07-16 cs.LG
Reinforcement Learning with Fast and Forgetful Memory
University of Cambridge（剑桥大学）；Toshiba Europe Ltd.（东芝欧洲有限公司）
针对强化学习中借用监督学习记忆模型存在的训练效率差异问题，提出专门适配RL的快速遗忘记忆模型，可直接替代RNN，在多基准中获更高奖励且训练速度快两个数量级。
2023-10-06 cs.AI cs.LG
Learning Belief Representations for Imitation Learning in POMDPs
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Uber AI Labs（优步人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）
研究部分可观测马尔可夫决策过程中专家演示的模仿学习问题。信念表示，POMDP中的潜在状态的分布特征，已被建模使用递归神经网络和概率潜变量模型，并被证明是有效的强化学习POMDP。在这项工作中，我们研究的信念表示学习问题的生成对抗模仿学习POMDPs。我们没有像以前的工作中建议的那样分别训练信念模块和策略，而是使用任务感知的模仿损失来学习信念模块和策略，以确保表示与策略的目标更加一致。为了提高表示的鲁棒性，我们引入了几种信息信念正则化技术，包括动态和动作序列的多步预测。评估各种部分可观察的连续控制运动任务，我们的信念模块模仿学习方法（BMIL）大大优于几个基线，包括原来的GAIL算法和任务不可知的信念学习算法。广泛的消融分析表明，任务意识的信念学习和信念正规化的有效性。
2019-06-22 cs.LG stat.ML
Receding Horizon Curiosity
Technische Universität Darmstadt（达姆施塔特工业大学）；Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）
样本有效的探索不仅对于发现有益的体验至关重要，而且对于以任务不可知的方式适应环境变化也至关重要。在序贯贝叶斯试验设计的框架内，提供了一个原则性的处理问题的最佳输入合成系统辨识。在本文中，我们提出了一个有效的基于概率优化的近似解决方案，否则棘手的问题，模型在一个未知的马尔可夫决策过程（MDP）的最佳探索。通过将情景探索与贝叶斯非线性系统辨识相结合，我们的算法利用归纳偏差以定向方式进行探索，而无需假设MDP的先验知识。经验评估表明，所提出的算法的收敛速度和最终的模型保真度相比，采用探索奖金，如预测误差和信息增益的内在动机为基础的算法具有明显的优势。此外，我们的方法保持了最近的基于模型的主动探索（MAX）算法的计算优势，通过专注于沿轨迹的信息增益，而不是寻求一个全球性的探索政策。我们的算法和所进行的实验的参考实现是公开的。
2019-10-08 cs.LG cs.RO stat.ML
Provably Efficient Reinforcement Learning in Partially Observable Dynamical Systems
Cornell University（康奈尔大学）；Princeton University（普林斯顿大学）
我们研究了部分可观测动力系统的函数逼近强化学习。我们提出了一个新的\textit{Partially Observable Bilinear Actor-Critic framework}，这是一般性的，足以包括模型，如可观察的表格部分可观察马尔可夫决策过程（POMDPs），可观察的线性二次高斯（LQG），预测状态表示（PSR），以及一个新引入的模型希尔伯特空间嵌入的POMDPs和可观察的POMDPs与潜在的低秩转换。在这个框架下，我们提出了一个演员-评论家风格的算法，能够执行不可知的策略学习。给定一个由基于内存的策略（查看最近观察的固定长度窗口）组成的策略类，以及一个由将内存和未来观察作为输入的函数组成的价值函数类，我们的算法学习与给定策略类中最好的基于内存的策略竞争。对于某些例子，如不完全可观测的表格POMDPs，可观测的LQG和可观测的POMDPs与潜在的低秩转换，通过隐含地利用其特殊属性，我们的算法甚至能够竞争的全局最优策略，而无需支付指数依赖于地平线上的样本复杂度。
2022-06-24 cs.LG math.ST stat.ME
Model-Based Multi-Agent RL in Zero-Sum Markov Games with Near-Optimal Sample Complexity
University of Maryland, College Park（马里兰大学帕克分校）；Harvard University（哈佛大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
本文研究双人零和马尔可夫博弈中基于模型的多智能体强化学习，证明其样本复杂度为$\ ilde O(|S||A||B|(1-γ)^{-3}ε^{-2})$，并证明该界在奖励无关设置下极小极大最优，揭示了其能力与局限性的基本权衡。
2023-08-08 cs.GT cs.LG cs.MA
Last-iterate Convergence of Decentralized Optimistic Gradient Descent/Ascent in Infinite-horizon Competitive Markov Games
University of Southern California（南加州大学）
我们研究无限时域折扣两人零和马尔可夫博弈，并开发了一个分散的算法，证明收敛到纳什均衡下的自我发挥。我们的算法基于对每个状态运行乐观梯度下降算法来学习策略，并使用一个慢慢学习每个状态值的评论家。据我们所知，这是第一个算法，在这种设置，同时是理性的（当对手使用固定策略时，收敛到对手的最佳对策），收敛（收敛到自我博弈下的纳什均衡集），不可知论者（不需要知道对手的动作），对称（玩家在算法中扮演对称角色），并享受有限时间的最后收敛保证，所有这些都是分散算法的理想特性。
2021-07-07 cs.AI cs.LG stat.ML
Function-Specific Mixing Times and Concentration Away from Equilibrium
University of California, Berkeley（加州大学伯克利分校）
慢混合是使用马尔可夫链时的主要障碍，特别是用于蒙特卡罗近似（MCMC）的那些。在许多应用中，人们只对估计一小部分函数的平稳期望值感兴趣，因此通常基于全变差收敛的混合定义可能过于保守。因此，我们引入特定功能的混合时间和光谱间隙的类似物，并使用它们来证明Hoeffding样的特定功能的浓度不等式。这些结果表明，这是可能的经验期望的功能集中之前很久的基础链混合在经典意义上，我们表明，我们实现的浓度率是最佳的常数。我们使用我们的技术，以获得置信区间，比经典的马尔可夫链Hoeffding界限和贝里-埃森校正CLT界限所暗示的更尖锐。对于需要测试的应用程序，而不是点估计，我们表现出类似的改进，最近的顺序测试结果MCMC。最后，我们将我们的框架应用于MCMC的真实数据示例，证明我们的理论是准确的，并且与实践相关。
2016-09-30 cs.LG math.PR math.ST
Model Agnostic Time Series Analysis via Matrix Estimation
Massachusetts Institute of Technology（麻省理工学院）
我们提出了一种算法来估算和预测的时间序列转换成一个矩阵，利用矩阵估计来恢复缺失值和去噪观测条目，并进行线性回归进行预测。我们分析的核心是一个表示结果，它指出对于一个大的模型类，变换后的时间序列矩阵是（近似）低秩的。实际上，这概括了时间序列文献中广泛使用的奇异谱分析（SSA），并使我们能够在时间序列分析和矩阵估计之间建立严格的联系。建立这种链接的关键是构建具有非重叠条目的Page矩阵，而不是如文献中通常所做的Hankel矩阵（例如，SSA）。这种特殊的矩阵结构使我们能够提供有限样本分析的填补和预测，并证明我们的方法的渐近一致性。我们的算法的另一个显着特点是，它是模型不可知论的基础时间动态和噪声分布的意见。我们的方法的噪声不可知属性允许我们在仅获得隐马尔可夫模型中的噪声和部分观测时恢复潜在状态;例如，恢复泊松过程的时变参数，而不知道底层过程是泊松。此外，由于我们的预测算法需要具有噪声特征的回归，因此我们的方法提出了一种基于矩阵估计的方法-再加上一种新的非标准矩阵估计误差度量-来解决变量回归问题中的误差，这可能是其本身的利益。通过合成和真实世界的数据集，我们证明了我们的算法优于标准的软件包（包括R库）的缺失数据的存在，以及高水平的噪音。
2019-04-26 cs.LG stat.ML
The Complexity of Sequential Prediction in Dynamical Systems
University of Michigan（密歇根大学）
本文从学习理论角度研究未知动力系统的序列预测，提出新的组合测度与维度，并证明可实现设置下错误数可按任意递增函数增长，而不可知设置下马尔可夫遗憾仅有Θ(T)和Õ(√T)两种速率。
2025-06-02 cs.LG stat.ML
On the Convergence Rates of Policy Gradient Methods
Meta AI Research（Meta人工智能研究院）
我们考虑有限状态和行动空间的无限时域折扣马尔可夫判定问题，并研究了在策略空间中直接参数化的投影策略梯度法和一般类策略镜像下降法的收敛速度。首先，我们发展了一个弱梯度映射优势理论，并利用它证明了投影策略梯度法具有更快的次线性收敛速度。然后，我们表明，随着步长的几何增加，一般类的政策镜像下降法，包括自然政策梯度法和投影Q-下降法，都享有线性收敛速率，而不依赖于熵或其他强凸正则化。最后，我们还分析了不精确策略镜像下降法的收敛速度，并在一个简单的生成模型下估计了其样本复杂度。
2022-03-06 cs.LG math.OC
Domain-Adversarial and Conditional State Space Model for Imitation Learning
Panasonic Corporation（松下电器公司）；Ritsumeikan University（立命馆大学）
研究了部分可观测马尔可夫决策过程中的状态表示学习（SRL），以学习机器人控制任务中有用数据的抽象特征。对于SRL，获取领域不可知的状态对于实现有效的模仿学习是必不可少的。如果没有这些状态，模仿学习就会受到对控制无用的领域相关信息的阻碍。然而，现有的方法无法消除这种干扰的状态时，从专家和代理的数据显示大的域转移。为了克服这个问题，我们提出了一个领域对抗和条件状态空间模型（DAC-SSM），使控制系统获得领域不可知和任务和动态感知的状态。DAC-SSM联合优化状态推断、观测重构、前向动力学和奖励模型。为了从状态中去除域相关信息，模型以对抗方式使用域鉴别器进行训练，并且重建以域标签为条件。我们实验评估的模型预测控制的性能，通过模仿学习连续控制的稀疏奖励任务的模拟器，并比较它与现有的SRL方法的性能。来自DAC-SSM的代理实现了与专家相当的性能，并且是基线的两倍多。我们得出结论，领域不可知的状态是必不可少的模仿学习，具有较大的域转移，可以使用DAC-SSM获得。
2021-06-04 cs.AI cs.LG cs.RO
Towards Fully Parameter-Free Stochastic Optimization: Grid Search with Self-Bounding Analysis
National Key Laboratory for Novel Software Technology, Nanjing University, China（新型软件技术国家级重点实验室，南京大学，中国）；School of Artificial Intelligence, Nanjing University, China（人工智能学院，南京大学，中国）；Tel Aviv University（特拉维夫大学）
本文提出Grasp框架，通过自界分析实现完全无参数的随机优化，在非凸和凸情况下均取得优异收敛率和性能。
2026-04-18 cs.LG math.OC
Near-optimal learning with average Hölder smoothness
Purdue University（普渡大学）
本文将平均Lipschitz光滑性推广为平均Hölder光滑性，在可实现与不可知回归设置下给出上下界风险界并建立极小极大速率，同时提出无需显式函数类表示即可达到近最优速率的算法。
2023-10-30 cs.LG math.ST stat.ML
