Provable Benefits of Representational Transfer in Reinforcement Learning
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学);Cornell University(康奈尔大学);Princeton University(普林斯顿大学)
我们研究了RL中的代表性转移问题,其中代理首先在一些源任务中进行预训练以发现共享表示,随后用于在\emph{target task}中学习良好的策略。我们提出了一个新的概念,源和目标任务之间的任务相关性,并在此假设下发展了一种新的表征转移的方法。具体地说,我们表明,由于生成访问源任务,我们可以发现一个表示,使用随后的线性RL技术快速收敛到一个接近最优的政策,在目标任务。样本复杂度接近于目标任务中的地面实况特征,并且与源任务中的先前表示学习结果相当。我们补充我们的积极结果与下界没有生成访问,并验证我们的研究结果与经验评估丰富的观察MDPs,需要深入的探索。在我们的实验中,我们观察到通过预训练在目标中学习的速度加快,并且还验证了在源任务中生成访问的必要性。
2023-02-22 cs.AI cs.LG
Understanding Curriculum Learning in Policy Optimization for Online Combinatorial Optimization
University of Washington(华盛顿大学);Facebook AI Research(Facebook AI研究院);Tsinghua University(清华大学)
该研究首次系统研究在线组合优化的策略优化方法,将其建模为隐马尔可夫决策过程并证明自然策略梯度的收敛界,从理论上解释课程学习降低分布偏移的作用,还简化了课程方案并通过实验验证。
2023-11-03 cs.LG
Provable Benefit of Multitask Representation Learning in Reinforcement Learning
University of Science and Technology of China(中国科学技术大学);The Pennsylvania State University(宾夕法尼亚州立大学);The Ohio State University(俄亥俄州立大学)
在强化学习(RL)中,表示学习在实践中成为降低样本复杂度的有力技术,但理论上对其优势的认识仍然有限。在本文中,我们从理论上描述了低秩马尔可夫决策过程(MDP)模型下的表示学习的好处。我们首先研究多任务低秩RL(作为上游训练),其中所有任务共享一个共同的表示,并提出了一个新的多任务无奖励算法称为REFUEL。REFUEL学习每个任务的转换内核和接近最优的策略,并输出下游任务的良好学习表示。我们的研究结果表明,多任务表示学习是可证明的样本效率比学习每个任务单独,只要任务的总数是超过一定的阈值。然后,我们研究了在线和离线设置下的下游RL,其中代理被分配了一个新的任务,与上游任务共享相同的表示。对于在线和离线设置,我们开发了一个样本有效的算法,并表明,它找到了一个接近最优的政策与次优差距的上游和消失项的学习表示的估计误差的总和为界下游样本的数量变得很大。我们的在线和离线RL的下游结果进一步捕获了使用从上游学习的表示的好处,而不是直接学习低秩模型的表示。据我们所知,这是第一个理论研究,表征表示学习的好处,在探索为基础的无奖励多任务RL的上游和下游任务。
2022-06-13 cs.LG stat.ML
Provable Benefits of RLVR over SFT for Reasoning Models: Learning to Backtrack Efficiently
Princeton University(普林斯顿大学);University of California, Berkeley(加州大学伯克利分校)
本文从理论上证明,在推理任务中,基于可验证奖励的强化学习(RLVR)相比监督微调(SFT)能学习高效回溯,从而在推理时计算上实现指数级优势。
2026-06-23 cs.AI cs.LG
EDCO: Dynamic Curriculum Orchestration for Domain-specific Large Language Model Fine-tuning
Huawei Technologies Co., Ltd(华为技术有限公司)
EDCO通过动态课程编排和熵估计提升领域特定大语言模型微调效率与准确性。
2026-01-07 cs.LG
Curriculum Learning with a Progression Function
University of York(约克大学);Phantasma Labs GmbH(Phantasma实验室有限公司);King’s College London(伦敦国王学院);L3S research center(L3S研究中心);Leibniz Universität Hannover(汉诺威莱布尼茨大学)
强化学习的课程学习是一种越来越流行的技术,它涉及在一系列中间任务上训练代理,称为课程,以提高代理的性能和学习速度。本文介绍了一种基于级数和映射函数的课程生成新范式。虽然级数函数指定了环境在任何给定时间的复杂度,但映射函数生成特定复杂度的环境。不同的进展功能,包括自主的在线任务进展的基础上代理的性能。我们的方法的好处和广泛的适用性是通过经验比较其性能的两个国家的最先进的课程学习算法上的六个领域。
2021-10-31 cs.LG stat.ML
Reward-agnostic Fine-tuning: Provable Statistical Benefits of Hybrid Reinforcement Learning
University of Pennsylvania(宾夕法尼亚大学);Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
本文研究混合强化学习设置,提出一种三阶段算法,在数据收集时无需奖励信息,通过单策略部分集中性概念指导离线与在线数据结合,在样本复杂度上超越纯离线和纯在线RL。
2023-05-17 cs.IT cs.LG math.IT
Provable Benefits of Policy Learning from Human Preferences in Contextual Bandit Problems
Princeton University(普林斯顿大学);Oregon State University(俄勒冈州立大学);Georgia Institute of Technology(佐治亚理工学院)
本文从理论上比较了离线上下文赌博机中绝对评分与偏好排序两种人类反馈方法,揭示了人类偏差和不确定性对理论保证的影响,为偏好方法的经验成功提供了建模层面的解释。
2023-10-28 cs.LG math.ST stat.ML
Provable Benefits of Multi-task RL under Non-Markovian Decision Making Processes
The Pennsylvania State University(宾夕法尼亚州立大学);National University of Singapore(新加坡国立大学);The Ohio State University(俄亥俄州立大学)
本文研究了非马尔可夫决策过程(如POMDP和PSR)下多任务强化学习的收益,提出基于$η$-括号数量化任务相似性,并设计了上游多任务和下游迁移的高效算法以提升样本效率。
2023-10-20 cs.LG stat.ML
Provable Advantage of Curriculum Learning on Parity Targets with Mixed Inputs
EPFL (École Polytechnique Fédérale de Lausanne)(洛桑联邦理工学院)
本文证明了在混合稀疏与密集输入的数据分布上,课程学习能以更少步数训练2层ReLU网络学习高阶奇偶性,优于在无序样本上训练的更大全连接网络。
2023-06-29 cs.LG stat.ML
Metastable Dynamics of Chain-of-Thought Reasoning: Provable Benefits of Search, RL and Distillation
University of Tokyo(东京大学);RIKEN AIP(理化学研究所人工智能项目);New York University(纽约大学);Flatiron Institute(弗莱彻研究所);Princeton University(普林斯顿大学)
本文将思维链生成建模为亚稳态马尔可夫过程,证明了奖励稀疏边的搜索协议能减少期望步数并提升推理能力,同时表明该搜索信息可通过策略梯度微调或蒸馏至更小模型来优化推理。
2025-03-01 cs.AI cs.LG stat.ML
From Weak Data to Strong Policy: Q-Targets Enable Provable In-Context Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Alibaba Group(阿里巴巴集团);University at Buffalo(纽约州立大学布法罗分校)
提出QTPT方法,用Q目标替代行为克隆进行上下文强化学习预训练,在理论和实验上证明其对弱数据更鲁棒,优于监督行为预测。
2026-09-28 cs.LG
Automating Curriculum Learning for Reinforcement Learning using a Skill-Based Bayesian Network
Naval Research Laboratory(海军研究实验室);Brown University(布朗大学);University of Maryland(马里兰大学)
针对强化学习中自动生成课程的难题,提出技能-环境贝叶斯网络SEBN建模技能、目标与环境特征的概率关系,结合预期改进度加权任务的算法,在三类环境中表现优于基准。
2025-02-21 cs.AI cs.LG
Provable Partially Observable Reinforcement Learning with Privileged Information
Yale University(耶鲁大学);University of Maryland(马里兰大学)
该研究针对部分可观测强化学习场景,形式化并分析了专家蒸馏、非对称演员-评论家两种实用范式的理论性质,提出满足复杂度要求的算法,还拓展至多智能体场景,为带特权信息的RL算法提供了理论支撑。
2025-02-20 cs.LG
Curriculum Generation under Structured Parametric Environments for Robust Navigation Policies
Cornell University(康奈尔大学)
本文针对结构化参数环境提出重参数化课程生成框架,结合分布偏移正则化,在OpenAI Gym的两类连续控制环境中,显著优于多种基线方法,提升了导航策略的鲁棒性。
2026-08-11 cs.LG cs.RO
Curriculum Learning for Cumulative Return Maximization
University of Leeds(利兹大学)
课程学习已经成功地应用于强化学习中,通过在日益复杂的任务之间进行知识转移来加速学习过程。关键任务,其中次优的探索行动必须最小化,可以受益于课程学习,其通过迁移塑造探索的能力。我们提出了一个任务排序算法最大化的累积回报,即在所有的学习情节的代理获得的回报。通过最大化累积回报,代理不仅旨在尽可能快地获得高回报,而且还在限制次优行为的同时实现这一目标。我们的实验比较我们的任务排序算法的几个流行的元启发式算法的组合优化,并表明,它实现了显着更好的性能的问题上的累积回报最大化。此外,我们在一个关键任务上验证了我们的算法,优化了微能源网的家庭控制器。
2019-06-13 cs.AI cs.LG stat.ML
Meta Automatic Curriculum Learning
INRIA(法国国家信息与自动化研究所);Microsoft Research(微软研究院)
深度RL(DRL)社区的一个主要挑战是训练代理能够在训练中从未见过的情况下推广他们的控制策略。对不同任务的训练已被确定为良好泛化的关键因素,这促使研究人员使用通过复杂连续参数空间控制的丰富程序任务生成系统。在如此复杂的任务空间中,必须依赖某种形式的自动课程学习(ACL)来使任务采样分布适应给定的学习代理,而不是随机采样任务,因为许多任务最终可能是微不足道的或不可行的。由于很难获得有关此类任务空间的先验知识,因此许多ACL算法探索任务空间以检测随时间推移的进度小生境,这是一个需要为每个新学习代理执行的代价高昂的tabula-rasa过程,尽管它们的能力配置文件可能具有相似性。为了解决这个问题,我们引入了元ACL的概念,并在黑盒RL学习者的上下文中将其形式化,即试图将课程生成推广到学习者(未知)分布的算法。在这项工作中,我们提出了再次,元ACL的第一个实例,并展示了它的好处,在多个模拟环境中,包括程序生成的跑酷环境与不同形态的学习者的课程生成经典ACL。视频和代码可在https://sites.google.com/view/meta-acl上获得。
2021-09-01 cs.AI cs.LG
Curriculum Learning with GNN-based Reinforcement Learning for Job Shop Scheduling
Rosenheim University of Applied Sciences(罗森海姆应用科学大学)
本文研究基于图神经网络强化学习的课程学习在作业车间调度中的应用,通过逐步从小实例训练到大实例,显著降低训练时间并提升泛化性能,在30×30目标规模下平均最优性差距降低约8个百分点。
2026-09-24 cs.AI cs.LG
DCUR: Data Curriculum for Teaching via Samples with Reinforcement Learning
University of California, Berkeley(加州大学伯克利分校)
深度强化学习(RL)已经取得了巨大的经验成功,但存在脆性和样本效率低下的问题。一个潜在的补救措施是使用以前培训的政策作为监督的来源。在这项工作中,我们将这些政策称为教师,并研究如何通过关注数据使用将他们的专业知识转移到新的学生政策中。我们提出了一个框架,强化学习的数据库(DCUR),它首先使用在线深度RL培训教师,并存储记录的环境交互历史。然后,学生通过运行离线RL或使用教师数据结合少量自我生成的数据来学习。DCUR的中心思想涉及定义一类数据课程,作为训练时间的函数,限制学生从完整教师数据的固定子集中采样。我们使用最先进的深度RL算法测试教师和学生在各种数据课程中的表现。结果表明,数据课程的选择会显著影响学生的学习,并且在早期训练阶段限制数据,同时随着时间的推移逐渐增加数据可用性是有益的。我们确定学生何时可以离线学习并匹配教师的表现,而无需依赖于专门的离线RL算法。此外,我们表明,收集一小部分在线数据提供了与数据课程的互补优势。补充材料可在https://tinyurl.com/teach-dcur上查阅。
2021-09-15 cs.LG cs.RO
CLIC: Curriculum Learning and Imitation for object Control in non-rewarding environments
Institut des Systèmes Intelligents et de Robotique Sorbonne Université, CNRS UMR 7222(索邦大学智能系统与机器人研究所(法国国家科学研究中心UMR 7222));FLOWERS Team INRIA Bordeaux Sud Ouest(法国国家信息与自动化研究所波尔多西南 Flowers 团队)
在本文中,我们研究了一个新的强化学习设置的环境是非奖励的,包含几个可能相关的对象的各种可控性,并在一个适当的代理鲍勃独立行事,与不可观察的意图。我们认为,这种设置定义了一个现实的情况下,我们提出了一个通用的离散状态离散行动模型,这样的环境。为了在这种环境中学习,我们提出了一种无监督的强化学习代理,称为CLIC的课程学习和模仿控制。CLIC学习控制其环境中的单个对象,并模仿Bob与这些对象的交互。它通过最大化学习进度来选择训练和模仿时要关注的对象。我们表明,CLIC是一个有效的基线,在我们的新设置。它可以有效地观察Bob以更快地获得对对象的控制,即使Bob没有显式地教导。当Bob充当导师并提供有序的演示时,它也可以跟随他。最后,当鲍勃控制的对象,代理不能,或在存在的层次结构的对象之间的环境中,我们表明,CLIC忽略不可复制的,已经掌握了与对象的相互作用,从而从模仿中获得更大的好处。
2019-03-25 cs.LG stat.ML
Provable General Function Class Representation Learning in Multitask Bandits and MDPs
Tsinghua University(清华大学);University of Washington(华盛顿大学)
虽然多任务表示学习已成为强化学习(RL)中提高样本效率的流行方法,但对它为什么以及如何工作的理论理解仍然有限。由于分析一般函数类的表示遇到了诸如泛化保证、抽象函数空间中置信界的确定等非平凡的技术障碍,以往的分析工作只能假设表示函数是智能体已知的或线性函数类已知的。然而,线性情况分析严重依赖于线性函数类的特殊性,而现实世界的实践通常采用一般的非线性表示函数,如神经网络。这大大降低了它的适用性。在这项工作中,我们将分析扩展到一般函数类表示。具体来说,我们认为代理播放$M$上下文土匪(或MDP)同时提取一个共享的表示功能$ϕ$从一个特定的功能类$Φ$使用我们提出的广义功能置信上限算法(GFUCB)。我们首次从理论上验证了多任务表示学习在一般函数类中对强盗和线性MDP的好处。最后,我们进行实验,以证明我们的算法与神经网络表示的有效性。
2022-10-21 cs.AI cs.LG
Learning to Reason with Curriculum I: Provable Benefits of Autocurriculum
Microsoft Research(微软研究院)
本文研究了自课程学习在提升语言模型推理能力方面的有效性,通过自适应数据选择技术,在监督微调和强化学习中分别减少了训练数据和计算成本。
2026-08-28 cs.LG stat.ML
Faster Reinforcement Learning Using Active Simulators
Indian Institute of Technology Kanpur(印度理工学院坎普尔分校);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
在这项工作中,我们提出了几种在线方法来建立一个\emph{learning curriculum}从一组给定的目标任务特定的训练任务,以加快强化学习(RL)。与从头开始训练目标任务相比,这些方法可以减少RL代理所需的总训练时间。与传统的迁移学习不同,我们考虑从几个训练任务中创建一个序列,以便在减少训练的总时间方面提供最大的好处。我们的方法利用迄今为止看到的课程任务上的代理的学习轨迹来决定接下来要训练哪些任务。我们的方法的一个有吸引力的特点是,它们是弱耦合到RL算法的选择,以及迁移学习方法。此外,当有领域信息可用时,我们的方法可以结合这些知识以进一步加快学习。我们的实验表明,这些方法可以用来获得合适的学习课程,加快两个不同领域的整体训练时间。
2017-11-21 cs.LG
Provable and Practical In-Context Policy Optimization for Self-Improvement
本文提出ICPO方法,通过上下文内自我反思和最小熵优化,在保持低推理成本的同时实现数学推理任务的高性能
2026-03-02 cs.AI cs.LG
Generating Automatic Curricula via Self-Supervised Active Domain Randomization
Mila(米拉);Université de Montréal(蒙特利尔大学);Element AI(元素人工智能公司);CIFAR AI Chair(加拿大高级研究院人工智能讲席)
目标导向的强化学习(RL)传统上认为智能体与环境交互,规定与完成某个目标成比例的真实价值奖励给智能体。目标导向的强化学习在样本效率方面有很大的提高,这是因为通过提出目标可以很容易地重用或生成新的经验。一种方法,自我游戏,允许代理通过交替设置和完成目标来与自己"玩",创建一个学习课程,通过该课程,代理可以学习逐步完成更困难的目标。然而,自我游戏仅限于目标课程学习或在单一环境中逐步学习更难的目标。最近关于机器人代理的工作表明,在训练期间改变环境(例如域随机化)可以导致更鲁棒的传输。因此,我们扩展了自我发挥的框架,共同学习的目标和环境课程,导致学习最富有成效的域随机化策略与自我发挥的方法。我们的方法,自我监督主动域随机化(SS-ADR),生成一个耦合的目标任务课程,代理学习通过逐步更困难的任务和环境变化。通过鼓励代理尝试其当前能力之外的任务,SS-ADR构建了一个域随机化课程,可以在各种sim2real传输任务上实现最先进的结果。我们的研究结果表明,一个共同发展的环境难度的课程,在每个环境中设定的目标的难度提供了实际的好处,在目标导向的任务测试。
2020-10-26 cs.AI cs.LG cs.RO
Curriculum-Based Reinforcement Learning for Autonomous UAV Navigation in Unknown Curved Tubular Conduit
DGA Techniques Navales - Direction Générale de l’Armement(法国国防总局海军技术部);LIRMM, TETIS, CNRS, Université de Montpellier Paul-Valéry(蒙彼利埃大学保罗-瓦莱里耶大学);LIS, CNRS, Université de Toulon(土伦大学)
本文提出基于课程学习的强化学习方法,使无人机在未知弯曲管状环境中实现自主导航,通过结合激光雷达和视觉信息,克服部分可观测性挑战,提升导航稳定性与泛化能力。
2025-12-11 cs.LG cs.RO
Training Large Language Models for Reasoning through Reverse Curriculum Reinforcement Learning
School of Computer Science, Fudan University(复旦大学计算机科学学院);ByteDance Research(字节跳动研究部);Institute of Modern Languages and Linguistics, Fudan University(复旦大学现代语言与语言学研究所)
提出R$^3$方法,通过反向课程强化学习仅用结果监督实现过程监督效果,在八个推理任务上平均提升4.1点,并在GSM8K上超越基线4.2点。
2024-03-17 cs.AI cs.CL cs.LG
Multi-level meta-reinforcement learning with skill-based curriculum
本文提出基于技能的多级元强化学习框架,通过多级分解和策略分解实现技能转移,提升复杂MDP的求解效率与泛化能力。
2026-03-09 cs.AI cs.LG stat.ML
Implicit Bias of SGD for Diagonal Linear Networks: a Provable Benefit of Stochasticity
EPFL(洛桑联邦理工学院)
理解训练算法的隐含偏差对于解释过度参数化神经网络的成功至关重要。本文研究了对角线性网络上的随机梯度下降的动力学问题,通过它的连续时间形式,即随机梯度流。我们明确地证明了随机流选择的解决方案,并证明它总是享有更好的推广性能比梯度流。令人惊讶的是,我们发现训练损失的收敛速度控制着偏差效应的大小:收敛速度越慢,偏差越好。为了完全完成我们的分析,我们为动态提供了收敛保证。我们也给出了实验结果,支持我们的理论主张。我们的研究结果突出了这样一个事实,即结构化噪声可以引起更好的概括,他们有助于解释更大的性能在实践中观察到的随机梯度下降超过梯度下降。
2021-12-07 cs.LG
On the Statistical Benefits of Curriculum Learning
University of Michigan(密歇根大学)
课程学习是一种常用的机器学习训练策略。然而,我们仍然缺乏一个清晰的理论认识CL的好处。在本文中,我们研究的好处CL在多任务线性回归问题下的结构化和非结构化的设置。对于这两种设置,我们推导出CL的最小最大速率与甲骨文,提供了最佳的课程,没有甲骨文,代理人必须自适应地学习一个好的课程。我们的研究结果表明,在非结构化环境中,自适应学习可能从根本上比预言学习更难,但它只是在结构化环境中引入了一个小的额外项。为了将理论与实践联系起来,我们提供了一种流行的经验方法,通过比较其保证与上述极大极小率来选择具有最高局部预测增益的任务。
2021-11-13 cs.LG stat.ML
Direction-oriented Multi-objective Learning: Simple and Provable Stochastic Algorithms
University at Buffalo(布法罗大学);Zuoyi Technology(佐一科技)
本文提出面向方向的多目标优化框架及随机算法SDMGrad和SDMGrad-OS,通过正则化共同下降方向实现可证明收敛到Pareto平稳点,并在多任务监督学习和强化学习中验证了优越性能。
2023-11-29 cs.LG math.OC stat.ML
No DBA? No regret! Multi-armed bandits for index tuning of analytical and HTAP workloads with provable guarantees
University of Melbourne(墨尔本大学)
自动化物理数据库设计一直是数据库研究中的一个长期兴趣,因为优化的结构提供了大量的性能增益。尽管取得了重大进展,但当今的大多数商业解决方案都是高度手动的,需要数据库管理员(DBA)进行离线调用,他们需要识别和提供代表性的培训工作负载。即使是最新的改进,如查询存储,也只提供了对动态环境的有限支持。这种现状是站不住脚的:标识代表性静态工作负载不再现实;并且物理设计工具仍然容易受到查询优化器的成本错误估计的影响。此外,现代应用环境,如混合事务和分析处理(HTAP)系统,使分析建模几乎不可能。我们提出了一种自驱动的在线索引选择方法,避开了DBA和查询优化器,而是通过战略探索和直接的性能观察来学习可行结构的好处。我们认为这个问题是一个不确定性下的顺序决策,特别是在强盗学习设置。多武装强盗平衡探索和利用,以可证明地保证平均性能,收敛到具有完美后见之明的最佳策略。我们针对最先进的商业调优工具进行的全面实证评估表明,在分析处理环境中,移动和临时工作负载的速度提高了75%,静态工作负载的速度提高了28%。在HTAP环境中,我们的解决方案在转移工作负载时可提供高达59%的加速,在静态工作负载时可提供高达51%的加速。此外,我们的bandit框架在收敛速度和性能波动方面优于深度强化学习(RL)(提供高达58%的加速)。
2021-08-23 cs.DB cs.LG
DyFormer: A Scalable Dynamic Graph Transformer with Provable Benefits on Generalization Ability
Penn State University(宾夕法尼亚州立大学);Meta AI
Transformers在多个领域取得了巨大成功,包括自然语言处理和计算机视觉。然而,它的应用到现实世界的图是探索较少,主要是由于其计算成本高,其推广性差造成的缺乏足够的训练数据在图域。为了填补这一空白,我们提出了一个可扩展的transformer类动态图学习方法命名为动态图Transformer(DyFormer)与时空编码,有效地学习图形拓扑结构和捕获隐含的链接。为了实现高效和可扩展的训练,我们提出了时间并图结构及其相关的基于子图的节点采样策略。为了提高泛化能力,我们引入了两个互补的自监督预训练任务,并通过信息论分析表明,联合优化这两个预训练任务会导致更小的贝叶斯出错率。在真实世界数据集上进行的大量实验表明,与所有基准测试的基线相比,DyFormer实现了一致的1%-3% AUC增益(所有时间步长的平均值)。
2023-01-30 cs.LG
Offline Data Enhanced On-Policy Policy Gradient with Provable Guarantees
Carnegie Mellon University(卡内基梅隆大学);University of California, Berkeley(加州大学伯克利分校);MIT(麻省理工学院);Cornell University(康奈尔大学)
提出一种结合在线策略NPG与离线数据训练的混合强化学习算法,理论上实现离线与在线策略保证的兼得,实验上在丰富观测环境中优于仅用离策略优化的基线。
2023-11-14 cs.AI cs.LG stat.ML
On Provable Benefits of Depth in Training Graph Convolutional Networks
Penn State(宾夕法尼亚州立大学)
图卷积网络(Graph Convolutional Network,GCN)的性能随着网络层数的增加而下降,这通常归因于过度平滑。尽管表面上的共识,我们观察到,存在着过度平滑的理论理解和GCN的实际能力之间的差异。具体来说,我们认为,过度平滑不一定会发生在实践中,一个更深的模型是可证明的表达,可以收敛到全局最优的线性收敛速度,并实现非常高的训练精度,只要适当的训练。尽管能够达到很高的训练精度,但实证结果表明,更深层次的模型在测试阶段的泛化能力很差,现有的理论对这种行为的理解仍然很难理解。为了更好地理解GCN,我们仔细分析了GCN的泛化能力,并表明实现高训练精度的训练策略显着恶化了GCN的泛化能力。受这些发现的启发,我们提出了一个解耦的结构GCN分离的权重矩阵的特征传播,以保持表达能力,并确保良好的泛化性能。我们对各种合成和真实世界的数据集进行实证评估,以验证我们的理论的正确性。
2021-10-28 cs.LG
Cogment: Open Source Framework For Distributed Multi-actor Training, Deployment & Operations
AI Redefined(AI Redefined公司)
由于强化学习和人在环学习的几项进展,直接让人类参与人工智能智能体的培训正在获得牵引力。人类可以向智能体提供奖励、演示任务、设计课程或在环境中行动,但这些好处也伴随着架构、功能设计和工程复杂性。我们提出了Cogment,一个统一的开源框架,它引入了一个演员形式主义,以支持各种各样的人类-代理合作类型和培训方法。由于分布式微服务架构,它还可以开箱即用,并为上述复杂性提供解决方案。
2021-06-21 cs.AI cs.HC cs.LG
On Provable Benefits of Muon in Federated Learning
Temple University(特拉华大学)
本文针对优化器Muon在联邦学习中有效性未被探究的空白,提出FedMuon算法,证明其非凸问题收敛速率,揭示学习率与问题参数无关、适配重尾噪声的优势,实验验证了其有效性。
2025-10-04 cs.LG stat.ML
Semi-Supervised Sparse Gaussian Classification: Provable Benefits of Unlabeled Data
Weizmann Institute of Science(魏茨曼科学研究所)
本文研究高维稀疏高斯分类中的半监督学习,证明在特定参数区域内结合有标签与无标签数据可在多项式时间内实现准确分类和特征选择,而单独使用任一数据的高效算法均会失败。
2024-09-05 cs.LG stat.ML
Frequency-aware SGD for Efficient Embedding Learning with Provable Benefits
Georgia Institute of Technology(佐治亚理工学院);Facebook
嵌入式学习在推荐系统和自然语言建模等领域有着广泛的应用。为了有效地学习质量嵌入,自适应学习率算法已经证明了优于SGD的经验性能,这主要归功于它们依赖于令牌的学习率。然而,令牌依赖的学习率的效率的潜在机制仍然未被探索。我们表明,将频率信息的令牌嵌入学习问题导致可证明有效的算法,并证明常见的自适应算法隐式利用的频率信息在很大程度上。具体来说,我们提出了(基于计数器的)频率感知的随机梯度下降,它为每个令牌应用依赖于频率的学习率,并且当令牌分布不平衡时,与SGD相比,表现出可证明的加速。经验上,我们表明,所提出的算法能够改善或匹配自适应算法的基准推荐任务和大规模的工业推荐系统,缩小SGD和自适应算法之间的性能差距。我们的结果是第一次表明令牌依赖的学习率可证明地提高了非凸嵌入学习问题的收敛性。
2021-11-23 cs.LG math.OC
Provable Benefits of Unsupervised Pre-training and Transfer Learning via Single-Index Models
Department of Statistics and Actuarial Science, University of Waterloo, Canada(滑铁卢大学统计与精算科学系);Cheriton School of Computer Science, University of Waterloo, Canada(滑铁卢大学切尔顿计算机科学学院);Department of Statistics, Harvard University, United States of America(哈佛大学统计系)
该研究基于单指标模型,分析无监督预训练与迁移学习对高维单层神经网络在线随机梯度下降训练样本复杂度的影响,证明其可带来多项式甚至指数级的样本效率提升。
2025-06-11 cs.LG stat.ML
Provable Benefits of Sinusoidal Activation for Modular Addition
Toyota Technological Institute at Chicago(丰田技术研究所(芝加哥));University of Chicago(芝加哥大学)
本文研究了正弦激活在模块加法学习中的优势,通过建立表达性差距和泛化界,证明正弦网络在样本复杂度和泛化性能上优于ReLU网络。
2025-11-28 cs.LG stat.ML
Provable and Efficient Continual Representation Learning
University of California, Riverside(加州大学河滨分校)
在持续学习(CL)中,目标是设计能够在没有灾难性遗忘的情况下学习一系列任务的模型。虽然CL有一套丰富的技术,但对以前任务构建的表示如何使添加到网络中的新任务受益的理解相对较少。为了解决这个问题,我们研究了持续表示学习(CRL)的问题,我们学习一个不断发展的表示新的任务到达。专注于零遗忘方法,其中任务嵌入在子网络中(例如,PackNet),我们首先提供实验证明CRL可以显着提高样本效率时,学习新的任务。为了解释这一点,我们建立了理论保证CRL提供样本的复杂性和泛化误差界限的新任务,通过形式化的统计优势,以前学到的表示。我们的分析和实验也强调了我们学习任务的顺序的重要性。具体来说,我们表明,CL的好处,如果初始任务有大样本量和高的“代表多样性”。多样性确保了添加新任务会导致小的表示失配,并且可以用很少的样本学习,同时只训练很少的额外非零权重。最后,我们问是否可以确保每个任务子网络在推理时间内是有效的,同时保留表示学习的好处。为此,我们提出了一个高效的PackNet的推理效率的变化称为高效稀疏PackNet(ESPN),它采用联合信道和权重修剪。ESPN将任务嵌入到通道稀疏的并行计算中,需要减少多达80%的FLOP来计算,同时大约保持准确性,并且与各种基线相比非常具有竞争力。总之,这项工作采取了一个步骤,数据和计算效率的CL与表示学习的角度来看。GitHub页面:https://gith…
2022-11-07 cs.LG
When Do Curricula Work?
UT Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
受人类学习的启发,研究人员提出了在训练过程中根据难度对示例进行排序。课程学习和反课程学习都被认为是对标准i.i.d.的改进,前者在训练早期将网络暴露于较容易的示例,后者首先显示最困难的示例。训练在这项工作中,我们开始研究有序学习的相对好处。我们首先调查的\emph{implicit curricula}造成的架构和优化的偏见,并发现,样本的学习在一个高度一致的顺序。接下来,为了量化\emph{explicit curricula}的好处,我们进行了大量的实验,涉及三种学习方式的数千种排序:课程,反课程和随机课程-其中训练数据集的大小随着时间的推移而动态增加,但示例是随机排序的。我们发现,对于标准的基准数据集,课程只有边际效益,随机排序的样本表现得和课程和反课程一样好或更好,这表明任何好处都完全是由于动态训练集的大小。受实践中课程学习的常见用例的启发,我们研究了有限的训练时间预算和噪声数据在课程学习成功中的作用。我们的实验表明,课程,而不是反课程确实可以提高性能,无论是在有限的训练时间预算或存在噪声数据。
2021-02-09 cs.CV cs.LG eess.IV
Provable Mutual Benefits from Federated Learning in Privacy-Sensitive Domains
INSAIT, Sofia University(INSAIT索菲亚大学);ETH Zurich(苏黎世联邦理工学院);High School of Mathematics Burgas(布尔加斯数学高中)
本文研究隐私敏感领域中联邦学习的互利性,提出互利协议存在条件、最大化客户总效用及最终模型精度的协议,并通过合成实验验证其益处。
2024-11-07 cs.CR cs.GT cs.LG
Provable benefits of representation learning
Princeton University(普林斯顿大学)
人们普遍认为,学习表示是有用的,原因有很多,例如有效使用标记数据(半监督学习),迁移学习和理解数据的隐藏结构。表示学习的流行技术包括聚类、流形学习、核学习、自动编码器、玻尔兹曼机等。为了研究这些技术的相对优点,必须形式化表示学习的定义和目标,以便它们都成为相同定义的实例。本文介绍了这样一个正式的框架,也形式化的效用学习的表示。它与以前的贝叶斯概念有关,但有一些新的转折。我们展示了我们的框架的有用性,通过展示简单和自然的设置-线性混合模型和对数线性模型,其中表示学习的力量可以正式显示。在这些例子中,表示学习可以在合理的假设下被证明和有效地执行(尽管是NP难的),而且:(i)它大大减少了对标记数据的需求(半监督学习),(ii)当像最近邻这样的简单方法需要太多数据时,它允许解决分类任务(iii)它比流形学习方法更强大。
2017-06-14 cs.LG stat.ML
Provable Benefits of Overparameterization in Model Compression: From Double Descent to Pruning Neural Networks
University of California, Riverside(加州大学河滨分校);University of British Columbia(不列颠哥伦比亚大学)
深度网络通常使用比训练数据集的大小更多的参数进行训练。最近的经验证据表明,过度参数化的做法不仅有利于训练大型模型,而且有助于-也许违反直觉-构建轻量级模型。具体来说,它表明,overparameterization的好处模型修剪/稀疏化。本文揭示了这些实证研究结果的理论特征的高维渐近模型修剪过参数化制度。提出的理论解决了以下核心问题:"应该从一开始就训练一个小模型,还是先训练一个大模型,然后再修剪?".我们通过分析确定了一些机制,即使最具信息量的特征的位置是已知的,我们也最好拟合一个大型模型,然后进行修剪,而不是简单地用已知的信息量特征进行训练。这导致了稀疏模型训练中新的双下降:增长原始模型,同时保持目标稀疏性,当超过过参数化阈值时,提高了测试精度。我们的分析进一步揭示了再训练的好处,将其与特征相关性联系起来。我们发现,上述现象已经存在于线性和随机特征模型。我们的技术方法推进了高维分析的工具集,并精确地刻画了过参数化最小二乘的渐近分布。通过分析研究简单模型得到的直觉在神经网络上得到了数值验证。
2020-12-16 cs.LG stat.ML
Provable Benefits of In-Tool Learning for Large Language Models
ETH Zürich(苏黎世联邦理工学院);Inria, Univ. Rennes 2(法国国家信息与自动化研究所,雷恩第二大学);FAIR at Meta(Meta FAIR实验室)
本文探讨了工具学习在事实回忆中的优势,证明通过工具可实现无限制的事实回忆,优于单纯记忆。
2025-08-28 cs.AI cs.LG stat.ML
Provable Long-Range Benefits of Next-Token Prediction
Georgia Tech(佐治亚理工学院)
该研究证明了下一个令牌预测在学习长距离结构上的强大能力,并提供了模型大小的多项式界来解释实际中观察到的长距离连贯性。
2025-12-08 cs.AI cs.LG stat.ML
Provable Meta-Learning with Low-Rank Adaptations
Chandra Family Department of Electrical and Computer Engineering, The University of Texas at Austin, Austin, TX, USA(Chandra Family 电子与计算机工程系,德克萨斯大学奥斯汀分校);Snap, Inc.(Snap公司);Google Research(Google研究)
本研究提出基于PEFT的元学习框架,证明标准重训练在LoRA线性模型上不可证明最优,并通过理论与实验验证其性能优势。
2025-10-22 cs.LG
Provable Benefit of Orthogonal Initialization in Optimizing Deep Linear Networks
Princeton University(普林斯顿大学);Google Brain(谷歌大脑)
深度神经网络基于梯度的优化的初始参数值的选择是深度学习系统中最有影响力的超参数选择之一,影响收敛时间和模型性能。然而,尽管有大量的经验和理论分析,相对较少被证明不同的初始化方案的具体效果。在这项工作中,我们分析了深度线性网络中初始化的影响,并首次提供了一个严格的证明,即从正交组中提取初始权重可以相对于具有iid权重的标准高斯初始化加速收敛。我们发现,对于深度网络,使用正交初始化有效收敛到全局最小值所需的宽度与深度无关,而使用高斯初始化有效收敛所需的宽度在深度上线性缩放。我们的研究结果证明了良好初始化的好处如何在整个学习过程中持续存在,这表明了最近通过根据动态等距原理初始化非常深的非线性网络所发现的经验成功的解释。
2020-01-16 cs.LG cs.NE math.OC
Training Neural Networks as Learning Data-adaptive Kernels: Provable Representation and Approximation Benefits
University of Chicago(芝加哥大学)
考虑一下这个问题:给定从具有$f_*(x) = \mathbf{E}[\mathbf{y} | \mathbf{x} = x]$的总体中提取的数据对$(\mathbf{x}, \mathbf{y})$,指定一个神经网络模型,并随时间对权重运行梯度流,直到达到任何平稳性。$f_t$,即神经网络在时间$t$计算的函数,在近似和表示方面与$f_*$有什么关系?神经网络的自适应表示与经典非参数文献中预先指定的固定基表示相比,有哪些可证明的好处?我们回答了上述问题,通过动态再生核希尔伯特空间(RKHS)的方法索引的神经网络的训练过程。首先,我们证明了当达到任何局部平稳性时,梯度流学习自适应RKHS表示,并同时将全局最小二乘投影到自适应RKHS上。其次,我们证明了RKHS是数据自适应和特定于任务的,残差$f_*$位于一个子空间,这是潜在的比RKHS的正交补小得多。该结果形式化了神经网络的表示和逼近优点。最后,我们证明了梯度流计算的神经网络函数在正则化消失的极限下收敛于具有自适应核的核无岭回归。自适应核的观点为研究神经网络的逼近、表示、推广和优化等优点提供了新的视角。
2019-07-23 cs.LG math.ST stat.ML
Benefit of deep learning with non-convex noisy gradient descent: Provable excess risk bound and superiority to kernel methods
The University of Tokyo(东京大学);RIKEN(理化学研究所)
建立一个理论分析来解释为什么深度学习可以胜过核方法等浅层学习,是深度学习文献中最大的问题之一。为了回答这个问题,我们在轻度过参数化的神经网络上评估了通过带岭正则化的噪声梯度下降训练的深度学习估计器的超额风险,并讨论了其相对于一类线性估计器的优越性,包括神经切线核方法,随机特征模型,其他核方法,$k$ -NN估计器等。我们考虑了师生回归模型,并最终表明,在极大极小最优速率的意义上,任何线性估计器都可以被深度学习超越,特别是对于高维设置。所获得的超额界限是所谓的快速学习率,其比通过通常的拉德马赫复杂度分析获得的$O(1/\sqrt{n})$更快。这种差异是由模型的非凸几何形状引起的,并且用于神经网络训练的噪声梯度下降可证明达到接近全局最优解,即使损失景观是高度非凸的。虽然噪声梯度下降不采用任何显式或隐式稀疏诱导正则化,但它显示出优于线性估计的更好的泛化性能。
2020-12-06 cs.LG stat.ML
Curriculum Learning as Transport: Understanding Curricula with Wasserstein Geodesics
Princeton University(普林斯顿大学);Microsoft Research(微软研究院);Harvard University(哈佛大学)
提出基于Wasserstein测地线的传输框架解耦课程学习因素,在合成套件上发现课程效应依赖上下文,从易到难排序提升困难层级表现。
2026-09-09 cs.LG
Provable Benefit of Cutout and CutMix for Feature Learning
KAIST AI(韩国科学技术院人工智能学院)
该研究针对补丁级数据增强缺乏理论支撑的问题,通过分析两层神经网络在特征-噪声模型下的训练表现,从理论上证明Cutout、CutMix可依次学习更稀有的特征,且CutMix测试准确率最高,为理解补丁级增强提供了新视角。
2024-10-31 cs.AI cs.LG stat.ML