On Tiny Episodic Memories in Continual Learning
University of Oxford(牛津大学);Facebook AI Research(脸书人工智能研究院);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Australian National University(澳大利亚国立大学)
在持续学习(CL)中,智能体从任务流中学习,利用先前的经验将知识转移到未来的任务中。它是减少现有学习算法中监督量的理想框架。但是为了成功的知识转移,学习者需要记住如何执行先前的任务。一种赋予学习者执行过去任务的能力的方法是存储一个小的记忆,称为情景记忆,存储以前任务中的一些例子,然后在训练未来任务时重放这些例子。在这项工作中,我们经验分析的有效性,一个非常小的情景记忆在CL设置,每个训练样本只看到一次。令人惊讶的是,在四个相当不同的监督学习基准适应CL,一个非常简单的基线,共同训练的例子从当前的任务以及存储在情景记忆的例子,显着优于专门设计的CL方法与情景记忆。有趣的是,我们发现,对过去任务的微小记忆进行重复训练并不会损害泛化能力,相反,它会提高泛化能力,当记忆中每个类只填充一个示例时,泛化能力会提高7%到17%。
2019-06-04 cs.LG stat.ML
What Can AutoML Do For Continual Learning?
Eindhoven University of Technology(埃因霍温理工大学)
本文探讨了 AutoML 在增量学习中的应用潜力,指出当前方法冻结架构和超参数的局限,并提出三个关键研究方向以使增量学习器更具动态性。
2023-11-20 cs.CV cs.LG
Remember What You Want to Forget: Algorithms for Machine Unlearning
Cornell University(康奈尔大学);University of Waterloo(滑铁卢大学);Google Research(谷歌研究院)
我们研究了从学习模型中去除数据点的问题。学习器首先接收i.i.d.绘制的数据集$S$。从未知的分布,并输出一个模型$\widehat{w}$,该模型对来自相同分布的未见过的样本表现良好。然而,在未来的某个时刻,任何训练数据点$z \in S$都可以请求取消学习,从而促使学习者修改其输出模型,同时仍然确保相同的准确性保证。我们在机器遗忘中开始了一项严格的泛化研究,其目标是在以前看不见的数据点上表现良好。我们的重点是计算和存储的复杂性。对于凸损失的设置,我们提供了一个unlearning算法,可以unlearn到$O(n/d^{1/4})$样本,其中$d$是问题的维度。相比之下,一般而言,差分私有学习(这意味着不学习)仅保证删除$O(n/d^{1/2})$样本。这证明了差分隐私和机器遗忘之间的新分离。
2021-07-22 cs.AI cs.LG
Continual Learning in Low-rank Orthogonal Subspaces
University of Oxford(牛津大学);Five AI Ltd(Five AI有限公司)
在持续学习(CL)中,学习者面临一系列任务,一个接一个地到达,目标是在持续学习体验结束后记住所有任务。CL中的现有技术使用情景记忆、参数正则化或可扩展网络结构来减少任务之间的干扰,但最终,所有方法都在联合向量空间中学习不同的任务。我们认为,这必然会导致不同任务之间的干扰。我们建议在不同的(低秩)向量子空间中学习任务,这些向量子空间彼此保持正交,以最大限度地减少干扰。此外,为了保持来自这些子空间的不同任务的梯度彼此正交,我们通过将网络训练作为Stiefel流形上的优化问题来学习等距映射。据我们所知,我们报告,第一次,强有力的结果超过经验重放基线,有记忆和没有记忆的标准分类基准在持续学习。该代码是公开的。
2020-12-08 cs.LG
Learning What to Remember: Long-horizon Counterfactual Memory Optimization
University of Michigan(密歇根大学)
本文提出记忆增益策略优化(MGPO),通过边际贡献信用分配解决长交互中记忆重写的延迟效用问题,在文档级信息抽取中提升性能并减少近80%记忆长度,支持跨领域复用。
2026-09-30 cs.CL cs.LG
Episodic Memory Reader: Learning What to Remember for Question Answering from Streaming Data
KAIST(韩国科学技术院);AITRICS
我们考虑了一种新的问答(QA)任务,其中机器需要从大型流数据(长文档或视频)中读取,而不知道何时会给出问题,由于缺乏可扩展性,这很难用现有的QA方法解决。为了解决这个问题,我们提出了一种新的端到端深度网络模型,用于阅读理解,我们称之为情景记忆阅读器(EMR),它将输入的上下文顺序地读取到外部存储器中,同时替换对于回答\emph{unseen}问题不太重要的记忆。具体而言,我们训练RL代理在内存满时替换内存条目,以便在未来时间点最大化其QA准确性,同时使用GRU或Transformer架构对外部内存进行编码,以学习考虑内存条目之间的相对重要性的表示。我们在合成数据集(bAbI)以及真实世界的大规模文本QA(TriviaQA)和视频QA(TVQA)数据集上验证了我们的模型,在这些数据集上,它比基于规则的内存调度策略或基于RL的基线(独立学习每个内存的查询特定重要性)实现了显着改进。
2019-06-09 cs.CL cs.LG stat.ML
Rehearse Everything, Remember Nothing: Attic-KV Rehearses What Will Be Read
Nanyang Technological University(南洋理工大学)
针对 KV 缓存重练的主流方法在严格预算下效果不佳,本文提出 Attic-KV 方法,通过引用上下文生成问答对自我测试并结合锚定标记,在多个基准任务中显著提升了长上下文处理性能。
2026-10-12 cs.CL cs.LG
Remember what you did so you know what to do next
Information Sciences Institute, University of Southern California(信息科学研究所,南加州大学)
本研究使用中等规模的大语言模型GPT-J为模拟机器人在ScienceWorld文本游戏中的30类目标生成计划,通过填充更多历史步骤显著提升性能,并发现任务平均可能掩盖性能差异。
2023-10-30 cs.CL cs.LG
Untrainable elements determine what physical learning remembers
Independent researcher
该研究揭示平衡传播等物理学习规则的守恒结构决定其初始化记忆、训练速度与泛化性,耗散规则泛化性更差但训练更快,守恒性可作为物理学习机器的设计参数。
2026-08-20 cond-mat.dis-nn cond-mat.soft cs.AI
MemoWM: How World Models Change What Agents Need to Remember
South China University of Technology(华南理工大学);University of the Chinese Academy of Sciences(中国科学院大学);Beijing University of Posts and Telecommunications(北京邮电大学);University of Science and Technology of China(中国科学技术大学);Tsinghua University(清华大学);Peking University(北京大学);Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学)
MemoWM是利用世界模型压缩智能体经验存储的框架,在5个基准测试中准确率超基线2.62个百分点,存储量较MIRIX减少53.9%,且更强的世界模型可降低单经验存储量。
2026-10-09 cs.AI cs.LG
Unlearn What You Have Learned: Adaptive Crowd Teaching with Exponentially Decayed Memory Learners
Arizona State University(亚利桑那州立大学)
随着人们对大量有标签数据需求的不断增加,众包技术已经被应用于许多大规模的数据挖掘应用中。然而,现有的众包研究主要集中在标签推理和激励设计方面。在本文中,我们解决了一个不同的问题,自适应人群教学,这是机器教学在众包的背景下的一个子领域。与机器相比,人类非常擅长学习特定的目标概念(例如,将图像分类到给定的类别中),并且它们还可以容易地将所学习的概念转移到类似的学习任务中。因此,利用众包更有效的方式是通过监督人群以教学的形式进行标签。为了同时进行教学和专业知识评估,我们提出了一个自适应的教学框架JEDI构建个性化的最佳教学集的众包工作者。在JEDI教学中,教师假设每个学习者的记忆力都呈指数衰减。此外,它通过在教学有用性方面仔细平衡教学多样性和学习者的准确学习来确保学习过程的全面性。最后,我们通过与综合学习者和真正的众包工作者的多个数据集上的最先进技术进行比较,验证了JEDI教学的有效性和有效性。
2018-05-25 cs.HC cs.LG stat.ML
What is a Good Metric to Study Generalization of Minimax Learners?
Massachusetts Institute of Technology(麻省理工学院)
极大极小优化已经成为许多机器学习(ML)问题的核心。虽然优化算法的收敛行为在极大极小设置中已经被广泛研究,但是它们在随机极大极小优化问题中的推广保证,即,在经验数据上训练的解决方案如何在看不见的测试数据上执行,已经相对地探索不足。一个基本的问题仍然是难以捉摸的:什么是一个很好的指标来研究推广的极大极小学习者?在本文中,我们的目的是回答这个问题,首先表明,原始风险,一个普遍的度量研究推广的最小化问题,最近也被采用研究推广的极大极小的,失败在简单的例子。因此,我们提出了一个新的度量来研究推广的极小极大学习者:原始差距,定义为原始风险之间的差异,其最小的所有模型,以规避问题。接下来,我们推导出非凹凸设置的原始间隙的推广误差界。作为我们分析的副产品,我们还解决了两个悬而未决的问题:建立原始风险和原始-对偶风险的泛化误差界,另一个现有的度量只有在全局鞍点存在时才有明确的定义,在强意义上,即,没有强约束或假设最大化和期望可以互换,而文献中需要这两个假设之一。最后,我们利用这个新的度量比较两个流行的算法-梯度下降上升(GDA)和梯度下降最大(GDMax)在随机极大极小优化的泛化行为。
2022-06-20 cs.LG math.OC stat.ML
What Distributions are Robust to Indiscriminate Poisoning Attacks for Linear Learners?
University of Virginia(弗吉尼亚大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);University California Los Angeles(加州大学洛杉矶分校)
本研究探究线性学习器对无差别投毒攻击的内在鲁棒性,证明在类间分布低方差且分离良好、投毒约束集较小时,线性学习器可天然抵抗投毒,并解释了基准数据集上攻击效果的差异。
2023-11-09 cs.CR cs.LG
Distributed Online Learning via Cooperative Contextual Bandits
UCLA(加州大学洛杉矶分校)
在本文中,我们提出了一个新的框架,分散,在线学习的许多学习者。在每个时刻,由特定上下文表征的实例可能到达每个学习者;基于上下文,学习者可以选择自己的动作之一(给予奖励并提供信息)或请求另一个学习者的帮助。在后一种情况下,请求者支付成本并获得奖励,但提供者了解信息。在我们的框架中,学习者被建模为合作的上下文土匪。每个学习者都寻求从其到达的预期回报最大化,这涉及到权衡从自己的行动中获得的回报,从自己的行动中学习到的信息,从他人请求的行动中获得的回报以及为这些行动支付的成本-考虑到它从每个其他学习者那里学到的关于帮助价值的知识。我们开发了分布式在线学习算法,并提供了分析边界,以比较这些算法的效率与完整的知识(Oracle)基准(其中每个动作的预期回报在每个上下文中是已知的每个学习者)。我们的估计表明,后悔-算法产生的损失-是次线性的时间。我们的理论框架可以用于许多实际应用,包括大数据采掘,事件检测在监测传感器网络和分布式在线推荐系统。
2015-03-23 cs.LG stat.ML
What makes a word hard to learn? Modeling L1 influence on English vocabulary difficulty
University of Göttingen(哥廷根大学)
本文通过梯度提升模型研究了母语对英语词汇难度的影响,发现词汇熟悉度是共同主导因素,而西班牙语和德语学习者还依赖拼写转移,而中文学习者则仅依赖熟悉度和表层特征。
2026-05-12 cs.CL cs.LG
Using Machine Teaching to Investigate Human Assumptions when Teaching Reinforcement Learners
University of Wisconsin - Madison(威斯康星大学麦迪逊分校);Princeton University(普林斯顿大学)
通过将教学问题表述为机器教学优化问题并用深度学习近似求解,研究发现人类在Q-learner折扣率小、学习率大时教学效果较好但仍次优,实时反馈更新微弱有帮助,为设计直觉化机器智能体提供指导。
2023-06-29 cs.AI cs.HC cs.LG
Bandit-Feedback Online Multiclass Classification: Variants and Tradeoffs
The Henry and Marilyn Taub Faculty of Computer Science, Technion(以色列理工学院亨利与玛丽莲·陶布计算机科学学院);Faculty of Mathematics, Technion(以色列理工学院数学学院);Department of Computer Science, Purdue University(普渡大学计算机科学系);Faculty of Data and Decision Sciences, Technion(以色列理工学院数据与决策科学学院);Google Research(谷歌研究院)
本研究在对抗性在线多分类错误界模型中,分析了bandit feedback与full information、随机化与确定性学习者、自适应与遗忘对手之间的损失差异,给出了近乎紧致的$O(k)$与$\ ildeΘ(k)$界,并回答了相关开放问题。
2024-02-12 cs.LG stat.ML
Active choice of teachers, learning strategies and goals for a socially guided intrinsic motivation learner
INRIA(法国国家信息与自动化研究所);ENSTA ParisTech(巴黎高等科技学院)
我们提出了一个主动学习架构,允许机器人主动学习哪种数据汇集策略对于获得运动技能以实现多个结果是最有效的,并概括其经验以实现新的结果。机器人通过交互式学习和目标模糊来探索它的环境。它同时从几个可用的老师那里学习什么时候,谁和什么要积极模仿,并学习什么时候不使用社会指导,而是使用积极的目标导向的自我探索。这是在终身战略学习的框架内正式确定的。建议的架构,被称为社会引导的内在动机与教师和策略的积极选择(SGIM-ESTA),依赖于层次的积极决定什么和如何学习的经验评估的学习进展为每个学习策略的驱动。我们说明了一个实验,模拟机器人学习控制其手臂实现两种不同的结果。在每一个学习阶段,它都要主动地、分层次地进行选择:1)学习什么:选择哪一个结果最有趣,作为目标导向探索的目标; 2)如何学习:在自我探索、模仿和仿效中使用哪一种数据汇集策略; 3.一旦他决定了什么时候模仿什么,选择模仿或仿效,那么他就必须从一组不同的老师中选择模仿谁。我们表明,SGIM-ESTO学习效率显着高于使用单一的学习策略,并连贯地选择最佳策略,就所选择的结果,利用现有的教师(具有不同水平的技能)。
2018-04-18 cs.AI cs.LG stat.ML
What learning algorithm is in-context learning? Investigations with linear models
Google Research(谷歌研究院);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Stanford University(斯坦福大学)
探究transformers上下文学习机制,提出并验证其隐式实现标准学习算法的假设,证明其能通过梯度下降、岭回归等算法构建预测器,并在算法层面具备可理解性。
2023-05-17 cs.CL cs.LG
The Information Shadow: Measuring Structural Limits on What Language Models Can Learn
Sirena Ai(Sirena人工智能公司)
研究语言模型学习的结构限制,引入信息阴影概念,包含语言无法表达的结构等三类。通过语言压缩残差等探针测试,揭示不同类型限制,发布探针套件并探讨其对基准设计等方面的影响。
2026-07-22 cs.AI cs.LG
Learning What to Predict: Downstream-Guided Task Design for Continued Pretraining
Department of ECE(电子工程系);Carnegie Mellon University(卡内基梅隆大学)
提出V-pretraining方法,通过轻量级任务设计器为无标签批次构建目标或视图,利用下游损失的一阶减少作为反馈,指导自监督更新,提升目标能力而不损害泛化。
2026-06-15 cs.AI cs.LG
Tell Me What To Learn: Generalizing Neural Memory to be Controllable in Natural Language
Columbia University(哥伦比亚大学)
本文提出了一种基于自然语言指令的通用神经记忆系统,实现对学习内容的灵活控制,适用于医疗和客户服务等需要动态更新的场景。
2026-11-06 cs.LG
Lambda Learner: Fast Incremental Learning on Data Streams
LinkedIn Corporation(领英公司)
机器学习最成熟的应用之一是决定向网站访问者展示什么内容。当观察数据来自高速用户生成的数据流时,机器学习方法在模型复杂度、训练时间和计算成本之间执行平衡操作。此外,当模型新鲜度至关重要时,模型的训练就会受到时间限制。尽管水平可扩展,但批量离线训练通常不考虑时间或成本效益。在本文中,我们提出了Lambda Learner,这是一种通过增量更新来训练模型的新框架,以响应来自数据流的小批量。我们表明,我们的框架的结果模型密切估计在离线数据上训练的定期更新的模型,并且在模型更新对时间敏感时优于它。我们提供了理论上的证明,增量学习更新改善了一个陈旧的批处理模型的损失函数。我们在大型社交网络的赞助内容平台上进行了大规模部署,为不同渠道的数亿用户提供服务(例如,台式机、移动设备)。我们从算法和基础设施的角度来解决挑战和复杂性,并说明了系统的计算,存储和流生产的训练数据的细节。
2021-06-28 cs.AI cs.LG stat.ML
Generalization of Reinforcement Learners with Working and Episodic Memory
DeepMind(深度思维)
记忆是智力的一个重要方面,在许多深度强化学习模型中发挥作用。然而,在理解特定的记忆系统何时比其他系统更有帮助以及它们的泛化能力方面,几乎没有取得进展。该领域还没有看到一个普遍的一致和严格的方法来评估代理人的表现。在本文中,我们的目标是开发一个全面的方法来测试不同种类的记忆体中的代理和评估如何以及代理可以应用它在训练中学到的坚持集,从训练集不同的尺寸,我们建议是相关的评估内存特定的泛化。为此,我们首先构建了一组不同的记忆任务,使我们能够在多个维度上评估测试时的泛化。其次,我们开发和执行多个消融剂的架构,结合多个内存系统,观察其基线模型,并调查其性能对任务套件。
2020-02-19 cs.AI cs.LG stat.ML
Personalized Education in the AI Era: What to Expect Next?
University of Tübingen(图宾根大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Miami(迈阿密大学);University of Cambridge(剑桥大学)
个性化学习的目标是设计一个有效的知识获取路径,使学习者能够扬长避短,最终达到预期的学习目标。这一概念几年前就出现了,并被全球越来越多的教育机构所采用。近年来,人工智能(AI)和机器学习(ML)的推动,以及大数据分析的进步,为在多个维度上加强个性化教育提供了新的视角。通过利用AI/ML方法,教育平台精确地获取学生的特征。这在一定程度上是通过观察过去的经验以及通过探索学习者的特征和相似性来分析可用的大数据来完成的。例如,它可以在众多可访问的内容中推荐最合适的内容,建议精心设计的长期课程,通过建议联系合适的学习者,准确的性能评估等。尽管如此,基于人工智能的个性化教育的几个方面仍有待探索。这些措施包括,除其他外,补偿同行缺席的不利影响,创造和维持学习的动机,增加多样性,消除数据和算法引起的偏见等。在本文中,在简要回顾最新研究的同时,我们调查了基于AI/ML的个性化教育的挑战,并讨论了潜在的解决方案。
2021-01-19 cs.AI cs.CY cs.LG
Understanding Aggregations of Proper Learners in Multiclass Classification
University of Southern California(南加州大学);Aarhus University(奥胡斯大学);Yale University(耶鲁大学)
研究多类分类中适当学习器聚合克服适当性障碍的程度,证明对有限Graph维度类别可获严格优于ERM的样本复杂度,并对一般有限DS维度类别给出强烈反驳。
2025-08-12 cs.LG math.ST stat.ML
A Brief Prehistory of Double Descent
University of Copenhagen(哥本哈根大学);Delft University of Technology(代尔夫特理工大学)
在他们发人深省的论文[1]中,Belkin等人说明并讨论了现代高复杂性学习者背景下的风险曲线形状。给定一个固定的训练样本大小$n$,这样的曲线显示了学习者的风险作为其复杂性$N$的一些(近似)度量的函数。当$N$表示特征数量时,这些曲线也称为特征曲线。[1]中的一个显著观察结果是,这些曲线可以显示他们所谓的双下降:随着$N$的增加,风险最初降低,达到最小值,然后增加,直到$N$等于$n$,此时训练数据完美拟合。进一步增加$N$,风险第二次也是最后一次降低,在$N=n$处产生峰值。这种双重的下降可能会让人感到惊讶,但与[1]报道的相反,它在历史上并没有被忽视。我们的信提请注意一些原始的,早期的发现,感兴趣的当代机器学习。
2020-04-07 cs.LG
Bias in Machine Learning Software: Why? How? What to do?
North Carolina State University(北卡罗来纳州立大学)
越来越多的软件在刑事判决、批准信用卡、雇用员工等方面做出自主决定,其中一些决定显示出偏见,并对某些社会群体(例如,由性别、种族、年龄、婚姻状况定义的群体)产生不利影响。许多先前关于偏见缓解的工作采取以下形式:以多种方式改变数据或学习者,然后看看是否有任何改善公平性的方法。也许更好的方法是假设偏见的根本原因,然后应用一些解决策略。本文假设偏差的根本原因是影响(a)选择什么数据和(b)分配给这些示例的标签的先验决策。我们的Fair-SMOTE算法去除了有偏见的标签,并重新平衡了内部分布,使得基于敏感属性,示例在正类和负类中都是相等的。在测试中,可以看出这种方法在减少偏差方面与以前的方法一样有效。此外,通过Fair-SMOTE生成的模型实现了比其他最先进的公平性改进算法更高的性能(以召回率和F1衡量)。据我们所知,根据分析的学习者和数据集的数量来衡量,这项研究是文献中最大的关于偏见缓解的研究之一。
2021-07-09 cs.LG cs.SE
Wide Learning: Learning to Reach Evidence
School of Intelligent Systems Engineering, Sun Yat-sen University(中山大学智能工程学院);Shenzhen 518107, China(中国深圳)
该研究提出广度学习概念,形式化学习器的有效认知触及范围,通过受控构造证明学习可在原始可供性与资源固定时改变该范围,为学习系统评估提供了新维度。
2026-09-01 cs.AI cs.LG
Knowing the User Is Not Knowing What We Established: Grounding Awareness in Personal Agents
Carnegie Mellon University(卡内基梅隆大学);New York University(纽约大学);NYU Shanghai(上海纽约大学)
该研究针对个人智能体记忆无法区分用户与智能体共同确立的约定状态的问题,提出基础感知能力,开发基准测试并引入轻量的基础层模块,显著改善智能体行为。
2026-10-14 cs.AI cs.HC cs.LG
Memory Without Curation: Learning Multi-Stream Latent Memory for Robot Policies
本研究提出IMPRINT框架,为VLA模型添加无明确内容限制的多流潜在记忆,经两阶段训练后,在模拟与真实记忆需求任务中,其成功率较基础VLA至少提升26%,延迟更低且性能优于同类方案。
2026-10-14 cs.AI cs.LG cs.RO