In-Context Learning with Representations: Contextual Generalization of Trained Transformers
Carnegie Mellon University(卡内基梅隆大学);University of Pennsylvania(宾夕法尼亚大学);The Ohio State University(俄亥俄州立大学)
本文研究Transformer在非线性回归任务中的训练动态,证明一层多头Transformer能线性收敛至全局最小值并执行岭回归,首次可证明地展示其能从少量示例中学习上下文模板信息以泛化到未见示例和任务。
2024-09-25 cs.CL cs.IT cs.LG
Understanding the Generalization of In-Context Learning in Transformers: An Empirical Study
Tsinghua University(清华大学)
该研究通过三维任务框架实证探究Transformer上下文学习的泛化能力,发现其缺乏问题间泛化但任务内、问题内泛化优异,混合多样训练任务可显著提升泛化效果,为训练数据设计提供指导。
2025-03-19 cs.LG
Finite Sample Analysis and Bounds of Generalization Error of Gradient Descent in In-Context Linear Regression
本文针对上下文内线性回归,分析单步梯度下降在随机设计、有限样本下的泛化误差界,并与最小二乘比较以揭示误差分量和最优步长。
2024-05-09 cs.NA math.NA math.PR
Topological DeepONets and a generalization of the Chen-Chen operator approximation theorem
本文提出拓扑深度ONets,扩展陈-陈算子近似定理至局部凸空间,实现对连续算子的统一近似。
2026-03-12 cs.LG cs.NE math.FA
Generalization Guarantees for Multi-Input Neural Operator Learning in Sobolev Spaces
Georgia Institute of Technology(佐治亚理工学院);University of Notre Dame(圣母大学);Hong Kong Baptist University(香港浸会大学)
针对多输入神经算子,在Sobolev范数下建立逼近和泛化误差估计,量化各输入空间对误差界的贡献,并揭示平衡状态下输入维度、正则性和Sobolev阶的相互作用。
2026-06-17 cs.LG cs.NA math.NA
Generalization Limits of In-Context Operator Networks for Higher-Order Partial Differential Equations
Department of Mathematics, University of Texas at Austin(德克萨斯大学奥斯汀分校数学系)
研究上下文运算网络在处理高阶偏微分方程时的泛化能力,扩展了基础模型处理微分方程的类型和范围,证明模型在复杂输入下仍能保持解的动力学和整体行为的定性准确性。
2026-03-23 cs.LG cs.NA math.NA
A Bayesian Perspective on the Role of Epistemic Uncertainty for Delayed Generalization in In-Context Learning
EURECOM
本文从贝叶斯视角研究上下文学习中延迟泛化与证据不确定性的关系,通过模运算任务分析训练过程中预测不确定性演变,发现模型理解后不确定性骤降,为泛化提供无标签诊断。
2026-04-14 cs.LG stat.ML
ReBaNO: Reduced Basis Neural Operator Mitigating Generalization Gaps and Achieving Discretization Invariance
University of Massachusetts Dartmouth(马萨诸塞大学达特茅斯分校);Flatiron Institute(熨斗研究院);Lehigh University(理海大学)
提出少数据算子学习算法 ReBaNO,通过贪心算法离线自适应构建网络并结合知识蒸馏嵌入物理,显著缩小泛化间隙并实现严格离散不变性。
2025-09-11 cs.LG cs.NA math.NA
Ghost in the Kernel: In-Context Learning with Efficient Transformers via Domain Generalization
School of Mathematics and Statistics, University of Sydney(悉尼大学数学与统计学院)
本文从领域泛化角度研究线性Transformer的近似与泛化能力,证明其通过上下文分布到响应函数的映射实现上下文学习,并基于理论提出激活函数与损失函数设计新视角。
2026-07-02 cs.LG stat.ML
The Persona Hierarchy Model: Understanding Contextual Generalization in Fine-Tuning LLMs
Northeastern University(东北大学);Stanford University(斯坦福大学);Google DeepMind(谷歌DeepMind)
本文提出人格层级模型解释大语言模型微调中的上下文泛化现象,并通过120个模型实验验证,同时提出人格保留正则化方法有效抑制不期望的泛化,降低奖励黑客行为。
2026-10-08 cs.CL cs.LG
Inferring Behavior-Specific Context Improves Zero-Shot Generalization in Reinforcement Learning
University of Freiburg(弗莱堡大学)
针对强化学习零样本泛化难题,提出将上下文表示学习与策略学习直接整合的方法,可获取行为特定上下文表示,在多模拟域零样本设置下性能优于现有技术,推动了可泛化强化学习系统的发展。
2024-04-15 cs.AI cs.LG
Context-aware Dynamics Model for Generalization in Model-Based Reinforcement Learning
UC Berkeley(加州大学伯克利分校);KAIST(韩国科学技术院);Google Brain(谷歌大脑);University of Michigan Ann Arbor(密歇根大学安娜堡分校)
基于模型的强化学习(RL)通过学习环境的动态模型而享有若干益处,例如数据效率和规划。然而,学习可以概括不同动态的全局模型是一项具有挑战性的任务。为了解决这个问题,我们将学习全局动力学模型的任务分解为两个阶段:(a)学习捕获局部动态的上下文潜在向量,然后(b)预测以其为条件的下一状态。为了将动态特定信息编码到上下文潜在向量中,我们引入了一种新的损失函数,其鼓励上下文潜在向量对于预测前向和后向动态都是有用的。所提出的方法实现了优越的泛化能力,在各种模拟机器人和控制任务,相比现有的RL计划。
2020-06-29 cs.LG stat.ML
Test-time Generalization for Physics through Neural Operator Splitting
Flatiron Institute, New York(Flatiron 机构,纽约);New York University(纽约大学);Princeton University(普林斯顿大学);Sorbonne Université, CNRS, ISIR, Paris(索邦大学,CNRS,ISIR,巴黎)
本文提出通过神经算子分裂在测试时增强泛化能力,实现零样本泛化并恢复底层PDE参数。
2026-08-11 cs.LG
Contextualized Embeddings in Named-Entity Recognition: An Empirical Study on Generalization
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);BNP Paribas(法国巴黎银行);Criteo AI Lab(科睿唯安人工智能实验室)
上下文化嵌入使用无监督的语言模型预训练来根据上下文计算单词表示。这对于泛化直观上是有用的,特别是在命名实体识别中,检测在训练期间从未见过的提及至关重要。然而,标准的英语基准高估了词汇的重要性,因为不切实际的词汇重叠之间的训练和测试提到上下文功能。在本文中,我们进行了一个实证分析的泛化能力的国家的最先进的语境化嵌入分离提到的新颖性和域外评估。我们表明,它们是特别有益的未见过的提及检测,特别是域外。对于在CoNLL 03上训练的模型,语言模型上下文化导致域内最大相对微F1分数增加+1.2%,而WNUT数据集上的域外最大相对微F1分数增加+13%
2020-01-22 cs.CL cs.LG
Prototypical context-aware dynamics generalization for high-dimensional model-based reinforcement learning
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);The University of Hong Kong(香港大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
潜在的世界模型提供了一种有前途的方法来学习策略在一个紧凑的潜在空间的任务与高维观测,然而,其泛化在不同的环境与看不见的动态仍然具有挑战性。虽然在当前的进展中使用的经常性结构有助于捕获局部动态,但在没有明确理解环境背景的情况下仅对状态转换进行建模限制了动态模型的泛化能力。为了解决这个问题,我们提出了一个原型上下文感知动力学(ProtoCAD)模型,该模型通过时间一致的潜在上下文捕获局部动力学,并使高维控制任务中的动力学泛化。ProtoCAD在批量聚集的原型的帮助下提取有用的上下文信息,并从两个方面使基于模型的RL受益:1)它利用时间一致的原型正则化器,鼓励为同一潜在轨迹的不同时间部分生成的原型分配在时间上一致,而不是比较特征; 2)设计了一种结合潜在状态投影嵌入和聚合原型的上下文表示方法,显著提高了系统的动力学泛化能力。大量的实验表明,ProtoCAD在动力学综合方面优于现有的方法。与基于递归的模型RSSM相比,ProtoCAD在所有动态泛化任务中的平均和中值性能分别提高了13.2%和26.7%。
2022-11-23 cs.LG
Zero-Shot Context Generalization in Reinforcement Learning from Few Training Contexts
Department of Mathematics University of California, Los Angeles(数学系加州大学洛杉矶分校)
本文提出上下文增强的贝尔曼方程(CEBE)和上下文样本增强(CSE)方法,以提升在少量训练上下文中强化学习的泛化能力。
2025-12-27 cs.LG
Generalization Bounds and Statistical Guarantees for Multi-Task and Multiple Operator Learning with MNO Networks
University of California Los Angeles(加州大学洛杉矶分校)
本文研究了MNO网络在多任务和多重操作学习中的泛化界限,通过覆盖数分析得出了可分离模型的显式度量-熵界,并结合MNO的近似保证,获得了新三元组上的测试误差的显式近似-估计权衡。
2026-04-02 cs.LG
Bayes' Power for Explaining In-Context Learning Generalizations
University of Freiburg(弗赖堡大学);Charité University Medicine Berlin(柏林夏里特医学院);ELLIS Institute Tübingen(ELLIS研究所蒂宾根分所)
本文提出将大规模单epoch训练下的神经网络行为解释为近似数据生成过程的真实后验,并用其解释和预测ICL向未见任务的泛化。
2024-10-02 cs.LG stat.ML
Dynamics-Aligned Latent Imagination in Contextual World Models for Zero-Shot Generalization
Institute for Data Science Foundations(数据科学基础研究所)
DALI通过动态对齐潜在想象在情境世界模型中实现零样本泛化,通过自监督编码器预测前向动力学,连接感知与控制,提升情境适应能力。
2026-01-15 cs.AI cs.LG
Frequency Bias and OOD Generalization in Neural Operators under a Variable-Coefficient Wave Equation
Independent Researcher(独立研究者);School of Statistics, University of Minnesota, MN, USA(明尼苏达大学统计学系)
研究变量系数波动方程中神经算子在频率偏置和领域外泛化中的表现,通过FNO和DeepONet两种架构对比,揭示架构表示偏置对泛化能力的影响。
2026-05-13 cs.LG
Operator Learning with Domain Decomposition for Geometry Generalization in PDE Solving
Corporate Research, Bosch (China) Investment Co., Ltd.(博世(中国)投资有限公司企业研究部)
本文提出一种基于域分解的运算学习框架,通过局部到全局的方法解决任意几何上的PDEs,提升几何泛化能力与数据效率。
2026-02-27 cs.AI cs.LG
Context-Aware Self-Adaptation for Domain Generalization
Carleton University(卡尔顿大学);Amii(Amii研究院)
提出用于领域泛化的两阶段方法CASA,利用小批量特征均值等上下文信息自适应调整预训练模型,并通过多模型集成在标准基准上实现最先进性能。
2025-04-03 cs.AI cs.LG
Personalized Federated Learning with Contextualized Generalization
The Hong Kong Polytechnic University(香港理工大学);The Hong Kong Polytechnic University Shenzhen Research Institute(香港理工大学深圳研究院)
流行的个性化联邦学习(PFL)通常通过维护共享的全局模型来指导局部模型的训练过程,从而在个性化和泛化之间寻求平衡。然而,当局部数据集上存在多个潜在上下文时,单一的全局模型可能容易将偏离的上下文知识转移到某些局部模型。在本文中,我们提出了一个新的概念,称为上下文泛化(CG),为每个客户端提供细粒度的上下文知识,可以更好地适应本地数据分布,促进更快的模型收敛,在此基础上,我们适当地设计了一个框架的PFL,被称为CGPFL。我们进行了详细的理论分析,其中的收敛性保证和$\mathcal{O}(\sqrt{K})$加速大多数现有的方法被授予。为了定量地研究泛化-个性化的权衡,我们引入了“泛化误差”的措施,并证明了建议的CGPFL可以实现一个更好的权衡比现有的解决方案。此外,我们的理论分析进一步启发了一个启发式算法,找到一个接近最优的权衡在CGPFL。在多个真实世界数据集上的实验结果表明,我们的方法在测试精度上明显优于最先进的方法。
2022-05-01 cs.DC cs.LG
Training on Irrelevant States Implies Data Augmentation: Generalization in Contextual MDPs
研究上下文马尔可夫决策过程零样本策略转移中智能体泛化问题,提出Explore-Go方法,通过在训练开始引入纯探索阶段,结合现有纯探索策略提升智能体覆盖范围与准确性来增强泛化能力,经实验验证该方法在多种基准测试中有效。
2026-07-14 cs.AI cs.LG
Multi-Operator Few-Shot Learning for Generalization Across PDE Families
提出MOFS多模态框架,通过自监督预训练、文本条件嵌入和记忆增强提示,实现少样本下跨PDE族的算子泛化,在基准上优于现有方法。
2025-08-02 cs.LG
Assessing Generalization for Subpopulation Representative Modeling via In-Context Learning
University of California, Davis(加利福尼亚大学戴维斯分校)
本研究利用美国全国选举研究数据评估基于LLM的子群体代表性模型通过上下文学习的泛化能力,发现其效果在不同人口群体间存在不均等益处,强调需建立检验保真度与泛化能力的细粒度基准。
2024-02-12 cs.AI cs.CL cs.CY
On the Compositional Generalization Gap of In-Context Learning
Mila(米拉研究所);Université de Montréal(蒙特利尔大学);ServiceNow Research(ServiceNow研究院);Microsoft Research(微软研究院)
预训练的大型生成语言模型在许多任务上表现出很好的性能,但表现出较低的组合泛化能力。缩放这些模型已经被证明可以提高它们在各种NLP任务上的性能,即使只是通过几个例子来解决任务而没有任何微调(也称为上下文学习)。在这项工作中,我们看看在分布(ID)和分布(OOD)的性能,这样的模型在语义解析任务与上下文学习之间的差距。在ID设置中,演示来自正在评估模型的同一个分割(测试或训练),而在OOD设置中,演示来自另一个分割。我们看看上下文学习的相对泛化差距如何随着模型的扩大而演变。我们评估了四个模型家族,OPT,BLOOM,CodeGen和Codex三个语义解析数据集,CFQ,SCAN和GeoQuery与不同数量的样本,并观察到一个趋势,减少相对泛化差距模型的规模扩大。
2022-11-15 cs.CL cs.LG
Towards Understanding the Relationship between In-context Learning and Compositional Generalization
dot Inc.(42dot公司);University of Stuttgart(斯图加特大学)
本文假设强制上下文学习能提供归纳偏置以促进组合泛化,通过打乱训练顺序和标签训练因果Transformer,在SCAN、COGS和GeoQuery上验证了该方法确实提升了组合泛化能力。
2024-03-18 cs.CL cs.LG
Transformers generalize differently from information stored in context vs in weights
DeepMind(深度思维)
Transformer模型可以使用两种根本不同的信息:在训练期间存储在权重中的信息,以及在推理时提供的“上下文”信息。在这项工作中,我们表明,Transformers表现出不同的感性偏见,他们如何表示和概括这两个来源的信息。特别是,我们的特点是否通过简约的规则(基于规则的泛化)或通过直接比较观察到的例子(基于范例的泛化),他们概括。这具有重要的实际意义,因为它决定了是在权重中还是在上下文中对信息进行编码,这取决于我们希望模型如何使用这些信息。在受控刺激上训练的Transformers中,我们发现从权重的泛化更基于规则,而从上下文的泛化主要是基于范例的。相比之下,我们发现在自然语言预训练的Transformers中,上下文学习是基于规则的,更大的模型显示出更多的基于规则。我们假设,基于规则的概括,从上下文信息可能是一个紧急的结果,大规模的培训语言,它具有稀疏的规则结构。使用受控刺激,我们验证了在包含稀疏规则结构的数据上预训练的Transformers表现出更多基于规则的泛化。
2022-10-13 cs.AI cs.CL cs.LG
Generalization of Transformer-Based Neural Quantum States via In-Context Learning
University of Michigan(密歇根大学);Michigan Institute for Computational Discovery and Engineering(密歇根计算发现与工程研究所)
本文提出理论框架,分析基于Transformer的神经量子态在上下文学习中的泛化性能,建立MSE泛化误差界,证明误差随示例数和深度反比下降,所需深度随系统大小线性增长,并推广至完整量子态,数值模拟验证理论。
2026-10-05 cs.LG quant-ph
Generalization Error Guaranteed Auto-Encoder-Based Nonlinear Model Reduction for Operator Learning
Hong Kong Baptist University(香港浸会大学);Purdue University(普渡大学)
提出基于自编码器神经网络AENet的非线性模型降维方法以学习算子,通过非线性PDE实验验证其精度,并建立泛化误差理论,揭示样本复杂度与内蕴维度的关系及抗噪性。
2024-01-19 cs.LG
Graph In-Context Operator Networks for Generalizable Spatiotemporal Prediction
National University of Singapore(新加坡国立大学)
本文提出GICON网络,通过图消息传递和示例感知位置编码实现时空预测的泛化能力,实验证明上下文运算符学习在复杂任务中优于传统运算符学习。
2026-04-15 cs.AI cs.LG
Operator-Based Generalization Bound for Deep Learning: Insights on Multi-Task Learning
Free University of Bozen-Bolzano(博兹纳-博尔扎诺自由大学);University of Catania(卡塔尼亚大学);University of Florida(佛罗里达大学)
本文通过算子理论框架,结合Koopman方法与现有技术,为向量值神经网络和深度核方法提出了更紧的泛化界,并引入草图技术降低计算成本,同时提出深度向量值再生核希尔伯特空间框架,利用Perron-Frobenius算子增强深度核方法,推导了新的Rademacher泛化界,解决了欠拟合和过拟合问题。
2026-05-22 cs.AI cs.LG
Schrodinger AI: A Unified Spectral-Dynamical Framework for Classification, Reasoning, and Operator-Based Generalization
Arizona State University(亚利桑那州立大学)
薛定谔AI通过统一频谱-动态框架实现分类、推理和基于算子的泛化,提供稳健的泛化能力与可解释的语义。
2025-12-28 cs.CV cs.LG
Improved generalization with deep neural operators for engineering systems: Path towards digital twin
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Missouri University of Science and Technology(密苏里科技大学)
本研究评估了采用分支/主干架构的深度算子网络在求解ODE、扩散及Burgers方程上的表现,证明其具备高预测精度和零样本泛化能力,突显了神经算子网络在物理系统代理建模与数字孪生开发中的重要潜力。
2024-04-29 cs.LG stat.AP stat.CO
Predicting Out-of-Distribution Generalization of Neural Operators via Observable Spectral Error Decomposition
Harbin Institute of Technology(哈尔滨工业大学);Jilin University(吉林大学)
提出一种基于谱滤波器参数化的神经算子框架,通过精确分解能量误差为可观测分量,实现分布外泛化的可预测与可审计诊断。
2026-09-22 cs.AI cs.LG
Robust Generalization Strategies for Morpheme Glossing in an Endangered Language Documentation Context
University of Colorado(科罗拉多大学)
针对濒危语言 Uspanteko 语素标注中的跨体裁泛化问题,本文结合权重衰减、输出去噪与迭代伪标注,将未见体裁测试集性能提升2%。
2023-11-05 cs.CL cs.LG
A Domain Generalization Perspective on Listwise Context Modeling
Ctrip Travel Network Technology Co., Limited(携程旅行网络科技有限公司)
作为信息检索中解决排序问题的最流行的技术之一,LETOR(Learning-to-rank)由于其在各种数据采掘应用中的重要性而受到学术界和工业界的广泛关注。然而,大多数现有的LETOR方法选择学习一个单一的全局排名函数来处理所有查询,而忽略了查询之间存在的实质性差异。在本文中,我们提出了一个领域泛化策略来解决这个问题。我们提出了查询不变的列表上下文建模(QILCM),一种新的神经架构,通过学习\textit{query-invariant}潜在表示消除查询间变异的不利影响,使排名系统可以更好地推广到看不见的查询。我们在基准数据集上评估了我们的技术,证明QILCM的性能大大优于以前的最先进的方法。
2019-02-12 cs.IR cs.LG
SimNets: A Generalization of Convolutional Networks
The Hebrew University of Jerusalem(耶路撒冷希伯来大学)
我们提出了一个深层架构,概括了经典的卷积神经网络(ConvNets)。该架构称为SimNets,由两个运算符驱动,一个是相似性函数,其家族包含ConvNets中使用的卷积运算符,另一个是一个新的软最大-最小-均值运算符,称为MEX,实现了ReLU和最大池等经典运算符,但具有额外的功能,使SimNets成为ConvNets的强大泛化。从该架构中出现了三个有趣的特性:(i)隐藏层到输出机器的基本输入包含具有指数和广义高斯内核的内核机器作为特殊情况,输出单元是“特征空间中的神经元”(ii)在其一般形式中,基本机器具有比内核机器更高的抽象级别,以及(iii)使用无监督学习初始化网络是自然的。实验证明,该网络具有比可比ConvNets小一个数量级的网络,能够实现最先进的精度。
2014-12-07 cs.LG cs.NE
Operator-Theoretic Generalization Bounds for Multitask Deep Learning
Free University of Bozen–Bolzano(博尔扎诺自由大学)
该研究针对多任务深度学习,通过算子理论推导泛化界,分析不同假设空间的复杂度,构建跨任务共享算子学习并验证相关代理。
2026-08-18 cs.LG
One for All: A Non-Linear Transformer can Enable Cross-Domain Generalization for In-Context Reinforcement Learning
Duke University(杜克大学)
本文提出通过非线性变换器实现跨领域泛化,利用核方法连接非线性变换器与时间差分学习,展示不同领域价值函数可通过共享权重表示。
2026-11-10 cs.AI cs.LG
A Robust In-Context Model for Conservation Laws: Injecting Context into Flux Neural Operators via Recurrent Vision Transformers
Center for AI and Natural Sciences(人工智能与自然科学中心);Korea Institute for Advanced Study(韩国高级研究院)
本文提出一种结合循环视觉变换器的流神经算子架构,通过超网络提取解动态并生成上下文条件神经算子参数,实现无需显式访问守恒定律或PDE系数即可求解守恒定律。
2026-08-21 cs.LG
On the generalization of language models from in-context learning and finetuning: a controlled study
Google DeepMind(谷歌DeepMind);Google DeepMind & Stanford University(谷歌DeepMind与斯坦福大学)
本文通过构建新数据集,对比语言模型上下文学习(ICL)与微调的泛化性差异,发现ICL泛化更灵活,并提出添加上下文推理轨迹的方法提升微调泛化性。
2025-11-10 cs.AI cs.CL cs.LG
Differential learning kinetics govern the transition from memorization to generalization during in-context learning
Princeton University(普林斯顿大学);Princeton Neuroscience Institute(普林斯顿神经科学研究所)
本研究通过小型Transformer的理论与实验,发现记忆与泛化子电路相对独立,其差异学习动力学而非容量约束决定上下文学习中记忆到泛化的转变,还揭示记忆标度律并定量解释多种ICL相关现象。
2024-12-12 cond-mat.dis-nn cs.AI cs.LG
Generalization of Agent Behavior through Explicit Representation of Context
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Cognizant Technology Solutions(高知特科技解决方案公司)
为了在数字交互环境中部署自主智能体,它们必须能够在看不见的情况下稳健地行动。标准的机器学习方法是在训练这些代理时包含尽可能多的变化。然后,代理可以内插在他们的训练,但他们不能推断出太多超出it.This本文提出了一个原则性的方法,上下文模块与游戏中的技能模块共同进化。上下文模块识别游戏中的时间变化,并调制技能模块的输出,以便即使在以前看不见的情况下也可以稳健地做出动作决策。该方法在Flappy Bird和LunarLander视频游戏以及CARLA自动驾驶模拟中进行了评估。情境+技能方法在需要外推训练的环境中产生了更强大的行为。这种原则性的泛化能力对于在现实任务中部署自主智能体至关重要,并且也可以作为持续适应的基础。
2021-02-09 cs.AI cs.LG cs.NE