Unlocking In-Context Learning for Natural Datasets Beyond Language Modelling
Computer Vision Group, University of Freiburg（弗赖堡大学计算机视觉组）；Neuromedical A.I. Lab, Medical Center -- University of Freiburg（弗赖堡大学医学神经AI实验室）；Medical Physics, Medical Center -- University of Freiburg（弗赖堡大学医学物理）；Visual Geometry Group, University of Oxford（牛津大学视觉几何组）
该研究揭示了大语言模型中上下文学习（ICL）涌现的关键特性，提出训练数据词元重复与任务难度的重要作用，并将相关见解应用于视觉数据集与EEG分类任务，解锁了多模态场景下的ICL能力。
2025-10-06 cs.AI cs.CL cs.LG
In-Context Learning Functions with Varying Number of Minima
University of Pittsburgh（匹兹堡大学）
本文研究ICL与函数极小值数量的关系，提出近似不同极小值数量函数的新任务，发现极小值增加会降低ICL性能，但ICL仍优于2层神经网络且学习更快。
2023-11-22 cs.AI cs.CL cs.LG
Many-Shot In-Context Learning
本文研究多示例上下文学习，提出强化式和无监督ICL以缓解人工示例不足，证明其能提升复杂推理性能、覆盖预训练偏差并媲美微调。
2024-10-17 cs.AI cs.CL cs.LG
Do pretrained Transformers Learn In-Context by Gradient Descent?
Johns Hopkins University（约翰斯·霍普金斯大学）
本研究质疑预训练Transformer的上下文学习（ICL）与梯度下降（GD）的等价性假设，通过LLaMa-7B实证分析发现两者在演示顺序敏感性、性能指标及输出分布上存在不一致，表明该等价性仍是开放假设。
2024-06-03 cs.AI cs.CL cs.LG
The Transient Nature of Emergent In-Context Learning in Transformers
UCL（伦敦大学学院）；Google DeepMind（谷歌DeepMind）
该研究发现Transformer训练中涌现的上下文学习（ICL）多为瞬态现象，会最终被权重内学习取代，同时验证了L2正则化可增强ICL持久性，并初步指出其成因是两类学习回路的竞争。
2023-12-11 cs.AI cs.CL cs.LG
Which Attention Heads Matter for In-Context Learning?
UC Berkeley（加州大学伯克利分校）
本研究比较了12个语言模型中的归纳头和函数向量（FV）头，发现少样本ICL性能主要依赖FV头，且FV头在训练中多由归纳头转变而来，表明归纳机制促进了驱动ICL的复杂FV机制的学习。
2025-02-19 cs.AI cs.CL cs.LG
Auto-ICL: In-Context Learning without Human Supervision
The University of Hong Kong（香港大学）；Microsoft Research（微软研究院）
针对人工编写上下文成本高且限制模型能力的问题，提出Auto-ICL框架，使模型自主生成示例和指令，实验证明其性能优于人工标注及现有自生成上下文方法。
2024-08-20 cs.AI cs.CL cs.LG
Positional Information Matters for Invariant In-Context Learning: A Case Study of Simple Function Classes
The Chinese University of Hong Kong（香港中文大学）；Hong Kong Baptist University（香港浸会大学）；Tencent AI Lab（腾讯AI实验室）
本文通过线性回归案例研究上下文学习，发现保持对输入示例的置换不变性（即ICL不变性）对分布外泛化至关重要，并证明去除位置编码差异的Transformer能在多种分布偏移下达到最优性能。
2023-11-30 cs.CL cs.LG
Batch-ICL: Effective, Efficient, and Order-Agnostic In-Context Learning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Ant Group（蚂蚁集团）
本文将上下文学习视为元优化过程，解释了LLM对示例顺序敏感的原因，并提出Batch-ICL算法，通过聚合N个独立1-shot前向计算的元梯度至零样本查询，实现顺序无关且高效推理，其变体还能进一步提升性能。
2024-06-05 cs.CL cs.LG
Refract ICL: Rethinking Example Selection in the Era of Million-Token Models
Google DeepMind（谷歌DeepMind）
针对长上下文大模型下传统ICL示例选择策略的有效性问题，本文提出Refract ICL算法，通过重复难例、结合零样本预测误差信号引导注意力，显著提升了长上下文模型在少类别任务上的ICL性能。
2025-06-14 cs.AI cs.CL
Categorical Prior Lock-in: Why In-Context Learning Fails for Structured Data
University of Insubria（因苏布里亚大学）；IBM Research Ireland（IBM 爱尔兰研究院）
研究大语言模型在结构化数据生成中上下文学习的局限性，发现其无法更新预训练中的类别先验分布，导致罕见类完全无法生成；参数高效微调可解决但带来记忆化风险。
2026-06-11 cs.AI cs.LG
Many-Shot CoT-ICL: Making In-Context Learning Truly Learn
The University of Hong Kong（香港大学）
研究多示例思维链上下文学习在推理任务中的特性，提出曲线演示选择方法，在数学任务上提升5.42个百分点。
2026-05-31 cs.AI cs.CL
Understanding Emergent In-Context Learning from a Kernel Regression Perspective
Siebel School of Computing and Data Science（计算与数据科学学院）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文提出核回归视角解释Transformer语言模型的上下文学习机制，证明贝叶斯推断可渐近为核回归，并揭示注意力与隐藏特征匹配核回归行为，为ICL现象提供理论依据。
2025-09-12 cs.AI cs.CL cs.LG
Capturing In-Context Learning Dynamics with Task Operators
University of Virginia（弗吉尼亚大学）
本文提出任务算子（TO），通过将注意力头输出视为上下文掩码对应物的仿射变换并解析重放，压缩上下文学习，在词汇、算法和推理任务上优于先前方法，并缩小了与零样本推理的差距。
2026-10-02 cs.AI cs.CL cs.LG
Parallel Structures in Pre-training Data Yield In-Context Learning
Columbia University（哥伦比亚大学）；New York University（纽约大学）；NYU Shanghai（上海纽约大学）
本文发现预训练数据中的平行结构是语言模型上下文学习能力的关键来源，并通过消融实验证明移除这些结构会使ICL准确率大幅下降51%。
2024-02-19 cs.AI cs.CL cs.LG
From Introspection to Best Practices: Principled Analysis of Demonstrations in Multimodal In-Context Learning
University of Southern California（南加州大学）；Microsoft Research（微软研究院）；University of California, Davis（加州大学戴维斯分校）
通过系统评估多模态上下文学习中不同模态对任务的影响，提出模态驱动的演示策略以提升ICL性能，并揭示了模型遵循的归纳偏置，为理解与改进多模态ICL提供原则性指导。
2025-02-07 cs.AI cs.CL cs.CV
Revisiting In-context Learning Inference Circuit in Large Language Models
Japan Advanced Institute of Science and Technology（日本先进科学技术学院）；RIKEN（理化学研究所）
本文提出将 ICL 推理分解为输入编码、语义合并、特征检索与复制的综合回路，统一解释多种现象，并通过消融验证其主导作用。
2025-02-20 cs.AI cs.CL cs.LG
Self-Adaptive In-Context Learning: An Information Compression Perspective for In-Context Example Selection and Ordering
The University of Hong Kong（香港大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；Xiamen University（厦门大学）
针对当前ICL随机采样上下文示例的问题，本文提出自适应ICL原则与先选后排通用框架，在8个NLP数据集上实现40%相对提升，展现出缩小ICL与微调差距的潜力。
2023-05-03 cs.AI cs.CL
Multimodal Contrastive In-Context Learning
Japan Advanced Institute of Science and Technology（北陆先端科学技术大学院大学）；CyberAgent Inc.（CyberAgent公司）
本文提出多模态对比上下文学习框架，通过对比学习解释ICL机制并解决多模态输入格式偏差，显著提升了LLMs在挑战性任务和资源受限环境下的ICL性能。
2024-08-23 cs.AI cs.CL
Vector-ICL: In-context Learning with Continuous Vector Representations
UC San Diego（加利福尼亚大学圣迭戈分校）；Microsoft Research（微软研究院）
本文提出 Vector-ICL，通过轻量级投影器将黑盒编码器产生的连续向量对齐到 LLM 嵌入空间，证明 LLM 可跨任务和模态进行向量上下文学习并取得优于少样本 ICL 等方法的效果。
2025-02-19 cs.AI cs.CL
On the Relation between Sensitivity and Accuracy in In-context Learning
Columbia University（哥伦比亚大学）；New York University（纽约大学）
该研究针对上下文学习（ICL）对提示过度敏感的问题，分析了标签偏差对敏感性评估的影响及敏感性与准确率的负相关关系，提出了基于敏感性的少样本选择性预测方法\textsc{SenSel}，在10个分类数据集上的弃权决策效果优于常用基线。
2024-01-27 cs.AI cs.CL cs.LG
A Survey on In-context Learning
Peking University（北京大学）；The Hong Kong Polytechnic University（香港理工大学）；ByteDance（字节跳动）；Shanghai AI Lab（上海人工智能实验室）；Alibaba Group（阿里巴巴集团）；Carnegie Mellon University（卡内基梅隆大学）
本文综述了大语言模型背景下上下文学习（ICL）的研究进展，明确其定义与相关研究关联，梳理训练、提示设计等技术及应用场景，指出挑战并提出未来研究方向，以推动ICL的机制揭示与性能改进。
2024-10-05 cs.AI cs.CL
Is In-Context Learning Sufficient for Instruction Following in LLMs?
EPFL（洛桑联邦理工学院）
本研究探讨上下文学习（ICL）对大语言模型指令遵循的充分性，发现URIAL的ICL对齐虽有效但仍逊于MT-Bench上的指令微调，揭示解码参数关键作用并通过添加高质量演示改进URIAL，首次系统比较低数据场景下ICL与IFT，促进对ICL作为对齐技术及其与IFT关系的理解。
2025-04-18 cs.AI cs.CL cs.LG
Privacy-Preserving In-Context Learning for Large Language Models
Princeton University（普林斯顿大学）
针对上下文示例可能被LLM响应泄露的问题，本文提出DP-ICL范式，通过不相交示例集上的模型集成与带噪共识生成差分隐私响应，并在分类和生成任务上验证了效用—隐私权衡。
2023-09-30 cs.AI cs.CR cs.LG
In-Context Exemplars as Clues to Retrieving from Large Associative Memory
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
该研究将大语言模型的上下文学习（ICL）概念化为联想记忆的上下文检索，基于Hopfield Networks构建理论框架，探究示例对ICL性能的影响并提出高效主动示例选择方法，为理解ICL机制及大语言模型提供新视角。
2023-12-18 cs.CL cs.LG
TabGen-ICL: Residual-Aware In-Context Example Selection for Tabular Data Generation
University of Illinois Chicago（伊利诺伊大学芝加哥分校）；Tsinghua University（清华大学）
针对固定LLM生成表格数据时随机上下文示例效果差的问题，提出TabGen-ICL迭代选择残差样本作为示例，显著提升生成质量，在五个数据集上错误率降低3.5%-42.2%。
2025-02-23 cs.AI cs.LG
When Context Misleads: In-context Learning with Jurisdiction in Large Language Models
Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）
针对上下文学习忽视上下文权威导致易受误导的问题，提出管辖权上下文学习（J-ICL）框架，通过将上下文验证纳入训练目标，在四个模型上平均提升ICLEval 5.84个百分点，现实准确性9.20个百分点，并提高对欺骗性上下文的抵抗力。
2026-10-14 cs.AI cs.CL
Towards Universal Calibration for In-Context Classification
Indian Institute of Technology Bombay（印度孟买理工学院）
针对上下文学习（ICL）存在的校准问题，提出通用校准器CALIBFORMER，无需针对新任务微调即可在多个模型和任务上降低ICL的校准误差，对Gemini等前沿模型也有效。
2026-10-14 cs.CL cs.LG
In-Context Language Learning: Architectures and Algorithms
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
该研究提出上下文内语言学习（ICLL）任务，研究发现Transformer在该任务上表现优于其他序列模型，其能力依赖n-gram头，硬连接该头可同时提升ICLL和自然语言建模效果。
2024-01-30 cs.CL cs.LG
Explicit Knowledge-Guided In-Context Learning for Early Detection of Alzheimer's Disease
College of Computer Science and Technology, National University of Defense Technology（计算机科学与技术学院，国防科技大学）
本文提出显式知识上下文学习器EK-ICL，通过置信度分数、解析特征和标签词替换三个知识组件，结合解析检索与集成预测，显著提升大语言模型在数据稀缺条件下从叙事文本早期检测阿尔茨海默病的性能。
2025-11-09 cs.AI cs.CL
ICL Markup: Structuring In-Context Learning using Soft-Token Tags
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Columbia University（哥伦比亚大学）
受标记语言启发提出ICL Markup方法，通过参数高效微调预学习软标记标签构建提示模板，减少任意决策并简化上下文学习应用，在多领域任务提升LLM性能。
2023-12-12 cs.CL cs.LG
On the Relationship Between the Choice of Representation and In-Context Learning
NYU（纽约大学）
本研究探讨上下文学习中表示选择与学习能力的独立性，通过枚举标签集验证假设，发现表示决定基线准确率，学习在此基础上提升，二者正交。
2025-10-09 cs.CL cs.LG
LLMs Are Few-Shot In-Context Low-Resource Language Learners
HKUST（香港科技大学）；AI Singapore（新加坡AI研究院）
本文在25种低资源语言和7种高资源语言上广泛研究了ICL及X-ICL，指出了上下文标签对齐的缺陷并提出了更有效的查询对齐方法，证明了少样本上下文信息能显著提升LLM的低资源语言理解质量。
2024-06-25 cs.AI cs.CL
In-Context Learning in Speech Language Models: Analyzing the Role of Acoustic Features, Linguistic Structure, and Induction Heads
ILLC, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）；CSAI, Tilburg University（蒂尔堡大学认知科学与人工智能系）
研究探讨了语音模型中上下文学习中语音特征、语言结构和归纳头的影响，发现语速显著影响学习效果，而音高和强度影响较小，归纳头在语音上下文学习中起因果作用。
2026-04-07 cs.AI cs.CL
Public Data Assisted Differentially Private In-Context Learning
Seoul National University（首尔国立大学）
针对差分隐私降低大型语言模型上下文学习效用的问题，提出一种结合任务相关公共数据的私有ICL算法，有效平衡隐私保护与模型效用，并抵御成员推理攻击。
2025-09-13 cs.AI cs.CL
Z-ICL: Zero-Shot In-Context Learning with Pseudo-Demonstrations
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
本文提出 Z-ICL，通过原始语料库检索近邻并配对随机标签构建伪演示，同时减少模型直接复制，在九个分类数据集上显著提升零样本性能。
2023-06-03 cs.AI cs.CL
ICLEval: Evaluating In-Context Learning Ability of Large Language Models
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；Huawei Poisson Lab（华为泊松实验室）；School of Information, Renmin University of China（中国人民大学信息学院）
针对现有大模型评估框架忽略上下文学习能力测评的问题，本研究提出涵盖精确复制与规则学习两项子能力的ICLEval基准，证实该能力普遍存在且模型规模非唯一决定因素，还发现其在预训练早期即形成并稳定。
2024-12-07 cs.CL
Dr.ICL: Demonstration-Retrieved In-context Learning
Arizona State University（亚利桑那州立大学）；Google Research（谷歌研究院）
本研究扩展了基于检索的上下文学习（ICL），证明BM25等简单相似度度量优于随机演示，并成功应用于指令微调LLM和思维链提示，同时训练了性能更优的任务特定演示检索器。
2023-05-23 cs.AI cs.CL
Understanding In-Context Learning Beyond Transformers: An Investigation of State Space and Hybrid Architectures
The University of British Columbia（不列颠哥伦比亚大学）
本文通过行为探测和干预方法，探讨了不同架构在ICL任务中的表现差异，发现FVs主要位于自注意力和Mamba层，并揭示了Mamba2的ICL机制与FVs的不同。
2026-02-26 cs.AI cs.CL
Can MLLMs Perform Text-to-Image In-Context Learning?
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；FuriosaAI（富力沙AI公司）；Seoul National University（首尔大学）；Ajou University（亚洲大学）
本文正式定义文本到图像情境学习（T2I-ICL）任务，构建首个基准数据集CoBSAT，通过评测六个多模态大语言模型揭示其困难，并提出微调与思维链提示等缓解策略以显著提升性能。
2024-07-20 cs.CL cs.LG
Distilling Many-Shot In-Context Learning into a Cheat Sheet
CyberAgent
针对多示例上下文学习计算开销大的问题，提出将信息蒸馏为速查表的方法，以更少标记达到相当或更优性能，且无需测试时检索。
2025-09-25 cs.CL
Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection
Salesforce AI Research（赛富时人工智能研究院）；Peking University（北京大学）；UC Berkeley（加州大学伯克利分校）
本文为Transformer的上下文学习建立了统计理论，证明其能实现多种基础机器学习算法，并进一步提出上下文算法选择机制，使单个Transformer能自适应选择算法或任务，在理论和实验上均验证了其接近最优的性能。
2023-07-06 cs.AI cs.CL cs.LG
In-context Learning and Gradient Descent Revisited
The Blavatnik School of Computer Science（布拉瓦尼克计算机科学学院）；Tel Aviv University（特拉维夫大学）
本文重新检验了上下文学习与梯度下降的对应关系，发现现有评估存在缺陷，并提出尊重层因果关系的梯度下降优化方法以显著提升相似度。
2024-03-31 cs.CL cs.LG
What In-Context Learning "Learns" In-Context: Disentangling Task Recognition and Task Learning
Princeton University（普林斯顿大学）
本文解耦上下文学习中的任务识别（TR）与任务学习（TL），通过受控实验发现TR不随模型规模或示例增多而提升，而TL随规模扩大和示例增多持续改善，倡导未来研究区分二者。
2023-05-16 cs.CL cs.LG
Deeper Insights Without Updates: The Power of In-Context Learning Over Fine-Tuning
Zhejiang University（浙江大学）；Peking University（北京大学）；Wuhan University（武汉大学）；The Hong Kong Polytechnic University（香港理工大学）；Digital Twin Institute（数字孪生研究院）；Eastern Institute of Technology（宁波工程学院）
该研究针对含隐含模式的任务，对比大语言模型的微调与上下文学习（ICL）效果，发现ICL捕捉模式的能力远优于微调，并从机制可解释性角度提出回路偏移理论解释该现象。
2024-10-07 cs.CL cs.LG
Parallel In-context Learning for Large Vision Language Models
NTT（日本电信电话研究所）
本文提出并行上下文学习方法，通过将长上下文分割为短片段并行处理，提升大视觉语言模型的推理效率，同时保持性能与传统多模态上下文学习相当。
2026-03-17 cs.AI cs.CV cs.LG
On Theoretical Interpretations of Concept-Based In-Context Learning
Institute of Data and Information Tsinghua Shenzhen International Graduate School（数据与信息研究所）
本文提出基于概念的内在学（CB-ICL）的理论分析，解释其有效条件，量化可利用知识，导出相似度度量，并探讨演示大小和嵌入维度影响，实验验证其效用。
2025-10-16 cs.AI cs.CL cs.IT
Instruction Tuning Vs. In-Context Learning: Revisiting Large Language Models in Few-Shot Computational Social Science
Qingdao University of Science and Technology（青岛科技大学）
本文对比了少样本计算社会科学任务中指令微调与上下文学习对大型语言模型分类性能的影响，发现ICL在多数任务中优于IT，且单纯增加样本数量不一定提升性能，强调了优化样本质量与提示策略的重要性。
2024-09-23 cs.AI cs.CL
Dissecting Multimodal In-Context Learning: Modality Asymmetries and Circuit Dynamics in modern Transformers
Technical University of Munich（慕尼黑技术大学）；Munich Center for Machine Learning（慕尼黑机器学习中心）；DeepMind（深Mind）；Beijing University of Posts（北京邮电大学）
通过可控实验，研究现代Transformer中多模态上下文学习的基本机制，发现模态间学习不对称性，并揭示其背后的归纳式电路机制。
2026-05-26 cs.CL cs.LG
Rethinking Invariance in In-context Learning
State Key Lab of General Artificial Intelligence, School of Intelligence Science and Technology, Peking University（人工智能通用智能国家重点实验室，智能科学与技术学院，北京大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；School of Economics, Peking University（经济学院，北京大学）；Institute for Artificial Intelligence, Peking University（人工智能研究院，北京大学）
本文提出 InvICL 方法，通过同时满足信息不泄漏和上下文相互依赖两个关键要素，解决了上下文学习对示例顺序敏感的问题，并在多数基准上取得优于现有不变及非不变模型的泛化性能。
2025-05-08 cs.AI cs.CL
Investigating the Pre-Training Dynamics of In-Context Learning: Task Recognition vs. Task Learning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）；School of Information, Renmin University of China（中国人民大学信息学院）
该研究探究上下文学习中任务识别与任务学习能力在预训练中的竞争关系，提出推理阶段自适应集成方法可显著提升性能，小模型组合超越大模型表现。
2024-06-20 cs.CL cs.LG
In-context Example Selection with Influences
University of Pennsylvania（宾夕法尼亚大学）
本文提出利用 in-context influences 分析少样本 ICL 并选择上下文示例，可识别正负示例，在 9 项 SuperGLUE 任务上超过基线，并量化排序近因偏差。
2023-06-05 cs.CL cs.LG
A Multi-Perspective Analysis of Memorization in Large Language Models
The University of Tokyo（东京大学）
本研究从多视角全面分析大语言模型的记忆现象，揭示了记忆与模型规模、续写和上下文大小的关系，并通过嵌入分析、n-gram统计和熵解码动态发现边界效应，最终证明可通过上下文预测记忆。
2024-06-04 cs.AI cs.CL
Self-ICL: Zero-Shot In-Context Learning with Self-Generated Demonstrations
National Taiwan University（台湾大学）
本文提出Self-ICL框架，通过引导模型生成伪输入并预测伪标签作为示例，实现无需外部示例池的零样本上下文学习，在23个任务上优于基线且媲美真实示例效果。
2023-10-23 cs.CL
