The Power of Adaptation: Boosting In-Context Learning through Adaptive Prompting
University of Texas at Dallas（德克萨斯大学达拉斯分校）；University of North Texas（北得克萨斯大学）；University at Buffalo（布法罗大学）
提出自适应提示方法Adaptive-Prompt，利用模型反馈动态选择示例以解决传统一次性选择导致的示例知识冗余问题，显著提升了大型语言模型在多种推理任务上的上下文学习性能。
2024-12-23 cs.AI cs.CL
On the Compositional Generalization Gap of In-Context Learning
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；ServiceNow Research（ServiceNow研究院）；Microsoft Research（微软研究院）
预训练的大型生成语言模型在许多任务上表现出很好的性能，但表现出较低的组合泛化能力。缩放这些模型已经被证明可以提高它们在各种NLP任务上的性能，即使只是通过几个例子来解决任务而没有任何微调（也称为上下文学习）。在这项工作中，我们看看在分布（ID）和分布（OOD）的性能，这样的模型在语义解析任务与上下文学习之间的差距。在ID设置中，演示来自正在评估模型的同一个分割（测试或训练），而在OOD设置中，演示来自另一个分割。我们看看上下文学习的相对泛化差距如何随着模型的扩大而演变。我们评估了四个模型家族，OPT，BLOOM，CodeGen和Codex三个语义解析数据集，CFQ，SCAN和GeoQuery与不同数量的样本，并观察到一个趋势，减少相对泛化差距模型的规模扩大。
2022-11-15 cs.CL cs.LG
Reasoning Graph Enhanced Exemplars Retrieval for In-Context Learning
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；Peng Cheng Laboratory（鹏城实验室）
针对上下文学习中样例选择仅关注语义相似性的问题，提出推理图增强样例检索方法RGER，通过构建推理步骤图并结合图核匹配语义与结构相似性，在数学、逻辑推理任务上优于现有检索方法。
2024-12-12 cs.CL
Unraveling the Mechanics of Learning-Based Demonstration Selection for In-Context Learning
City University of Hong Kong（香港城市大学）；Nanyang Technological University（南洋理工大学）；Peking University（北京大学）；NVIDIA（英伟达）
分析了基于学习的上下文学习示例选择机制，发现整合任务无关文本相似性可提升泛化能力，结合任务特定标签可提升任务表现，并据此提出两种简化方法以消除高昂的LLM推理开销。
2024-10-15 cs.AI cs.CL cs.LG
Controlling Dialogue Generation with Semantic Exemplars
Carnegie Mellon University（卡内基梅隆大学）
用大语言模型预训练的对话系统生成局部连贯的响应，但缺乏对实现特定目标所需的响应的细粒度控制。一个有前途的方法来控制响应生成是基于范例的生成，其中模型编辑范例响应，从训练数据检索，或手写的战略地址话语级的目标，以适应新的对话上下文。但是，目前基于范例的方法往往过度复制的话从范例的反应，导致不连贯的答复。我们提出了一个基于范例的对话生成模型，EDGE，它使用的语义框架中存在的范例响应，以指导生成。我们表明，控制对话生成的基础上的语义框架的范例，而不是在范例本身的话，提高了生成的响应的一致性，同时保持语义意义和会话目标存在于范例响应。
2021-03-25 cs.AI cs.CL
Exemplar-Based Contrastive Self-Supervised Learning with Few-Shot Class Incremental Learning
IBM（国际商业机器公司）
人类能够从少数（标记的）样本中学习新概念，增量和持续。这发生在我们可以区分样本的上下文中，以及样本和大量其他数据（未标记和标记）之间。这表明，在人类学习中，基于范例的概念监督学习发生在基于未标记和标记数据的对比自监督学习（CSSL）的更大背景下。我们讨论扩展CSSL（1）主要基于样本，其次是数据增强，（2）适用于未标记的数据（一般有大量可用）和标记的数据（一些样本可以获得有价值的监督知识）。这些扩展的主要好处是基于范例的CSSL，具有监督微调，支持Few-Shot类增量学习（CIL）。具体来说，我们讨论了基于样本的CSSL，包括：最近邻CSSL，监督预训练的邻域CSSL，以及监督微调的样本CSSL。我们进一步讨论使用基于范例的CSSL，以促进少样本学习，特别是，Few-Shot CIL。
2022-02-05 cs.LG
How Do In-Context Examples Affect Compositional Generalization?
Institute of Artificial Intelligence and Robotics, Xi’an Jiaotong University（西安交通大学人工智能与机器人研究所）；Microsoft Corporation（微软公司）
该研究提出测试套件CoFe探究上下文学习的组合泛化能力，发现示例选择显著影响性能，明确结构相似、多样且单个简单的示例效果更佳，同时指出虚构词语泛化弱、示例需覆盖语言结构等局限，为上下文学习范式的研究与应用提供参考。
2023-06-09 cs.AI cs.CL
KITE: Kernelized and Information Theoretic Exemplars for In-Context Learning
IIT Bombay（印度比哈尔理工学院）；UMD College Park（马里兰大学 College Park 分校）；IIT Kanpur（印度坎普尔理工学院）；Adobe Research（Adobe 研究）
针对上下文学习中的示例选择问题，提出一种基于信息论和核方法的贪心算法，通过最小化查询特定预测误差并引入多样性正则化，显著提升分类性能。
2026-06-02 cs.AI cs.CL cs.LG
Is In-Context Learning Learning?
Microsoft（微软）；the University of York（约克大学）
本文探讨了上下文学习是否真正构成学习，通过实证分析发现其在泛化能力上存在局限性，且依赖于提示中的规律性而非真正的学习过程。
2026-02-11 cs.AI cs.CL cs.LG
Dissecting Chain-of-Thought: Compositionality through In-Context Filtering and Learning
University of California, Riverside（加州大学河滨分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）；University of Michigan（密歇根大学）
本研究以多层感知机为对象，通过实验与理论分析揭示思维链通过分阶段数据过滤与单步学习降低上下文学习样本复杂度的机制，还发现其能加速预训练，为理解思维链推理原理提供新洞见。
2023-11-08 cs.AI cs.CL cs.LG
Towards Understanding the Relationship between In-context Learning and Compositional Generalization
dot Inc.（42dot公司）；University of Stuttgart（斯图加特大学）
本文假设强制上下文学习能提供归纳偏置以促进组合泛化，通过打乱训练顺序和标签训练因果Transformer，在SCAN、COGS和GeoQuery上验证了该方法确实提升了组合泛化能力。
2024-03-18 cs.CL cs.LG
Large Language Models Know What Makes Exemplary Contexts
Nanyang Technological University（南洋理工大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出一个统一框架，使大型语言模型能自我选择、排序并优化上下文示例，通过参数高效检索头和强化学习增强上下文学习性能。
2024-08-20 cs.CL
RIDE: Enhancing Large Language Model Alignment through Restyled In-Context Learning Demonstration Exemplars
Monash University（莫纳什大学）；University of New South Wales（新南威尔士大学）；Royal Melbourne Institute of Technology（皇家墨尔本理工大学）
本文提出RIDE，一种低成本免微调方法，通过重构上下文学习示范样本的风格，平衡事实性与安全性，显著提升了大型语言模型的对齐能力。
2025-03-05 cs.AI cs.CL
Crafting a Good Prompt or Providing Exemplary Dialogues? A Study of In-Context Learning for Persona-based Dialogue Generation
Fuxi AI Lab, NetEase Inc.（网易伏羲人工智能实验室）；Zhejiang University（浙江大学）；Singapore Management University（新加坡管理大学）
本研究在中文数据集上系统探究了大型语言模型在基于角色对话生成中的上下文学习能力，发现调整提示指令最有效，随机检索示例效果最佳，且模型能从损坏的示例中学习。
2024-02-17 cs.CL cs.LG
Synapse: Trajectory-as-Exemplar Prompting with Memory for Computer Control
NTU（南洋理工大学）
本文提出 Synapse 计算机控制智能体，通过状态抽象、完整轨迹提示与可检索示例记忆，解决上下文受限、长程决策和新任务泛化问题，并在 MiniWoB++ 与 Mind2Web 上取得显著提升。
2024-01-19 cs.AI
Privacy-Preserving In-Context Learning for Large Language Models
Princeton University（普林斯顿大学）
针对上下文示例可能被LLM响应泄露的问题，本文提出DP-ICL范式，通过不相交示例集上的模型集成与带噪共识生成差分隐私响应，并在分类和生成任务上验证了效用—隐私权衡。
2023-09-30 cs.AI cs.CR cs.LG
COM-BOM: Bayesian Exemplar Search for Efficiently Exploring the Accuracy-Calibration Pareto Frontier
University of Minnesota（明尼苏达大学）
针对现有样本搜索方法忽略模型校准的问题，提出多目标优化算法COM-BOM，通过组合贝叶斯优化探索准确率与校准的帕累托前沿，在MMLU-Pro任务上以更少LLM调用实现更优的双目标联合优化效果。
2025-10-01 cs.AI cs.LG
Revisiting Chain-of-Thought Prompting: Zero-shot Can Be Stronger than Few-shot
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学香河人工智能学院）；Huawei Poisson Lab（华为Poisson实验室）
本研究发现，对于强模型而言，传统CoT示例对推理性能无帮助，且模型更关注指令而非示例，揭示了ICL+CoT框架在数学推理中的局限性。
2026-01-08 cs.AI cs.CL cs.LG
Optimizing In-Context Demonstrations for LLM-based Automated Grading
Michigan State University（密歇根州立大学）；University of Southern California（南加州大学）
GUIDE通过迭代设计示例优化自动评分，提升评分标准的符合性和边界处理能力。
2026-02-28 cs.AI cs.CL
Prompt Optimization with EASE? Efficient Ordering-aware Automated Selection of Exemplars
Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究院）；Dept. of Computer Science, National University of Singapore（新加坡国立大学计算机学院）；LIDS and EECS, Massachusetts Institute of Technology（麻省理工学院LIDS与电子工程与计算机科学系）；Guangdong Lab of AI and Digital Economy (SZ)（广东省人工智能与数字经济实验室（深圳））
针对大语言模型上下文学习中示例选择存在的测试开销高、忽略排序与指令影响的问题，提出EASE方法，利用预训练模型隐藏嵌入和神经老虎机算法优化有序示例集，可联合优化指令，性能优于现有方法。
2024-10-29 cs.AI cs.CL cs.LG
Transformers generalize differently from information stored in context vs in weights
DeepMind（深度思维）
Transformer模型可以使用两种根本不同的信息：在训练期间存储在权重中的信息，以及在推理时提供的“上下文”信息。在这项工作中，我们表明，Transformers表现出不同的感性偏见，他们如何表示和概括这两个来源的信息。特别是，我们的特点是否通过简约的规则（基于规则的泛化）或通过直接比较观察到的例子（基于范例的泛化），他们概括。这具有重要的实际意义，因为它决定了是在权重中还是在上下文中对信息进行编码，这取决于我们希望模型如何使用这些信息。在受控刺激上训练的Transformers中，我们发现从权重的泛化更基于规则，而从上下文的泛化主要是基于范例的。相比之下，我们发现在自然语言预训练的Transformers中，上下文学习是基于规则的，更大的模型显示出更多的基于规则。我们假设，基于规则的概括，从上下文信息可能是一个紧急的结果，大规模的培训语言，它具有稀疏的规则结构。使用受控刺激，我们验证了在包含稀疏规则结构的数据上预训练的Transformers表现出更多基于规则的泛化。
2022-10-13 cs.AI cs.CL cs.LG
Compositional Hardness of Code in Large Language Models -- A Probabilistic Perspective
The Hebrew University（希伯来大学）
本研究指出LLM在单一上下文内执行多子任务的组合硬度局限，提出用生成复杂度指标量化该问题，并通过理论证明与实验验证，将分解任务分配给多智能体系统可显著降低呈指数级增长的生成复杂度。
2025-01-31 cs.AI cs.CL
A Theory of Emergent In-Context Learning as Implicit Structure Induction
Saarland University（萨尔大学）；Microsoft Research India（微软印度研究院）
扩展大语言模型（LLM）导致从示例演示中学习上下文的能力。尽管取得了进展，但对这一现象的理论认识仍然有限。我们认为，上下文学习依赖于重组的组合操作中发现的自然语言数据。我们推导出一个信息理论界，展示了在语言动机假设下，当预训练分布具有足够的组成结构时，上下文学习能力如何从通用的下一个标记预测中产生。第二个界限提供了一个理论上的理由，经验上的成功，促使LLM输出中间步骤的答案。为了验证理论预测，我们引入了一个可控的设置诱导上下文学习，与以前的方法不同，它占语言的组成性质。经过训练的Transformers可以执行上下文学习的一系列任务，在与理论结果一致的方式。在微型设置中模仿真实世界的LLM，当缩放参数和数据时，上下文学习出现，并且当提示输出中间步骤时，模型表现得更好。探索表明，上下文学习是由输入的组成结构的表示支持。总之，这些结果提供了一个步骤，在理论上理解的涌现行为在大语言模型。
2023-03-14 cs.CL cs.LG
Enhancing LLM-Based Text Classification in Political Science: Automatic Prompt Optimization and Dynamic Exemplar Selection for Few-Shot Learning
University of California, Davis（加利福尼亚大学戴维斯分校）
提出包含自动提示优化、动态示例选择和共识机制的三阶段框架，有效提升了政治科学中基于LLM的文本分类准确率、可靠性与可解释性，且无需重训模型。
2025-04-06 cs.AI cs.CL
Least-to-Most Prompting Enables Complex Reasoning in Large Language Models
Google Research（谷歌研究院）
本文提出最少到最多提示策略，通过将复杂问题分解为简单子问题并依次求解，使大型语言模型能够泛化到比提示示例更难的任务，在 SCAN 等基准上显著超越思维链提示。
2023-04-16 cs.AI cs.CL
Diverse Demonstrations Improve In-context Compositional Generalization
Tel-Aviv University（特拉维夫大学）
本研究提出一种选择多样化示例的方法，通过集体覆盖输出程序所需的所有结构，鼓励模型在组合泛化任务中泛化到新结构。实验表明，该方法在纯上下文学习及结合微调时，显著提升了三个语义解析数据集的性能。
2023-06-24 cs.CL
Stabilized In-Context Learning with Pre-trained Language Models for Few Shot Dialogue State Tracking
Columbia University（哥伦比亚大学）
具有大型预训练语言模型（PLM）的基于XML的方法在许多NLP任务中表现出令人印象深刻的独立性能。这些模型通过添加一些标记的上下文范例来指导输出生成而得到进一步改进。然而，对于更复杂的任务，如对话状态跟踪（DST），设计可靠地传达所需意图的提示是不平凡的，导致不稳定的结果。此外，建立对话任务的上下文范例是困难的，因为对话上下文很长，而模型输入长度相对较短。为了克服这些问题，我们首先将元学习方案适应于对话域，从而稳定模型在各种提示下表现良好的能力。我们还设计了一种新的训练方法来改进香草检索机制，以找到理想的上下文示例。最后，我们引入了一个显着性模型来限制对话文本的长度，使我们能够在每个查询中包含更多的样本。实际上，我们能够在MultiWOZ上实现极具竞争力的Few-Shot DST结果。
2023-02-12 cs.CL
In-Context Learning Improves Compositional Understanding of Vision-Language Models
University of Amsterdam（阿姆斯特丹大学）
本文通过广泛基准测试探究视觉-语言模型组合理解不足的原因，并提出利用上下文学习提升其复杂推理能力，在多个数据集上超越基线。
2024-07-22 cs.AI cs.CV
RAG-RST: Retrieved Exemplars as In-Context Discourse Schema for RST Parsing
Illinois Institute of Technology（伊利诺伊理工学院）；Touro University（图罗大学）
本研究提出RAG-RST检索增强框架，无需训练即可将核心性F1提升至0.846、关系F1提升至0.788，动态配置表现最优，证明正式语言模式可作为示例提供给基础模型。
2026-10-16 cs.AI
Layer Specialization Underlying Compositional Reasoning in Transformers
ENS, Université PSL, EHESS, CNRS（高等科学研究院、巴黎高等科学研究所、国家科学研究中心）
该研究利用 Random Hierarchy Model 分析 Transformer 的组合推理，揭示层特化随训练逐步形成，并与不同泛化条件下的性能相关。
2025-10-20 cs.AI cs.LG
MHA-RAG: Improving Efficiency, Accuracy, and Consistency by Encoding Exemplars as Soft Prompts
Department of Computer Science, Rice University（计算机科学系，里士大学）；Department of Computer Science, University of Wisconsin–Madison（计算机科学系，威斯康星大学麦迪逊分校）
提出MHA-RAG框架，将领域示例编码为软提示，通过多头注意力机制控制生成，在多个问答基准上相比标准RAG提升20点性能，同时降低10倍推理成本。
2026-06-04 cs.AI
DQ-LoRe: Dual Queries with Low Rank Approximation Re-ranking for In-Context Learning
Sun Yat-Sen University（中山大学）；The Chinese University of Hong Kong（香港中文大学）；Huawei Noah’s Ark Lab（华为诺亚实验室）；The Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州））；MBZUAI；The Hong Kong University of Science and Technology（香港科学与技术大学）；Shenzhen MSU-BIT University（深圳MSU-BIT大学）；DarkMatter AI Research（DarkMatter AI研究）
DQ-LoRe通过双查询与低秩近似重排序方法提升GPT-4上下文学习性能，实现94.2%的性能提升。
2026-01-09 cs.CL
Beyond More Context: Retrieval Diversity Boosts Multi-Turn Intent Understanding
Independent Researcher（独立研究者）
针对任务导向聊天机器人多轮意图理解中token预算有限、检索忽略多样性的问题，提出感知多样性的检索框架，平衡意图覆盖与语言多样性，在等token预算下显著提升联合目标准确率，验证了检索内容多样性的作用。
2025-10-20 cs.AI
Context Parametrization with Compositional Adapters
TakeLab, University of Zagreb, Croatia（Take实验室，扎格雷布大学，克罗地亚）
CompAs通过组合结构的适配器参数，提升LLM在长上下文和多任务中的效率与稳定性，提供一种更高效的部署方案。
2026-01-29 cs.CL
CONDESION-BENCH: Conditional Decision-Making of Large Language Models in Compositional Action Space
Department of Artificial Intelligence, Yonsei University（延世大学人工智能系）
本文提出CONDESION-BENCH基准，用于评估大语言模型在组合动作空间中的条件决策能力，通过引入变量、上下文和分配层级的显式条件限制，提升决策质量评估的严谨性。
2026-04-10 cs.AI cs.CL
RISCORE: Enhancing In-Context Riddle Solving in Language Models through Context-Reconstructed Example Augmentation
本文提出RISCORE方法，通过上下文重构示例增强少样本提示，显著提升语言模型在垂直和横向谜语解决任务中的表现。
2024-12-17 cs.CL
Towards Truly Zero-shot Compositional Visual Reasoning with LLMs as Programmers
Google DeepMind（谷歌DeepMind）
本研究针对LLM作为视觉推理控制器时需人工设计特定上下文示例的问题，提出含时空抽象例程、用少量标注自动生成上下文示例的框架，提升了性能与鲁棒性，免去人工设计成本。
2024-05-14 cs.AI cs.CV cs.LG
Complementary Explanations for Effective In-Context Learning
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta AI
本研究探究上下文学习中解释的作用机制，发现计算轨迹与提示语言均影响解释效果，且多样化互补解释可提升性能，进而提出基于最大边际相关性的示例选择方法，在多模型多任务上有效提升上下文学习表现。
2023-06-12 cs.CL
Reinforcing Compositional Retrieval: Retrieving Step-by-Step for Composing Informative Contexts
Nanyang Technological University（南洋理工大学）；Institute for Infocomm Research (I2R), A*STAR（新加坡资讯通信研究院）；The Chinese University of Hong Kong（香港中文大学）
针对LLM处理复杂任务依赖外部上下文时的组合检索需求，提出三编码器序列检索器（建模为MDP），分两阶段训练并基于生成程序结构对应性优化，显著优于基线，强调示例间依赖建模的重要性。
2025-04-15 cs.CL
Measuring Pointwise $\mathcal{V}$-Usable Information In-Context-ly
Technical University of Darmstadt（达姆施塔特工业大学）；Mass General Brigham（麻省总医院布莱根医疗系统）；Harvard Medical School（哈佛医学院）；Brigham and Women’s Hospital（布莱根妇女医院）；Dana-Farber Cancer Institute（达纳-法伯癌症研究所）；Boston Children’s Hospital（波士顿儿童医院）
本文将逐点 $\mathcal{V}$-可用信息（PVI）扩展为无需微调、仅需少量示例的 in-context PVI，并通过实证验证其稳定性及识别困难样本的能力。
2023-12-08 cs.CL
RECON: Benchmarking Agent Memory for Compositional Reasoning over Long Contexts
RV College of Engineering（RV工程学院）；Department of Computer Science and Engineering（计算机科学与工程系）
该研究引入RECON基准测试，用于评估长上下文组合推理，跨越三个领域24个案例文件，测试智能体六个内存密集型任务，揭示当前架构在内存相关任务上存在重大局限，非预言机系统准确率低，检索和推理有挑战。
2026-07-21 cs.AI
In-Context Defense in Computer Agents: An Empirical Study
Show Lab, National University of Singapore（新加坡国立大学Show Lab）
本文首次系统研究计算机智能体的上下文欺骗攻击防御问题，提出利用上下文学习和思维链推理的上下文防御方法，通过少量示例引导智能体先防御推理再行动规划，显著降低了多种攻击的成功率。
2025-03-12 cs.AI
Training-Free Time Series Classification via In-Context Reasoning with LLM Agents
Rice University（Rice大学）
本文提出FETA框架，利用上下文推理实现无需训练的时间序列分类，通过多代理结构提升效率和可解释性，在多个数据集上取得优异性能。
2026-04-30 cs.AI
STARE at the Structure: Steering ICL Exemplar Selection with Structural Alignment
Nanyang Technological University, Singapore（南洋理工大学）；Harbin Institute of Technology, Shenzhen, China（哈尔滨工业大学（深圳））
本文针对语义解析等结构化预测任务中上下文学习示例选择忽视结构对齐的问题，提出一种两阶段策略：先用结构感知监督微调 BERT 检索器，再通过即插即用模块增强句法信息，在多个基准上稳定超越现有方法。
2025-08-28 cs.CL
Data Augmentation for Compositional Data: Advancing Predictive Models of the Microbiome
Columbia University（哥伦比亚大学）
数据增强在现代机器学习管道中起着关键作用。虽然在计算机视觉和自然语言处理的背景下已经研究了许多增强策略，但对其他数据模式知之甚少。我们的工作将数据增强的成功扩展到组合数据，即，单值数据，这在人类微生物组的背景下特别感兴趣。从成分数据分析的关键原则，如艾奇逊几何的单纯形和子成分，我们定义了新的增强策略，这种数据形式。将我们的数据增强到标准的监督学习管道中，可以在各种标准基准数据集上获得一致的性能增益。特别是，我们为关键疾病预测任务（包括结直肠癌、2型糖尿病和克罗恩病）设定了新的最先进技术。此外，我们的数据扩充使我们能够定义一种新的对比学习模型，该模型改进了以前用于微生物组组成数据的表示学习方法。我们的代码可在https://github.com/cunningham-lab/AugCoDa上获得。
2022-05-20 cs.LG stat.ML
Automatic In-Domain Exemplar Construction and LLM-Based Refinement of Multi-LLM Expansions for Query Expansion
School of Computer Science and Technology, Soochow University, Suzhou, China（苏州大学计算机科学与技术学院）；Center for Information and Language Processing (CIS), LMU Munich, Munich, Germany（慕尼黑莱茵恩大学信息与语言处理中心）；Munich Center for Machine Learning (MCML), Munich, Germany（慕尼黑机器学习中心）；Chalmers University of Technology, Gothenburg, Sweden（楚科奇技术大学）
本文提出一种自动化的查询扩展框架，通过BM25-MonoT5流程构建领域内示例池，并利用无监督的聚类策略生成多样化的演示，再结合两个异构LLM生成扩展并由精炼LLM整合，实现稳定且高效的查询扩展。
2026-03-13 cs.AI cs.IR
Synergizing In-context Learning with Hints for End-to-end Task-oriented Dialog Systems
Indian Institute of Technology, Delhi（印度理工学院德里分校）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）；IBM Research（IBM研究院）
本文提出SyncTOD方法，通过小型辅助模型为LLM提供任务特定提示并选择上下文示例，在低数据场景下提升端到端任务导向对话系统的回复对齐性和性能，优于现有基线及SoTA模型。
2024-10-18 cs.CL
Im-Promptu: In-Context Composition from Image Prompts
Princeton University（普林斯顿大学）；University of California Berkeley（加州大学伯克利分校）
本研究提出名为Im-Promptu的元学习框架，探讨类比推理在视觉刺激上下文组合中的作用，通过测试不同组合程度的智能体，揭示外推能力与组合程度间的权衡，并展示其在图像生成中的应用。
2023-10-23 cs.AI cs.CV
$C^3$: Compositional Counterfactual Contrastive Learning for Video-grounded Dialogues
Salesforce Research Asia（Salesforce亚洲研究院）；A*STAR, Institute for Infocomm Research（新加坡科技研究局资讯通信研究院）
本文提出组合式反事实对比学习（$C^3$），通过事实/反事实采样和对比隐藏状态表示优化视频基础对话生成，并在AVSD基准上取得性能提升。
2023-08-05 cs.CL cs.CV cs.LG
Evaluating the Impact of Model Scale for Compositional Generalization in Semantic Parsing
Massachusetts Institute of Technology（麻省理工学院）；Google Research（谷歌研究院）
尽管预训练的语言模型在许多任务上表现出色，但已被证明在分布外的合成泛化上很困难。与此同时，最近的工作表明，模型缩放在许多NLP任务上有了相当大的改进。在语义解析中，按比例增加模型大小也能提高组合泛化能力吗？我们评估了高达11 B参数的编码器-解码器模型和高达540 B参数的仅解码器模型，并比较了将预训练语言模型应用于新任务的三种不同方法的模型缩放曲线：微调所有参数，提示微调和上下文学习。我们观察到，在语义解析评估中，微调通常在分布外的合成概括上具有平坦或负的缩放曲线。上下文学习具有正的缩放曲线，但通常会被更小的微调模型所超越。微调可以优于微调，这表明缩放的进一步潜在改进，因为它表现出更积极的缩放曲线。此外，我们还确定了几个随模型规模而变化的误差趋势。例如，较大的模型通常更好地建模输出空间的语法，但也更容易出现某些类型的过拟合。总的来说，我们的研究强调了当前技术的局限性，有效地利用模型规模进行组合泛化，而我们的分析也为未来的工作提出了有希望的方向。
2022-10-24 cs.CL
Cross-Modal Masked Compositional Concept Modeling for Enhancing Visio-Linguistic Compositionality
MoE Key Laboratory of Brain-inspired Intelligent Perception and Cognition, University of Science and Technology of China（中国科学技术大学，教育部脑启发智能感知与认知重点实验室）；Independent Researcher（独立研究员）
提出MACCO框架，通过掩码一个模态的组合概念并从另一模态完整上下文重建，增强视觉-语言模型的组合理解能力，在五个基准上显著提升。
2026-06-12 cs.AI cs.CL cs.CV
Multi-Hop Knowledge Composition is Bound by Pretraining Exposure
Inria, Paris, France（法国国家信息与自动化研究所（巴黎））；Inria, Chile（法国国家信息与自动化研究所（智利））；Dept. of Computer Science, Universidad de Chile（智利大学计算机科学系）
研究发现，即使单跳准确率达97%，大语言模型仍无法进行隐式多跳推理，原因是预训练中缺乏组合上下文，而非知识缺失。
2026-09-17 cs.CL
Effectiveness of Prompt Optimization in NL2SQL Systems
Megagon Labs（梅加贡实验室）；Adobe
本文针对生产环境NL2SQL系统，提出一种基于静态示例选择和多目标优化的提示优化框架，以提升高精度与性能，并通过初步实验验证其有效性。
2025-05-26 cs.CL cs.DB
Improving Large Language Model Planning with Action Sequence Similarity
Google DeepMind（谷歌DeepMind）；Carnegie Mellon University（卡内基梅隆大学）
本文提出GRASE-DC两阶段流水线，利用动作序列相似性（AS）重新采样并动态聚类上下文学习示例，在多种规划任务中显著提升了LLM的规划准确率并减少了所需示例数量。
2025-05-02 cs.AI
