Beyond Semantic Similarity: Reducing Unnecessary API Calls via Behavior-Aligned Retriever
City University of Hong Kong(香港城市大学);Mohamed Bin Zayed University of Artificial Intelligence(马尔代夫穆罕默德·本·扎耶德人工智能大学);McGill University(麦吉尔大学)
该研究针对工具增强型LLM的不必要API调用问题,提出行为对齐检索(BAR)方法,通过训练感知行为的相似度排序演示示例,在多类骨干网络和基准中提升调用可靠性、减少API调用。
2026-09-01 cs.CL
The Compressor-Retriever Architecture for Language Model OS
Georgia Institute of Technology(佐治亚理工学院);Monash University(莫纳什大学)
本文提出compressor-retriever架构,利用基础模型前向函数实现终身上下文压缩与检索,以构建有状态的语言模型操作系统。
2024-09-02 cs.CL
DeTriever: Decoder-representation-based Retriever for Improving NL2SQL In-Context Learning
The University of British Columbia(不列颠哥伦比亚大学);Huawei Technologies Canada Co., Ltd.(华为技术加拿大有限公司);University of Alberta(阿尔伯塔大学)
DeTriever通过学习LLM隐藏状态的加权组合来检索NL2SQL演示示例,并设计代理分数评估示例收益,在单样本任务上显著超越现有基线。
2024-06-12 cs.CL cs.IR
In-Context Learning for Few-Shot Nested Named Entity Recognition
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));National University of Singapore(新加坡国立大学)
针对少样本嵌套命名实体识别标注需求高的问题,提出含新型EnDe检索器的上下文学习框架,通过三类对比表示学习选高质量演示示例,在多数据集上验证了有效性。
2024-02-02 cs.CL
XAMPLER: Learning to Retrieve Cross-Lingual In-Context Examples
LMU Munich(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Instituto de Telecomunicações(电信研究所);Unbabel(昂巴贝尔公司)
针对跨语言上下文学习中跨语言检索器和标注数据稀缺的问题,提出XAMPLER方法,基于Glot500训练检索器并利用MaLA500构建训练数据,仅用英语标注数据即可为目标语言检索英语示例,在SIB200和MasakhaNEWS基准上显著提升性能。
2025-02-08 cs.CL
DemoRank: Selecting Effective Demonstrations for Large Language Models in Ranking Task
Renmin University of China(中国人民大学)
本文针对段落排序任务提出示例选择框架 DemoRank,通过引入重排序器并设计列表成对训练方法,结合迭代近似最优示例列表,有效捕捉示例间依赖关系,显著提升了大语言模型在排序任务中的性能。
2024-09-25 cs.CL cs.IR
LLM2IR: simple unsupervised contrastive learning makes long-context LLM great retriever
Computer Science(计算机科学)
LLM2IR通过简单无监督对比学习将长上下文LLM转化为高效检索器,验证了上下文长度与检索能力的关系。
2025-10-31 cs.AI cs.CL cs.IR
Hierarchical Re-ranker Retriever (HRR)
watsonx Client Engineering, IBM(IBM watsonx客户工程部门)
提出分层重排序检索器(HRR),通过句子级与512-token中间级文本块切分及重排序,并映射至2048-token父级文本块,平衡细粒度与广泛上下文,为LLM应用提供最优检索方案。
2025-03-04 cs.CL cs.IR
PULSE: Identifying Demonstration-Utility Features with Sparse Autoencoders
PULSE提出基于稀疏自编码器的框架,通过定位模型内部与示范效用相关的特征来选择示范,在分类、生成和推理任务上超越最强基线,并验证了特征的预测性和部分跨数据集迁移性。
2026-09-29 cs.AI cs.CL cs.LG
PRCA: Fitting Black-Box Large Language Models for Retrieval Question Answering via Pluggable Reward-Driven Contextual Adapter
Ping An Technology (Shenzhen) Co., Ltd., China(平安科技(深圳)有限公司);New York University(纽约大学);University of Maryland(马里兰大学)
本文提出可插拔奖励驱动上下文适配器PRCA,以黑盒方式将大语言模型适配到检索式问答框架中,通过强化学习精炼检索信息,在三个数据集上实现最高20%的性能提升。
2023-10-23 cs.CL
Inference is All You Need: Self Example Retriever for Cross-domain Dialogue State Tracking with ChatGPT
Graduate School of Artificial Intelligence, POSTECH(浦项科技大学人工智能研究生院);Department of Computer Science and Engineering, POSTECH(浦项科技大学计算机科学与工程系)
针对跨领域对话状态跟踪依赖训练数据的问题,提出基于 ChatGPT 思维链与自示例检索的无参数推理方法,在 MultiWOZ 上取得具竞争力的跨域泛化效果。
2024-09-10 cs.CL
Effective Dense Retrieval using Only In-Context Examples
University of Waterloo(滑铁卢大学);The University of Queensland(昆士兰大学)
提出免训练的RICE方法,利用上下文示例提示LLM生成高质量稠密表示,显著提升检索准确性,无需额外训练。
2026-09-30 cs.CL cs.IR
ToolDreamer: Instilling LLM Reasoning Into Tool Retrievers
The Pennsylvania State University(宾夕法尼亚州立大学);Bosch Research North America(博世北美研究)
ToolDreamer通过合成工具描述来改进工具检索,提升稀疏和密集检索器性能,减少LLM上下文窗口压力。
2026-03-02 cs.CL cs.IR
Improving Dialogue State Tracking through Combinatorial Search for In-Context Examples
Graduate School of Data Science, Seoul National University(数据科学研究生院,首尔国立大学);Department of Computer Science and Engineering, Seoul National University(计算机科学与工程系,首尔国立大学)
本文提出CombiSearch方法,通过组合搜索评估上下文示例对DST性能的组合影响来训练检索器,在MultiWOZ上实现20倍数据效率提升和12%的DST性能上界绝对提升,并良好泛化到SGD数据集。
2025-06-03 cs.AI cs.CL cs.IR
Query-Focused Retrieval Heads Improve Long-Context Reasoning and Re-ranking
Princeton Language and Intelligence, Princeton University(普林斯顿语言与智能研究所,普林斯顿大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出通过查询相关注意力识别 QRHead,并基于其累积注意力质量构建 QRRetriever,在长上下文多跳推理和 BEIR 零样本重排序中取得显著提升。
2025-09-28 cs.CL
RUIE: Retrieval-based Unified Information Extraction using Large Language Model
Central South University(中南大学)
RUIE是一个基于检索的统一信息抽取框架,利用上下文学习和新颖的示范选择机制,作为可训练的通用插件,在八个数据集上平均F1分数分别提升19.22和3.22。
2025-01-21 cs.CL
DRAMA: Diverse Augmentation from Large Language Models to Smaller Dense Retrievers
FAIR at Meta(Meta 的 FAIR 研究院);University of Waterloo(滑铁卢大学)
DRAMA框架利用剪枝后的大型语言模型作为骨干,在LLM增强的多样化数据上进行单阶段对比学习,训练出兼具效率与泛化能力的小型稠密检索器,并在多语言和长上下文任务中取得优异表现。
2025-06-03 cs.CL cs.IR
Optimizing Rare Word Accuracy in Direct Speech Translation with a Retrieval-and-Demonstration Approach
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);University of California, Irvine(加州大学欧文分校)
本文提出检索与演示方法,通过改造直接语音翻译模型并结合跨模态检索器获取相似示例,显著提升罕见词翻译准确率。
2024-10-01 cs.CL
Thought-Retriever: Don't Just Retrieve Raw Data, Retrieve Thoughts for Memory-Augmented Agentic Systems
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Carnegie Mellon University(卡内基梅隆大学)
本文提出Thought-Retriever,一种无需受上下文长度限制的算法,使LLM能基于任意长外部数据生成输出。通过利用历史查询生成的中间响应,构建长期记忆,提升回答能力。
2026-04-14 cs.CL cs.IR
Self-Generated In-Context Learning: Leveraging Auto-regressive Language Models as a Demonstration Generator
Seoul National University(首尔国立大学);Hanyang University(汉阳大学);NAVER AI Lab(NAVER人工智能实验室);NAVER CLOVA
众所周知,大规模预训练的语言模型(PLM)能够简单地通过在提示符上调节一些被称为演示的输入标签对来解决任务,而无需针对所需的下游任务进行显式调整。这样的过程(即,上下文学习),然而,自然导致对通常从外部数据集选择的演示的高度依赖。在本文中,我们提出了自生成的上下文学习(SG-ICL),它产生的上下文学习从PLM本身的示范,以尽量减少对外部示范的依赖。我们在四个不同的文本分类任务上进行了实验,结果表明SG-ICL的性能明显优于零样本学习,并且通常值得大约0.6个黄金训练样本。此外,与从训练数据集中随机选择的演示相比,我们生成的演示显示出更一致的性能和低方差。
2022-06-16 cs.CL
Diverse Demonstrations Improve In-context Compositional Generalization
Tel-Aviv University(特拉维夫大学)
本研究提出一种选择多样化示例的方法,通过集体覆盖输出程序所需的所有结构,鼓励模型在组合泛化任务中泛化到新结构。实验表明,该方法在纯上下文学习及结合微调时,显著提升了三个语义解析数据集的性能。
2023-06-24 cs.CL
Learning to Retrieve In-Context Examples for Large Language Models
Microsoft Research(微软研究院)
针对大语言模型上下文学习效果依赖示例质量的问题,提出迭代训练稠密检索器的框架,通过奖励模型与知识蒸馏提升示例检索质量,在30项任务上显著提升性能且具备跨任务泛化性。
2024-01-26 cs.CL cs.IR
Ask Optimal Questions: Aligning Large Language Models with Retriever's Preference in Conversation
Korea University(韩国大学);KAIST AI(韩国科学技术院人工智能研究中心);Seoul National University(首尔国立大学);AIGEN Sciences(AIGEN科学)
针对对话式搜索中现有重写-检索方法查询重写效果不佳的问题,提出RetPO框架,通过构建含41万+重写反馈的RF collection数据集微调小模型,实现与检索器偏好对齐,性能超现有SOTA。
2025-06-16 cs.CL cs.IR
On the Robustness of LLM-Based Dense Retrievers: A Systematic Analysis of Generalizability and Stability
University of Amsterdam(阿姆斯特丹大学);Chinese Academy of Sciences(中国科学院)
本文系统分析了基于LLM的密集检索器的通用性和稳定性,发现指令微调模型在复杂推理任务中存在'专业化税',而嵌入几何结构对鲁棒性有预测作用。
2026-04-17 cs.CL cs.IR
Curriculum Demonstration Selection for In-Context Learning
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
提出课程式示范选择(CDS),按复杂度从易到难选取示范,覆盖多难度层级,在三个基准上显著提升九个LLM的上下文学习性能,尤其擅长解决难题。
2024-12-15 cs.CL
In-Context Learning Demonstration Selection via Influence Analysis
University of Arkansas(阿肯色大学)
针对ICL示例选择难题,本文提出InfICL方法,利用影响函数识别最具影响力的训练样本作为示例,并仅用LLM生成输入嵌入以避免微调,实验显示其优于现有基线。
2024-06-17 cs.CL
GPT-FinRE: In-context Learning for Financial Relation Extraction using Large Language Models
MUST Research(MUST研究院);UtilizeAI Research(UtilizeAI研究院)
针对金融领域关系抽取任务,提出GPT-FinRE方法,在上下文学习框架下结合两种检索策略选取示例,在REFinD数据集上取得0.718的F1值,总排名第三。
2023-07-21 cs.CL
Easier to Judge than to Find: Predicting In-Context Learning Success for Demonstration Selection
Research Center for Social Computing(社会计算研究中心);Interactive Robotics, Harbin Institute of Technology, China(交互机器人,哈尔滨工业大学,中国)
本文提出DiSP框架,通过分层判断和轻量路由模型,预测上下文学习中演示选择的成功率,从而在多个数据集上实现更高的准确率和更快的推理速度。
2026-05-18 cs.CL
Delta-KNN: Improving Demonstration Selection in In-Context Learning for Alzheimer's Disease Detection
Department of Computer Science(计算机科学系);Vancouver Stroke Program and Division of Neurology, Faculty of Medicine(温哥华卒中计划和神经病学系,医学院);The University of British Columbia(不列颠哥伦比亚大学)
Delta-KNN通过Delta评分和KNN检索器提升基于上下文学习的阿尔茨海默病检测性能,实现新状态的最先进结果。
2025-06-04 cs.CL
Not All Demonstration Examples are Equally Beneficial: Reweighting Demonstration Examples for In-Context Learning
School of Computer Science, Peking University(北京大学计算机学院)
本文针对上下文学习(ICL)中演示示例质量不均的问题,提出基于掩码自预测得分和束搜索的示例加权方法,在8个文本分类任务上显著提升ICL性能。
2023-10-12 cs.CL
CrossICL: Cross-Task In-Context Learning via Unsupervised Demonstration Transfer
Harbin Institute of Technology(哈尔滨工业大学)
本文提出CrossICL范式,通过两阶段对齐策略在无监督下将源任务示范迁移至目标任务的上下文学习,利用875个NLP任务和六种LLM验证了其有效性,并揭示了跨任务示范选择标准与干扰类型。
2025-05-30 cs.CL
In-Context Learning with Reinforcement Learning for Incomplete Utterance Rewriting
针对ICL中示例选择未利用LLM反馈的问题,提出基于强化学习的RLS框架,通过LM选择器和LLM生成器优化示例选择,显著提升了少样本设置下的性能。
2024-08-23 cs.CL
UnifieR: A Unified Retriever for Large-Scale Retrieval
Microsoft(微软);The Ohio State University(俄亥俄州立大学)
本文提出 UnifieR 框架,在单一模型中融合稠密向量与词元检索的双重表示能力,并通过段落检索及 BEIR 实验验证其效果与可迁移性。
2023-06-04 cs.CL cs.IR
Misconfidence-based Demonstration Selection for LLM In-Context Learning
Georgia Institute of Technology(佐治亚理工学院)
本文提出上下文反思(ICR)方法,通过误置信度度量迭代选择最具挑战性的演示示例,以降低大语言模型上下文学习中的输出偏差,在五个数据集上实现平均4%的性能提升。
2024-01-12 cs.CL
How Does the Textual Information Affect the Retrieval of Multimodal In-Context Learning?
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
针对多模态上下文学习检索偏重视觉忽视文本的问题,提出监督型检索器MSIER,利用神经网络选择示例以提升学习效率,并在多任务上验证了其有效性。
2024-11-12 cs.AI cs.CL cs.CV
A Simplified Retriever to Improve Accuracy of Phenotype Normalizations by Large Language Models
Glyndŵr University(格林多大学);National Research Council (CNR)(国家研究委员会);Lancaster University(兰卡斯特大学);University of Illinois at Chicago(芝加哥大学伊利诺伊分校);Missouri State University(密苏里州立大学)
本研究提出一种基于BioBERT上下文词嵌入的简化检索器,无需显式术语定义即可在HPO中搜索候选匹配,使最先进LLM在OMIM表型规范化任务上的准确率从62.3%提升至90.3%,为复杂生物医学术语规范化提供了高效替代方案。
2025-03-04 cs.AI cs.CL cs.IR
Ambiguity-Aware In-Context Learning with Large Language Models
Toyota Technological Institute at Chicago(芝加哥丰田技术学院);Google Research(谷歌研究院)
针对大语言模型上下文学习的演示选择问题,提出结合语义相似度与标签歧义消解的选例策略,经实验验证纳入决策边界上的误分类演示可带来最大性能增益。
2024-01-30 cs.CL cs.IR
UniHGKR: Unified Instruction-aware Heterogeneous Knowledge Retrievers
Southeast University(东南大学);Stony Brook University(石溪大学);Virginia Tech(弗吉尼亚理工大学);UC Davis(加州大学戴维斯分校)
针对现有信息检索模型假设知识源和查询同构的局限,提出统一指令感知异构知识检索器UniHGKR,构建统一检索空间并遵循指令检索指定类型知识,在CompMix-IR基准和ConvMix任务上取得显著提升。
2025-02-11 cs.CL cs.IR
In-Context Demonstration Selection with Cross Entropy Difference
Microsoft Cognitive Service Research(微软认知服务研究院)
本文提出交叉熵差分(CED)方法,通过参数高效微调小型模型计算测试示例与候选示例的交叉熵差分来排序和选择上下文示例,在8个基准上验证其能提升多种LLMs的文本生成性能。
2023-11-27 cs.AI cs.CL
PICLe: Pseudo-Annotations for In-Context Learning in Low-Resource Named Entity Detection
EPFL(洛桑联邦理工学院)
本文提出PICLe框架,利用零样本生成的伪标注示例进行上下文学习,通过聚类、独立预测和自我验证,在无人工标注的低资源命名实体检测中超越传统ICL方法。
2025-04-01 cs.AI cs.CL
What Factors Affect Multi-Modal In-Context Learning? An In-Depth Exploration
Tsinghua University(清华大学);Central South University(中南大学);Harbin Institute of Technology(哈尔滨工业大学);ByteDance(字节跳动)
本文通过6个视觉大语言模型和20种策略,系统考察示例检索、排序与提示构建对MM-ICL性能的影响,为策略优化提供指导。
2024-10-27 cs.AI cs.CL cs.CV
Refract ICL: Rethinking Example Selection in the Era of Million-Token Models
Google DeepMind(谷歌DeepMind)
针对长上下文大模型下传统ICL示例选择策略的有效性问题,本文提出Refract ICL算法,通过重复难例、结合零样本预测误差信号引导注意力,显著提升了长上下文模型在少类别任务上的ICL性能。
2025-06-14 cs.AI cs.CL
Instructed Language Models with Retrievers Are Powerful Entity Linkers
Rice University(莱斯大学);Duke University(杜克大学);Microsoft STCA(微软STCA)
针对生成式大语言模型存在幻觉、不适用于实体链接任务的问题,提出带轻量级检索器的指令式生成实体链接器INSGENEL,在提升4倍速度的同时,平均F1值较以往生成式方案提升6.8个点,且训练数据与计算效率更高。
2023-11-06 cs.AI cs.CL
Self-Demos: Eliciting Out-of-Demonstration Generalizability in Large Language Models
School of Computer Science, Fudan University(复旦大学计算机科学学院);Institute of Modern Languages and Linguistics, Fudan University(复旦大学现代语言与语言学研究所)
本文提出Self-Demos提示方法,通过查询感知生成演示将OOD查询转化为ID,并在自建OOD-Toolset及数学基准上验证其优于现有基线。
2024-04-01 cs.AI cs.CL
Demonstration Notebook: Finding the Most Suited In-Context Learning Example from Interactions
Peking University(北京大学)
本文提出“demonstration notebook”提示工程工作流,利用 LLM 历史交互为每个问题自动选择定制上下文演示,在推理、摘要和提示压缩任务上取得先进性能。
2024-06-16 cs.AI cs.CL
RARe: Retrieval Augmented Retrieval with In-Context Examples
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Princeton University(普林斯顿大学);New York University(纽约大学)
RARe通过在检索查询中引入语义相似的上下文示例,提升开放域检索性能,实现nDCG最高+2.72%的提升。
2026-02-08 cs.AI cs.CL cs.IR
In-Context Transfer Learning: Demonstration Synthesis by Transferring Similar Tasks
Harbin Institute of Technology(哈尔滨工业大学)
针对大语言模型上下文内学习中从零合成演示示例质量受限的问题,提出上下文内迁移学习方法,通过迁移相似源任务标注示例合成目标演示,在Super-NI基准上平均性能提升2.0%。
2024-11-01 cs.CL cs.LG
The Impact of Demonstrations on Multilingual In-Context Learning: A Multidimensional Analysis
Saarland University(萨尔大学);Bosch Center for AI(博世人工智能中心);LMU Munich(慕尼黑大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心);Eastern Institute of Technology(东方理工学院);Mila(米拉研究所);McGill University(麦吉尔大学)
本文通过5个模型、9个数据集和56种语言的多维实验,发现演示在多语言上下文学习中的效果因模型、任务和语言而异,且强指令遵循模型对演示质量不敏感,提示演示的重要性可能被高估。
2024-06-07 cs.AI cs.CL
Comparable Demonstrations are Important in In-Context Learning: A Novel Perspective on Demonstration Selection
MoE Key Lab of Artificial Intelligence, AI Institute, \ Jiao Tong University, Shanghai, China
本文提出通过最小编辑文本翻转标签构建可比较示例(CDs),以缓解上下文学习中的示例偏差,实验证明CDs能显著减少偏差并在分布外场景表现优异。
2024-01-09 cs.AI cs.CL
Rectifying Demonstration Shortcut in In-Context Learning
POSTECH(浦项科技大学);Graduate School of AI(人工智能研究生院);Department of Computer Science(计算机科学系);POSTECH Institute of Artificial Intelligence(浦项科技大学人工智能研究院)
针对大语言模型上下文学习中依赖演示语义先验的“演示捷径”问题,提出演示感知的上下文校准方法,在两种任务设置、三类大模型上均实现显著效果提升。
2024-04-15 cs.AI cs.CL
Few-shot LLM Synthetic Data with Distribution Matching
Tsinghua University(清华大学);Renmin University of China(中国人民大学)
针对LLM生成的合成数据与真实数据分布差异导致性能提升受限的问题,提出SynAlign框架,通过关键属性分布匹配生成并过滤合成数据,在文本预测任务和在线检索器A/B测试中实现显著性能提升。
2025-02-15 cs.AI cs.CL
Rethinking the Role of Demonstrations: What Makes In-Context Learning Work?
Meta AI;Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学)
大语言模型(LM)能够在上下文中学习--仅通过对一些输入-标签对(演示)进行条件化并对新输入进行预测来通过推理执行新任务。然而,人们对模型如何学习以及演示的哪些方面有助于最终任务性能的理解很少。在本文中,我们表明,地面真相演示实际上是不需要的-在演示中随机替换标签几乎不会影响一系列分类和多选择任务的性能,在包括GPT-3在内的12个不同模型中始终如此。相反,我们发现演示的其他方面是最终任务性能的关键驱动因素,包括它们提供了以下几个示例:(1)标签空间,(2)输入文本的分布,以及(3)序列的整体格式。总之,我们的分析提供了一种理解上下文学习如何以及为什么有效的新方法,同时也提出了一些新问题,即仅仅通过推理就可以从大语言模型中学到多少东西。
2022-10-20 cs.AI cs.CL
Scaling In-Context Demonstrations with Structured Attention
Princeton University(普林斯顿大学)
本文提出SAICL结构化注意力机制,通过消除示例间不必要依赖并实现排列不变性,突破上下文学习在长度、效率和顺序敏感性上的限制,实现高达3.4倍加速并可扩展至数百个示例。
2023-07-05 cs.AI cs.CL cs.LG
In-Context Learning with Iterative Demonstration Selection
Nanyang Technological University(南洋理工大学);Amazon Web Services(亚马逊网络服务)
本文提出迭代式演示选择方法IDS,利用零样本思维链推理在多样性与相关性之间动态选择上下文示例,并通过多轮迭代和多数投票提升ICL性能,在推理、问答和主题分类任务上优于现有方法。
2024-12-30 cs.AI cs.CL