Crosslingual Retrieval Augmented In-context Learning for Bangla
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS));Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出跨语言检索增强上下文学习方法,通过从高资源语言检索语义相似提示来增强BLOOMZ等多语言预训练模型,从而稳定提升其在孟加拉语低资源任务上的零样本表现。
2023-12-02 cs.CL
Studying the Role of Input-Neighbor Overlap in Retrieval-Augmented Language Models Training Efficiency
Linköping University(林雪平大学)
该研究探究检索增强语言模型中查询与上下文重叠度的影响,发现超临界阈值后可提升性能与训练效率,通过释义生成合成上下文提升重叠度能减少约40%训练时间且不损性能,为检索机制优化提供实证依据。
2025-05-20 cs.CL
Benchmarking Large Language Models in Retrieval-Augmented Generation
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文系统评估了检索增强生成(RAG)对大型语言模型的影响,构建了中英文基准RGB,测试了6个模型在噪声鲁棒性、负面拒绝、信息整合和反事实鲁棒性四方面能力,发现模型在负面拒绝、信息整合和虚假信息处理上仍有显著困难。
2023-12-20 cs.CL
Knowledge-Augmented Language Models for Cause-Effect Relation Classification
The George Washington University(乔治华盛顿大学);Meta AI
先前的研究已经表明了知识增强方法在预训练语言模型中的有效性。但是,这些方法在域和下游任务中的行为不同。在这项工作中,我们研究了增强预训练的语言模型与常识知识的因果关系分类和常识因果推理任务。在自动语言化ATOMIC 2020,一个广泛覆盖的常识推理知识图,和GLUCOSE,一个隐含的常识因果知识的数据集,我们不断预训练BERT和RoBERTa与语言化的数据。然后,我们评估产生的模型上的因果对分类和回答常识因果推理问题。我们的研究结果表明,用常识知识增强的持续预训练的语言模型在两个常识因果推理基准(COPA和BCOPA-CE)以及时间和因果推理(TCR)数据集上的表现优于我们的基线,而无需对模型架构进行额外改进或使用质量增强的数据进行微调。
2022-06-02 cs.CL
Visually-Augmented Language Modeling
University of California, Santa Barbara(加州大学圣巴巴拉分校);Microsoft Research(微软研究院)
人类语言基于多模态知识,包括颜色、大小和形状等视觉知识。然而,目前的大规模预训练语言模型依赖于大量文本数据的纯文本自监督训练,这使得它们在必要时无法利用相关的视觉信息。为了解决这个问题,我们提出了一个新的预训练框架,名为VaLM,视觉增强文本标记与检索相关图像的语言建模。具体来说,VaLM建立在一个新的潜在的文本图像对齐方法,通过图像检索模块获取相应的图像给定的文本上下文。通过视觉增强的上下文,VaLM使用视觉知识融合层,通过关注文本上下文和图像中的视觉知识来实现多模态接地语言建模。我们评估各种视觉知识密集型的常识推理任务,这需要视觉信息,以脱颖而出的VaLM。实验结果表明,VaLM优于所有强大的纯语言和视觉语言基线,在推理对象常识,包括颜色,大小和形状方面有很大的收获。我们的代码可在www.example.com上获得。
2023-02-25 cs.CL
Retrieval-Generation Synergy Augmented Large Language Models
Harbin Institute of Technology(哈尔滨工业大学)
针对大语言模型知识增强时的文档获取问题,提出迭代式检索-生成协作框架,融合两类知识并通过交互辅助多步推理,在4个问答数据集上表现优于现有基线。
2023-10-08 cs.CL
Evaluating Cultural Knowledge Processing in Large Language Models: A Cognitive Benchmarking Framework Integrating Retrieval-Augmented Generation
United Link Co., Ltd.(联合链接有限公司);National United University(联合大学)
本研究提出一种集成 Bloom 分类法与检索增强生成(RAG)的认知基准框架,利用台湾客家数字文化档案评估大型语言模型处理特定文化知识的语义准确性与文化相关性。
2025-11-03 cs.CL
Atlas: Few-shot Learning with Retrieval Augmented Language Models
Meta AI Research(Meta人工智能研究院);ENS, PSL University(巴黎高等师范学院,巴黎文理研究大学);Inria(法国国家信息与自动化研究所);University College London(伦敦大学学院)
大语言模型在广泛的任务中显示出令人印象深刻的Few-Shot结果。然而,当知识对于这样的结果是关键时,如对于诸如问答和事实检查的任务的情况,似乎需要大量参数计数来存储知识。已知检索增强模型在知识密集型任务中表现出色,而不需要那么多参数,但尚不清楚它们是否适用于Few-Shot设置。在这项工作中,我们提出了阿特拉斯,一个精心设计的和预先训练的检索增强语言模型,能够学习知识密集型的任务,很少的训练样本。我们对广泛的任务进行评估,包括MMLU,KILT和NaturalQuestions,并研究文档索引内容的影响,表明它可以很容易地更新。值得注意的是,Atlas仅使用64个示例就在自然问题上达到了42%以上的准确率,尽管参数少了50倍,但仍比540B参数模型高出3%。
2022-11-16 cs.CL
Building A Coding Assistant via the Retrieval-Augmented Language Model
本研究提出代码助手CONAN,由结构感知检索器和双视图检索增强生成模型组成,通过代码-文档对齐等预训练任务提升代码表示能力,在代码生成任务上优于现有检索增强模型,还可辅助大语言模型提升代码任务效能。
2024-11-02 cs.CL
Can Retriever-Augmented Language Models Reason? The Blame Game Between the Retriever and the Language Model
McGill University(麦吉尔大学);Mila(Mila研究所);Intel Labs(英特尔实验室)
本文系统评估多种检索器增强语言模型的陈述推理能力,揭示检索不全、模型推理弱及二者误差叠加问题,并分析多跳检索并阅读在不同规模模型上的泛化差异。
2023-11-02 cs.CL
Coordinated Semantic Alignment and Evidence Constraints for Retrieval-Augmented Generation with Large Language Models
Cornell University(康奈尔大学);Virginia polytechnic institute and state University(弗吉尼亚理工学院暨州立大学);University of Southern California(南加州大学)
本文提出一种通过协同语义对齐与证据约束提升检索增强生成效果的方法,增强事实可靠性和生成流畅性。
2026-03-04 cs.CL
BlendFilter: Advancing Retrieval-Augmented Large Language Models via Query Generation Blending and Knowledge Filtering
SUNY Albany(纽约州立大学奥尔巴尼分校);Purdue University(普渡大学);Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊公司)
针对检索增强LLMs在复杂输入和噪声检索下效果受限的问题,提出BlendFilter方法,通过融合内外部知识的查询生成与利用LLM内在能力的知识过滤模块,在三个问答基准上显著超越基线。
2024-10-15 cs.CL
Leveraging External Knowledge for Historical Document Restoration via Retrieval-Augmented Large Language Models
Kangwon National University(江原国立大学)
针对历史文献因物理损坏难以辨认及现有修复方法在恢复命名实体上的局限,提出利用检索增强大语言模型的修复框架,结合预训练模型隐含知识与外部上下文,实验表明该方法性能优于基线,是历史记录分析实用工具。
2026-07-27 cs.CL
PULSAR at MEDIQA-Sum 2023: Large Language Models Augmented by Synthetic Dialogue Convert Patient Dialogues to Medical Records
University of Manchester(曼彻斯特大学);National University of Singapore(新加坡国立大学);University of Melbourne(墨尔本大学)
PULSAR系统通过领域预训练与合成数据增强训练大语言模型,将医患对话转为临床记录,在MEDIQA-Sum 2023任务B中获第二、三名,并发现扩大模型规模最有效。
2023-07-05 cs.CL
Retrieval Augmented Instruction Tuning for Open NER with Large Language Models
National University of Singapore(新加坡国立大学);East China Normal University(华东师范大学);Zhejiang University(浙江大学)
针对大语言模型信息抽取中如何融合检索信息的问题,本文提出RA-IT框架,通过检索语义相似训练样本增强开放NER的指令微调,并构建中文数据集验证其跨语言和多数据规模的有效性。
2024-12-01 cs.CL
RAD-Bench: Evaluating Large Language Models Capabilities in Retrieval Augmented Dialogues
National Taiwan University(台湾大学);MediaTek Research(联发科研究院)
针对现有基准缺乏多轮检索增强对话评估的空白,提出RAD-Bench基准,评估大模型的检索综合与推理能力,实验发现多轮约束增加时模型性能会下降。
2025-02-21 cs.CL
From Classification to Generation: Insights into Crosslingual Retrieval Augmented ICL
Center for Information and Language Processing (CIS), LMU Munich(慕尼黑大学信息与语言处理中心(CIS));Academy of Cyber(网络研究院);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心(MCML))
本文提出CREA-ICL方法,通过跨语言检索高资源语言中的语义相似提示来增强低资源语言的上下文学习,发现其在分类任务上稳定提升但在生成任务中面临挑战。
2023-12-02 cs.CL
From MTEB to MTOB: Retrieval-Augmented Classification for Descriptive Grammars
HSE University(高等经济大学);Sberbank(俄罗斯联邦储蓄银行);Institute of Linguistics RAS(俄罗斯科学院语言学研究所)
本文提出基于检索增强生成的基准,评估语言模型从248种语言的描写语法中提取类型学特征的能力,以支持低资源语言NLP任务。
2024-12-26 cs.CL
MISAR: A Multimodal Instructional System with Augmented Reality
University of Rochester(罗切斯特大学)
本研究提出MISAR系统,利用大型语言模型整合视觉、听觉和情境多模态信息,通过第一人称视频和语音分析解决AR中的任务表现量化挑战,提升了状态估计能力,推动更具适应性的AR系统发展。
2023-10-18 cs.CL cs.CV
Reimagining Retrieval Augmented Language Models for Answering Queries
Meta
本文通过现实检验对比普通LLM与检索增强语言模型,提出结合视图、查询分析器/规划器和溯源增强半参数化架构,以提升问答及其他NLP任务的准确率与效率。
2023-06-01 cs.CL cs.DB
Memory Augmented Large Language Models are Computationally Universal
Google Brain(谷歌大脑);University of Alberta(阿尔伯塔大学)
我们表明,基于transformer的大语言模型是计算上的普遍性时,增加了外部存储器。任何以有限长度字符串为条件的确定性语言模型都等价于一个有限自动机,因此计算有限。然而,用读写存储器来扩充这样的模型创造了处理任意大的输入的可能性,并且潜在地模拟任何算法。我们建立了一个现有的大语言模型,Flan-U-PaLM 540 B,可以与关联读写存储器相结合,以准确地模拟通用图灵机,$U_{15,2}$的执行。该发现的一个关键方面是,它不需要对语言模型权重进行任何修改。相反,这种结构仅仅依赖于设计一种形式的存储指令计算机,随后可以用一组特定的提示进行编程。
2023-01-10 cs.CL cs.FL
Recitation-Augmented Language Models
Google Research(谷歌研究院);Carnegie Mellon University(卡内基梅隆大学)
我们提出了一个新的范例,以帮助大语言模型(LLM)生成更准确的事实知识,而无需从外部语料库检索,称为RECITation-augmented gEneration(RECITE)。与在生成输出之前检索相关文档的检索增强语言模型不同,给定输入,RECITE首先通过采样从LLM自己的记忆中背诵一个或多个相关段落,然后生成最终答案。我们表明,RECITE是知识密集型NLP任务的一个强大的范例。具体来说,我们表明,通过利用背诵作为中间步骤,背诵和回答方案可以实现新的国家的最先进的性能在各种闭卷问答(CBQA)任务。在实验中,我们验证了\method ~在四个预训练模型(PaLM,UL 2,OPT和Codex)和三个CBQA任务(自然问题,TriviaQA和HotpotQA)上的有效性。我们的代码可以在“https://github.com/Edward-Sun/RECITE“上找到。
2023-02-16 cs.AI cs.CL
Beyond the Parameters: A Technical Survey of Contextual Enrichment in Large Language Models: From In-Context Prompting to Causal Retrieval-Augmented Generation
本文综述了大型语言模型中通过增加结构化上下文来提升性能的技术,涵盖上下文学习、提示工程、检索增强生成等方法,并提出透明的文献筛选协议和可信检索增强NLP的研究优先级。
2026-04-03 cs.AI cs.CL
RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);NVIDIA(英伟达公司)
针对检索增强编码器-解码器语言模型上下文学习的预训练-推理不匹配与上下文长度受限问题,提出结合检索增强掩码语言建模和前缀语言建模的RAVEN模型及融合式上下文学习机制,在少样本场景下以更少参数取得媲美大模型的性能。
2024-08-19 cs.AI cs.CL cs.LG
Abductive Inference in Retrieval-Augmented Language Models: Generating and Validating Missing Premises
Independent Researcher, Mountain View, CA94039, USA(独立研究者)
本文提出将溯因推理集成到检索增强语言模型中,通过检测证据不足、生成并验证缺失前提,在多个基准上提升了答案准确性与推理忠实度。
2025-11-06 cs.AI cs.CL
KBLaM: Knowledge Base augmented Language Model
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research(微软研究院)
本文提出KBLaM方法,通过键值向量转换与矩形注意力机制将外部知识库集成到LLMs中,消除检索模块且计算开销线性扩展,可集成超10K三元组KB到8B模型并动态更新,在多任务中有效且提供可解释性。
2025-02-09 cs.AI cs.CL
Unraveling and Mitigating Retriever Inconsistencies in Retrieval-Augmented Large Language Models
Harbin Institute of Technology(哈尔滨工业大学);XVERSE Technology Inc.(XVERSE科技公司)
本文揭示了检索增强型大语言模型中存在的检索器不一致性问题,通过理论分析退化行为成因,提出了可训练的检索器集成框架EoR,自适应检索多知识源以减少阅读器错误,显著提升了开放域问答性能。
2025-03-06 cs.AI cs.CL
Metacognitive Retrieval-Augmented Large Language Models
Beijing Academy of Artificial Intelligence(北京人工智能研究院);University de Montreal(蒙特利尔大学)
本文提出MetaRAG方法,将检索增强生成与元认知相结合,通过三步元认知调节流程使模型自我反思并修复认知不足,显著提升了多跳推理任务的响应准确性。
2024-02-18 cs.CL cs.IR
Understanding Epistemic Language with a Language-augmented Bayesian Theory of Mind
Massachusetts Institute of Technology(麻省理工学院);Harvard University(哈佛大学)
针对人们如何理解他人信念主张的问题,本文提出语言增强的贝叶斯心理理论(LaBToM)模型,通过LLM解码和贝叶斯推理捕捉认知主张合理性,实验显示其对多种表达式的人类判断相关性显著优于多模态LLM和消融模型。
2025-04-18 cs.AI cs.CL
Saten: Sparse Augmented Tensor Networks for Post-Training Compression of Large Language Models
University of California-Santa Barbara(加州大学圣巴巴拉分校);Amazon(亚马逊)
针对预训练大型语言模型因高秩特性和缺乏预训练数据导致训练后压缩困难的问题,提出稀疏增强张量网络(Saten)框架,通过微调期间的低秩张量化实现全模型压缩,提升了准确性与压缩效率并达到最先进性能。
2025-10-13 cs.CL cs.LG
xpSHACL: Explainable SHACL Validation using Retrieval-Augmented Generation and Large Language Models
University of Leipzig(莱比锡大学);University of Oviedo(奥维耶多大学)
本文提出xpSHACL系统,结合基于规则的论证树、RAG和LLMs,为SHACL约束违规生成详细、多语言且人类可读的解释,并利用Violation KG缓存和重用解释以提升效率与一致性。
2025-07-11 cs.CL cs.DB
BTR: Binary Token Representations for Efficient Retrieval Augmented Language Models
Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
本文提出二值令牌表示(BTR),用1位向量预计算段落令牌,结合校准与压缩技术,在保持95%以上任务性能的同时将检索增强语言模型推理加速4倍、存储减少100倍以上。
2024-05-03 cs.AI cs.CL
Almanac: Retrieval-Augmented Language Models for Clinical Medicine
Stanford Medicine(斯坦福医学院);Stanford University(斯坦福大学);Penn Medicine(宾夕法尼亚大学医学院)
本文提出检索增强的大语言模型框架 Almanac,用于医学指南和治疗建议;在130个临床场景上经医师评估显示,其事实性平均显著提升18%,并改善完整性与安全性。
2023-05-31 cs.AI cs.CL
Embedding-Informed Adaptive Retrieval-Augmented Generation of Large Language Models
University of New South Wales(新南威尔士大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Duke University(杜克大学);Georgia Institute of Technology(佐治亚理工学院);Adobe Research(奥多比研究院);CSIRO’s Data61(联邦科学与工业研究组织Data61)
针对大语言模型检索增强中检索并非始终有用的问题,提出通过检查预训练词元嵌入判断模型是否掌握查询知识的自适应检索增强生成方法,无需访问预训练语料或额外模型推理,在多基准上性能更优。
2024-12-13 cs.AI cs.CL
Regex-augmented Domain Transfer Topic Classification based on a Pre-trained Language Model: An application in Financial Domain
Manulife(宏利金融);University of Waterloo(滑铁卢大学)
本文提出在金融领域文本分类中,将正则表达式模式作为领域知识特征引入预训练语言模型微调过程,并结合注意力网络,实验证明该方法优于仅用领域文本微调和线性层的方法。
2023-05-23 cs.AI cs.CL
Construction contract risk identification based on knowledge-augmented language model
College of Civil Engineering and Architecture, Zhejiang University(浙江大学建筑工程学院);PowerChina Huadong Engineering Corporation Limited(中国电力工程顾问集团华东电力设计院有限公司)
本文提出一种免调优的知识增强语言模型方法,将施工合同领域知识融入LLMs以模拟专家审查并识别合同风险,在真实合同上取得稳健性能,并分析了模型的逻辑推理过程。
2023-09-22 cs.AI cs.CL
Enhancing E-commerce Product Title Translation with Retrieval-Augmented Generation and Large Language Models
Amazon(亚马逊公司)
针对电商标题翻译中缺乏上下文和术语的问题,提出检索增强生成方法,利用双语示例作为少样本提示,提升LLM翻译质量,chrF最高提升15.3%。
2024-09-19 cs.AI cs.CL cs.LG
InferCept: Efficient Intercept Support for Augmented Large Language Model Inference
University of California, San Diego(加利福尼亚大学圣迭戈分校)
本文提出InferCept框架,通过高效拦截机制解决增强型LLM推理中外部交互导致的重复计算问题,节省GPU资源并提升内存利用率,使整体吞吐量提升1.6-2倍。
2024-05-30 cs.CL cs.DC cs.LG
HAMMER: Hamiltonian Curiosity Augmented Large Language Model Reinforcement
Fudan University(复旦大学);Tiansuan Lab, Ant Group Co., Ltd.(蚂蚁集团天算实验室);East China Normal University(华东师范大学)
针对大语言模型课程强化学习易陷入局部优化、探索不足的问题,提出HAMMER框架,借最小语义哈密顿路径排序样本以增强探索,理论上保障稳定收敛,实验中在推理基准上实现3%-4%的准确率提升。
2025-09-25 cs.AI cs.CL cs.LG
Crossing New Frontiers: Knowledge-Augmented Large Language Model Prompting for Zero-Shot Text-Based De Novo Molecule Design
TCS Research(塔塔咨询服务研究部门)
本研究提出一种知识增强大型语言模型提示框架,通过任务特定指令和少量示例解决分布偏移挑战,实现零样本文本条件下的从头分子生成,并在基准数据集上优于SOTA基线模型。
2024-08-18 cs.AI cs.CL cs.LG
KAER: A Knowledge Augmented Pre-Trained Language Model for Entity Resolution
School of Information Sciences, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校信息科学学院);Informatics, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校信息学系)
几十年来,实体解析一直是数据清洗研究中的一项重要任务。已有的工作讨论了利用预训练的语言模型进行实体解析的可行性,并取得了可喜的成果。然而,很少有工作讨论注入领域知识,以提高实体解析任务的预训练语言模型的性能。在这项研究中,我们提出了知识增强实体解析(KAER),一个新的框架命名为增强预先训练的语言模型与外部知识的实体解析。我们讨论了利用不同的知识增强和提示方法来提高实体解析性能的结果。我们的模型改进了Ditto,现有的最先进的实体解析方法。特别是,1)KAER在“脏数据”上表现得更稳健,并取得了更好的结果,2)通过更多的一般知识注入,KAER在文本数据集和来自在线产品领域的数据集上的表现优于现有的基线模型。3)KAER在高度领域特定的数据集上取得了有竞争力的结果,例如引用数据集,需要在未来的工作中注入专家知识。
2023-01-12 cs.CL cs.DB cs.LG
Retrieval Augmented (Knowledge Graph), and Large Language Model-Driven Design Structure Matrix (DSM) Generation of Cyber-Physical Systems
Department of Systems Engineering, Colorado State University(系统工程系,科罗拉多州立大学)
本文研究了利用大型语言模型、检索增强生成和图基RAG生成面向网络系统的设计结构矩阵,通过两个具体案例评估其在组件关系识别和生成方面的性能。
2026-09-24 cs.AI cs.CL cs.SY
HELPER-X: A Unified Instructable Embodied Agent to Tackle Four Interactive Vision-Language Domains with Memory-Augmented Language Models
Carnegie Mellon University(卡内基梅隆大学)
HELPER-X通过扩充记忆库和集成提问API,将单一记忆增强LLM智能体统一应用于对话执行、指令遵循、主动提问和房间整理四个视觉-语言任务,在多个基准上以少样本取得最先进性能,无需领域内训练。
2024-04-29 cs.AI cs.CL cs.CV
SALM: Speech-augmented Language Model with In-context Learning for Speech Recognition and Translation
NVIDIA(英伟达)
提出SALM模型,结合冻结文本LLM、音频编码器和LoRA层,实现多任务和上下文学习,在ASR和AST上性能与Conformer相当,并通过语音监督上下文训练增强零样本学习能力,已开源。
2023-10-13 cs.CL cs.HC cs.SD
Leveraging Explicit Reasoning for Inference Integration in Commonsense-Augmented Dialogue Models
Emory University(埃默里大学)
本研究提出在开放域对话中采用显式推理步骤生成、选择并集成常识,相比隐式推理显著提升回复的自然度、参与度、具体性和整体质量,达到新最优性能。
2025-01-21 cs.CL
SIGMA: Search-Augmented On-Demand Knowledge Integration for Agentic Mathematical Reasoning
提出SIGMA框架,通过多智能体独立推理、定向搜索和协调机制,实现上下文敏感的知识集成,在MATH500等基准上提升7.4%的绝对性能。
2026-06-19 cs.AI cs.CL
Guaranteeing Knowledge Integration with Joint Decoding for Retrieval-Augmented Generation
The Chinese University of Hong Kong(香港中文大学);University of International Relations(国际关系大学);Tencent Jarvis Lab(腾讯Jarvis实验室);Westlake University(西湖大学);Ministry of Education Key Laboratory of High Confidence Software Technologies, CUHK(教育部高可信软件技术重点实验室,香港中文大学)
本文提出GuarantRAG框架,通过分离推理与证据整合,提升检索增强生成的准确性和事实性,实验显示在五个问答基准上准确率提升12.1%,幻觉减少16.3%。
2026-04-15 cs.CL
DAG: Dictionary-Augmented Generation for Disambiguation of Sentences in Endangered Uralic Languages using ChatGPT
Metropolia University of Applied Sciences(梅塔波利亞應用科學大學);Helsinki(赫爾辛基)
本文提出词典增强生成方法,利用ChatGPT对两种濒危乌拉尔语言(埃尔齐亚语和斯科尔特萨米语)进行词元消歧,通过提供词典翻译增强提示,分别达到50%和41%的准确率。
2024-11-03 cs.CL
Augmented Language Models: a Survey
Meta AI;Universitat Pompeu Fabra(庞培法布拉大学)
本调查回顾了语言模型(LM)与推理技能和使用工具的能力增强的作品。前者被定义为将潜在的复杂任务分解为更简单的子任务,而后者则包括调用外部模块,如代码解释器。LM可以单独利用这些增强功能,也可以通过模拟来组合使用,或者从演示中学习这样做。在坚持标准的缺失标记预测目标的同时,这种增强的LM可以使用各种可能的非参数外部模块来扩展其上下文处理能力,从而脱离纯语言建模范例。因此,我们将它们称为增强语言模型(ALM)。缺少的token目标允许ALM学习推理、使用工具甚至行动,同时仍然执行标准的自然语言任务,甚至在几个基准测试中超过大多数常规LM。在这项工作中,在回顾了目前的进展ALMs,我们的结论是,这个新的研究方向有可能解决传统的LM,如可解释性,一致性和可扩展性问题的共同局限性。
2023-02-15 cs.CL
Imagination-Augmented Natural Language Understanding
University of California, Santa Barbara(加州大学圣巴巴拉分校);University of California, Santa Cruz(加州大学圣克鲁兹分校)
人脑同时整合语言信息和知觉信息来理解自然语言,并具有批判性的想象能力。这种能力使我们能够构建新的抽象概念或具体对象,并且在涉及实践知识以解决低资源场景中的问题时至关重要。然而,大多数现有的自然语言理解(NLU)方法主要集中在文本信号。它们没有模拟人类的视觉想象能力,这阻碍了模型从有限的数据样本中进行有效的推理和学习。因此,我们引入了一个想象增强的跨模态编码器(iACE),以解决自然语言理解任务从一个新的学习视角-增强的跨模态理解。iACE通过从强大的生成和预训练的视觉和语言模型转移的外部知识实现视觉想象。在GLUE和SWAG上的大量实验表明,iACE在视觉监督的预训练模型上实现了一致的改进。更重要的是,极端和正常Few-Shot设置的结果验证了iACE在低资源自然语言理解环境中的有效性。
2022-05-03 cs.CL
REPLUG: Retrieval-Augmented Black-Box Language Models
University of Washington(华盛顿大学);Stanford University(斯坦福大学);KAIST(韩国科学技术院);Meta AI
提出REPLUG检索增强框架,将LM视为黑盒并前置检索文档,同时利用LM监督检索模型,在GPT-3和Codex上显著提升了语言建模与MMLU性能。
2023-05-24 cs.CL
Rationale-Augmented Ensembles in Language Models
Google Research(谷歌研究院)
最近的研究表明,基本原理,或一步一步的思想链,可以用来提高多步推理任务的性能。我们重新考虑了Few-Shot上下文学习的理性增强提示,其中(输入->输出)提示扩展为(输入,理性->输出)提示。对于理性增强提示,我们演示了现有的方法,依赖于手动提示工程,是次优的理由,可能会损害性能。为了减轻这种脆弱性,我们提出了一个统一的框架的理性增强的合奏,在那里我们确定的理由抽样在输出空间中的关键组成部分,以稳健地提高性能。该框架是通用的,并且可以容易地扩展到常见的自然语言处理任务,甚至是那些传统上不利用中间步骤的任务,例如问答、词义消歧和情感分析。我们证明,理性增强合奏实现更准确和可解释的结果比现有的提示方法-包括标准提示没有理由和基于理性的思想链提示-同时提高模型预测的可解释性,通过相关的理由。
2022-07-02 cs.CL
BM25-Augmented Many-Shot Translation for Low-Resource North-Eastern Indian Languages
University of Florida(佛罗里达大学)
该研究针对WMT26低资源印度东北语言翻译任务,采用BM25检索示例、Gemini 2.5 Flash翻译的无微调方案,通过网格搜索确定最优参数,实现英语与11种印度东北语言的双向翻译。
2026-08-17 cs.CL
Improving the Out-Of-Distribution Generalization Capability of Language Models: Counterfactually-Augmented Data is not Enough
Shanghai Jiao Tong University(上海交通大学);Sun Yat-sen University(中山大学)
反事实增强数据(CAD)可以提高语言模型的分布外(OOD)泛化能力,因为CAD可以引导语言模型利用因果特征并排除虚假相关。然而,面向对象的CAD综合的经验结果并不像预期的那样有效。在本文中,我们归因于CAD引起的近视现象:语言模型只关注在增强中被编辑的因果特征,而排除其他未编辑的因果特征。因此,CAD的潜力没有得到充分利用。基于CAD的结构特性,设计了两个附加约束,帮助语言模型提取CAD中包含的更完整的因果特征,从而提高了面向对象设计的泛化能力。我们在情感分析和自然语言推理两个任务上对我们的方法进行了评估,实验结果表明,我们的方法可以释放CAD的潜力,提高语言模型的OOD泛化能力。
2023-02-18 cs.CL