TEGEE: Task dEfinition Guided Expert Ensembling for Generalizable and Few-shot Learning
HKUST(香港科技大学);University of Manchester(曼彻斯特大学);Institute of Automation, CAS(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);M-A-P;Beijing University of Posts and Telecommunications(北京邮电大学);Ohio State University(俄亥俄州立大学);University of Waterloo(滑铁卢大学);Peking University(北京大学);BAAI(北京智源人工智能研究院)
针对LLM上下文学习中的任务提取与定义哪个更关键的问题,提出TEGEE方法,采用双3B模型分别提取任务定义和从演示中学习,性能媲美LLaMA2-13B,并支持多样本与持续学习。
2024-12-14 cs.AI cs.CL
Improving Few-Shot Performance of Language Models via Nearest Neighbor Calibration
Tencent Inc(腾讯公司);University of Cambridge(剑桥大学);Tencent AI Lab(腾讯人工智能实验室)
当在自然语言提示中提供一些示例作为测试实例的演示时,预训练的语言模型(PLM)表现出显著的少样本学习能力,即,上下文学习。然而,上下文学习的性能容易受到提示格式、训练样本和训练样本顺序的选择的影响。在本文中,我们提出了一种新的最近邻校准框架的上下文学习,以缓解这个问题。它的灵感来自于一个现象,即上下文学习范式在推断训练实例时产生不正确的标签,这提供了一个有用的监督信号来校准预测。因此,我们的方法直接增加了预测与$k$ -最近邻($k$ NN)分类器在缓存的Few-Shot实例表示PLM和它们相应的标签。然后引入自适应邻域选择和特征正则化模块,充分利用少量的支持实例来降低$k$神经网络检索噪声。各种Few-Shot文本分类任务的实验表明,我们的方法显着提高了上下文学习,同时甚至在一些情感分析任务中实现了与最先进的基于调优的方法相当的性能。
2022-12-05 cs.CL
UPRISE: Universal Prompt Retrieval for Improving Zero-Shot Evaluation
Microsoft(微软)
本文提出 UPRISE,通过微调轻量通用提示检索器为零样本输入自动检索提示,并证明其可跨未见任务类型和不同规模 LLM 泛化,还能缓解 ChatGPT 幻觉。
2023-12-16 cs.CL
Plan, Generate and Complicate: Improving Low-resource Dialogue State Tracking via Easy-to-Difficult Zero-shot Data Augmentation
School of Computer Science and Technology, East China Normal University(华东师范大学计算机科学与技术学院)
本文提出 EDZ-DA 框架,利用大语言模型按领域关系进行由易到难的零样本对话数据增强,并通过复杂化对话和槽位值排列提升低资源对话状态追踪性能,在 MultiWOZ 上优于已有基线。
2024-06-13 cs.CL
Grasping the Essentials: Tailoring Large Language Models for Zero-Shot Relation Extraction
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Virginia(弗吉尼亚大学)
针对零样本关系抽取缺乏标注且难适应新关系的问题,提出 REPaL,利用 LLM 基于关系定义和未标注语料合成种子,并通过双向 SLM 反馈与多轮迭代提升覆盖、降低偏差。
2024-10-25 cs.CL
MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction Tuning
Virginia Tech(弗吉尼亚理工大学)
本研究提出首个多模态指令微调基准数据集MultiInstruct,基于OFA模型结合迁移学习策略,提升了多模态零样本性能,并设计敏感度指标验证了多任务微调对降低指令变体敏感度的作用。
2023-06-10 cs.CL
A Few Hypocrites: Few-Shot Learning and Subtype Definitions for Detecting Hypocrisy Accusations in Online Climate Change Debates
Hertie School(赫蒂学院);Hebrew University of Jerusalem(耶路撒冷希伯来大学);University of Hamburg(汉堡大学);Ilmenau University of Technology(伊尔默瑙工业大学);University of Zurich(苏黎世大学);Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
本文将伪善指控检测定义为NLP独立任务,构建专家标注的CHAC数据集,并评估少样本上下文学习及指令微调LLMs,发现GPT-4o和Llama-3表现优异,但在识别政治伪善上仍有挑战。
2024-09-25 cs.CL
Plan-and-Solve Prompting: Improving Zero-Shot Chain-of-Thought Reasoning by Large Language Models
Singapore Management University(新加坡管理大学);Southwest Jiaotong University(西南交通大学);Singapore University of Technology and Design(新加坡科技设计大学);East China Normal University(华东师范大学)
本文提出 Plan-and-Solve(PS)提示方法,通过先制定计划再执行子任务来改进零样本思维链推理,解决步骤缺失、计算错误和语义误解问题,并在多个推理数据集上显著优于 Zero-shot-CoT。
2023-05-26 cs.CL
Improving Zero-shot LLM Re-Ranker with Risk Minimization
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
本文提出 $\mathrm{UR^3}$ 框架,利用贝叶斯决策理论量化和缓解零样本 LLM 重排器近似查询似然模型时的估计偏差,通过统一风险最小化目标协调查询与文档生成概率的优化,显著提升了重排性能和 Top-1 准确率。
2024-12-20 cs.CL
Improving Large-scale Paraphrase Acquisition and Generation
School of Interactive Computing(交互计算学院);Georgia Institute of Technology(佐治亚理工学院)
本文针对现有的基于Twitter的释义数据集的质量问题,讨论了在释义识别和生成任务中使用两种不同释义定义的必要性。我们提出了一个新的多主题释义在Twitter(MultiPIT)语料库,包括共130K的句子对与众包(MultiPIT_crowd)和专家(MultiPIT_expert)注释使用两种不同的释义定义释义识别,除了多参考测试集(MultiPIT_NMR)和一个大的自动构造的训练集(MultiPIT_Auto)释义生成。通过改进的数据注释质量和特定于任务的释义定义,在我们的数据集上进行微调的最佳预训练语言模型实现了自动释义识别的最先进性能84.2 F1。此外,我们的实证结果还表明,在MultiPIT_Auto上训练的释义生成模型与在Quora、MSCOCO和ParaNMT等其他语料库上进行微调的释义生成模型相比,生成的释义更加多样化和高质量。
2022-11-08 cs.CL
Ask2Transformers: Zero-Shot Domain labelling with Pre-trained Language Models
HiTZ Center(HiTZ中心);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
在本文中,我们提出了一个系统,利用不同的预先训练的语言模型分配域标签的WordNet同义词集没有任何形式的监督。此外,系统不限于使用特定的域标签集合。我们利用不同的现成的预训练语言模型和任务公式中编码的知识来推断特定WordNet定义的域标签。所提出的zero-shot系统在评估中使用的英语数据集上实现了新的最先进水平。
2021-01-29 cs.CL
ActiveLLM: Large Language Model-based Active Learning for Textual Few-Shot Scenarios
PEASEC Technical University of Darmstadt(PEASEC技术大学达姆施塔特)
ActiveLLM利用大语言模型提升少样本场景下的分类性能,优于传统方法及ADAPET、PERFECT和SetFit等少样本学习方法。
2025-05-23 cs.CL
M-Wanda: Improving One-Shot Pruning for Multilingual LLMs
University of Amsterdam(阿姆斯特丹大学);University of Edinburgh(爱丁堡大学)
针对多语言LLM一次性剪枝中中等稀疏比例严重损害性能的问题,提出M-Wanda方法,通过引入语言感知激活统计和动态调整逐层稀疏性来优化剪枝,以极低额外成本持续提升多语言性能。
2025-05-27 cs.AI cs.CL
The Silent Vote: Improving Zero-Shot LLM Reliability by Aggregating Semantic Neighborhoods
Google(谷歌)
本文提出Semantic Softmax方法,通过聚合目标标签的语义邻域得分,解决零样本分类中的Renormalization Bias问题,提升模型校准性和准确性。
2026-05-10 cs.AI cs.CL
Cross-lingual Prompting: Improving Zero-shot Chain-of-Thought Reasoning across Languages
Central South University(中南大学);Harbin Institute of Technology(哈尔滨工业大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳))
针对零样本思维链推理局限于单一语言的问题,提出跨语言提示CLP及跨语言自洽提示CLSP,通过跨语言对齐与任务特定求解生成推理路径,在多个基准上达到最先进性能。
2023-10-23 cs.AI cs.CL
PANDAS: Improving Many-shot Jailbreaking via Positive Affirmation, Negative Demonstration, and Adaptive Sampling
University of Toronto, Vector Institute(多伦多大学,向量研究所);University of Oxford(牛津大学);Polytechnique Montréal, Mila - Quebec AI Institute, University of Toronto(蒙特利尔理工学院,魁北克人工智能研究所,多伦多大学)
本文提出混合攻击技术PANDAS,结合正向肯定、负向示范与主题适配的自适应采样优化虚构对话,配套发布有害问答数据集ManyHarm,实验证明其在长上下文场景下的多次提示越狱效果显著优于基线,并揭示了长上下文漏洞的利用机制。
2025-06-12 cs.CL cs.CR cs.LG
Improving Zero-Shot Detection of Low Prevalence Chest Pathologies using Domain Pre-trained Language Models
Harvard University(哈佛大学)
针对低患病率胸部病变零样本检测问题,研究用CXR-BERT等领域预训练模型替换CLIP类模型的BERT权重,虽会降低常见病变检测性能,但能显著提升低患病率疾病检测效果,为构建集成模型提供依据。
2023-06-13 cs.CL cs.CV cs.LG
Telescope: Improving Zero Shot Detection of LLM Generated Content By Measuring Token Repetition Probability
研究区分大语言模型生成文本与人类写作的难题,提出用望远镜困惑度衡量模型令牌重复,揭示该特征在预训练早期出现,能有效进行零样本检测,性能优于其他方法。
2026-07-07 cs.AI cs.CL cs.LG
Improving Zero-Shot Text Matching for Financial Auditing with Large Language Models
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University of Bonn(波恩大学);PricewaterhouseCoopers GmbH(普华永道有限公司)
针对金融审计中标注数据不足且模型需频繁微调的问题,本文提出 ZeroShotALI,通过自定义 BERT 检索与 LLM 过滤的两阶段零样本文本匹配框架,显著提升法律要求与报告段落的匹配性能。
2023-08-14 cs.AI cs.CL
The CoT Collection: Improving Zero-shot and Few-shot Learning of Language Models via Chain-of-Thought Fine-Tuning
KAIST AI(韩国科学技术院人工智能学院);NAVER AI Lab(NAVER人工智能实验室);University of Washington(华盛顿大学)
该研究提出CoT Collection数据集,通过思维链微调较小语言模型(Flan-T5 3B/11B),在BBH基准和领域任务上显著提升零样本与少样本推理能力,甚至超越ChatGPT。
2023-10-14 cs.AI cs.CL cs.LG
Improving Audio Codec-based Zero-Shot Text-to-Speech Synthesis with Multi-Modal Context and Large Language Model
Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出基于音频编解码器的零样本 TTS 模型,通过 MMCE-Qformer 融合多模态长上下文信息,并利用预训练 LLM 与 SoundStorm 提升语音质量和说话人相似度,在多种上下文 TTS 场景中优于基线。
2024-06-06 cs.CL cs.SD eess.AS
Optimizing GPT for Video Understanding: Zero-Shot Performance and Prompt Engineering
Tiktok Inc.(字节跳动公司)
本研究针对视频内容分类的行业挑战,提出通过提示优化和策略细化提升GPT的零样本分类性能,并引入基于分解-聚合的提示工程技术,实验表明该方法无需额外微调即可显著提升分类效果。
2025-04-25 cs.CL cs.CV cs.LG
AutoReason: Automatic Few-Shot Reasoning Decomposition
Izmir Institute of Technology(伊兹密尔理工学院)
针对CoT依赖人工少样本提示且无法自适应查询的问题,提出AutoReason系统,自动将隐式问题分解为显式问题并生成推理依据,在StrategyQA和HotpotQA上均提升准确率。
2024-12-09 cs.AI cs.CL
Improving and Simplifying Pattern Exploiting Training
UNC Chapel Hill(北卡罗来纳大学教堂山分校)
最近,预训练的语言模型(LM)在对SuperGLUE等困难的基准进行微调时取得了很好的性能。然而,当可用于微调的标记示例非常少时,性能可能会受到影响。模式利用训练(Pattern Exploiting Training,PET)是一种利用模式进行少样本学习的最新方法。然而,PET使用特定于任务的未标记数据。在本文中,我们专注于没有任何未标记数据的少样本学习,并引入ADAPET,它修改了PET的目标,以在微调期间提供更密集的监督。因此,ADAPET在SuperGLUE上的性能优于PET,而无需任何特定于任务的未标记数据。我们的代码可以在https://github.com/rrmenon10/ADAPET上找到。
2021-09-28 cs.AI cs.CL cs.LG
Legal2LogicICL: Improving Generalization in Transforming Legal Cases to Logical Formulas via Diverse Few-Shot Learning
Center for Juris-Informatics, ROIS-DS(法信息学中心,ROIS-DS);Japan Advanced Institute of Science and Technology(日本先端科学技术大学)
本文提出Legal2LogicICL框架,通过检索增强生成实现有效上下文学习,构建信息丰富且稳定的少量样本演示,提升法律案例转逻辑表示的准确性与稳定性。
2026-04-13 cs.AI cs.CL cs.LG
On the Limits of LLM Adaptability: Impact of Model-Internalized Priors on Annotation Task Performance
University of Washington(华盛顿大学)
通过毒性检测实验,研究大语言模型内化先验与指令交互的三个维度,发现近三分之二的零样本错误难以通过提示纠正,并引入定义特定熟悉度(DSF)指标,证明其与性能正相关,而文本记忆指标则无此关联。
2026-10-05 cs.AI cs.CL cs.LG
Efficient Zero-shot Event Extraction with Context-Definition Alignment
Tencent AI Lab(腾讯人工智能实验室)
事件抽取(EE)是从文本中识别感兴趣的事件提及的任务。传统的努力主要集中在监督设置。然而,这些监督模型不能概括到预定义本体之外的事件类型。为了填补这一空白,许多努力已经致力于zero-shot EE问题。本文遵循事件类型语义建模的趋势,但更进一步。我们认为,使用事件类型名称的静态嵌入可能是不够的,因为单个单词可能是模糊的,我们需要一个句子来准确定义类型语义。为了对定义语义进行建模,我们使用两个独立的Transformer模型将上下文化的事件提及和相应的定义投影到同一个嵌入空间中,然后通过对比学习来最小化它们的嵌入距离。最重要的是,我们还提出了一个变暖阶段,以帮助模型学习类似定义之间的微小差异。我们将我们的方法命名为具有定义的Zero-shot事件提取(ZED)。在MAVEN数据集上的实验表明,由于采用了不相交设计,该模型的推理速度明显优于以往所有的zero-shot EE方法。进一步的实验还表明,当注释可用时,ZED可以很容易地应用于Few-Shot设置,并且始终优于基线监督方法。
2022-11-13 cs.CL
Expressive Prompting: Improving Emotion Intensity and Speaker Consistency in Zero-Shot TTS
Tianjin Key Laboratory of Cognitive Computing and Application, College of Intelligence and Computing, Tianjin University(天津大学智能与计算学部认知计算与应用天津市重点实验室);Kuaishou Technology Co., Ltd(快手科技有限公司);Institute of Artificial Intelligence, China Telecom(中国电信人工智能研究院);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);Huiyan Technology (Tianjin) Co., Ltd(慧眼科技(天津)有限公司)
本文提出一种两阶段提示选择策略,通过评估提示的音调特征、感知音频质量和文本情感一致性,提升零样本语音合成的情感表达和说话人一致性。
2026-04-03 cs.AI cs.CL cs.SD
Show Less, Instruct More: Enriching Prompts with Definitions and Guidelines for Zero-Shot NER
University of Siena(锡耶纳大学)
针对现有零样本NER大模型微调实体类与测试集重叠的问题,提出SLIMER方法,用含定义和指南的丰富提示、少量示例指导模型处理未见实体标签,性能达SOTA且训练设置更公平鲁棒。
2024-09-18 cs.CL
Improving In-Context Few-Shot Learning via Self-Supervised Training
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所);Meta AI
自我监督的预训练使少样本学习成为许多NLP任务的可能。但是预训练目标通常并不特别适用于上下文少样本学习。在本文中,我们建议在预训练和下游Few-Shot使用之间的中间训练阶段使用自我监督,目的是教模型执行上下文内的少样本学习。我们提出了四个自我监督的目标,并评估两个基准。我们发现,中间的自我监督阶段产生的模型,优于强基线。烧蚀研究表明,有几个因素影响下游的性能,如训练数据的数量和自我监督目标的多样性。人类注释的跨任务监督和自我监督是互补的。定性分析表明,自我监督训练的模型更好地遵循任务要求。
2022-06-06 cs.CL
Improving Zero Shot Learning Baselines with Commonsense Knowledge
Nanyang Technological University(南洋理工大学);Singapore University of Technology and Design(新加坡科技设计大学);University of Michigan(密歇根大学)
零样本学习--在完全不相交的类集合上进行训练和测试的问题--在很大程度上依赖于它将知识从训练类转移到测试类的能力。传统的语义嵌入由人类定义的属性(HA)或分布式词嵌入(DWE),用于促进这种转移,通过改善视觉和语义嵌入之间的关联。在本文中,我们利用显式的关系定义在ConceptNet,常识知识图谱,生成常识嵌入的类标签,通过使用基于图卷积网络的自动编码器。当我们将常识嵌入与现有的语义嵌入(即HA和DWE)融合时,我们在三个标准基准数据集上进行的实验超过了强基线。
2020-12-11 cs.CL
Improving Zero-Shot Translation of Low-Resource Languages
FBK(布鲁诺·凯斯勒基金会)
最近关于多语言神经机器翻译的工作报告了双语模型的竞争性能,甚至在训练时没有观察到的(零拍)翻译方向上也有令人惊讶的良好性能。我们在这里调查一个zero-shot翻译在一个特别低资源的多语言环境。我们提出了一个简单的迭代训练过程,利用直接由系统生成的zero-shot方向的平移的对偶性。然后,系统产生的翻译(次优,因为它们包含来自共享词汇表的混合语言)与原始并行数据一起用于馈送和迭代地重新训练多语言网络。随着时间的推移,这允许系统从自己生成的越来越好的输出中学习。我们的方法被证明是有效的,在改善我们的多语言模型的两个zero-shot方向。特别是,我们观察到在基线多语言模型上获得约9个BLEU点,在使用两个双语模型的旋转机制上获得高达2.08个BLEU点。进一步的分析表明,在非零镜头语言方向上也有轻微的改善。
2018-11-04 cs.CL
Improving Few-shot and Zero-shot Entity Linking with Coarse-to-Fine Lexicon-based Retriever
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Guangdong Provincial Key Laboratory of Novel Security Intelligence Technologies(广东省新型安全智能技术重点实验室);Central South University(中南大学)
针对少样本和零样本实体链接,本文提出由实体名称到描述的两层由粗到细词典检索器,在无需大量微调的情况下取得优异性能并获得 NLPCC 2023 共享任务第一名。
2023-08-13 cs.CL
Improving Zero-shot Cross-lingual Transfer between Closely Related Languages by injecting Character-level Noise
University of Zurich(苏黎世大学);University of Edinburgh(爱丁堡大学)
高资源语言与其方言或密切相关的语言变体之间的跨语言迁移应通过它们的相似性来促进。然而,目前在嵌入空间中操作的方法不考虑表面相似性。这项工作提出了一个简单而有效的策略,以改善密切相关的品种之间的跨语言迁移。我们建议用字符级噪声来增强高资源源语言的数据,以使模型对拼写变化更加鲁棒。我们的策略在几种语言和任务上显示出一致的改进:从芬兰语,西日耳曼语和北日耳曼语,以及西方罗曼语分支的语言品种之间的POS标记和主题识别的Zero-shot转移。我们的工作提供了证据的有用性,简单的表面噪声在提高语言品种之间的转移。
2022-03-11 cs.CL
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学);University of Zurich(苏黎世大学)
神经机器翻译(NMT)的大规模多语言模型在理论上很有吸引力,但通常表现不佳的双语模型,并且提供较差的zero-shot翻译。在本文中,我们将探讨如何改善它们。我们认为,多语言NMT需要更强的建模能力,以支持不同类型特征的语言对,并通过语言特定的组件和深化NMT架构克服这一瓶颈。我们确定脱靶翻译问题(即翻译成错误的目标语言)作为低zero-shot性能的主要来源,并提出随机在线回译,以强制翻译看不见的训练语言对。在OPUS-100(一种包含100种语言的新型多语言数据集)上的实验表明,我们的方法在一对多和多对多设置中大大缩小了与双语模型的性能差距,并将zero-shot性能提高了约10 BLEU,接近传统的基于XML的方法。
2020-04-24 cs.CL
Improving Zero-Shot Multilingual Translation with Universal Representations and Cross-Mappings
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
多对多多语言神经机器翻译可以在训练期间看不到的语言对之间进行翻译,即,zero-shot翻译改进zero-shot翻译需要模型学习通用表示和交叉映射关系,以将在监督方向上学习的知识转移到zero-shot方向。在这项工作中,我们提出了基于最优理论的状态移动器距离来对编码器输出的表示的差异进行建模。然后,我们通过最小化建议的距离来学习通用表示,从而在令牌级别上弥合不同语言的语义等价表示之间的差距。此外,我们提出了一个基于协议的训练方案,它可以帮助模型做出一致的预测的基础上语义等价的句子学习通用的交叉映射关系的所有翻译方向。在多种多语言数据集上的实验结果表明,与基线系统和其他对比方法相比,该方法可以提高一致性。分析表明,该方法能更好地对齐语义空间,提高预测一致性。
2022-10-28 cs.CL
DynRank: Improving Passage Retrieval with Dynamic Zero-Shot Prompting Based on Question Classification
University of Innsbruck(因斯布鲁克大学)
针对开放域问答系统段落检索中传统静态提示方法适应性有限的问题,提出DynRank框架,通过动态零样本问题分类生成语境相关提示,集成到现有检索框架并在多个基准数据集验证,提升检索效果。
2024-11-30 cs.CL
Improving Interpretability of Word Embeddings by Generating Definition and Usage
Beijing University of Technology(北京工业大学)
词嵌入在捕捉词之间的语义关系方面是非常成功的。然而,这些词汇语义很难解释。定义建模提供了一种更直观的方法来评估嵌入,利用它们来生成相应单词的自然语言定义。这一任务对于词汇表征的实际应用和深入理解具有重要意义。我们提出了一个新的框架定义建模,它可以产生合理的和可理解的上下文相关的定义。此外,我们介绍了使用建模和研究是否有可能利用嵌入生成例句的话。这些方法更直接、更明确地表达了嵌入的语义,提高了嵌入的可解释性。我们将单任务模型扩展到多任务环境,并研究了几种联合多任务模型,将使用建模和定义建模结合在一起。在现有的Oxford数据集和新收集的Oxford-2019数据集上的实验结果表明,我们的单任务模型在定义建模方面达到了最先进的结果,多任务学习方法有助于提高两个任务的性能。
2020-07-18 cs.CL
Improving Zero-shot Translation with Language-Independent Constraints
Maastricht University(马斯特里赫特大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
训练多语言神经机器翻译(NMT)的一个重要问题是在训练过程中看不到的语言对之间进行翻译,即zero-shot翻译。通过提供一种替代枢轴翻译的方法来提高这种能力,这也使我们能够更好地理解模型如何捕获语言之间的信息,从而实现一石二鸟的效果。在这项工作中,我们进行了调查的多语言NMT模型的这种能力。首先,我们有意创建一个编码器架构,这是独立于源语言。总体而言,此类实验揭示了NMT编码器学习多语言表示的能力。基于这样的概念证明,我们能够将正则化方法设计到标准Transformer模型中,从而使整个架构在zero-shot条件下变得更加健壮。我们研究了这些模型在标准IWIT2017多语言数据集上的行为。与最先进的多语言系统的zero-shot性能相比,我们在12种语言对上实现了平均2.23 BLEU点的改进。此外,我们进行了进一步的实验中,效果得到证实,即使是多个中间枢纽语言对。
2019-06-20 cs.CL
Improving Zero-Shot Translation by Disentangling Positional Information
Maastricht University(马斯特里赫特大学);Facebook AI(脸书人工智能研究院)
多语言神经机器翻译已经显示出在训练中看不到的语言对之间直接翻译的能力,即zero-shot翻译。尽管在概念上很有吸引力,但它往往受到低输出质量的影响。推广到新的翻译方向的困难表明,模型表示对于训练中看到的语言对是高度特定的。我们证明了一个主要因素,导致特定语言的表示是位置对应的输入令牌。我们表明,这可以很容易地减轻通过删除编码器层中的残留连接。通过这种修改,我们在zero-shot翻译上获得了高达18.5个BLEU点,同时保持了监督方向的质量。这些改进在相关语言之间尤为突出,我们提出的模型优于基于XML的翻译。此外,我们的方法允许轻松集成新语言,这大大扩展了翻译范围。通过对隐藏层输出的彻底检查,我们表明我们的方法确实导致了更多的语言独立的表示。
2021-06-30 cs.CL
Improving Zero-Shot Multi-Lingual Entity Linking
Johns Hopkins University(约翰霍普金斯大学)
实体链接--在自由文本中识别相关知识库表示的引用的任务--通常集中在单一语言上。我们考虑多语言实体链接,其中单个模型被训练为将引用链接到几种语言的相同语言知识库。我们提出了一个神经排名架构,它利用多语言Transformer表示的文本可以很容易地应用到多语言设置。然后,我们探索了用一种语言(例如英语)训练的神经排名器如何转移到一种看不见的语言(例如中文),并发现虽然性能有一致但不是很大的下降。如何缓解这种性能下降?我们探索添加一个对抗性目标来迫使我们的模型学习语言不变的表示。我们发现,使用这种方法可以提高几个数据集的召回率,通常与语言性能相匹配,从而减轻了zero-shot迁移带来的一些性能损失。
2021-04-16 cs.CL
LM-Lexicon: Improving Definition Modeling via Harmonizing Semantic Experts
BIGAI;Baidu Inc.(百度公司);Peking University(北京大学)
LM-Lexicon通过语义专家学习和混合架构提升定义建模效果,实现BLEU分数提升7%,并优化领域级路由机制
2026-02-15 cs.CL
Improving Zero-Shot Cross-Lingual Transfer Learning via Robust Training
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
预训练的多语言编码器,如多语言BERT和XLM-R,显示出巨大的潜力,zero-shot跨语言迁移。然而,这些多语言编码器并不能精确地对齐不同语言的单词和短语。特别是,在多语言嵌入空间中学习对齐通常需要词级或词级并行语料库,这对于低资源语言来说是昂贵的。另一种方法是使多语言编码器更鲁棒;当使用下游任务微调编码器时,我们训练编码器以容忍上下文嵌入空间中的噪声,使得即使不同语言的表示没有很好地对齐,模型仍然可以在zero-shot跨语言迁移上实现良好的性能。在这项工作中,我们提出了一种学习策略,通过绘制对抗性示例和zero-shot跨语言迁移失败案例之间的联系来训练鲁棒模型。我们采用两种广泛使用的鲁棒训练方法,对抗训练和随机平滑,训练所需的鲁棒模型。实验结果表明,鲁棒训练提高了文本分类任务的zero-shot跨语言迁移。这种改进在广义跨语言迁移设置中更为显著,其中输入句子对属于两种不同的语言。
2021-09-10 cs.CL
A Modular Taxonomy for Hate Speech Definitions and Its Impact on Zero-Shot LLM Classification Performance
Department of Linguistics, Cognitive Science and Semiotics - Aarhus University(语言学、认知科学与象征学系 - 奥胡斯大学);GESIS - Leibniz Institute for the Social Sciences(莱布尼茨社会科学研究所);Heinrich-Heine University Düsseldorf(杜伊斯堡-艾森大学)
本文提出一个由14个概念元素组成的仇恨言论定义模块化分类法,并系统评估不同定义对三个LLM在三个仇恨言论数据集上的零样本分类性能的影响,发现定义选择影响性能但效应因架构而异。
2025-06-23 cs.CL cs.CY
Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation
Yale University(耶鲁大学);Facebook AI(脸书人工智能研究院);Nanyang Technological University(南洋理工大学);Renmin University of China(中国人民大学)
在大型文本语料库上使用自监督目标预训练的模型在英语文本摘要任务上实现了最先进的性能。然而,这些模型通常在数十万个数据点上进行微调,这在将摘要应用于新的利基领域时是不可行的要求。在这项工作中,我们介绍了一种新颖的和可推广的方法,称为WikiTransfer,用于微调预训练模型,以无监督的,特定于网络的方式进行摘要。WikiTransfer对伪摘要的预训练模型进行微调,伪摘要是从通用维基百科数据中产生的,其中包含目标数据集的特征,例如所需摘要的长度和抽象级别。WikiTransfer模型在CNN-DailyMail数据集上实现了最先进的zero-shot抽象摘要性能,并在另外三个不同的数据集上证明了我们的方法的有效性。这些模型对噪声数据更鲁棒,并且与来自其他摘要数据集的Few-Shot传输相比,使用10个和100个训练样本也实现了更好或相当的Few-Shot性能。为了进一步提高性能,我们通过往返转换采用数据增强,并引入正则化项以改进Few-Shot传输。为了了解数据集方面在传输性能和最终输出摘要质量中的作用,我们进一步研究了无监督微调数据的组件的影响,并使用自动和人工评估来分析Few-Shot性能。
2021-04-11 cs.CL
Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering
Carnegie Mellon University(卡内基梅隆大学);Bosch Research(博世研究院);Amazon(亚马逊)
生成式问答(QA)模型生成问题的答案,或者仅仅基于模型的参数(闭卷设置),或者另外检索相关证据(开卷设置)。生成式QA模型可以回答一些相对复杂的问题,但它们这样做的机制仍然知之甚少。我们进行了几项研究,旨在更好地了解多跳推理能力的生成QA模型。首先,我们将多跳问题分解为多个相应的单跳问题,并发现QA模型在这些表面上相同的问题链上的答案明显不一致。其次,我们发现模型缺乏zero-shot多跳推理能力:当只在单跳问题上训练时,模型对多跳问题的泛化能力很差。最后,我们证明了通过两种方法来提高模型的zero-shot多跳推理能力是可能的,这两种方法通过对单跳问题的串联或逻辑形式(SPARQL)进行训练来近似真实的多跳自然语言(NL)问题。总之,这些结果表明,多跳推理不会在生成式QA模型中自然出现,但可以通过训练或建模技术的进步来鼓励。
2022-10-09 cs.CL
Conformal Predictor for Improving Zero-shot Text Classification Efficiency
Salesforce AI Research(赛富时人工智能研究院);Hugging Face(拥抱脸)
预训练的语言模型(PLM)已被证明是有效的zero-shot(0 shot)文本分类。基于自然语言推理(NLI)和下一句预测(NSP)的Oshot模型采用交叉编码器架构,并通过分别对每个标签-文本对进行模型的前向传递来进行推理。这增加了在标签数量上进行线性推断的计算成本。在这项工作中,我们通过使用另一个基于快速基本分类器的共形预测器(CP)来限制可能标签的数量,从而提高了这种基于交叉编码器的0 shot模型的效率。由于CP生成具有覆盖保证的预测集,因此它减少了目标标签的数量,而不排除基于0 shot模型的最可能的标签。我们使用三个意图和两个主题分类数据集进行实验。通过为每个数据集选择合适的CP,我们将基于NLI和NSP的模型的平均推理时间分别减少了25.6%和22.2%,而不会将性能降低到预定义的出错率1%以下。
2022-10-23 cs.CL
ZARA: Improving Few-Shot Self-Rationalization for Small Language Models
National Taiwan University(国立台湾大学);National Yang Ming Chiao Tung University(国立阳明交通大学);Academia Sinica(中央研究院)
针对小型语言模型难以利用解释进行少样本自理性化的问题,提出ZARA方法,通过将合理性判断转化为自然语言推理自动构建伪并行数据,在FEB基准上达到SOTA性能。
2023-10-23 cs.CL
Improving Zero-shot Neural Machine Translation on Language-specific Encoders-Decoders
University of Electronic Science and Technology of China(电子科技大学);Microsoft(微软)
最近,通用神经机器翻译(NMT)与共享的编码器-解码器上取得了良好的性能zero-shot翻译。与通用NMT不同,联合训练的语言特定编码器-解码器旨在实现跨非共享模块的通用表示,每个模块都用于一种语言或语言家族。非共享架构具有减轻内部语言竞争的优点,特别是当共享词汇表和模型参数的大小受到限制时。然而,在zero-shot翻译上使用多个编码器和解码器的性能仍然落后于通用NMT。在这项工作中,我们研究zero-shot翻译使用特定语言的编码器-解码器。我们建议通过区分特定语言和中间语言之间的Transformer层来推广非共享架构和通用NMT。通过选择性地共享参数和应用交叉注意,我们探索最大限度地提高表示的普遍性,实现语言无关信息的最佳对齐。我们还引入了一个去噪自动编码(DAE)目标,以多任务方式联合训练模型和翻译任务。在两个公开的多语言并行数据集上的实验表明,我们提出的模型取得了竞争力或更好的结果比通用NMT和强枢轴基线。此外,我们通过只更新新的模型参数来逐步向训练模型添加新的语言。通过这一点努力,这个新添加的语言和现有语言之间的zero-shot翻译实现了与所有语言从头开始联合训练的模型相当的结果。
2021-02-12 cs.CL
Improving Zero-shot Sentence Decontextualisation with Content Selection and Planning
Department of Computer Science and Technology, University of Cambridge(计算机科学与技术系,剑桥大学)
针对句子提取后缺乏上下文的问题,提出内容选择与规划框架,通过分割、识别歧义单元并基于话语关系提取相关单元来重写句子,实现零样本去上下文化,提升语义完整性和连贯性。
2025-10-15 cs.CL
EntityCS: Improving Zero-Shot Cross-lingual Transfer with Entity-Centric Code Switching
City, University of London(伦敦大学城市学院);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
语言之间的准确对齐是改进跨语言预训练语言模型(XLM)的基础。语码转换是一种有效的数据增强方法,它能在词或短语层面上提供语言对齐,而不是通过平行实例在句子层面上提供对齐。现有的方法要么使用字典,要么使用单词对齐的平行句子,通过随机切换句子中的单词来生成CS数据。然而,这样的方法可能是次优的,因为字典忽略语义,并且语法可能在随机单词切换之后变得无效。在这项工作中,我们提出了一种方法,专注于在不破坏语法的情况下,捕获细粒度的跨语言语义的代码切换。我们使用Wikidata和英文维基百科构建一个以实体为中心的CS语料库,通过切换实体到其他语言的对应物。我们进一步提出了面向实体的掩蔽策略,在中间模型训练期间的BattyCS语料库,以提高实体预测。对四个以实体为中心的下游任务的训练模型的评估显示,与基线相比,事实检索显著增加了10%。我们发布的语料库和模型,以协助研究的代码转换和丰富XLM与外部知识。
2023-02-13 cs.CL
Improving Generated and Retrieved Knowledge Combination Through Zero-shot Generation
Dig&AI Tech Sunshine Insurance Group(阳光保险集团Dig&AI科技);Tsinghua University(清华大学)
本文提出无监督框架BRMGR,通过双重重排序和贪心匹配结合检索段落与LLM生成段落,在NQ和WebQ上分别提升+1.7和+1.6,并在TriviaQA上取得可比结果。
2024-12-25 cs.CL
Improving zero-shot learning by mitigating the hubness problem
Center for Mind/Brain Sciences(心智/脑科学中心);University of Trento(特伦托大学)
zero-shot范式利用从文本语料库中提取的基于向量的词表示,采用无监督的方法来学习从其他特征空间到词空间的一般映射函数,其中与映射向量的最近邻居相关联的词被用作其语言标签。我们发现,映射元素的邻域受到枢纽的强烈污染,这些枢纽往往靠近高比例的项目,将其正确的标签推到邻居列表中。在经验上说明了这个问题后,我们提出了一个简单的方法来纠正它,通过考虑在许多映射向量的潜在邻居的邻近分布。我们表明,这种校正导致一致的改进,在现实的zero-shot实验中的跨语言,图像标记和图像检索域。
2015-04-15 cs.CL cs.LG
Improving Pretrained Models for Zero-shot Multi-label Text Classification through Reinforced Label Hierarchy Reasoning
Ingenuity Labs Research Institute & ECE, Queen’s University(女王大学创新实验室研究所与电子与计算机工程系);Amazon.com Inc(亚马逊公司)
利用标签层次结构已成为解决zero-shot多标签文本分类问题的一种很有前途的方法。传统的方法旨在学习文本和标签之间的匹配模型,使用图形编码器来合并标签层次结构以获得有效的标签表示\cite{rios2018few}。最近,像BERT \cite{devlin2018bert}这样的预训练模型已被用于将分类任务转换为文本蕴涵任务\cite{yin-etal-2019-benchmarking}。这种方法自然适合于M-MTC任务。然而,在现有的工作中,预训练的模型没有得到充分的研究,因为它们不会为文本或标签生成单独的矢量表示,因此将它们与传统的图形编码方法相结合是不直观的。在本文中,我们探索如何改进带有标签层次结构的预训练模型。我们提出了一个加强标签层次推理(RLHR)的方法,以鼓励在训练过程中的层次结构中的标签之间的相互依赖性。同时,为了克服平面预测的弱点,我们设计了一个回滚算法,可以在推理过程中删除预测中的逻辑错误。在三个真实数据集上的实验结果表明,我们的方法取得了更好的性能,并优于以前的非预训练的方法在机器学习MTC任务。
2021-04-04 cs.CL