Z-ICL: Zero-Shot In-Context Learning with Pseudo-Demonstrations
Allen Institute for AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）
本文提出 Z-ICL，通过原始语料库检索近邻并配对随机标签构建伪演示，同时减少模型直接复制，在九个分类数据集上显著提升零样本性能。
2023-06-03 cs.AI cs.CL
A Komi-Yazva--Russian Parallel Corpus and Evaluation Protocol for Zero- and Few-Shot LLM Translation
HSE University, Perm, Russia（俄罗斯彼尔姆国立经济大学）；School of Management SKOLKOVO, Moscow, Russia（莫斯科SKOLKOVO管理学院）
构建首个科米-亚兹瓦语-俄语平行语料库，并提出显式评估协议，研究大语言模型在极度低资源濒危语言翻译中的零样本和检索增强少样本性能。
2026-06-04 cs.CL
Leveraging Domain Knowledge at Inference Time for LLM Translation: Retrieval versus Generation
University of Pennsylvania（宾夕法尼亚大学）；Google（谷歌）
本文通过提示设置比较检索与生成两类领域知识对LLM翻译的影响，发现少样本示例优于术语、检索优于生成，并指出多领域基准更偏向写作风格适应而非领域适应。
2025-03-06 cs.CL
ClusterFewshot: Improving Few-shot Optimization for LLMs workflow
Tel Aviv University（特拉维夫大学）
ClusterFewshot通过结合语义结构与效用感知评分来选取少样本演示，在DSPy流程中降低优化成本并提升准确率。
2026-09-23 cs.CL
DocIE@XLLM25: In-Context Learning for Information Extraction using Fully Synthetic Demonstrations
ScaDS.AI & TU Dresden（ScaDS.AI与德累斯顿技术大学）
本文提出一种全自动流水线，结合合成数据生成与检索式上下文学习，在零样本下进行文档级实体和关系抽取，并构建了5k篇摘要、59k实体和30k三元组的合成数据集，实验表明该任务仍具挑战性。
2025-07-08 cs.CL
Adaptive Few-shot Prompting for Machine Translation with Pre-trained Language Models
Guangdong University of Technology（广东工业大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出自适应少样本提示框架AFSP，通过基于LLM嵌入的示例检索和候选重排序提升机器翻译效果，并构建外交中英平行数据集验证其有效性。
2025-01-03 cs.AI cs.CL
Decomposed Prompting for Machine Translation Between Related Languages using Large Language Models
Microsoft（微软）；IIT Madras（印度理工学院马德拉斯分校）；AI4Bharat；National Institute of Information and Communications Technology（日本国立信息通信技术研究所）
本研究针对相关语言间的机器翻译任务，提出了一种名为DecoMT的新型少样本提示方法，通过利用单调对齐特征将翻译过程分解为词块序列，在多语系实验中显著优于BLOOM等基线模型，平均提升8个chrF++分数。
2023-10-23 cs.CL
Compensating for Data with Reasoning: Low-Resource Machine Translation with LLMs
Department of Computer Science / University of Innsbruck（计算机科学系 / 因斯布鲁克大学）
本文提出Fragment-Shot Prompting及其无平行数据扩展Pivoted Fragment-Shot方法，利用LLM的推理能力补偿低资源语言翻译数据的不足，实验证明句法覆盖度与翻译质量正相关，且强推理模型能更有效地利用检索知识提升低资源语言间的翻译效果。
2025-05-28 cs.CL
Empowering Cross-lingual Abilities of Instruction-tuned Large Language Models by Translation-following demonstrations
Idiap Research Institute（伊迪亚普研究所）；University of Manchester（曼彻斯特大学）
针对大语言模型跨语言能力不均衡问题，提出带翻译跟随示例的CrossAlpaca指令调优模型，通过语义对齐增强非英语能力，在多类基准六种语言上优于单语调优模型。
2023-08-27 cs.AI cs.CL
Take One Step at a Time to Know Incremental Utility of Demonstration: An Analysis on Reranking for Few-Shot In-Context Learning
Google Research（谷歌研究院）
本文研究少样本 ICL 中示例选择的效用标注问题，提出衡量示例带来增量知识的 incremental utility，并通过多语言多任务实验验证其重排序收益。
2024-04-02 cs.CL
DAWN-ICL: Strategic Planning of Problem-solving Trajectories for Zero-Shot In-Context Learning
Gaoling School of Artificial Intelligence, Renmin University of China（中国人民大学高瓴人工智能学院）
DAWN-ICL将零样本上下文学习建模为规划问题，利用演示感知的蒙特卡洛树搜索战略规划问题求解轨迹，并设计演示感知Q值函数提升估计效率，在域内与跨域场景中超越人工标注ICL。
2025-03-09 cs.CL
An Empirical Study of Many-Shot In-Context Learning for Machine Translation of Low-Resource Languages
Mila – Quebec AI Institute（魁北克人工智能研究所）；McGill University（麦吉尔大学）；Athabasca University（阿特拉斯大学）；Peking University（北京大学）；Howard University（霍华德大学）
本研究实证分析多示例上下文学习在低资源语言机器翻译中的效果，发现BM25检索可大幅提升数据效率，且ICL能在微调基础上带来额外增益。
2026-06-25 cs.CL
Fine-tuning Large Language Models for Adaptive Machine Translation
ADAPT Centre（ADAPT中心）；Dublin City University（都柏林城市大学）；South East Technological University（东南理工大学）
本文通过微调Mistral 7B模型，利用医学领域零样本与单样本提示，提升其自适应机器翻译能力，在西班牙语到英语翻译中超越基线及NLLB 3.3B，并接近ChatGPT性能。
2023-12-20 cs.CL cs.IR
LLM-based MOFs Synthesis Condition Extraction using Few-Shot Demonstrations
School of Computer Science, Beihang University（北京航空航天大学计算机学院）；School of Materials Science & Engineering, University of Science and Technology Beijing（北京科技大学材料科学与工程学院）；Westlake University（西湖大学）
本研究提出少样本LLM上下文学习范式，结合人机交互数据整理与信息检索，从文献中提取MOFs合成条件，在合成提取、结构推断和材料设计上显著优于零样本方法，指导合成的材料比表面积超越91.1%同类MOFs。
2025-02-25 cs.AI cs.CL
Focused Large Language Models are Stable Many-Shot Learners
School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；Xiaohongshu Inc（小红书公司）
针对ICL在多样本设置下性能无法有效扩展的问题，提出无需训练的FocusICL方法，通过琐碎性过滤和分层注意力确保模型聚焦查询，实现5.2%的平均性能提升且扩展良好。
2024-08-26 cs.AI cs.CL
In-Context Learning with Iterative Demonstration Selection
Nanyang Technological University（南洋理工大学）；Amazon Web Services（亚马逊网络服务）
本文提出迭代式演示选择方法IDS，利用零样本思维链推理在多样性与相关性之间动态选择上下文示例，并通过多轮迭代和多数投票提升ICL性能，在推理、问答和主题分类任务上优于现有方法。
2024-12-30 cs.AI cs.CL
GRAD: Generative Retrieval-Aligned Demonstration Sampler for Efficient Few-Shot Reasoning
EPFL（苏黎世联邦理工学院）
本研究提出GRAD动态示例生成方法，通过训练LLM生成输入定制的简洁示例，在资源受限下于数学及多STEM领域任务中优于传统RAG，且小模型生成的示例可引导大模型，为动态少样本学习提供新路径。
2025-10-01 cs.AI cs.CL cs.LG
Language Models are Few-Shot Butlers
University of Geneva（日内瓦大学）
预训练的语言模型在大多数NLP任务中表现出强大的性能，当在小型特定任务数据集上进行微调时。因此，这些自回归模型构成了在基于文本的环境中操作的理想代理，其中语言理解和生成能力是必不可少的。然而，在这种环境中收集专家示范是一项耗时的工作。我们引入了一个两阶段的过程，从一小部分演示中学习，并通过与环境的交互来进一步改进。我们表明，语言模型微调只有1.2%的专家演示和一个简单的强化学习算法实现了51%的绝对改善成功率超过现有的方法在ALFWorld环境。
2021-09-20 cs.CL cs.LG
Supervision versus Demonstration-Based In-Context Learning for Multiword Expression Classification
University of Chicago（芝加哥大学）；Fırat University（费拉特大学）
研究土耳其语多词表达分类，对比监督基线（BERTurk）与指令微调LLM在零样本、单样本和少样本提示下的表现，发现提示敏感性和演示偏差影响显著。
2026-06-05 cs.AI cs.CL
Dissecting In-Context Learning of Translations in GPTs
Microsoft Azure AI（微软 Azure AI）
通过扰动高质量示例，发现目标端文本分布是GPT翻译上下文学习的关键信号，据此提出Zero-Shot-Context方法，显著提升GPT-3零样本翻译性能至媲美少样本水平。
2023-10-24 cs.AI cs.CL
TreePrompt: Leveraging Hierarchical Few-Shot Example Selection for Improved English-Persian and English-German Translation
Department of Computer Science（计算机科学系）；Institute for Advanced Studies in Basic Sciences（基础科学高级研究所）
针对现有少样本翻译示例选择仅重相似度、忽略示例质量的问题，提出TreePrompt分层示例选择方法，结合LLM偏好与树结构筛选优质相关示例，搭配AFSP等策略在两个翻译数据集上实现性能提升。
2025-10-04 cs.AI cs.CL
Towards Compute-Optimal Many-Shot In-Context Learning
University of Arizona（亚利桑那大学）；Google Cloud AI Research（谷歌云人工智能研究）；Google DeepMind（谷歌DeepMind）
针对多示例上下文学习中随机选例的问题，提出结合相似示例与缓存示例、以及用k-means质心选例两种低开销策略，实验证明其性能优异且大幅降低推理成本。
2025-08-29 cs.AI cs.CL cs.LG
PANDAS: Improving Many-shot Jailbreaking via Positive Affirmation, Negative Demonstration, and Adaptive Sampling
University of Toronto, Vector Institute（多伦多大学，向量研究所）；University of Oxford（牛津大学）；Polytechnique Montréal, Mila - Quebec AI Institute, University of Toronto（蒙特利尔理工学院，魁北克人工智能研究所，多伦多大学）
本文提出混合攻击技术PANDAS，结合正向肯定、负向示范与主题适配的自适应采样优化虚构对话，配套发布有害问答数据集ManyHarm，实验证明其在长上下文场景下的多次提示越狱效果显著优于基线，并揭示了长上下文漏洞的利用机制。
2025-06-12 cs.CL cs.CR cs.LG
An Empirical Study on Configuring In-Context Learning Demonstrations for Unleashing MLLMs' Sentimental Perception Capability
Tsinghua University（清华大学）
本研究通过扩展零样本范式至上下文学习并优化演示的检索、呈现和分布三个关键因素，验证了多模态大语言模型具备情感感知能力，并在六个数据集上分别提升平均准确率15.9%和11.2%。
2025-05-22 cs.CL cs.CV
"Whose Side Are You On?" Estimating Ideology of Political and News Content Using Large Language Models and Few-shot Demonstration Selection
University of California, Davis（加州大学戴维斯分校）；University of South Florida（佛罗里达州立大学）
针对现有意识形态分类方法需大量人力、难以适应语境变化的问题，本文提出基于大型语言模型（LLMs）和上下文学习（ICL）的方法，通过标签平衡示例选择在三个数据集上显著优于零样本和传统方法，并分析了元数据的影响。
2025-11-11 cs.CL cs.CY cs.SI
When Many-Shot Prompting Fails: An Empirical Study of LLM Code Translation
Yildiz Technical University, Department of Computer Engineering（Yildiz技术大学计算机工程系）
本研究发现代码翻译中少量精心挑选的示例比大量示例更有效，挑战了ICL中'更多更好'的普遍假设。
2025-12-09 cs.AI cs.CL cs.PL
Metacognition-Enhanced Few-Shot Prompting With Positive Reinforcement
Institute of AI for Education, East China Normal University（华东师范大学教育人工智能研究院）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；Shanghai Changning Mental Health Center（上海市长宁区精神卫生中心）
提出元认知增强的少样本提示方法，结合正强化反馈，引导大语言模型反思思维过程以更好学习演示示例，在真实数据集上分类准确率和宏F1优于传统方法。
2023-12-24 cs.AI cs.CL
AdaptAgent: Adapting Multimodal Web Agents with Few-Shot Learning from Human Demonstrations
Georgia Institute of Technology（佐治亚理工学院）；J.P. Morgan AI Research（摩根大通人工智能研究院）
AdaptAgent框架利用最多2个人类演示，通过上下文演示或元适应演示使多模态网页智能体适应新网站和领域，在两个基准上将任务成功率相对提升21.03%至65.75%。
2024-11-20 cs.AI cs.CL cs.LG
Many-Shot CoT-ICL: Making In-Context Learning Truly Learn
The University of Hong Kong（香港大学）
研究多示例思维链上下文学习在推理任务中的特性，提出曲线演示选择方法，在数学任务上提升5.42个百分点。
2026-05-31 cs.AI cs.CL
What Makes In-context Learning Effective for Mathematical Reasoning: A Theoretical Analysis
University of Science and Technology of China（中国科学技术大学）；State Key Laboratory of Cognitive Intelligence（认知智能国家重点实验室）；Hong Kong University of Science and Technology（香港科技大学）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
本文通过理论分析证明上下文示例的语义相似性和推理稳定性影响LLMs数学推理性能，并提出LMS3方法，能自适应选择相关样本并拒绝不适合的示例，在多个基准上实现一致改进。
2024-12-11 cs.AI cs.CL
Robustness of Demonstration-based Learning Under Limited Data Scenario
Shanghai Jiao Tong University（上海交通大学）；Georgia Institute of Technology（佐治亚理工学院）；Adobe Research（Adobe研究院）；Stanford University（斯坦福大学）
基于演示的学习在有限数据场景下激发预先训练好的语言模型的能力方面显示出巨大的潜力。通过一些演示简单地增加输入可以显著提高Few-Shot NER的性能。然而，为什么这样的演示是有益的学习过程仍然不清楚，因为没有明确的示威和预测之间的一致性。本文通过逐步去除标准样本中直观有用的信息来设计病态样本，深入研究了基于样本的序列标注的鲁棒性，结果表明：（1）由随机标记组成的样本仍然使模型成为更好的Few-Shot学习器;（2）随机样本的长度和随机标记的相关性是影响性能的主要因素;（3）演示增加了模型预测对捕获的表面模式的置信度。我们已在https://github.com/SALT-NLP/RobustDemo上公开发布了我们的代码。
2022-10-19 cs.AI cs.CL cs.LG
Tool Documentation Enables Zero-Shot Tool-Usage with Large Language Models
University of Washington（华盛顿大学）；National Taiwan University（国立台湾大学）；Google Cloud AI Research（谷歌云人工智能研究院）；Google Research（谷歌研究院）
提出以工具文档替代示例实现LLMs零样本工具使用，在6项跨模态任务中验证其性能与少样本相当甚至更优，并展示文档驱动自动启用新应用的能力。
2023-08-01 cs.AI cs.CL cs.CV
Can In-context Learners Learn a Reasoning Concept from Demonstrations?
Masaryk University（马萨里克大学）
针对随机少样本评估无法区分模型预训练偏差与真实上下文学习能力的问题，提出概念共享少样本学习方法，发现多数上下文学习器无法从概念示例中持续获益，仅T0模型表现更敏感。
2023-07-19 cs.AI cs.CL cs.LG
Toxicity-Aware Few-Shot Prompting for Low-Resource Singlish Translation
Singapore University of Technology and Design（新加坡科技设计大学）；GovTech, Singapore（新加坡政府科技局）
针对低资源语言对中有毒内容翻译的挑战，本文提出可复现的两阶段毒性保留翻译框架，通过人工验证的少样本提示工程和模型-提示对优化，在新加坡英语语料库上提升了翻译质量并支持文化敏感审核。
2025-07-16 cs.AI cs.CL cs.CY
Simulstream: Open-Source Toolkit for Evaluation and Demonstration of Streaming Speech-to-Text Translation Systems
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
研究流式语音到文本翻译在评估上的问题，提出开源框架simulstream，支持长语音的增量和重新翻译解码，能进行质量和延迟评估及实时可视化比较，填补了相关统一解决方案的空白。
2026-09-01 cs.CL
T-Modules: Translation Modules for Zero-Shot Cross-Modal Machine Translation
Meta AI；Inria（法国国家信息与自动化研究所）
我们提出了一种新的方法来执行语音和文本之间的zero-shot跨模态转换的翻译任务。多语言语音和文本被编码在一个联合的固定大小的表示空间。然后，我们比较了解码这些多模式和多语言固定大小表示的不同方法，从而实现语言和模式之间的零镜头翻译（zero-shot translation）。我们所有的模型都是在不需要跨模态标记翻译数据的情况下进行训练的。尽管是固定大小的表示，我们在几个文本和语音翻译任务上取得了非常有竞争力的结果。特别是，我们显著提高了Must-C上zero-shot语音翻译的最新水平。在我们的框架中实现语音解码器，我们介绍了zero-shot直接语音到语音和文本到语音翻译的第一个结果。
2022-11-10 cs.CL
Demonstration of a Neural Machine Translation System with Online Learning for Translators
PRHLT Research Center - Universitat Politècnica de València（瓦伦西亚理工大学PRHLT研究中心）；Pangeanic / B.I Europa - PangeaMT Technologies Division（Pangeanic/B.I Europa——PangeaMT技术部）
我们介绍了我们的系统，它实现了在线学习的神经机器翻译在生产环境中的演示。这些技术允许系统从翻译者提供的更正中不断学习。我们实施了一个端到端平台，将我们的机器翻译服务器集成到专业翻译人员最常用的用户界面之一：SDL Trados Studio。我们的目标是节省后期编辑工作，因为机器不断从人类的选择中学习，并使模型适应特定的领域或用户风格。
2019-06-21 cs.CL
Language Tags Matter for Zero-Shot Neural Machine Translation
ByteDance（字节跳动）
多语言神经机器翻译（MNMT）由于其高效性而引起了广泛的关注。MNMT模型的一个令人兴奋的优点是，它们还可以在无监督（zero-shot）语言方向之间进行翻译。在多媒体翻译中，语言标记策略常被用来指示翻译方向。在本文中，我们证明，LT不仅是翻译方向的指标，但也是至关重要的zero-shot翻译质量。不幸的是，以前的工作往往忽略了LT策略的重要性。我们证明了一个合适的LT策略可以提高语义表示的一致性和减轻脱靶问题的zero-shot方向。实验结果表明，在IWSLT17、Europarl和TED演讲翻译任务中，通过忽略源语言标签（NML）并在编码器中添加目标语言标签（TLT），zero-shot翻译策略可以获得比其他LT策略高出+8的BLEU评分。
2021-06-15 cs.CL
Improving Massively Multilingual Neural Machine Translation and Zero-Shot Translation
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Zurich（苏黎世大学）
神经机器翻译（NMT）的大规模多语言模型在理论上很有吸引力，但通常表现不佳的双语模型，并且提供较差的zero-shot翻译。在本文中，我们将探讨如何改善它们。我们认为，多语言NMT需要更强的建模能力，以支持不同类型特征的语言对，并通过语言特定的组件和深化NMT架构克服这一瓶颈。我们确定脱靶翻译问题（即翻译成错误的目标语言）作为低zero-shot性能的主要来源，并提出随机在线回译，以强制翻译看不见的训练语言对。在OPUS-100（一种包含100种语言的新型多语言数据集）上的实验表明，我们的方法在一对多和多对多设置中大大缩小了与双语模型的性能差距，并将zero-shot性能提高了约10 BLEU，接近传统的基于XML的方法。
2020-04-24 cs.CL
Meta-training with Demonstration Retrieval for Efficient Few-shot Learning
Johns Hopkins University（约翰斯·霍普金斯大学）；Meta AI
针对大型模型计算成本高且小模型元训练适应能力不足的问题，提出基于演示检索的元训练方法，利用DPR检索多任务语义相似演示作为外部知识，训练出在QA、NLI等任务上表现优异且单GPU即可快速训练的参数高效少样本模型。
2023-06-30 cs.CL
Effective Strategies in Zero-Shot Neural Machine Translation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
在本文中，我们提出了两个策略，可以应用于多语言神经机器翻译系统，以更好地解决zero-shot的情况下，即使没有任何平行语料库。实验结果表明，该算法在性能和计算资源方面都是有效的，尤其是在零资源条件下对不平衡数据的多语种翻译时，能够有效缓解语言偏见问题。
2017-11-22 cs.CL
Gender Lost In Translation: How Bridging The Gap Between Languages Affects Gender Bias in Zero-Shot Multilingual Translation
Maastricht University（马斯特里赫特大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本文研究零样本多语言神经机器翻译中的性别偏见，发现语言无关表示可减轻男性偏见，且桥接语言性别屈折程度越高，枢轴翻译在性别保留公平性上越优于零样本翻译。
2023-05-26 cs.CL
Evaluating the Supervised and Zero-shot Performance of Multi-lingual Translation Models
Aylien Ltd.（Aylien有限公司）
我们研究了几种方法的全部或部分共享的多语言NMT模型的解码器参数。我们仅使用WMT 2019共享任务并行数据集进行训练，在110个独特的翻译方向上评估完全监督和zero-shot翻译性能。我们使用额外的测试集和重新评估方法最近用于无监督MT，以评估zero-shot翻译性能的语言对没有黄金标准的并行数据。据我们所知，就我们使用的训练数据的总大小而言，这是迄今为止对多语言翻译进行的最大评估，就我们评估的zero-shot翻译对的多样性而言。我们对不同模型的翻译性能进行了深入的评估，突出了共享解码器参数的方法之间的权衡。我们发现，具有特定于任务的解码器参数的模型优于解码器参数在所有任务中完全共享的模型。
2019-06-24 cs.CL
Rethinking Zero-shot Neural Machine Translation: From a Perspective of Latent Variables
Rutgers University（罗格斯大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；University of Science and Technology of China（中国科学技术大学）
Zero-shot翻译，直接在训练中看不到的语言对之间进行翻译，是多语言神经机器翻译（NMT）的一种有前途的能力。然而，由于最大似然训练目标，它通常会捕获输出语言和语言不变语义之间的虚假相关性，从而导致zero-shot翻译的传输性能较差。本文在传统的训练目标中引入了一种基于主元语言的去噪自编码目标，以提高zero-shot方向上的翻译精度。从隐变量的角度进行的理论分析表明，我们的方法实际上隐式地最大化了zero-shot方向的概率分布。在两个基准机器翻译数据集上，我们证明了该方法能够有效地消除虚假相关性，并显著优于最先进的方法，具有显着的性能。我们的代码可在https://github.com/Victorwz/zs-nmt-dae上获得。
2021-09-10 cs.CL
Subword Segmentation and a Single Bridge Language Affect Zero-Shot Neural Machine Translation
University of Zurich（苏黎世大学）；University of Edinburgh（爱丁堡大学）
Zero-shot神经机器翻译是一个有吸引力的目标，因为获取数据和为新的翻译方向构建翻译系统的成本很高。然而，以前的论文报道了混合成功的zero-shot翻译。与完全监督的系统相比，很难预测它在哪些设置中有效，以及什么限制了性能。在本文中，我们研究了zero-shot性能的多语种EN $\leftrightarrow$ {FR，CS，DE，FI}系统上训练的WMT数据。我们发现，zero-shot性能是非常不稳定的，可以通过超过6 BLEU的训练运行之间的变化，使其难以可靠地跟踪改进。我们观察到一个偏向复制源在zero-shot翻译，并探讨如何选择子词切分影响这种偏见。我们发现，特定于语言的子词切分的结果在训练时的子词复制较少，并导致更好的zero-shot性能相比，联合训练的分割。多语言模型中的最近趋势是不在所有语言对之间的并行数据上进行训练，而是具有单个桥接语言，例如英语。我们发现，这会对zero-shot翻译产生负面影响，并导致失败模式，即模型忽略语言标签，而是在zero-shot方向上产生英语输出。我们表明，这种偏向英语可以有效地减少，即使是少量的平行数据，在一些非英语对。
2020-11-03 cs.CL
Modular Speech-to-Text Translation for Zero-Shot Cross-Modal Transfer
Meta AI；Inria（法国国家信息与自动化研究所）
该研究针对语音到文本翻译任务，提出对采用共享固定大小表征的独立编解码器模块化方法进行多语言训练，显著提升了零样本跨模态语音翻译效果，在多语言上优于基于XLSR的有监督方法。
2023-10-05 cs.CL
Adapting to Non-Centered Languages for Zero-shot Multilingual Translation
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
多语言神经机器翻译可以在训练过程中翻译看不见的语言对，即zero-shot翻译。然而，zero-shot翻译总是不稳定的。虽然以前的作品将不稳定性归因于中心语言（例如英语）的统治，但我们用非中心语言的严格依赖性来补充这一观点。在这项工作中，我们提出了一个简单的，轻量级的，但有效的语言特定的建模方法，通过适应非中心的语言，并结合共享信息和语言特定的信息，以抵消不稳定的zero-shot翻译。在IWSLT17、Europarl、TED talks和OPUS-100数据集上使用Transformer进行的实验表明，该方法不仅在中心数据条件下表现得比强基线更好，而且可以很容易地适应非中心数据条件。通过进一步研究层属性，我们表明，我们提出的方法可以解开耦合表示在正确的方向。
2022-09-09 cs.CL
The unreasonable effectiveness of few-shot learning for machine translation
Google Research（谷歌研究院）；Google Translate（谷歌翻译）
我们展示了Few-Shot翻译系统的潜力，该系统使用未配对的语言数据进行训练，用于高资源和低资源语言对。我们表明，只有5个高质量的翻译数据的例子显示在推理，一个Transformer解码器的模型训练完全与自监督学习，能够匹配专业的监督国家的最先进的模型，以及更一般的商业翻译系统。特别是，在WMT'21英汉新闻翻译任务中，我们仅使用五个英汉平行数据进行推理，就超过了表现最好的系统。此外，我们建立这些模型的方法不需要联合多语言训练或回译，概念上很简单，并显示出扩展到多语言环境的潜力。此外，所得到的模型比最新的语言模型小两个数量级。然后，我们分析了影响Few-Shot翻译系统性能的因素，并强调了Few-Shot演示的质量在很大程度上决定了我们的模型生成的翻译质量。最后，我们表明，Few-Shot范式也提供了一种方法来控制某些属性的翻译-我们表明，我们能够控制区域品种和正式使用只有五个例子在推理，铺平了道路，走向可控的机器翻译系统。
2023-02-02 cs.CL
Two Demonstrations of the Machine Translation Applications to Historical Documents
Pattern Recognition and Human Language Technology Research Center（模式识别与人类语言技术研究中心）；Universitat Politècnica de València（瓦伦西亚理工大学）
我们提出了我们的示范两个机器翻译应用历史文件。第一项任务是用原始语言的现代版本编写一份历史文件的新版本。第二个应用程序仅限于文档的正字法。它使文档的拼写适应现代标准，以实现拼写的一致性，并弥补拼写惯例的不足。我们遵循一个交互式的，自适应的框架，允许用户引入纠正系统的假设。系统通过生成考虑到这些修正的新假设来对这些修正做出反应。一旦用户对系统的假设感到满意并验证了它，系统就按照在线学习策略调整其模型。该系统是按照客户端-服务器架构实现的。我们开发了一个与神经模型通信的网站。所有代码都是开源的，并且是公开的。演示在http://demosmt.prhlt.upv.es/mthd/上进行。
2021-02-02 cs.CL
Zero-shot Speech Translation
Maastricht University（马斯特里赫特大学）
语音翻译是将一种语言的语音翻译成另一种语言的文本。使用自动语音识别（ASR）和机器翻译（MT）系统的用于ST的传统级联方法易于错误传播。端到端方法仅使用一个系统来避免传播错误，但由于数据稀缺而难以使用。我们探索了zero-shot翻译，它可以翻译一对在训练过程中看不到的语言，从而避免使用端到端ST数据。Zero-shot翻译已被证明适用于多语言机器翻译，但尚未针对语音翻译进行研究。我们试图建立zero-shot ST模型，这些模型只在ASR和MT任务上训练，但可以在推理过程中执行ST任务。挑战在于文本和音频的表示方式明显不同，因此模型以不同的方式学习ASR和MT任务，使得执行zero-shot变得不容易。这些模型在执行zero-shot ST时往往会输出错误的语言。我们通过添加额外的训练数据和辅助损失函数来解决这个问题，该函数可以最大限度地减少文本-音频差异。我们的实验结果和分析表明，该方法是有前途的zero-shot ST。此外，我们的方法是特别有用的，在Few-Shot设置，其中ST数据的数量有限，与直接端到端ST模型相比，提高了+11.8 BLEU点和+3.9 BLEU点相比，ST模型从预先训练的ASR模型微调。
2021-07-13 cs.CL
Improving Zero-Shot Translation of Low-Resource Languages
FBK（布鲁诺·凯斯勒基金会）
最近关于多语言神经机器翻译的工作报告了双语模型的竞争性能，甚至在训练时没有观察到的（零拍）翻译方向上也有令人惊讶的良好性能。我们在这里调查一个zero-shot翻译在一个特别低资源的多语言环境。我们提出了一个简单的迭代训练过程，利用直接由系统生成的zero-shot方向的平移的对偶性。然后，系统产生的翻译（次优，因为它们包含来自共享词汇表的混合语言）与原始并行数据一起用于馈送和迭代地重新训练多语言网络。随着时间的推移，这允许系统从自己生成的越来越好的输出中学习。我们的方法被证明是有效的，在改善我们的多语言模型的两个zero-shot方向。特别是，我们观察到在基线多语言模型上获得约9个BLEU点，在使用两个双语模型的旋转机制上获得高达2.08个BLEU点。进一步的分析表明，在非零镜头语言方向上也有轻微的改善。
2018-11-04 cs.CL
Improving Zero-Shot Translation by Disentangling Positional Information
Maastricht University（马斯特里赫特大学）；Facebook AI（脸书人工智能研究院）
多语言神经机器翻译已经显示出在训练中看不到的语言对之间直接翻译的能力，即zero-shot翻译。尽管在概念上很有吸引力，但它往往受到低输出质量的影响。推广到新的翻译方向的困难表明，模型表示对于训练中看到的语言对是高度特定的。我们证明了一个主要因素，导致特定语言的表示是位置对应的输入令牌。我们表明，这可以很容易地减轻通过删除编码器层中的残留连接。通过这种修改，我们在zero-shot翻译上获得了高达18.5个BLEU点，同时保持了监督方向的质量。这些改进在相关语言之间尤为突出，我们提出的模型优于基于XML的翻译。此外，我们的方法允许轻松集成新语言，这大大扩展了翻译范围。通过对隐藏层输出的彻底检查，我们表明我们的方法确实导致了更多的语言独立的表示。
2021-06-30 cs.CL
Cross-lingual Word Embeddings beyond Zero-shot Machine Translation
Uppsala University（乌普萨拉大学）；Dep. of Linguistics and Philology（语言学与文献学系）
我们探讨了多语言神经机器翻译模型的可移植性，看不见的语言时，转移是完全基于跨语言的词嵌入。我们的实验结果表明，翻译知识可以弱迁移到其他语言，可迁移的程度取决于语言的相关性。我们还讨论了导致弱翻译传输的多语言架构的限制方面，并建议如何减轻限制。
2020-11-03 cs.CL
Improved Zero-shot Neural Machine Translation via Ignoring Spurious Correlations
Facebook AI Research（脸书人工智能研究院）；The University of Hong Kong（香港大学）；New York University（纽约大学）
在神经机器翻译（NMT）系统从未训练过的语言对之间进行Zero-shot翻译，是在多语言环境中训练系统时出现的一种特性。然而，zero-shot NMT的朴素训练容易失败，并且对超参数设置敏感。性能通常远远落后于更传统的基于XML的方法，该方法使用第三种语言作为枢轴翻译两次。在这项工作中，我们解决退化问题，由于捕获虚假的相关性，通过定量分析源和解码句子的语言ID之间的互信息。受此分析的启发，我们建议使用两种简单但有效的方法：（1）解码器预训练;（2）反向翻译。这些方法在三个具有挑战性的多语言数据集上显示出比vanilla zero-shot翻译显著的改进（4~22个BLEU点），并且实现了与基于BLEU的方法相似或更好的结果。
2019-06-04 cs.CL
