Consensus-Aligned Neuron Efficient Fine-Tuning Large Language Models for Multi-Domain Machine Translation
本文提出一种神经高效微调框架,通过识别和更新共识对齐的神经元,提升大型语言模型在多领域机器翻译中的性能。
2026-02-05 cs.CL
LIFT: Last-Mile Fine-Tuning for Table Explicitation
Microsoft Corporation(微软公司)
本文提出LIFT方法,通过预训练大语言模型提取表格并由微调的小语言模型修复错误,仅需1000个训练样本即可在TEDS指标上超越端到端微调,且更鲁棒于输入格式变化。
2026-05-13 cs.CL cs.LG
QEFT: Quantization for Efficient Fine-Tuning of LLMs
Pohang University of Science and Technology (POSTECH)(浦项科技大学);Graduate School of Artificial Intelligence(人工智能研究生院)
本文提出QEFT,一种用于大型语言模型高效微调的轻量级量化技术,旨在同时提升推理与微调速度、降低内存消耗并保持模型质量,实验证明其性能可媲美全精度参数高效微调且资源消耗更少。
2024-10-11 cs.CL cs.LG
Objective Matters: Fine-Tuning Objectives Shape Safety, Robustness, and Persona Drift
University of Cincinnati(辛辛那提大学);University of Toronto(多伦多大学);University of Oxford(牛津大学)
本文研究了微调目标对LLM安全性和鲁棒性的影响,发现目标选择在不同训练规模下对安全、鲁棒性和人格漂移有显著影响。
2026-01-19 cs.CL cs.LG
MNAFT: modality neuron-aware fine-tuning of multimodal large language models for image translation
School of Computer Science and Technology, Tianjin University, Tianjin, China(天津大学计算机科学与技术学院);School of Software, Tsinghua University, Beijing, China(清华大学软件学院);School of Information Resource Management, Renmin University of China,Beijing, China(中国人民大学信息资源管理学院);School of Artificial Intelligence, Shanghai Jiao Tong University, Shanghai, China(上海交通大学人工智能学院);Baidu Inc., Beijing, China(百度公司)
本文提出MNAFT,通过识别视觉和语言模块中语言无关和语言特定的神经元,改进多模态大语言模型在图像翻译中的表现,实验表明其优于现有方法。
2026-04-18 cs.CL
Two-stage LLM Fine-tuning with Less Specialization and More Generalization
Google(谷歌)
本文提出ProMoT两阶段微调框架,通过先提示调优再模型调优,减少格式特化,保持微调性能同时提升上下文学习泛化能力。
2024-03-12 cs.CL cs.LG
Lius: Translation Model Based Instructional Lingustic Using Continual Instruction Tuning In Kupang Malay
Universitas Gadjah Mada(加札马达大学)
针对低资源语言库邦马来语,提出利用双语词典的词汇和语义特征设计指令,并采用持续指令调优(CIT)范式微调大语言模型,在多个指标上超越基线4-6分,优于NMT和多语言LLM 10-13分。
2026-06-11 cs.CL
Prototypical Fine-tuning: Towards Robust Performance Under Varying Data Sizes
Microsoft Research Asia(微软亚洲研究院)
在本文中,我们将大型参数模型与非参数原型网络相结合。我们提出了原型微调,一个新的原型框架微调预训练的语言模型(LM),自动学习的偏见,以提高预测性能的不同数据大小,特别是低资源设置。我们的原型微调方法可以根据数据点的数量和模型的固有属性自动调整模型的容量。此外,我们提出了四个原则,有效的原型微调到最佳的解决方案。在各种数据集上的实验结果表明,我们的工作在各种低资源设置下实现了显着的性能改进,以及在高资源场景下的可比性和通常更好的性能。
2022-11-24 cs.CL cs.LG
Learning Semantic Structure through First-Order-Logic Translation
IRIT(法国图卢兹计算机科学、电子与通信研究所);CNRS(法国国家科学研究中心)
针对Transformer语言模型易混淆谓词与对应宾语的问题,该研究探索问答、一阶逻辑翻译两项任务及提示、微调两种范式,发现大语言模型的一阶逻辑翻译更适合学习谓词论元结构。
2024-10-04 cs.CL cs.LG
Large Language Model for Multi-Domain Translation: Benchmarking and Domain CoT Fine-tuning
Shanghai Jiao Tong University(上海交通大学);Tongyi Lab(通义实验室);University of Macau(澳门大学)
本文构建了覆盖15个领域的多领域翻译基准,并提出领域思维链微调方法,通过引导大语言模型感知源文本领域信息来提升翻译性能,在分布外测试中平均BLEU提高1.53。
2024-10-03 cs.CL
Fine-Tuning Large Language Models to Translate: Will a Touch of Noisy Data in Misaligned Languages Suffice?
Saarland University(萨尔大学);University of Edinburgh(爱丁堡大学);Digital Twin Institute(数字孪生研究院)
本研究重新审视大语言模型翻译微调中数据量、方向、质量三因素的作用,发现少量平行句即可实现多方向翻译,但需注意翻译方向选择与噪声数据影响,避免模型利用非预期数据偏差。
2024-10-04 cs.CL
Eliciting the Translation Ability of Large Language Models via Multilingual Finetuning with Translation Instructions
Bytedance Research(字节跳动研究院);Nanjing University(南京大学)
本研究通过对XGLM-7B进行带翻译指令的多语言微调与分析,揭示多语言LLM翻译能力的影响因素与指令执行机制,证实微调可提升其对未见语言对的翻译表现。
2024-04-15 cs.CL
ReMova: Fine-tuning LLMs for English to Belarusian translation
University of Oslo(奥斯陆大学)
本文提出白俄罗斯语专用数据清洗流程,用于微调英语-白俄罗斯语机器翻译模型,实验表明过滤数据对LLM模型收益显著,数据质量是主要瓶颈。
2026-09-16 cs.CL
Fine-tuning Large Language Models for Adaptive Machine Translation
ADAPT Centre(ADAPT中心);Dublin City University(都柏林城市大学);South East Technological University(东南理工大学)
本文通过微调Mistral 7B模型,利用医学领域零样本与单样本提示,提升其自适应机器翻译能力,在西班牙语到英语翻译中超越基线及NLLB 3.3B,并接近ChatGPT性能。
2023-12-20 cs.CL cs.IR
Building Accurate Translation-Tailored LLMs with Language Aware Instruction Tuning
China University of Petroleum (East China)(中国石油大学(华东));The University of Sydney(悉尼大学);JD Explore Academy(京东探索研究院);Nanyang Technological University(南洋理工大学)
针对LLM翻译中的脱靶问题,提出两阶段微调算法,通过最大似然估计与非似然损失学习指令冲突样本,有效提升翻译方向遵循能力与翻译质量,同时保持通用性能。
2024-03-21 cs.AI cs.CL
Fine-Tuning LLMs for Low-Resource Dialect Translation: The Case of Lebanese
Electrical and Computer Engineering(电子与计算机工程系);American University of Beirut(贝鲁特美国大学)
本文研究了LLMs在低资源黎巴嫩方言翻译中的有效性,通过对比微调等三种方法发现,文化真实的小规模数据优于大规模非原生数据,挑战了“数据越多越好”的范式。
2025-04-30 cs.AI cs.CL
Navigating the Landscape of Large Language Models: A Comprehensive Review and Analysis of Paradigms and Fine-Tuning Strategies
本文针对ChatGPT兴起后大模型快速普及的背景,对大模型的各类微调方法及相关技术进展、先进应用开展了全面综述分析。
2024-04-13 cs.AI cs.CL cs.LG
Towards Better Understanding of Cybercrime: The Role of Fine-Tuned LLMs in Translation
Czech Technical University(捷克技术大学);Rapid7(Rapid7公司);National University of Cuyo (UNCuyo)(库约国立大学)
针对网络犯罪通信翻译的现有痛点,研究提出用微调大语言模型进行翻译,在NoName057(16)组织的公开聊天数据上验证了其准确性与效率,且成本较人工翻译降低430至23000倍。
2024-04-02 cs.CL
Leaner Training, Lower Leakage: Revisiting Memorization in LLM Fine-Tuning with LoRA
Department of Electrical and Computer Engineering University of Toronto(电气与计算机工程系 东京大学)
本研究重新审视了LLM微调中的记忆化问题,发现模型规模和数据重复等因素在LoRA微调中不遵循预训练和全量微调的趋势,且LoRA在保持任务表现的同时显著降低了记忆化风险。
2026-11-02 cs.AI cs.CL cs.CR
How Much Data is Enough Data? Fine-Tuning Large Language Models for In-House Translation: Performance Evaluation Across Multiple Dataset Sizes
Dublin City University(都柏林城市大学);Alpha CRC(阿尔法CRC);Munster Technological University(芒斯特理工大学);ADAPT Centre(ADAPT中心);SALIS
本文评估用企业翻译记忆库微调Llama 3 8B Instruct的内部翻译效果,发现数据量增至207k句段可显著提升多语种指标,但1k至2k样本反而降低性能。
2024-09-10 cs.AI cs.CL
A Paradigm Shift in Machine Translation: Boosting Translation Performance of Large Language Models
Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft(微软公司)
本研究提出ALMA,一种两阶段微调方法(单语数据预训练加少量高质量平行数据微调),使7B/13B参数的LLM在WMT'21和WMT'22的10个翻译方向上平均提升超12 BLEU和COMET,性能超越NLLB-54B和GPT-3.5,开创机器翻译新范式。
2024-02-06 cs.CL
HausaNLP at SemEval-2025 Task 2: Entity-Aware Fine-tuning vs. Prompt Engineering in Entity-Aware Machine Translation
HausaNLP(豪萨NLP);Kaduna State University(卡杜纳州立大学);Ahmadu Bello University(艾哈迈杜·贝洛大学);University of the Witwatersrand(金山大学);Northeastern University(东北大学);Imperial College(帝国理工学院);Data Science for Social Impact, University of Pretoria(比勒陀利亚大学社会影响数据科学中心)
本文报告了我们在 SemEval 2025 任务 2 实体感知机器翻译中的研究,通过比较实体感知微调与提示工程方法,处理命名实体翻译挑战,覆盖 10 种目标语言,并分享了实验结果与见解。
2025-03-25 cs.CL
Jailbreak to Protect: Buffering and Reinforcing via Temporary Jailbreaking for Safe Fine-Tuning in Large Language Models
School of Electrical Engineering, Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院电子工程学院)
针对微调即服务中安全对齐被有害微调攻击削弱的问题,提出一种基于梯度分析的缓冲与强化框架,通过临时越狱适配器减少有害更新并利用QR分解合并强化安全,实现无需额外安全数据的高效防御。
2026-05-23 cs.AI cs.CL cs.LG
Improving Low-Resource Translation with Dictionary-Guided Fine-Tuning and RL: A Spanish-to-Wayuunaiki Study
Universidad de los Andes(洛斯安第斯大学)
本文针对西班牙语到瓦尤纳基语的低资源翻译,提出词典工具增强的决策框架,结合监督微调与GRPO强化学习,使模型学会何时及如何查询词典,在AmericasNLP 2025测试集上取得最高+3.37 BLEU提升和18%相对增益。
2025-08-26 cs.AI cs.CL
Steering Large Language Models for Machine Translation with Finetuning and In-Context Learning
针对大语言模型机器翻译中少样本提示脆弱及传统微调成本高且削弱上下文学习能力的问题,提出在LoRA微调中结合少样本示例的方法,在10个语言对上既恢复了少样本适应能力又保留了微调优势。
2023-10-20 cs.CL
Fine-grained Gender Control in Machine Translation with Large Language Models
LG AI Research(LG AI研究院);Seoul National University(首尔大学);IPAI, Seoul National University(首尔大学IPAI);Institute of Engineering Research, Seoul National University(首尔大学工程研究所)
针对机器翻译中多实体歧义性别问题,提出实体性别(GoE)提示方法,利用细粒度性别信息指导大语言模型,在四个基准上达到最先进性能,并发现性别干扰现象及提出新评估方案。
2024-07-21 cs.CL
Strategies for Improving NL-to-FOL Translation with LLMs: Data Generation, Incremental Fine-Tuning, and Verification
Monash University(莫纳什大学);VinUniversity(文大)
本文针对LLM在自然语言到一阶逻辑翻译中的错误,构建了ProofFOL数据集,并提出包含数据增强与验证的增量微调框架,使LLaMA-2和Mistral等小模型在ProofWriter和ProntoQA上达到SOTA。
2024-09-24 cs.CL
Cultural Adaptation of Menus: A Fine-Grained Approach
University of Edinburgh(爱丁堡大学)
本文引入最大的中英菜单语料库ChineseMenuCSI数据集,定义三级CSI比喻性并开发自动识别方法,首次将人类翻译理论整合到LLM翻译过程,显著提升翻译准确率。
2024-08-24 cs.CL
Panacea: Mitigating Harmful Fine-tuning for Large Language Models via Post-fine-tuning Perturbation
Tsinghua University(清华大学);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Didichuxing Co. Ltd(滴滴出行有限公司);Nanyang Technological University(南洋理工大学)
Panacea通过自适应扰动优化,在保持微调性能的同时缓解大语言模型的有害微调问题
2026-01-16 cs.AI cs.CL
Investigating Public Fine-Tuning Datasets: A Complex Review of Current Practices from a Construction Perspective
Shanghai AI Laboratory(上海人工智能实验室)
本文从构建视角综述公开微调数据集,梳理其演进与分类,详述大语言模型微调数据集的构建技术,总结不同数据准备阶段的特征,为未来微调数据集的构建与发展提供参考。
2024-07-11 cs.CL
Impact of Fine-Tuning Methods on Memorization in Large Language Models
George Mason University(乔治·马歇尔大学)
本文通过成员推断攻击评估不同微调方法对大语言模型记忆化及隐私泄露的影响,发现基于提示的微调在保持性能的同时比基于参数的微调更具隐私保护性。
2025-06-30 cs.AI cs.CL
Yes-MT's Submission to the Low-Resource Indic Language Translation Shared Task in WMT 2024
IIIT Hyderabad(IIIT海得拉巴)
Yes-MT在WMT 2024低资源印地语翻译共享任务中,通过多种方法探索低资源翻译挑战,展示了LLMs在微调下的表现。
2025-12-17 cs.AI cs.CL
Transcribe, Translate, and Optimize: Joint Reward Learning for Speech Translation
University of Iowa(爱荷华大学)
针对语音翻译中思维链训练与推理不匹配问题,提出基于GRPO的联合识别与翻译微调方法,在CoVoST 2和FLEURS上显著提升BLEU并降低WER。
2026-09-23 cs.CL eess.AS
Fine-Tuned Large Language Models for Logical Translation: Reducing Hallucinations with Lang2Logic
Pennsylvania State University(宾夕法尼亚州立大学)
本文提出了一种通过微调大型语言模型来减少逻辑翻译中幻觉的框架,利用自定义语法和符号计算库生成可靠的合取范式。
2025-12-02 cs.AI cs.CL
Learn2Zinc: Fine-tuning Small Language Models for Text-to-Model Translation in MiniZinc
AI Center of Excellence, Fidelity Investments(富达投资卓越人工智能中心);Department of Computer Science, Brown University(布朗大学计算机科学系)
研究针对小型语言模型在MiniZinc文本到模型翻译的难题,提出跨模型错误引导方法,收集语法错误构建训练数据集微调模型,提升执行准确率至98%,虽语法可学但约束推理仍具挑战,且开源相关资源供后续研究。
2026-07-24 cs.AI cs.CL
Amuro and Char: Analyzing the Relationship between Pre-Training and Fine-Tuning of Large Language Models
Johns Hopkins University(约翰斯·霍普金斯大学)
该研究通过微调多个中间预训练检查点并在18个数据集上评估,揭示大语言模型预训练能力的延迟显现、微调收益差异、知识遗忘及提示敏感性规律。
2025-03-18 cs.AI cs.CL
FineTuneBench: How well do commercial fine-tuning APIs infuse knowledge into LLMs?
Stanford University(斯坦福大学)
研究提出评估框架FineTuneBench,测试商业微调API对LLM的知识注入与更新能力,发现现有模型学习新知识平均准确率仅37%,更新知识仅19%,揭示了商业微调服务在可靠知识注入上的重大缺陷。
2024-11-11 cs.AI cs.CL cs.IR
Simultaneous paraphrasing and translation by fine-tuning Transformer models
Amazon.com, Inc.(亚马逊公司)
本文介绍了在ACL 2020第四届神经生成和翻译(WNGT)研讨会上,语言教育同声翻译和释义共享任务的第三名提交。最终的系统利用预先训练的翻译模型,并使用Transformer架构与过采样策略相结合,以实现有竞争力的性能。该系统在匈牙利语(加权宏F1评分绝对提高27%)和葡萄牙语(绝对提高33%)上的表现明显优于基线。
2020-05-12 cs.CL cs.LG
Simultaneous Masking, Not Prompting Optimization: A Paradigm Shift in Fine-tuning LLMs for Simultaneous Translation
Oregon State University(俄勒冈州立大学)
针对现有同传大模型微调的提示优化方法存在训练集冗余、计算低效等问题,本文提出基于注意力掩码的SimulMask微调新范式,在多语言对上实现翻译质量提升与成本降低。
2024-10-09 cs.CL cs.LG
The Fine-Tuning Paradox: Boosting Translation Quality Without Sacrificing LLM Abilities
Amazon AI(亚马逊人工智能);University of Amsterdam(阿姆斯特丹大学)
本文评估 LLaMA 与 Falcon 微调后的翻译能力,发现质量提升伴随可引导性、少样本技术翻译和文档级翻译退化,而加入单语数据可兼顾能力保持与质量增强。
2024-08-06 cs.CL
Two Intermediate Translations Are Better Than One: Fine-tuning LLMs for Document-level Translation Refinement
School of Computer Science and Technology, Soochow University(苏州大学计算机科学与技术学院);Huawei Translation Services Center(华为翻译中心)
本文提出利用句子级和文档级两个中间翻译微调大语言模型进行文档级翻译精炼,并引入质量感知加权方法,在多个翻译任务上验证了其有效性。
2025-04-08 cs.CL
Creating Domain-Specific Translation Memories for Machine Translation Fine-tuning: The TRENCARD Bilingual Cardiology Corpus
Universitat Autònoma de Barcelona(巴塞罗那自治大学)
本文提出一种由译者主导的半自动翻译记忆构建方法,并据此从土耳其心脏病学期刊双语摘要构建了约80万词、5万句的TRENCARD土英双语语料库,用于机器翻译及大语言模型微调。
2024-09-04 cs.CL
How Far Can 100 Samples Go? Unlocking Overall Zero-Shot Multilingual Translation via Tiny Multi-Parallel Data
University of Amsterdam(阿姆斯特丹大学)
本文研究多语言机器翻译的零样本翻译问题,发现以英语为中心的模型仅用100个多语平行样本微调,即可在870个非英语方向上取得最高+21.7 ChrF的提升并缓解目标语偏离。
2024-02-26 cs.CL cs.LG
Robust Tuning Datasets for Statistical Machine Translation
Qatar Computing Research Institute, HBKU(卡塔尔计算研究所,哈马德·本·哈利法大学)
我们探讨了自动制作用于统计机器翻译(SMT)的调优数据集的想法,该调优数据集使得SMT系统的超参数相对于参数调优算法的一些特定缺陷更加鲁棒。这是一个未充分探索的研究方向,可以更好地进行参数调整。在本文中,我们通过选择可用的句子对的子集来实现这一目标,这些句子对更适合于优化器,目标函数和评估措施的特定组合。我们展示了潜在的想法与成对排名优化(PRO)优化器,这是已知的产生太短的翻译。我们表明,学习问题可以减轻调整的发展集的子集,根据句子长度选择。特别是,使用最长的50%的调优语句,我们实现了两倍的调优加速,并改善了BLEU分数,与替代方案相媲美,而替代方案则修复了BLEU+1的平滑。
2017-10-01 cs.CL
Coursera Corpus Mining and Multistage Fine-Tuning for Improving Lectures Translation
Kyoto University(京都大学);National Institute of Information and Communications Technology(国立信息与通信技术研究所)
讲座翻译是口语翻译的一种,缺乏公开的平行语料库。为了解决这个问题,我们研究了一个独立于语言的并行语料库挖掘框架,这是一种快速有效的方法,可以从Coursera公开的讲座中挖掘并行语料库。我们的方法确定句子对齐,依赖于机器翻译和余弦相似性在连续空间的句子表示。我们还展示了如何使用由此产生的语料库在多级微调为基础的领域自适应高质量的讲座翻译。对于日语-英语讲座翻译,我们提取了大约40,000行的并行数据,并通过手动过滤创建了开发和测试集,以衡量翻译性能。我们证明,挖掘语料库大大提高了翻译质量时,结合使用域外的平行语料库,通过多级训练。本文还提出了一些指导原则,以收集和清理语料库,挖掘平行句子,解决挖掘数据中的噪音,并创建高质量的评估分裂。为了可重复性,我们将发布并行数据创建的代码。
2020-01-14 cs.AI cs.CL cs.LG
Learning from others' mistakes: Finetuning machine translation models with span-level error annotations
Google(谷歌公司);New York University(纽约大学)
本文提出带标注训练(TWA)算法,利用片段级错误标注微调机器翻译模型,在英德和中英翻译任务上优于监督微调和直接偏好优化基线。
2024-10-21 cs.CL cs.LG
Simple, Scalable Adaptation for Neural Machine Translation
Google AI(谷歌人工智能)
微调预训练的神经机器翻译(NMT)模型是适应新语言和领域的主要方法。然而,微调需要为每个目标任务调整和维护单独的模型。我们提出了一个简单而有效的方法来适应NMT。我们提出的方法包括将微小的特定于任务的适配器层注入到预先训练的模型中。这些轻量级的适配器,只有原始模型大小的一小部分,使模型同时适应多个单独的任务。我们在两个任务上评估我们的方法:(i)领域自适应和(ii)大规模多语言NMT。领域自适应的实验表明,我们提出的方法是与各种领域,数据集大小和模型容量的全面微调。在一个包含103种语言的大规模多语言数据集上,我们的自适应方法弥合了单个双语模型与大多数语言对的大规模多语言模型之间的差距,为通用机器翻译铺平了道路。
2019-09-18 cs.CL cs.LG
Lightweight Adapter Tuning for Multilingual Speech Translation
Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学);CNRS(法国国家科学研究中心);LIG(格勒诺布尔信息学实验室);Facebook AI(脸书人工智能);Naver Labs Europe(Naver欧洲实验室)
适配器模块最近被引入作为NLP中微调的有效替代方案。适配器调优包括冻结模型的预训练参数,并在层之间注入轻量级模块,从而仅添加少量特定于任务的可训练参数。在研究多语言神经机器翻译适配器调优的同时,本文提出了多语言语音翻译(ST)适配器的全面分析。从不同的预训练模型开始(在并行数据上训练的多语言ST或在非并行多语言数据上训练的多语言BART(mBART)),我们表明适配器可用于:(a)以参数方面的低额外成本将ST有效地专门化为特定语言对,以及(b)从自动语音识别(ASR)任务和mBART预训练模型转换为多语言ST任务。实验表明,适配器调整提供了与完全微调相竞争的结果,同时参数效率更高。
2021-07-12 cs.CL
BERTTune: Fine-Tuning Neural Machine Translation with BERTScore
RoZetta Technology(罗泽塔科技);University of Technology Sydney(悉尼科技大学)
神经机器翻译模型通常偏向于训练期间看到的有限翻译参考。为了修正这种形式的过拟合,在本文中,我们提出了一个新的训练目标的基础上最近提出的BERTScore评估指标微调模型。BERTScore是一个基于上下文嵌入的评分函数,它克服了基于n-gram的度量(例如同义词,释义)的典型限制,允许与参考文献不同但在上下文嵌入空间中接近的翻译被视为基本正确。为了能够使用BERTScore作为训练目标,我们提出了三种生成软预测的方法,使网络保持端到端的完全可区分。在四个不同的语言对上进行的实验在微调强基线时,BLEU分数提高了0.58 pp(3.28%),BERTScore(F_BERT)提高了0.76 pp(0.98%)。
2021-06-04 cs.CL
On the Interplay Between Fine-tuning and Sentence-level Probing for Linguistic Knowledge in Pre-trained Transformers
Saarland University(萨尔兰大学)
微调预训练的上下文嵌入模型已经成为NLP管道的一个组成部分。与此同时,探测已经成为一种调查预训练模型捕获的语言知识的方法。然而,人们对微调如何影响预训练模型的表示以及它们编码的语言知识知之甚少。本文件有助于缩小这一差距。我们研究了三种不同的预训练模型:BERT、RoBERTa和AL BERT,并通过事件级探测来研究微调如何影响它们的表示。我们发现,对于一些探测任务,微调会导致准确性发生重大变化,这可能表明微调会从预先训练的模型中引入甚至删除语言知识。然而,这些变化在不同的模型、微调和探测任务中差异很大。我们的分析表明,虽然微调确实改变了预训练模型的表示,并且这些变化通常对于更高层来说更大,但只有在极少数情况下,微调对探测准确性的积极影响大于仅使用预训练模型和强大的池化方法。根据我们的研究结果,我们认为,积极和消极的影响微调探测需要仔细的解释。
2020-10-06 cs.CL cs.LG
MetaMetrics-MT: Tuning Meta-Metrics for Machine Translation via Human Preference Calibration
University of Toronto(多伦多大学);Boston University(波士顿大学);Monash Indonesia(莫纳什印度尼西亚分校);Capital One(第一资本金融公司)
该研究提出了通过人类偏好校准、基于高斯过程贝叶斯优化的机器翻译评估元指标MetaMetrics-MT,在WMT24数据集有参考设置下超越现有基线达SOTA,无参考设置下性能领先且效率更高。
2024-11-01 cs.AI cs.CL cs.LG
Cross-Attention is All You Need: Adapting Pretrained Transformers for Machine Translation
Information Sciences Institute(信息科学研究所);University of Southern California(南加州大学)
我们在机器翻译的迁移学习背景下研究了Transformer架构中的交叉注意力,并将研究结果扩展到从头开始训练时的交叉注意力。我们进行了一系列的实验,通过微调的数据源或目标语言已经改变的翻译模型。这些实验表明,仅微调交叉注意参数几乎与微调所有参数一样有效(即,整个翻译模式)。我们提供的见解,为什么会出现这种情况,并观察到,以这种方式限制微调产生跨语言对齐的嵌入。这一发现对研究人员和从业者的影响包括减轻灾难性遗忘,zero-shot翻译的潜力,以及将机器翻译模型扩展到几种新语言对的能力,同时减少参数存储开销。
2021-09-14 cs.CL
Multitask Finetuning for Improving Neural Machine Translation in Indian Languages
Savitribai Phule Pune University(萨维特里拜·普纳大学)
基于Transformer的语言模型在自然语言处理的所有领域都取得了令人印象深刻的结果。在语言建模任务上对这些模型进行预训练,并在文本分类、问答和神经机器翻译等下游任务上对它们进行微调,一直显示出示范性的结果。在这项工作中,我们提出了一个多任务微调方法,它结合了双语机器翻译任务与辅助因果语言建模任务,以提高性能的前一个任务上的印度语言。我们对三种语言对进行了实证研究,马拉地语-印地语,马拉地语-英语和印地语-英语,在那里我们将多任务微调方法与标准微调方法进行了比较,为此我们使用了mBART 50模型。我们的研究表明,多任务微调方法可能是一种比标准微调更好的技术,可以提高跨语言对的双语机器翻译。
2021-12-03 cs.CL
LayerNorm: A key component in parameter-efficient fine-tuning
Drexel University(德雷塞尔大学);School of Biomedical Engineering(生物医学工程学院)
本文分析 BERT 微调中变化最大的组件,发现输出 LayerNorm 最为关键,并证明仅微调 LayerNorm 或其一小部分即可在 GLUE 任务上达到与全量微调相当的性能。
2024-03-29 cs.CL cs.LG