Enhancing Multimodal Continual Instruction Tuning with BranchLoRA
Mohamed bin Zayed University of Artificial Intelligence(Mohamed bin Zayed大学人工智能学院);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Kyoto University(京都大学);Tencent AI Lab(腾讯AI实验室);Tomorrow Advancing Life(明天生命科技)
针对多模态持续指令微调中MoELoRA的参数低效与灾难性遗忘问题,本文提出非对称框架BranchLoRA,通过微调-冻结机制、任务特定路由器和任务选择器提升效率与性能,并在多种MLLM规模上显著优于MoELoRA。
2025-05-31 cs.AI cs.CL
PROST-LLM: Progressively Enhancing the Speech-to-Speech Translation Capability in LLMs
The Chinese University of Hong Kong Huawei Artificial Intelligence Laboratory (Leibniz)(香港中文大学华为人工智能实验室(莱布尼茨))
PROST-LLM通过逐步增强方法提升大语言模型在语音到语音翻译中的能力,采用三任务学习和模态链方法,结合自我采样和回译生成偏好对,最终通过偏好优化提升翻译性能。
2026-01-23 cs.CL
Enhancing Machine Translation through Advanced In-Context Learning: A Methodological Strategy for GPT-4 Improvement
Waseda University(早稻田大学)
本文提出一种基于上下文学习的机器翻译策略,通过精选与用户提示语义相似的示范数据,显著提升 GPT-4 翻译准确性,无需特定任务微调,为跨文化交流开辟新途径。
2023-11-15 cs.CL
Enhancing Gender-Inclusive Machine Translation with Neomorphemes and Large Language Models
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
针对机器翻译存在性别偏见、难以实现性别包容的问题,研究探索用大语言模型提示技术结合新语素完成英意翻译,并发布评估资源Neo-GATE,测试了不同大模型与提示格式在该任务上的表现。
2024-05-14 cs.CL
DUAL-REFLECT: Enhancing Large Language Models for Reflective Translation through Dual Learning Feedback Mechanisms
Pengcheng Laboratory(鹏城实验室);School of Computer Science and Technology, Harbin Institute of Technology(哈尔滨工业大学计算机科学与技术学院)
针对现有大语言模型自反思翻译方法缺乏有效反馈的问题,提出DUAL-REFLECT框架,借助翻译任务对偶学习提供反馈以增强自反思能力,可提升翻译准确率、消除歧义,在低资源语言对翻译中效果显著。
2024-06-21 cs.AI cs.CL
Enhancing Contrastive Demonstration Selection with Semantic Diversity for Robust In-Context Machine Translation
Universiti Teknologi Malaysia(马来西亚工艺大学)
针对上下文学习中演示选择忽视多样性的问题,提出DiverseConE方法,在对比选择基础上加入嵌入空间多样性增强步骤,实验证明其在多语言对翻译任务中持续优于多种基线方法,有效提升翻译质量。
2025-04-12 cs.CL
Enhancing Entertainment Translation for Indian Languages using Adaptive Context, Style and LLMs
Sony Research India(索尼印度研究院)
本文提出首个娱乐翻译框架,通过估计会话上下文与风格来生成提示并引导LLM翻译,在多种LLM上显著提升COMET分数和胜率。
2024-12-29 cs.CL
A Novel Paradigm Boosting Translation Capabilities of Large Language Models
Huawei Translation Services Center(华为翻译服务中心)
本研究提出三阶段新范式提升大语言模型翻译能力,通过预训练阶段增强跨语言对齐,仅用小规模高质量双语数据和7B/13B参数量,性能超越多款大参数模型。
2024-04-15 cs.CL
Towards Continual Learning for Multilingual Machine Translation via Vocabulary Substitution
Google Research(谷歌研究院)
我们提出了一个简单的词汇自适应方案,以扩展多语言机器翻译模型的语言能力,为多语言机器翻译的有效持续学习铺平了道路。我们的方法适用于大规模数据集,适用于具有看不见的脚本的遥远语言,对原始语言对的翻译性能只会产生轻微的退化,即使在我们只拥有新语言的单语数据的情况下,也能提供有竞争力的性能。
2021-03-11 cs.CL
Continual Pre-Training is (not) What You Need in Domain Adaption
National Taiwan University(国家台湾大学);Taipei Medical University(台北医学大学);NVIDIA AI Technology Center, NVIDIA Corporation(NVIDIA AI技术中心,NVIDIA公司)
本文研究领域自适应持续预训练(DACP)对大语言模型(LLMs)法律推理能力的影响,通过台湾法律框架下的实验发现DACP虽增强领域知识但未统一提升所有法律任务性能,提出优化法律AI领域自适应的方向。
2025-04-18 cs.CL
LLaMAX: Scaling Linguistic Horizons of LLM by Enhancing Translation Capabilities Beyond 100 Languages
Shanghai AI Laboratory(上海人工智能实验室);Nanjing University(南京大学);Carnegie Mellon University(卡内基梅隆大学)
本文通过增强LLaMA系列模型的多语言持续预训练,提出LLaMAX模型,支持100多种语言翻译,在不损失泛化能力下显著超越现有开源LLM并媲美专用翻译模型。
2024-10-12 cs.AI cs.CL
Multilingual Machine Translation with Open Large Language Models at Practical Scale: An Empirical Study
Xiaomi Inc.(小米公司)
本研究探索了小于10B参数的开源大模型的多语言翻译能力,提出PFMS数据混合策略,构建9B的GemmaX2-28模型,在28种语言上超越SOTA模型,媲美Google Translate和GPT-4-turbo。
2025-02-24 cs.CL
Vi-Mistral-X: Building a Vietnamese Language Model with Advanced Continual Pre-training
AgileSoDA Inc.(敏捷索达公司)
本文提出专为越南语设计的语言模型vi-mistral-x,基于Mistral架构采用分组查询与滑动窗口注意力进行持续预训练,在文本分类、问答及生成等基准上显著优于现有越南语模型。
2024-03-20 cs.CL
Enhancing E-commerce Product Title Translation with Retrieval-Augmented Generation and Large Language Models
Amazon(亚马逊公司)
针对电商标题翻译中缺乏上下文和术语的问题,提出检索增强生成方法,利用双语示例作为少样本提示,提升LLM翻译质量,chrF最高提升15.3%。
2024-09-19 cs.AI cs.CL cs.LG
COPAL: Continual Pruning in Large Language Generative Models
Samsung Semiconductor(三星半导体)
本文提出COPAL持续剪枝算法,通过敏感性分析在持续适配场景下剪枝大型语言生成模型,无需微调或重训练即可高效适配新领域并优于基线模型。
2024-06-14 cs.AI cs.CL cs.LG
Agent AI with LangGraph: A Modular Framework for Enhancing Machine Translation Using Large Language Models
Ferret Relationship Intelligence(雪貂关系智能公司);China Telecom Shanghai Company(中国电信上海公司)
本文提出结合 Agent AI 与 LangGraph 的模块化机器翻译框架,利用专门翻译智能体和 GPT-4o 实现上下文感知、可扩展的多语言翻译工作流。
2024-12-05 cs.AI cs.CL
TaCo: Enhancing Cross-Lingual Transfer for Low-Resource Languages in LLMs through Translation-Assisted Chain-of-Thought Processes
University of New Haven(纽黑文大学)
本文提出含132种语言翻译的MITS数据集及翻译辅助思维链方法TaCo,通过课程学习低成本增强LLM低资源跨语言迁移,低资源语言评测性能较单纯指令微调翻倍。
2024-04-05 cs.AI cs.CL
Continual Knowledge Distillation for Neural Machine Translation
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京国家信息科学与技术研究中心);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Institute for AI Industry Research (AIR), Tsinghua University(清华大学人工智能产业研究院(AIR))
针对平行语料难获取的问题,提出面向神经机器翻译的持续知识蒸馏方法,通过依次迁移现有训练模型的知识改进目标模型,在多数据集上均有显著提升且对恶意模型鲁棒。
2023-06-12 cs.CL
MathGenie: Generating Synthetic Data with Question Back-translation for Enhancing Mathematical Reasoning of LLMs
The Chinese University of Hong Kong(香港中文大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对开源大模型数学推理弱于闭源模型的问题,提出MathGenie方法通过解答增强与问题回译生成合成数据,训练的MathGenieLM系列模型在多个数学推理基准上达到开源最优。
2024-09-11 cs.AI cs.CL
COPR: Continual Learning Human Preference through Optimal Policy Regularization
Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳));Peng Cheng Laboratory(鹏城实验室);King’s College London(伦敦国王学院);National University of Defense Technology(国防科技大学)
针对RLHF模型需反复重训练以适应新人类偏好的资源与隐私问题,提出COPR方法,通过绕过配分函数计算最优策略分布并基于历史分布正则化当前策略以缓解灾难性遗忘,实现无需复杂强化学习的持续对齐。
2024-03-26 cs.CL cs.LG
Continual Learning of Neural Machine Translation within Low Forgetting Risk Regions
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent(腾讯)
本文考虑了大规模预训练神经机器翻译模型的持续学习,而不访问以前的训练数据或引入模型分离。我们认为,广泛使用的正则化为基础的方法,执行多目标学习与辅助损失,遭受错误估计的问题,并不能总是实现以前的和新的任务之间的良好平衡。为了解决这个问题,我们提出了一个两阶段的训练方法的基础上的局部特征的实际损失。我们首先搜索低遗忘风险区域,当参数更新时,模型可以保持前一个任务的性能,以避免灾难性遗忘问题。然后,我们可以在该区域内仅使用新的训练数据来继续训练模型以适应新的任务。具体地说,我们提出了两种方法来搜索低遗忘风险区域,这是基于损失的曲率和参数对模型输出的影响,分别。我们对领域自适应和更具挑战性的语言自适应任务进行了实验,实验结果表明,与几个强基线相比,我们的方法可以取得显著的改进。
2022-11-04 cs.CL
MedCOD: Enhancing English-to-Spanish Medical Translation of Large Language Models Using Enriched Chain-of-Dictionary Framework
Center for Healthcare Organization and Implementation Research, VA Bedford Health Care(医疗组织与实施研究中心,VA贝德福德医疗中心);Miner School of Computer and Information Sciences, University of Massachusetts Lowell(矿物计算机与信息科学学院,马萨诸塞州立大学洛厄尔分校);Manning College of Information and Computer Sciences, University of Massachusetts Amherst(曼宁信息与计算机科学学院,马萨诸塞州立大学阿姆赫斯特分校)
MedCOD 通过融合 UMLS 与 LLM-KB 的结构化医学知识并配合 LoRA 微调,显著提升多个开源大语言模型的英译西医学翻译质量,超越 GPT-4o 等强基线模型。
2025-09-19 cs.AI cs.CL
EPI-SQL: Enhancing Text-to-SQL Translation with Error-Prevention Instructions
Jiangxi University of Finance and Economics(江西财经大学)
本文提出EPI-SQL框架,通过从Spider数据集生成通用错误预防指令并结合上下文定制,在零样本下使LLMs规避潜在错误,实现85.1%的执行准确率,性能媲美高级少样本方法。
2024-04-21 cs.AI cs.CL cs.DB
F-MALLOC: Feed-forward Memory Allocation for Continual Learning in Neural Machine Translation
School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Institute of Automation, CAS(中国科学院自动化研究所)
F-MALLOC通过将前馈层分解为离散记忆单元并按任务分配,有效缓解神经机器翻译持续学习中的灾难性遗忘,同时保持系统可扩展性,实验显示更高BLEU分数和几乎零遗忘。
2024-10-22 cs.CL
Hephaestus: Improving Fundamental Agent Capabilities of Large Language Models through Continual Pre-Training
Georgia Institute of Technology(佐治亚理工学院);Amazon(亚马逊公司)
针对面向智能体的预训练数据稀缺问题,提出首个大规模语料库Hephaestus-Forge(含103B智能体专用数据),通过持续预训练提升LLM智能体的API调用、推理规划等基础能力,在三个基准上优于中小开源LLM且媲美商业LLM。
2025-02-10 cs.AI cs.CL cs.LG
KIT-TIP-NLP at MultiPride: Continual Learning with Multilingual Foundation Model
Text Information Processing Lab, Kitami Institute of Technology, Kitami, Hokkaido 090-0015, Japan(函授信息处理实验室,Kitami理工学院,日本北海道Kitami,090-0015)
本文提出了一种多阶段框架,用于检测社交媒体中多语言的重新使用侮辱性语言。该框架解决了跨英语、西班牙语和意大利语推文中识别重新使用与非重新使用LGBTQ+相关侮辱性语言的挑战,通过数据驱动的模型选择、语义保留的增强、归纳迁移学习和领域特定知识注入等方法,提高了多语言情感表达的识别能力。
2026-05-18 cs.AI cs.CL cs.LG
Investigating Catastrophic Forgetting During Continual Training for Neural Machine Translation
University of Chinese Academy of Sciences(中国科学院大学)
神经机器翻译(NMT)模型通常在连续训练期间遭受灾难性遗忘,其中模型倾向于逐渐忘记先前学习的知识并摆动以拟合可能具有不同分布(例如,不同域)的新添加的数据。虽然已经提出了许多方法来解决这个问题,但我们还不能知道是什么导致了这种现象。在领域适应的背景下,我们从模块和参数(神经元)的角度探讨了灾难性遗忘的成因。通过对NMT模型中各模块的研究发现,有些模块与通用领域知识有着紧密的联系,而有些模块则是领域自适应中更为重要的模块。对参数的研究表明,某些参数对一般域和域内翻译都很重要,在连续训练过程中参数的较大变化会导致一般域的翻译性能下降。我们在不同的语言对和领域进行实验,以确保我们的研究结果的有效性和可靠性。
2020-11-30 cs.AI cs.CL
Enhancing Continual Relation Extraction via Classifier Decomposition
Peking University(北京大学);Tencent Cloud AI(腾讯云人工智能)
针对持续关系抽取中朴素策略导致的分类器偏差和表示偏差,提出分类器分解框架,拆分FFN层以维持旧知识并增强表示鲁棒性,在两个基准上超越现有最优模型。
2023-05-08 cs.CL
Continual Mixed-Language Pre-Training for Extremely Low-Resource Neural Machine Translation
Center for Artificial Intelligence Research (CAiRE)(人工智能研究中心);Department of Electronic and Computer Engineering(电子与计算机工程系);The Hong Kong University of Science and Technology(香港科技大学)
低资源语言中的数据稀缺已经成为构建强大的神经机器翻译系统的瓶颈。微调多语言预训练模型(例如,mBART(Liu等人,2020年))是一个很好的方法,用于低资源语言;然而,当翻译对中有看不见的语言时,它的性能将受到极大的限制。在本文中,我们提出了一个mBART的持续预训练(CPT)框架,以有效地适应看不见的语言。我们首先从翻译对中目标语言的单语语料库中构建噪声混合语言文本,以覆盖源语言和目标语言,然后,我们继续预训练mBART来重建原始单语文本。结果表明,我们的方法可以在mBART基线以及其他强基线上,在所有测试的包含未见过语言的低资源翻译对中持续提高微调性能。此外,我们的方法还提高了翻译对的性能,其中两种语言都可以在原始mBART的预训练中看到。该代码可在https://github.com/zliucr/cpt-nmt上获得。
2021-05-09 cs.AI cs.CL
Enhancing Contrastive Learning with Noise-Guided Attack: Towards Continual Relation Extraction in the Wild
Fudan University(复旦大学)
本文提出噪声持续关系抽取场景及NaCL框架,通过噪声引导攻击修改特征空间以匹配噪声标签,增强对比表示,在噪声率增加时持续提升性能并优于现有基线。
2023-05-11 cs.CL
Overcoming Catastrophic Forgetting beyond Continual Learning: Balanced Training for Neural Machine Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
神经网络在从动态数据分布中顺序学习多个任务时,往往会逐渐忘记先前学习的知识。这个问题被称为\textit{catastrophic forgetting},这是神经网络的持续学习中的一个基本挑战。在这项工作中,我们观察到灾难性遗忘不仅发生在持续学习中,而且也影响了传统的静态训练。神经网络,特别是神经机器翻译模型,即使从静态训练集学习,也会遭受灾难性遗忘。具体来说,最终模型对训练样本的关注不平衡,最近暴露的样本比早期样本吸引更多的关注。其根本原因是训练样本在每次模型更新时都没有得到均衡的训练,因此我们将此问题命名为\textit{imbalanced training}。为了缓解这个问题,我们提出了补充在线知识蒸馏(COKD),它使用动态更新的教师模型训练特定的数据订单迭代提供补充知识的学生模型。多个机器翻译任务的实验结果表明,我们的方法成功地解决了不平衡的训练问题,并取得了实质性的改善强基线系统。
2022-03-18 cs.AI cs.CL
Self-generated Replay Memories for Continual Neural Machine Translation
University of Pisa(比萨大学)
针对神经机器翻译的灾难性遗忘问题,利用编码器-解码器Transformer的生成能力,提出一种通过模型自身生成平行句填充重放记忆的持续学习方法,有效对抗遗忘且无需显式记忆训练数据。
2024-03-19 cs.AI cs.CL cs.LG
Improving Language Models Trained on Translated Data with Continual Pre-Training and Dictionary Learning Analysis
Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
本文研究翻译数据训练低资源语言模型的缺陷,提出用仅占原始数据1%的高质量合成故事进行持续预训练,并结合字典学习分析验证该方法能有效缓解机器翻译带来的质量与文化偏见问题。
2024-08-07 cs.CL
Enhancing Machine Translation with Dependency-Aware Self-Attention
University of Copenhagen(哥本哈根大学);Tokyo Institute of Technology(东京工业大学)
大多数神经机器翻译模型只依赖于成对的平行句子,假设句法信息是由注意力机制自动学习的。在这项工作中,我们研究了不同的方法,将句法知识的Transformer模型,并提出了一种新的,无参数,依赖意识的自我注意力机制,提高其翻译质量,特别是对于长句和低资源的情况下。我们展示了每种方法对WMT英语-德语和英语-土耳其语以及WAT英语-日语翻译任务的有效性。
2020-04-21 cs.CL
Efficient Continual Learning in Neural Machine Translation: A Low-Rank Adaptation Approach
Pattern Recognition and Human Language Technology, Universitat Politècnica de València(模式识别与人类语言技术,瓦伦西亚理工大学);Valencian Graduate School and Research Network of Artificial Intelligence, Universitat Politècnica de València(瓦伦西亚人工智能研究生学院与研究网络,瓦伦西亚理工大学)
本文提出了一种低秩适应方法,用于解决神经机器翻译中的持续学习问题,通过参数高效的方法实现语言和领域适应,同时减少计算成本。
2025-12-10 cs.AI cs.CL
Code-Switching for Enhancing NMT with Pre-Specified Translation
Soochow University(苏州大学);Alibaba DAMO Academy(阿里巴巴达摩院);Westlake University(西湖大学)
利用用户提供的翻译来约束NMT具有现实意义。现有的方法可以分为两大类,即使用占位符标记的词汇和使用硬约束在解码过程中。由于各种原因,这两种方法都可能损害翻译保真度。我们研究了一种数据增强方法,通过用目标翻译替换源短语来生成代码转换的训练数据。我们的方法不改变MNT模型或解码算法,允许模型通过复制源端目标词来学习词典翻译。大量的实验表明,我们的方法实现了一致的改进,现有的方法,提高了翻译的约束词,而不伤害不受约束的话。
2019-05-16 cs.CL
Continual Pre-Training for Cross-Lingual LLM Adaptation: Enhancing Japanese Language Capabilities
Tokyo Institute of Technology(东京工业大学);Global Scientific Information and Computing Center, Tokyo Institute of Technology(东京工业大学全球科学信息与计算中心)
本研究通过扩展Llama 2词汇表并进行大规模日语网络语料库持续预训练,构建了增强日语能力的LLM——Swallow,其性能优于从头训练的模型,并验证了词汇扩展与平行语料库的有效性。
2024-04-27 cs.AI cs.CL
Enhancing Entity Aware Machine Translation with Multi-task Learning
Japan Advanced Institute of Science and Technology(日本先进科学研究院)
本文提出一种多任务学习方法,同时优化命名实体识别和机器翻译子任务,以提升实体感知机器翻译性能,并在SemEval 2025任务2数据集上验证了效果。
2025-06-23 cs.CL
Enhancing Context Modeling with a Query-Guided Capsule Network for Document-level Translation
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);Tencent Inc(腾讯公司)
上下文建模对于为文档级神经机器翻译生成连贯一致的翻译至关重要。目前广泛使用的文档级翻译方法通常通过层次注意网络将上下文信息压缩成一种表示形式。然而,这种方法既没有考虑上下文词之间的关系,也没有区分上下文词的角色。为了解决这个问题,我们提出了一个查询引导的胶囊网络聚类上下文信息到不同的角度,从目标翻译可能关注。实验结果表明,我们的方法可以显着优于强基线的多个数据集的不同领域。
2019-11-21 cs.CL
Sub-Word Alignment Is Still Useful: A Vest-Pocket Method for Enhancing Low-Resource Machine Translation
Soochow University(苏州大学)
我们利用对齐子词之间的嵌入重复来扩展父子迁移学习方法,从而改进低资源机器翻译。我们在My-En,Id-En和Tr-En翻译场景的基准数据集上进行实验。测试结果表明,我们的方法产生了实质性的改善,实现的BLEU分数分别为22.5,28.0和18.1。此外,该方法计算效率高,将训练时间消耗减少了63.8%,在Tesla 16 GB P100 GPU上训练时达到1.6小时。实验中的所有模型和源代码都将公开,以支持可重复的研究。
2022-05-09 cs.CL
A Hybrid Model for Enhancing Lexical Statistical Machine Translation (SMT)
Sadat Academy for Management Sciences(萨达特管理科学院)
统计机器翻译系统的兴趣增加,目前由于在世界上的政治和社会事件。提出了一种基于统计机器翻译(SMT)的模型,该模型可以用于通过有效地结合不同的统计和自然语言处理(NLP)模型(诸如语言模型、对齐模型、基于短语的模型、重排序模型和翻译模型)来自动地将句子从源语言(英语)翻译成目标语言(阿拉伯语)。这些模型相结合,以提高统计机器翻译(SMT)的性能。在这项工作中使用了许多实现工具,如Moses,Gizaa++,IRSTLM,KenLM和BLEU。通过对该模型的实现和评价,以及与Google Translate等其他机器翻译系统的比较,证明了该模型增强了统计机器翻译的效果,是该领域一种可靠、高效的翻译模型。
2015-06-03 cs.CL
Improving Continual Pre-training Through Seamless Data Packing
School of Computer Science, Fudan University(复旦大学计算机学院)
针对持续预训练中传统数据打包导致的过度截断与上下文不连续问题,提出无缝打包(SP)策略,结合滑动窗口与 First-Fit-Decreasing 算法保留上下文并减少填充,在 99% 的设置中优于基线方法。
2025-05-29 cs.CL
Filling Memory Gaps: Enhancing Continual Semantic Parsing via SQL Syntax Variance-Guided LLMs without Real Data Replay
Xi’an Research Institute of High-Tech(西安高技术研究所);Harbin Institute of Technology(哈尔滨工业大学)
针对持续语义解析中现有方法存在的数据隐私问题及对理想设置的依赖,提出LECSP方法,通过SQL语法分析引导LLM重建记忆并校准,结合任务感知双教师蒸馏,在无真实数据重放下实现更优的抗遗忘与泛化效果。
2024-12-10 cs.CL cs.DB
HanoiT: Enhancing Context-aware Translation via Selective Context
Beihang University(北京航空航天大学);The University of Hong Kong(香港大学);Microsoft Research Asia(微软亚洲研究院)
本文提出HanoiT端到端模型,通过逐层软选择机制筛选文档上下文中的噪声词,增强上下文感知神经机器翻译,并在四个基准上显著超越已有模型。
2023-01-17 cs.CL
Enhancing Document-level Translation of Large Language Model via Translation Mixed-instructions
The Key Laboratory of Linguistic and Cultural Computing of Ministry of Education(教育部语言与文化计算重点实验室);Institute of Artificial Intelligence(人工智能研究所);Northwest Minzu University(西北民族大学);Soochow University(苏州大学)
本文提出翻译混合指令方法,结合不同长度的句子级和文档级指令微调大语言模型,使其在多达2048个token的文档上保持稳定翻译性能,并在10个语言对上显著提升文档级翻译质量与语篇连贯性。
2024-01-16 cs.CL
Enhancing Supervised Learning with Contrastive Markings in Neural Machine Translation Training
SAP SE(思爱普);Heidelberg University(海德堡大学)
本文提出在 NMT 最大似然训练中加入自动提取的对比标记,以区分正确与错误词元,从而增强监督学习并尤其提升译后编辑场景效果。
2023-07-17 cs.CL
BridG MT: Enhancing LLMs' Machine Translation Capabilities with Sentence Bridging and Gradual MT
Seoul National University(首尔国立大学)
提出BridG MT方法,结合句子桥接生成过渡句与渐进式机器翻译,利用前序翻译作为少样本示例,有效提升LLMs低资源语言翻译性能并减少对外部知识的依赖。
2025-06-02 cs.CL
Enhancing Scientific Discourse: Machine Translation for the Scientific Domain
Institute for Speech and Language Processing(语音与语言处理研究所);Athena RC(雅典研究中心)
本文针对科学领域中由于专业术语和复杂句式带来的翻译挑战,构建了多语种平行和单语语料库,并通过微调通用神经机器翻译系统评估语料库质量。
2026-05-20 cs.CL
Enhancing Large Language Models'Machine Translation via Dynamic Focus Anchoring
针对大型语言模型在机器翻译中处理上下文敏感单元的挑战,提出动态焦点锚定方法,通过结构化融入翻译挑战和语义焦点提升翻译准确性,无需额外训练且在多语言对上表现优异。
2025-05-29 cs.CL
Enhancing Translation for Indigenous Languages: Experiments with Multilingual Models
Instituto Politécnico Nacional(国立理工学院);University of California, Berkeley(加州大学伯克利分校);University of Colorado, Colorado Springs(科罗拉多大学科罗拉多斯普林斯分校)
本文针对美洲土著语言机器翻译,比较 M2M-100、mBART50 及 Helsinki NLP 西英模型在不同迁移学习设置下的表现,发现 mBART 在 11 种语言中的 3 种上超越基线。
2023-05-27 cs.CL
Enhancing Taiwanese Hokkien Dual Translation by Exploring and Standardizing of Four Writing Systems
National Central University(中央大学);University of Toronto(多伦多大学);Ontario Tech University(安大略理工大学);Academia Sinica(中央研究院)
针对台湾闽南语这类低资源语言翻译研究不足的问题,本研究基于繁体中文优化的LLaMA 2-7B构建其与繁体中文、英语的双向翻译模型,通过书写系统标准化、有限单语语料优化及结合回译与GPT-4的评估方法提升翻译性能,填补相关资源与研究空白。
2024-05-14 cs.CL
Parameter and Data Efficient Continual Pre-training for Robustness to Dialectal Variance in Arabic
Amazon Web Services(亚马逊云科技)
在低资源和高资源语言中使用多语言语言模型是深度学习的成功案例。近年来,阿拉伯语因其方言差异而受到广泛关注。虽然先前的研究已经试图将这些多语言模型用于阿拉伯语的方言变体,但由于缺乏足够的单语方言数据和这种方言变体的平行翻译数据,这仍然是一个具有挑战性的问题。这仍然是一个悬而未决的问题,有限的辩证数据是否可以用来改善在阿拉伯语的方言变体训练的模型。首先,我们表明,与我们的自定义单语阿拉伯语模型相比,在阿拉伯语单语数据上增量预训练的多语言BERT(mBERT)需要更少的训练时间,并产生相当的准确性,并击败现有模型(平均指标为+ $6.41$)。然后,我们探索了两种连续的预训练方法-(1)使用少量的辩证数据进行连续的微调,(2)并行的阿拉伯语到英语数据和翻译语言建模损失函数。我们表明,这两种方法有助于提高方言分类任务($+4.64$平均。gain),用于单语模型时。
2022-11-08 cs.CL cs.LG
IIE-NLP-Eyas at SemEval-2021 Task 4: Enhancing PLM for ReCAM with Special Tokens, Re-Ranking, Siamese Encoders and Back Translation
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
本文介绍了SemEval-2021任务4:抽象意义的阅读理解的所有三个子任务的系统。为了帮助我们的模型更好地表示和理解自然语言中的抽象概念,我们精心设计了许多简单而有效的方法,适用于骨干模型(RobERTa)。具体地说,我们将子任务形式化为多项选择问答格式,并在抽象概念中添加特殊的标记,然后将问答的最终预测结果视为子任务的结果。此外,我们采用了许多微调技巧来提高性能。实验结果表明,我们的方法取得了显着的性能相比,基线系统。我们的方法子任务-1和子任务-2的第十等级上实现第八等级。
2021-02-25 cs.CL
Enhancing Human Evaluation in Machine Translation with Comparative Judgment
Manning College of Information and Computer Sciences, UMass Amherst(马萨诸塞大学阿默斯特分校曼宁信息与计算机科学学院);Google(谷歌公司)
本研究将比较判断引入机器翻译人工评估,对比MQM、SxS MQM和SxS RR三种标注设置,发现SxS设置提高标注一致性并突出细微错误,且SxS RR更高效,同时发布三重标注数据集以促进研究。
2025-02-25 cs.CL