MARCA: A Checklist-Based Benchmark for Multilingual Web Search
Maritaca AI;Jusbrasil
MARCA是一个双语(英语和葡萄牙语)基准,用于评估LLM在基于网络的信息检索中的能力,通过手动编写的多实体问题和检查表式评分标准,评估答案的完整性和正确性,并发现任务分解框架能提升覆盖范围,模型在英语到葡萄牙语的迁移中存在显著差异。
2026-04-15 cs.CL
Lumen-bench: Cross-Lingual Safety Gaps and the Say-Do Problem in Tool-Calling Large Language Models
Tropic AI;Maritaca AI
该研究推出Lumen-bench基准,发现工具调用大语言模型存在跨语言安全差距与言行不一问题,中立提示会大幅提升违规率,高端模型也无法保证安全。
2026-10-14 cs.CL
LLM-BT-Terms: Back-Translation as a Framework for Terminology Standardization and Dynamic Semantic Embedding
TransLab, Computer Science Department University of Brasilia(翻译实验室、计算机科学系巴西大学);Math Department Federal Institute of Brasilia(数学系巴西联邦理工学院)
针对英语技术术语快速扩张下传统人工标准化难以维持多语言一致性的问题,提出LLM驱动的回译框架LLM-BT,实现术语验证标准化,兼具多路径验证鲁棒性与动态语义嵌入价值,推动人机协作的术语标准化。
2025-06-11 cs.CL
TeenyTinyLlama: open-source tiny language models trained in Brazilian Portuguese
University of Bonn(波恩大学);Pontifical Catholic University of Rio Grande do Sul(南里奥格兰德天主教大学)
针对大语言模型在低资源语言上表现不佳、多语言模型存在计算与许可限制的问题,研究推出两款巴西葡萄牙语紧凑型生成模型TeenyTinyLlama,以Apache 2.0许可证开源供社区使用。
2024-05-17 cs.CL cs.LG
Using Ontology-Based Context in the Portuguese-English Translation of Homographs in Textual Dialogues
Military Institute of Engineering(军事工程学院)
针对对话系统中存在的消息翻译问题,提出了一种新的解决方法。当前,提交到对话系统的消息被认为是孤立的句子。因此,上下文信息的缺失阻碍了歧义句中同形词的消歧。我们的方法解决了这个消歧问题,使用现有的本体概念。
2015-10-07 cs.CL
Zero-shot Performance of Generative AI in Brazilian Portuguese Medical Exam
Einstein Global Advanced Technologies for Equity(埃因斯坦全球先进科技以公平为宗旨);Hospital Israelita Albert Einstein(埃因斯坦医院);Departamento de Pacientes Graves(重症患者部门);Stanford Center for Artificial Intelligence in Medicine and Imaging(斯坦福大学医学与成像人工智能中心);Departmento de Cirurgia(外科部门);Faculdade de Medicina, Universidade de São Paulo(圣保罗大学医学院);Faculdade Israelita de Ciências da Saúde Albert Einstein(埃因斯坦以色列健康科学学院)
本文在 HCFMUSP 巴西葡语医学住院医师考试零样本条件下评测六个 LLM 与四个 MLLM,发现顶级 Claude 模型准确率接近人类,但多模态图像题仍有差距。
2025-07-26 cs.CL
Sabiá: Portuguese Large Language Models
Maritaca AI
本研究挑战多语言预训练的主流范式,用少量算力预算对GPT-J和LLaMA进行葡萄牙语单语进一步预训练,推出Sabiá系列模型,在葡萄牙语基准上显著优于同类模型,且收益主要来自领域特定知识。
2023-11-09 cs.AI cs.CL
Adapting LLMs for the Medical Domain in Portuguese: A Study on Fine-Tuning and Model Evaluation
School of Sciences São Paulo State University (UNESP)(圣保罗州立大学科学学院)
本研究通过微调ChatBode-7B并对比InternLM2等模型,评估葡萄牙语医疗大语言模型的表现,发现InternLM2整体最佳,而DrBode存在灾难性遗忘,同时指出评估者间一致性低的问题,为后续医学领域多语言模型研究奠定基础。
2024-09-30 cs.AI cs.CL
Lexical Simplification Benchmarks for English, Portuguese, and Spanish
Universitat Pompeu Fabra(庞培法布拉大学);Manchester Metropolitan University(曼彻斯特城市大学);George Mason University(乔治梅森大学)
即使在高度发达的国家,也有15- 30%的人口只能理解使用基本词汇书写的文本。他们对日常文本的理解有限,这使他们无法在社会中发挥积极作用,并在医疗保健,法律代表或民主选择方面做出明智的决定。词汇简化是一项自然语言处理任务,旨在通过用简单的词汇和表达替换复杂的词汇和表达,同时保留原始含义,使每个人都能理解文本。在过去的20年里,它引起了相当大的关注,并且已经为各种语言提出了全自动的词汇简化系统。阻碍该领域发展的主要障碍是缺乏用于构建和评估词汇简化系统的高质量数据集。我们提出了一个新的基准数据集的词汇简化英语,西班牙语和(巴西)葡萄牙语,并提供有关数据选择和注释程序的细节。这是第一个提供三种语言词汇简化系统直接比较的数据集。为了展示数据集的可用性,我们采用了两个具有不同架构的最先进的词汇简化系统(神经与\非神经)到所有三种语言(英语,西班牙语和巴西葡萄牙语),并评估它们在我们新数据集上的表现。为了更公平的比较,我们使用了几个评估指标,这些指标反映了系统功效的各个方面,并讨论了它们的优点和缺点。我们发现,一个国家的最先进的神经词汇简化系统优于一个国家的最先进的非神经词汇简化系统在所有三种语言。更重要的是,我们发现最先进的神经词汇简化系统对英语的表现明显优于西班牙语和葡萄牙语。
2022-09-12 cs.CL
Pirá: A Bilingual Portuguese-English Dataset for Question-Answering about the Ocean
Escola de Artes, Ciências e Humanidades Universidade de São Paulo(圣保罗大学艺术、科学与人文学院);Instituto de Estudos Avançados Universidade de São Paulo(圣保罗大学高等研究院);Escola Politécnica Universidade de São Paulo(圣保罗大学理工学院)
当前自然语言处理的研究高度依赖于精心制作的语料库。大多数现有资源侧重于英语;一些资源侧重于中文和法文等语言;很少有资源涉及一种以上的语言。本文介绍了Pirá数据集,这是一套关于海洋和巴西海岸的葡萄牙语和英语问答。据我们所知,Pirá是第一个支持葡萄牙语文本的QA数据集,也许更重要的是,它是第一个包含这种语言的双语QA数据集。Pirá数据集由两种语言的2261个适当策划的问题/答案(QA)集组成。问答集是根据两个语料库手动创建的:与巴西海岸有关的摘要和联合国关于海洋的报告摘录。QA集在同行评审过程中与数据集贡献者进行了验证。我们讨论了Pirá的一些优点和局限性,因为这个新资源可以支持NLP中的一系列任务,例如问答,信息检索和机器翻译。
2022-02-04 cs.CL
Performance of Data Augmentation Methods for Brazilian Portuguese Text Classification
Alana AI(阿拉纳人工智能)
本研究评估了不同现有数据增强方法在巴西葡萄牙语文本分类任务中的性能,发现部分技术带来了一定改进,但也指出需进一步研究语言偏差与非英语数据稀缺问题。
2023-04-05 cs.CL
Unsupervised Transfer Learning in Multilingual Neural Machine Translation with Cross-Lingual Word Embeddings
Institute for Anthropomatics and Robotics(人机与机器人研究所);KIT - Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
在这项工作中,我们研究以无监督的方式向多语言NMT系统添加一种新语言。在利用预先训练的跨语言词嵌入的情况下,我们试图利用语言独立的多语言句子表示来轻松地推广到新的语言。在使用跨语言嵌入进行单词查找时,我们从一个完全看不见的源语言解码,这个过程我们称之为盲解码。使用包含几种罗曼语的基本语言从葡萄牙语中盲目解码,我们获得了葡萄牙语-英语的36.4 BLEU和俄语-英语的12.8 BLEU。为了训练从编码器语句表示到新的目标语言的映射,我们使用我们的模型作为自动编码器。仅仅是训练从葡萄牙语翻译到葡萄牙语,同时冻结编码器,我们就可以在英语-葡萄牙语上实现26 BLEU,并且在向输入添加人工噪声时达到28 BLEU。最后,我们通过非迭代回译探索了一种更实用的自适应方法,利用我们的模型通过盲解码产生高质量翻译的能力。这给我们带来了34.6 BLEU的英语-葡萄牙语,达到接近平价的模型适应真正的双语数据。
2021-03-11 cs.CL
Datasets for Multilingual Answer Sentence Selection
University of Trento(特伦托大学);Polytechnic University of Turin(都灵理工大学);University of Padua(帕多瓦大学);Amazon Alexa AI(亚马逊Alexa人工智能部门)
针对非英语 AS2 标注数据不足的问题,本文利用 LLM 有监督翻译英语数据集,构建五种欧洲语言的高质量数据集,并通过多类 Transformer 实验验证其可提升多语言模型性能。
2024-06-14 cs.CL
Domain-Specific Translation with Open-Source Large Language Models: Resource-Oriented Analysis
Aman Kassahun Wassie(无);Mahdi Molaei(无);Yasmin Moslem(无)
本研究比较了开源大语言模型与专用机器翻译模型在医学领域多资源条件下的翻译性能,发现微调后的 NLLB-200 3.3B 仍优于 7-8B 参数的 LLMs,强调了专用 MT 模型在低资源翻译中的必要性及预训练中型领域模型的价值。
2025-05-30 cs.CL
DeBERTinha: A Multistep Approach to Adapt DebertaV3 XSmall for Brazilian Portuguese Natural Language Processing Task
University of Campinas(坎皮纳斯大学);Federal University of Pernambuco(伯南布哥联邦大学);University of São Paulo(圣保罗大学)
本文提出多步骤方法将DebertaV3 XSmall适配为巴西葡萄牙语模型DeBERTinha,通过葡语词汇构建和替换词元检测微调,在多项NLP任务中以40M参数超越BERTimbau-Large。
2023-10-31 cs.CL
LITERA: An LLM Based Approach to Latin-to-English Translation
Duke University(杜克大学)
该研究针对拉丁语文本翻译挑战,提出基于LLM的LITERA平台,通过微调GPT-4o-mini和GPT-4o的多层流程提升准确率,与杜克大学合作构建数据集,在古典拉丁语翻译的BLEU和BLEURT分数上表现优异。
2025-04-14 cs.AI cs.CL
mRAT-SQL+GAP:A Portuguese Text-to-SQL Transformer
Universidade de São Paulo(圣保罗大学)
自然语言问题到SQL查询的转换已经吸引了越来越多的关注,特别是与Transformers和类似的语言模型相关的。大量的技术都是面向英语的;在这项工作中,我们因此调查了在葡萄牙语中给出输入问题时翻译为SQL的情况。为此,我们适当调整了最先进的工具和资源。我们通过依赖多语言BART模型(我们报告了使用其他语言模型的测试)改变了RAT-SQL+GAP系统,并生成了Spider数据集的翻译版本。我们的实验揭示了非英语语言作为目标时出现的有趣现象;特别是,即使需要单个目标语言,也最好用原始和翻译的训练数据集一起进行训练。这个多语言BART模型用双倍大小的训练数据集(英语和葡萄牙语)进行了微调,达到了基线的83%,为葡萄牙语测试数据集做出了推断。这项调查可以帮助其他研究人员用不同于英语的语言得出机器学习的结果。我们的多语言版本的RAT-SQL+GAP和数据是可用的,开源的mRAT-SQL+GAP在:https://github.com/C4AI/gap-text2sql
2021-11-29 cs.AI cs.CL
XDoGE: Multilingual Data Reweighting to Enhance Language Inclusivity in LLMs
Language Technologies Lab(语言技术实验室);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
XDoGE通过多语言数据重新加权提升大语言模型的语言包容性,优化语言分布并改进模型性能。
2025-12-11 cs.CL
Improving Portuguese Semantic Role Labeling with Transformers and Transfer Learning
LIAAD - INESC TEC;University of Porto(波尔图大学)
确定“谁对谁做了什么”的自然语言处理任务称为语义角色标注。对于英语,最近的方法基于Transformer模型已经允许在这个任务中的重大改进,在以前的状态的art.However,对于低资源的语言,如葡萄牙语,目前可用的语义角色标注模型是由稀缺的训练数据阻碍。在本文中,我们探索了一种模型架构,该架构仅包含一个预训练的基于transformer的模型,一个线性层,softmax和Viterbi解码。我们大幅提高了葡萄牙语的最先进性能超过15 F1。此外,我们利用跨语言的迁移学习,使用多语言的预训练模型,并从依存句法分析在葡萄牙语迁移学习,经验评估各种建议的方法,提高语义角色标注结果在葡萄牙语语料库。
2021-10-30 cs.CL
Building Large-Scale English-Romanian Literary Translation Resources with Open Models
Babeș-Bolyai University(巴克斯-波耶_ai大学);KlusAI Labs(KlusAI实验室)
本文提出TF2框架,通过开放模型和大规模合成语料库构建英语-罗马尼亚文学翻译资源,实现高效、低成本的高质量翻译。
2026-07-29 cs.AI cs.CL cs.LG
Tradutor: Building a Variety Specific Translation Model
Faculty of Sciences, University of Porto(波尔图大学理学院);INESC TEC;Institute of Computer Science, Heidelberg University(海德堡大学计算机科学研究所);University of Beira Interior(贝拉内陆大学);Ci2 - Smart Cities Research Center(Ci2 - 智慧城市研究中心)
针对欧洲葡萄牙语被巴西葡萄牙语掩盖的问题,本文构建专用数据集并开源首个欧洲葡萄牙语翻译模型,性能超越现有开源系统并接近领先闭源系统。
2025-02-20 cs.CL
Neural Machine Translation into Language Varieties
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);MMT Srl(MMT有限公司)
到目前为止,无论是研究还是商业机器翻译都忽视了正确处理语言变体之间拼写、词汇和语法差异的重要性。值得注意的例子是标准的国家品种,如巴西和欧洲葡萄牙语,加拿大和欧洲法语,流行的在线机器翻译服务没有保持区分。我们表明,一个明显的副作用,建模等品种独特的类是产生不一致的翻译。在这项工作中,我们研究了从英语到特定语言变体对的神经机器翻译的训练问题,假设标记和未标记的并行文本以及低资源条件。我们报告的实验,从英语到两对方言,欧洲巴西葡萄牙语和欧洲加拿大法语,和两对标准化的品种,塞尔维亚语和马来语。当翻译成类似的语言被学习为具有共享表示的多语言任务时,我们显示出比基线系统显著的BLEU分数改善。
2018-11-02 cs.CL
AI-PAVE-Br: Leveraging Large Language Models for Enhanced Product Attribute Value Extraction through a Golden Set Approach
LuizaLabs – Center of Excellence in Artificial Intelligence(LuizaLabs人工智能卓越中心);Department of Computing and Informatics – Mackenzie Presbyterian University(计算与信息学系-麦金西 Presbyterian大学);Institute of Mathematics and Computer Sciences - University of São Paulo(数学与计算机科学研究所-圣保罗大学)
针对巴西电商产品数据爆炸和复杂性,提出AI-PAVE-Br系统,利用大语言模型和精心标注的黄金集,显著提升葡萄牙语产品属性值提取的准确性。
2026-06-24 cs.AI cs.CL cs.LG
Findings of the TSAR-2022 Shared Task on Multilingual Lexical Simplification
Universitat Pompeu Fabra(庞培法布拉大学);Manchester Metropolitan University(曼彻斯特城市大学);George Mason University(乔治梅森大学)
我们报告了TSAR-2022关于多语言词汇简化的共享任务的结果,该任务是与EMNLP 2022一起举办的文本简化,可访问性和可读性TSAR-2022研讨会的一部分。这项任务要求自然语言处理研究社区提供方法,以推进英语,葡萄牙语和西班牙语多语言词汇简化的最新技术。共有14个团队提交了他们的词汇简化系统的结果,提供了测试数据。共享任务的结果表明,新的基准词汇简化英语词汇简化的定量结果明显高于西班牙语和(巴西)葡萄牙语。
2023-02-06 cs.CL cs.LG
An Augmented Translation Technique for low Resource language pair: Sanskrit to Hindi translation
Malaviya National Institute of Technology(马拉维亚国家技术学院)
神经机器翻译(Neural Machine Translation,NMT)是一种利用大型人工神经网络进行机器翻译(Machine Translation,MT)的新兴技术。它已经展示了有希望的结果,并在解决具有挑战性的机器翻译练习方面显示出令人难以置信的潜力。其中一个练习是用一点准备信息为语言集提供大量MT的最佳方法。在这项工作中,Zero Shot Translation(ZST)检查低资源语言对。通过对高资源语言对进行工作,即西班牙语到葡萄牙语,并对数据集进行训练(西班牙语-英语和英语-葡萄牙语),我们为ZST系统准备了一个证明状态,该系统可以根据可用数据提供适当的结果。随后,通过在英语-印地语和梵语-英语语言对上训练模型,对数据稀疏的梵语到印地语翻译测试相同的架构。为了使用ZST系统进行准备和解密,我们扩展了Tensorflow中NMT seq 2seq模型的准备和解释管道,并结合了ZST功能。通过对词嵌入进行语义缩减,减少了数据存储的内存占用,加快了训练和翻译周期。在这项工作中,我们以富有想象力的方式利用现有的有用技术来执行我们的NLP问题,即梵语到印地语的翻译。一个梵语-印地语平行语料库的300构建测试。建立平行语料库所需的数据取自印度中央邦政府新闻部网站上发布的电视新闻。
2020-06-09 cs.CL
Power Law Graph Transformer for Machine Translation and Representation Learning
Fromthesky Research Labs LLC(Fromthesky研究实验室有限责任公司)
我们提出了幂律图Transformer,一个Transformer模型,具有定义良好的演绎和归纳任务,用于预测和表示学习。演绎任务根据可学习的幂律分布参数学习数据集级别(全局)和实例级别(局部)图结构。归纳任务使用演绎任务输出来输出预测概率,类似于转换模型。我们用来自TED演讲稿的土耳其语-英语和葡萄牙语-英语数据集训练了我们的模型,用于机器翻译,并将模型的性能和特征与Transformer模型进行了比较,该模型具有在相同实验设置上训练的缩放点积注意力。我们报告BLEU分数的$17.79$和$28.33$的土耳其语-英语和葡萄牙语-英语翻译任务与我们的模型,分别。我们还展示了如何利用量化集和N维流形表示之间的对偶,使用连续应用线性和非线性变换端到端在局部和全局演绎归纳输出之间进行变换。
2021-06-27 cs.AI cs.CL cs.LG
An Operation Sequence Model for Explainable Neural Machine Translation
University of Cambridge(剑桥大学)
我们建议通过改变输出表示来实现可解释的神经机器翻译(NMT)。我们提出了一种新的方法来NMT产生的目标句子单调遍历源句子。通过允许在目标句子中设置标记并在这些标记之间移动目标侧写入头的操作来对单词重新排序进行建模。与许多现代神经模型相比,我们的系统发出显式的单词对齐信息,这对实际的机器翻译至关重要,因为它提高了可解释性。我们的技术可以优于纯文本系统的BLEU分数在最近的Transformer架构下的日语-英语和葡萄牙语-英语,是在0.5 BLEU的差异西班牙语-英语。
2018-08-29 cs.CL
UFRGS Participation on the WMT Biomedical Translation Shared Task
本文介绍了南里奥格兰德联邦大学(UFRGS)团队为生物医学翻译共享任务开发的机器翻译系统。我们的系统基于统计机器翻译和神经机器翻译,分别使用Moses和OpenNMT工具包。我们参与了英语/西班牙语和英语/葡萄牙语对的四个翻译方向。为了创建我们的训练数据,我们连接了几个平行的语料库,既有来自域内和域外的资源,也有来自UMLS的术语资源。根据官方的共享任务评估,我们的系统获得了最好的BLEU分数。
2019-05-06 cs.CL
Generalistic or Specific Embeddings, Which is Better? An Empirical Study on Search for Clinical Coding in Non-English Languages
TietAI
本研究通过使用大型生成语言模型生成的合成数据微调双语编码器,构建两阶段检索器,解决了非英语语言临床编码检索中召回率下降的问题,并在多语言基准上取得了优于BioBERT-ST的性能。
2026-05-28 cs.AI cs.CL cs.LG
An Empirical Study of End-to-end Simultaneous Speech Translation Decoding Strategies
Naver Labs Europe(NAVER欧洲实验室)
提出了一种端到端同步语音翻译的解码策略。我们利用在离线模式下训练的端到端模型,并对两种语言对(英语到德语和英语到葡萄牙语)进行实证研究。我们还研究了不同的输出令牌粒度,包括字符和字节对编码(BPE)单位。结果表明,所提出的解码方法允许控制BLEU/平均滞后权衡沿不同的延迟制度。我们最好的解码设置实现了与IWITH 2020共享任务的同声翻译轨道上评估的强大级联模型相当的结果。
2021-03-04 cs.CL
A Biomedical Entity Extraction Pipeline for Oncology Health Records in Portuguese
INESC TEC(葡萄牙系统与计算机工程研究所);FCUP(波尔图大学理学院)
本文针对资源受限的欧洲葡萄牙语,提出一种结合神经架构与实体链接的生物医学实体抽取流水线,在肿瘤记录中抽取手术操作、药物和疾病,F1分别达88.6%、95.0%和55.8%。
2023-04-18 cs.AI cs.CL
Why Skip If You Can Combine: A Simple Knowledge Distillation Technique for Intermediate Layers
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
随着计算能力的增长,神经机器翻译(NMT)模型也相应地增长并变得更好。然而,由于内存限制,它们也变得更难部署在边缘设备上。为了解决这个问题,通常的做法是将知识从一个大型的、经过精确训练的教师网络(T)中提取出来,形成一个紧凑的学生网络(S)。虽然知识蒸馏(KD)在大多数情况下是有用的,我们的研究表明,现有的KD技术可能不适合深度NMT引擎,所以我们提出了一种新的替代方案。在我们的模型中,除了匹配T和S预测之外,我们还有一个组合机制来注入从T到S的层级监督。在本文中,我们针对低资源设置,并评估我们的翻译引擎葡萄牙语-英语,土耳其语-英语和英语-德语方向。使用我们的技术培训的学生的参数减少了50%,并且仍然可以提供与12层教师相当的结果。
2020-10-06 cs.CL
Translation of Pronominal Anaphora between English and Spanish: Discrepancies and Evaluation
University of Alicante(阿利坎特大学)
本文评价了在机器翻译(MT)系统中代词回指翻译的不同任务。MT interlingua方法命名为AGIR(照应生成与Interlingua表示)改进了迄今为止提出的其他建议,因为它能够翻译插入照应,检测共指链,并将西班牙语零代词翻译成英语-其他系统很少考虑的问题。本文提出了解决和评估这些回指问题的AGIR使用不同种类的知识(词汇,形态,句法和语义)。本文在非限制性语料库上对英语和西班牙语照应性第三人称代词(包括西班牙语零人称代词)到目标语言的翻译进行了评估。在西班牙语和英语代词的翻译中,我们分别获得了80.4%和84.8%的准确率。虽然我们只学习了西班牙语和英语,但我们的方法可以很容易地扩展到其他语言,如葡萄牙语,意大利语或日语。
2011-06-24 cs.AI cs.CL
Enhancing Scientific Discourse: Machine Translation for the Scientific Domain
Institute for Speech and Language Processing(语音与语言处理研究所);Athena RC(雅典研究中心)
本文针对科学领域中由于专业术语和复杂句式带来的翻译挑战,构建了多语种平行和单语语料库,并通过微调通用神经机器翻译系统评估语料库质量。
2026-05-20 cs.CL
Findings of the WMT 2024 Shared Task on Chat Translation
University of Amsterdam(阿姆斯特丹大学);Instituto de Telecomunicações(电信研究所);Unbabel(Unbabel公司)
本文介绍了第三届 WMT 2024 聊天翻译共享任务,通过人工评估和自动指标对多语言对的双语客户支持对话翻译系统进行评估,发现系统在单轮翻译上表现优异,但对话级翻译质量仍需改进。
2024-10-15 cs.CL
AlignAR: Generative Sentence Alignment for Arabic-English Parallel Corpora of Legal and Literary Texts
School of Foreign Languages, Huaihua University(怀化大学外国语言学院);Al-lith University College, Umm al-Qura University(乌姆·盖拉大学阿尔利思学院)
AlignAR通过生成式句子对齐方法,提升阿拉伯-英语法律和文学文本的平行语料库质量,验证了大语言模型在对齐任务中的优越性。
2026-01-01 cs.CL
Using Multiple Subwords to Improve English-Esperanto Automated Literary Translation Quality
Trinity College Dublin(都柏林圣三一学院);Dublin City University(都柏林城市大学)
为低资源语言构建机器翻译(MT)系统仍然具有挑战性。对于许多语言对,并行数据并不广泛可用,在这种情况下,MT模型无法实现与高资源语言相比的结果。在数据稀缺的情况下,最大限度地利用现有的有限材料至关重要。为此,在本文中,我们建议多次使用相同的平行句子,每次只改变单词的拆分方式。为此,我们使用了几种字节对编码模型,在它们的配置中使用了各种合并操作。在我们的实验中,我们使用这种技术来扩大可用的数据,并改善MT系统涉及低资源的语言对,即英语世界语。作为一个额外的贡献,我们提供了一套英语世界语在文学领域的平行数据。
2020-11-28 cs.CL
Optimising ChatGPT for creativity in literary translation: A case study from English into Dutch, Chinese, Catalan and Spanish
Centre for Language and Cognition, University of Groningen(语言与认知中心,格罗宁根大学);Departament de Llenguatges i Sistemes Informàtics, Universitat d’Alacant(语言与信息系统部门,阿尔阿罕特大学);Departament de Traducció i Comunicació, Universitat Jaume I(翻译与传播部门, Jaime I 大学)
本研究通过六种配置在四种语言中评估ChatGPT文学翻译的创造力,发现温度为1.0时最小指令提示效果最佳,但仍不及人工翻译。
2025-04-25 cs.CL
Towards Recognizing Phrase Translation Processes: Experiments on English-French
LIMSI-CNRS(法国国家科学研究中心机械与工程计算机科学实验室);Univ. Paris-Sud(巴黎第十一大学);Univ. Paris-Saclay(巴黎萨克雷大学)
在翻译短语(词或词组)时,译者在进行直译的同时,有意识或无意识地采用了习语对等、泛化、特殊化、语义调整等不同的翻译方法。提出了几种类型学来描述不同的翻译过程。然而,据我们所知,还没有努力自动分类这些细粒度的翻译过程。最近,TED演讲的英法平行语料库已经手动注释了翻译过程类别,以及既定的注释指南。基于这些注释的例子,我们提出了一个自动分类的翻译过程在substantial水平。实验结果表明,我们可以区分非直译和直译的准确率为87.09%,和55.20%的分类在五个非直译过程。这项工作表明,它是可以自动分类的翻译过程。即使有少量的注释的例子,我们的实验表明,我们可以在未来的工作中遵循的方向。我们的长期目标之一是利用这种自动分类,以更好地控制从双语平行语料库的释义提取。
2019-04-27 cs.CL
MIZAN: A Large Persian-English Parallel Corpus
University of Pittsburgh(匹兹堡大学);Intelligent Systems Program(智能系统项目)
机器翻译是自然语言处理中最重要和最基本的任务之一,它高度依赖于多语言并行语料库。通过本文,我们介绍了世界上最大的波斯语-英语平行语料库,它收集了一百多万句对的文学名著。我们还介绍了语料库的获取过程和统计方法,并利用语料库进行了一个基线统计机器翻译系统的实验。
2020-01-31 cs.CL
A Lexicalist Approach to the Translation of Colloquial Text
在电视节目或典型的对话中发现的口语英语(CE)不同于在技术手册,报纸和书籍中发现的文本。短语往往更短,更不复杂。在这篇文章中,我们将探讨英汉互译中的一些理论和实践问题。我们提出了一个全自动的大规模的多语言自然语言处理系统的翻译CE输入文本,发现在商业传输的闭路字幕电视信号,成简单的目标句子。我们的方法是基于Whitelock的Shake and Bake机器翻译范式,它严重依赖于词汇资源。该系统目前从英文翻译成西班牙文,巴西葡萄牙文的翻译模块正在开发中。
1997-06-18 cmp-lg cs.CL
Contextual Cues in Machine Translation: Investigating the Potential of Multi-Source Input Strategies in LLMs and NMT Systems
LILT
本文比较GPT-4o与多语言NMT系统中多源输入策略对翻译质量的影响,发现中间语言上下文能提升领域特定及远距离语言对的翻译效果,并证明浅层融合结合高资源语言上下文可改善翻译质量。
2025-03-10 cs.CL
BERT for Sentiment Analysis: Pre-trained and Fine-Tuned Alternatives
Federal University of Rio de Janeiro(里约热内卢联邦大学)
BERT通过使用可以捕获复杂文本模式的大语言模型实现迁移学习,彻底改变了NLP领域,达到了NLP应用程序的最新水平。对于文本分类任务,BERT已经得到了广泛的研究。然而,如何更好地处理BERT输出层提供的不同嵌入以及使用特定语言而不是多语言模型等方面在文献中没有得到很好的研究,尤其是对于巴西葡萄牙语。这篇文章的目的是进行广泛的实验研究,对不同的策略聚合的功能产生的BERT输出层,重点是情感分析任务。实验包括用巴西葡萄牙语语料库和多语言版本训练的BERT模型,考虑多种聚合策略和具有预定义训练,验证和测试分区的开源数据集,以促进结果的再现性。与TF-IDF相比,BERT在大多数情况下实现了最高的ROC-AUC值。尽管如此,TF-IDF代表了预测性能和计算成本之间的良好权衡。
2022-01-10 cs.CL
Learning Emotion from 100 Observations: Unexpected Robustness of Deep Learning under Strong Data Limitations
Friedrich-Schiller-Universität Jena(耶拿弗里德里希·席勒大学);New York University(纽约大学);Stony Brook University(石溪大学);University of Pennsylvania(宾夕法尼亚大学)
深度学习的一个主要缺点是它需要大量的训练数据。因此,这些技术似乎不适合注释数据有限的NLP领域,例如资源较少的语言或情感分析,其注释格式有许多细微差别且难以获取。我们进行了一项问卷调查研究,结果表明,当训练数据有限时,情感分析领域的绝大多数研究人员确实认为神经模型不如传统的机器学习。与这些调查结果形成鲜明对比的是,我们为英语,波兰语和葡萄牙语提供了经验证据,即常用的神经架构可以在令人惊讶的少数观察结果上进行训练,仅在100个数据点上就优于基于$n$ -gram的岭回归。我们的分析表明,高质量的预训练词嵌入是实现这些结果的主要因素。
2020-12-07 cs.CL
Incorporating Human Translator Style into English-Turkish Literary Machine Translation
Boğaziçi University(博阿齐奇大学)
本研究针对英语-土耳其语文学翻译场景,通过用译者人工对齐作品微调预训练模型、分析多因素影响并提出风格评估方法,实现了机器翻译对人类译者风格的高度复现。
2023-07-21 cs.AI cs.CL
HULAT at SemEval-2023 Task 9: Data augmentation for pre-trained transformers applied to Multilingual Tweet Intimacy Analysis
Universidad Carlos III de Madrid(马德里卡洛斯三世大学)
本文介绍了我们参与SemEval-2023任务9,多语言推文的亲密度分析。我们使用不同数据增强技术生成的训练数据集和合成数据对一些最流行的Transformer模型进行了微调。在开发阶段,我们使用XLM-T获得了最佳结果。数据增强技术在结果中提供非常轻微的改进。我们的系统在45个参与系统中排名第27位。尽管结果不多,但我们的系统在葡萄牙语、英语和荷兰语等语言中显示出令人鼓舞的结果。我们所有的代码都可以在存储库\url{https://github.com/isegura/hulat_intimacy}中找到。
2023-02-24 cs.AI cs.CL cs.LG
Hunayn: Elevating Translation Beyond the Literal
King Saud University(沙特国王大学);Prince Sattam University(萨塔姆王子大学);King Abdulaziz University(阿卜杜勒阿齐兹国王大学)
本项目推出基于Helsinki transformer(MarianMT)的高级英译阿翻译器Hunayn,通过在纯文学阿拉伯语数据集上微调,在文化敏感性和语境准确性上超越Google Translate等传统工具。
2023-10-25 cs.AI cs.CL
Multilingual enrichment of disease biomedical ontologies
EURA NOVA(欧朗诺瓦机构);Aix Marseille Univ(艾克斯-马赛大学);CNRS(法国国家科学研究中心);LIS(信息科学与系统实验室)
翻译生物医学本体是一个重要的挑战,但手动完成需要大量的时间和金钱。我们研究了使用开源知识库来翻译生物医学本体的可能性。我们专注于两个方面:覆盖和质量。我们查看了两个生物医学本体的覆盖范围,重点是关于9种欧洲语言(捷克语,荷兰语,英语,法语,德语,意大利语,波兰语,葡萄牙语和西班牙语)的维基数据的疾病,以及阿拉伯语,中文和俄语的第二个。我们首先使用维基数据和所研究的本体之间的直接链接,然后通过其他中间本体使用二级链接。然后,我们将维基数据与商业机器翻译工具Google Cloud Translation的翻译质量进行比较。
2020-04-07 cs.CL cs.IR q-bio.QM
Developing neural machine translation models for Hungarian-English
Budapest University of Technology and Economics(布达佩斯技术与经济大学)
我使用Hunglish 2语料库为英语-匈牙利语和匈牙利语-英语的神经机器翻译任务训练训练模型。这项工作的主要贡献是评估不同的数据增强方法在训练的NMT模型。我提出了5种不同的增强方法,它们是结构感知的,这意味着不是随机选择单词进行空白或替换,而是使用句子的依赖树作为增强的基础。论文首先对神经网络、序列建模、神经机器翻译、依存句法分析和数据增强等方面的研究进行了详细的文献综述。在对Hunglish 2语料库进行了详细的探索性数据分析和预处理之后,本文对所提出的数据增强技术进行了实验。匈牙利语-英语的最佳模型的BLEU得分为33.9,而英语-匈牙利语的最佳模型的BLEU得分为28.6。
2021-11-07 cs.CL cs.LG