Align and Shine: Building High-Quality Sentence-Aligned Corpora for Multilingual Text Simplification
Centre for Translation, Localisation and Interpreting Studies(翻译、本地化与诠释研究中心);School of Languages, Cultures and Societies(语言、文化和社会学院);University of Leeds, UK(利兹大学)
本文通过收集和处理可比语料库中的众包简化数据,构建了多语言文本简化任务的高质量句子对语料库,解决了其他语言缺乏大规模高质量数据的问题。
2026-05-10 cs.AI cs.CL
Detecting Unassimilated Borrowings in Spanish: An Annotated Corpus and Approaches to Modeling
UNED(西班牙国立远程教育大学);Brandeis University(布兰迪斯大学)
这项工作提出了一个新的资源,借用识别和分析的性能和错误的几个模型在这项任务。我们引入了一个新的注释语料库的西班牙语新闻专线丰富的未同化的词汇借款-从一种语言的话,被引入到另一个没有正字法的适应-并用它来评估几个序列标签模型(CRF,BiLSTM-CRF,和基于转换器的模型)执行。该语料库包含370,000个标记,并且比以前可用于此任务的语料库更大,更密集,OOV丰富,主题多样。我们的研究结果表明,一个BiLSTM-CRF模型与子词嵌入以及基于transformer的嵌入预训练的代码交换数据或上下文化的词嵌入的组合优于由多语言BERT模型获得的结果。
2022-03-30 cs.CL
APEX-VW: A Document-Level English-Spanish Post-Editing Dataset in the Healthcare Domain
Universitat Politècnica de València(瓦伦西亚理工大学);Lancaster University(兰卡斯特大学);Universidad de Granada(格拉纳达大学)
本文提出APEX-VW医疗领域文档级英西后编辑数据集,含4.2万词文档及专业后编辑数据,可用于术语规范化等研究,为相关任务提供基准。
2026-08-11 cs.CL
Bridging Natural Language Processing and Psycholinguistics: computationally grounded semantic similarity datasets for Basque and Spanish
本文构建了融合语料库与知识库的巴斯克语及欧洲西班牙语言语相似性数据集,通过心理语言学特征控制名词对并提供文本、Wordnet和混合嵌入三类相似性度量。
2023-04-20 cs.CL
MEL: Legal Spanish Language Model
Instituto de Ingeniería del Conocimiento (IIC)(知识工程研究所);Universidad Politécnica de Madrid(马德里理工大学)
本文提出基于XLM-RoBERTa-large微调的西班牙语法律语言模型MEL,通过在BOE等法律文本上训练,显著提升了法律文本理解能力,并在多种NLP任务中展现出应用潜力。
2025-01-27 cs.CL
A Rule-Based Approach For Aligning Japanese-Spanish Sentences From A Comparable Corpora
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
统计机器翻译系统(SMT)的性能与其使用的平行语料库的质量和长度成正比。然而,对于某些语言对来说,它们相当缺乏。长期的目标是建立一个用于SMT的日语-西班牙语平行语料库,然而,缺乏有用的日语-西班牙语平行语料库。为了解决这个问题,在这项研究中,我们提出了一种方法来提取日语-西班牙语平行句子从维基百科使用词性标注和基于规则的方法。这种方法的主要焦点是两种语言的句法特征。对样品进行了人体评价,与基线相比,显示出有希望的结果。
2012-11-19 cs.AI cs.CL
El Departamento de Nosotros: How Machine Translated Corpora Affects Language Models in MRC Tasks
SemanticWebCompany(语义网络公司);TU Dresden(德累斯顿工业大学);Fraunhofer IAIS(弗劳恩霍夫智能分析和信息系统研究所)
大规模语言模型的预训练需要大量的文本语料。英语学习型语料库中的语言资源日益丰富。然而,资源较少的语言及其单语言和多语言LM通常难以获得更大的数据集。在这种情况下,典型的方法意味着使用英语语料库到目标语言的机器翻译。在这项工作中,我们研究了应用直接翻译的语料库微调LM下游自然语言处理任务的注意事项,并证明了精心策划与后处理导致提高性能和整体LM的鲁棒性。在实证评估中,我们在用户和系统层面上对直接翻译的西班牙SQuAD数据集进行了比较。在XQuAD和MLQA迁移学习评估问答任务上的进一步实验结果表明,就精确匹配分数而言,多语言LM可能对机器翻译工件表现出更大的弹性。
2020-07-03 cs.CL
Word Sense Disambiguation Using English-Spanish Aligned Phrases over Comparable Corpora
UNED(西班牙国立远程教育大学)
在本文中,我们描述了一个WSD实验的基础上双语英语-西班牙语可比语料库中的个别名词短语已被确定,并与他们各自的对应在其他语言。该实验的评估是针对SemCor进行的。我们发现,采用的对齐算法,潜在的精度是高的(74.3%),但该方法的覆盖率是低的(2.7%),由于对齐是远远低于我们预期的频率。与我们的直觉相反,精确度并不随着比对的数量而一致地上升。由于几个因素,覆盖率很低;存在重要的领域差异,并且英语和西班牙语对于这种方法来说过于接近,无法有效地区分感官,因此不适合WSD,尽管该方法在机器翻译中可能更有成效。
2009-10-29 cs.AI cs.CL
Resolving Legalese: A Multilingual Exploration of Negation Scope Resolution in Legal Documents
University of Zurich(苏黎世大学);University of Bern(伯尔尼大学);Bern University of Applied Sciences(伯尔尼应用科学大学);Stanford University(斯坦福大学)
本文针对法律文本否定范围消解缺乏领域语料及多语言性能不足的问题,发布德、法、意三语标注法院判决数据集,并通过零样本与多语言微调将token级F1分数分别提升至86.7%和91.1%。
2023-09-15 cs.AI cs.CL cs.LG
DISCO PAL: Diachronic Spanish Sonnet Corpus with Psychological and Affective Labels
Telefónica(西班牙电信);Universidad Nacional de Educación a Distancia (UNED)(国立远程教育大学)
目前,在不同语言的语料库中进行文本挖掘的应用很多。然而,它们中的大多数都是基于散文文本,缺乏与诗歌文本一起工作的应用程序。文本挖掘在诗歌中的应用的一个例子是使用从其单个单词中获得的特征,以捕获词汇,词汇下和词汇间意义,并推断文本的一般情感意义(GAM)。然而,尽管这一建议已被证明是有用的诗歌在某些语言,有缺乏研究西班牙诗歌和高度结构化的诗歌作品,如十四行诗。本文介绍了一个西班牙十四行诗的注释语料库的研究,以分析是否有可能建立功能,从他们的个人的话来预测他们的GAM。这样做的目的是在情感层面上对十四行诗进行建模。文章还分析了十四行诗的GAM与内容本身的关系。为此,我们从心理学的角度来考虑内容,当十四行诗与特定术语相关时,用标签来识别。然后,我们研究了GAM如何根据这些心理术语变化。所使用的语料库包含274首西班牙十四行诗,来自不同世纪的作者,从15世纪到19世纪。该语料库由不同领域的专家进行注释。专家们用情感和词汇语义特征以及属于心理学的领域概念来注释这些诗歌。由于这一点,十四行诗的语料库可以用于不同的应用,如诗歌推荐系统,作者的个性文本挖掘研究,或诗歌用于治疗目的。
2021-06-20 cs.CL
NeuroVoz: a Castillian Spanish corpus of parkinsonian speech
Escuela Técnica Superior de Ingenieros de Telecomunicación, Universidad Politécnica de Madrid(马德里理工大学电信工程高等技术学院);Hospital General Universitario Gregorio Marañón(格雷戈里奥·马拉尼翁大学综合医院)
本文提出NeuroVoz,一个包含112名卡斯蒂利亚西班牙语说话者(含PD患者与健康对照)的言语语料库,涵盖多种任务及专家评估,支持PD筛查,基准准确率达89%。
2025-02-26 cs.AI cs.CL cs.SD
Borrowing or Codeswitching? Annotating for Finer-Grained Distinctions in Language Mixing
UNED(西班牙国立远程教育大学);Brandeis University(布兰迪斯大学)
我们提出了一个新的语料库的Twitter数据注释代码转换和借用西班牙语和英语之间。该语料库包含9,500条tweet,这些tweet在token级别上使用代码转换,借用和命名实体进行注释。本语料库与以往的语码转换语料库不同之处在于,我们试图清楚地定义和注释语码转换和借用之间的界限,而不处理常见的“网络用语”(“lol”等)。在单语语境中使用时被认为是语码转换。其结果是一个语料库,使研究和建模的西班牙语-英语借用和代码转换在Twitter上的一个数据集。我们使用基于transformer的语言模型为该语料库的标签建模提供了基线分数。注释本身是以CC BY 4.0许可证发布的,而它所适用的文本是按照Twitter服务条款分发的。
2022-06-10 cs.CL
Entropy and type-token ratio in gigaword corpora
Institute for Cross-Disciplinary Physics and Complex Systems IFISC (UIB-CSIC)(跨学科物理与复杂系统研究所)
本文研究了六种十亿词级多语言语料库的词汇多样性,揭示了文本熵与类型-标记比之间的经验函数关系,并基于Zipf和Heaps定律推导出大文本长度极限下的解析表达式,与实验结果一致。
2025-06-24 cs.CL cs.IR physics.soc-ph
Landmark-based consonant voicing detection on multilingual corpora
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Beckman Institute, University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校贝克曼研究所);Research Laboratory of Electronics, MIT(麻省理工学院电子学研究实验室)
本文测试的假设,不同的特征分类锚定在语音地标可以跨语言转移而不损失的准确性。开发了三种辅音发声分类器:(1)手动选择的锚定在语音界标处的声学特征,(2)MFCC(跨段平均或锚定在界标处),以及(3)使用卷积神经网络(CNN)计算的声学特征。所有检测器都在英语数据(TIMIT)上进行训练,并在英语,土耳其语和西班牙语上进行测试(使用F1和准确性测量性能)。实验表明,手动功能优于所有MFCC分类器,而CNN功能优于两者。基于MFCC的分类器从英语推广到其他语言时,F1绝对值减少了16%。手动特征仅遭受5%的F1减少,并且CNN特征实际上在土耳其语和西班牙语中比在训练语言中表现得更好,这表明能够表示长期频谱动态的特征(CNN和基于地标的特征)能够跨语言地概括,而几乎没有或没有准确性损失
2016-11-10 cs.CL cs.SD
APPSI-139: A Parallel Corpus of English Application Privacy Policy Summarization and Interpretation
Tianjin University(天津大学);Zhejiang University(浙江大学);North University of China(北方工业大学);Institute of Science Tokyo(东京科学研究所);The Hong Kong Polytechnic University(香港理工大学);Hangzhou High-Tech Zone (Binjiang) Institute of Blockchain and Data Security(杭州高新技术区(滨江)区块链与数据安全研究院)
本文提出APPSI-139平行语料库,包含139个隐私政策及15,692个改写语料,结合TCSI-pp-V2框架提升摘要与解释的可读性与可靠性,优于GPT-4o等大模型。
2026-04-30 cs.AI cs.CL
Mix and Match: An Empirical Study on Training Corpus Composition for Polyglot Text-To-Speech (TTS)
Alexa AI, Amazon(亚马逊Alexa人工智能部门)
使用单语语料库训练多语言神经文本转语音(NTTS)模型已经成为构建基于语音克隆的多语言NTTS系统的流行方式。为了训练这些模型,了解训练语料库的组成如何影响多语言语音合成的质量是至关重要的。在这种情况下,经常会听到这样的问题:“考虑到两种语言的接近性,包括更多的西班牙语数据是否有助于我的意大利语合成?".不幸的是,我们发现关于这一主题的现有文献在这方面缺乏完整性。在目前的工作中,我们进行了广泛的消融研究,旨在了解各种因素的培训语料库,如语言的家庭关系,性别组成,和扬声器的数量,有助于多语言合成的质量。我们的研究结果包括观察到,女性说话者数据在大多数情况下是首选的,它并不总是有益的,有更多的发言者从目标语言变体的训练语料库。本文的研究结果对语料的获取和语料库的建立有一定的参考价值。
2022-07-04 cs.CL cs.LG eess.AS
Generalistic or Specific Embeddings, Which is Better? An Empirical Study on Search for Clinical Coding in Non-English Languages
TietAI
本研究通过使用大型生成语言模型生成的合成数据微调双语编码器,构建两阶段检索器,解决了非英语语言临床编码检索中召回率下降的问题,并在多语言基准上取得了优于BioBERT-ST的性能。
2026-05-28 cs.AI cs.CL cs.LG
UFRGS Participation on the WMT Biomedical Translation Shared Task
本文介绍了南里奥格兰德联邦大学(UFRGS)团队为生物医学翻译共享任务开发的机器翻译系统。我们的系统基于统计机器翻译和神经机器翻译,分别使用Moses和OpenNMT工具包。我们参与了英语/西班牙语和英语/葡萄牙语对的四个翻译方向。为了创建我们的训练数据,我们连接了几个平行的语料库,既有来自域内和域外的资源,也有来自UMLS的术语资源。根据官方的共享任务评估,我们的系统获得了最好的BLEU分数。
2019-05-06 cs.CL
A User-Centered Evaluation of Spanish Text Simplification
Microsoft Corporation(微软公司)
该研究使用复杂句与复杂词语料评估生产环境中的西班牙语文本简化,发现神经网络优于可读性评分、单语模型优于多语言模型,并指出现有模型依赖虚假特征。
2023-08-15 cs.CL cs.LG
Translation of Pronominal Anaphora between English and Spanish: Discrepancies and Evaluation
University of Alicante(阿利坎特大学)
本文评价了在机器翻译(MT)系统中代词回指翻译的不同任务。MT interlingua方法命名为AGIR(照应生成与Interlingua表示)改进了迄今为止提出的其他建议,因为它能够翻译插入照应,检测共指链,并将西班牙语零代词翻译成英语-其他系统很少考虑的问题。本文提出了解决和评估这些回指问题的AGIR使用不同种类的知识(词汇,形态,句法和语义)。本文在非限制性语料库上对英语和西班牙语照应性第三人称代词(包括西班牙语零人称代词)到目标语言的翻译进行了评估。在西班牙语和英语代词的翻译中,我们分别获得了80.4%和84.8%的准确率。虽然我们只学习了西班牙语和英语,但我们的方法可以很容易地扩展到其他语言,如葡萄牙语,意大利语或日语。
2011-06-24 cs.AI cs.CL
findsylls: A Language-Agnostic Toolkit for Syllable-Level Speech Tokenization and Embedding
Department of Linguistics, University of Pennsylvania, USA(宾夕法尼亚大学语言学系)
提出语言无关的模块化工具包findsylls,统一经典音节检测器和端到端音节切分器,支持音节分割、嵌入提取和多粒度评估,在英语、西班牙语及低资源语言Kono上验证了跨语言可重复实验能力。
2026-06-17 cs.AI cs.CL
Multilingual Target-Stance Extraction
该研究首次构建涵盖六种语言的多语言目标立场抽取基准,扩展原有流程无需分语言建模,虽F1仅12.78,但揭示了目标预测瓶颈及表述敏感性,为后续研究提供基线。
2025-10-25 cs.AI cs.CL
LinCE: A Centralized Benchmark for Linguistic Code-switching Evaluation
University of Houston(休斯顿大学)
NLP研究的最新趋势引起了人们对语言代码转换(CS)的兴趣;现代方法已经被提出来解决多种语言对上的各种NLP任务。不幸的是,这些方法很难推广到不同的代码切换语言。此外,目前还不清楚模型架构是否适用于不同的任务,同时仍然与代码切换设置兼容。这主要是因为缺乏一个集中的基准和稀疏的语料库,研究人员根据他们的具体需求和兴趣。为了促进这一方向的研究,我们提出了一个集中的语言语码转换评估(LinCE)基准,该基准结合了十个语料库,涵盖四个不同的语码转换语言对(即,西班牙语-英语、尼泊尔语-英语、印地语-英语和现代标准阿拉伯语-埃及阿拉伯语)和四项任务(即,语言识别、命名实体识别、词性标记和情感分析)。作为基准集中化工作的一部分,我们在ritual.uh.edu/lince提供了一个在线平台,研究人员可以在与其他人进行实时比较的同时提交他们的结果。此外,我们还提供了不同流行模型的评分,包括LSTM、ELMo和多语言BERT,以便NLP社区可以与最先进的系统进行比较。LinCE是一个持续的努力,我们将用更多的低资源语言和任务来扩展它。
2020-05-09 cs.CL
Historical Ink: 19th Century Latin American Spanish Newspaper Corpus with LLM OCR Correction
Universidad de los Andes(安第斯大学);Rice University(莱斯大学)
本文构建了19世纪拉丁美洲报纸文本新数据集,并开发了基于大语言模型的半自动化框架,用于OCR错误校正和语言表层形式检测,填补了该地区历史语言学语料库空白。
2024-10-04 cs.CL cs.DL
Comparing morphological complexity of Spanish, Otomi and Nahuatl
我们使用两个小的平行语料库比较西班牙语,奥托米语和纳瓦特尔语的形态复杂性。这些语言属于不同的语系,后者资源较少。我们考虑了两个定量标准,一方面是分布的类型在语料库中的令牌,另一方面,困惑和熵作为指标的词结构的可预测性。我们表明,一种语言可以是复杂的,有多少不同的形态词的形式可以产生,然而,它可能是不那么复杂的,其内部结构的单词的可预测性。
2018-08-13 cs.CL
Spanish Pre-trained BERT Model and Evaluation Data
Adereso;Universidad de Chile(智利大学);Millennium Institute for Foundational Research on Data (IMFD)(千年基础数据研究所(IMFD))
本文发布了一个仅用西班牙语数据预训练的 BERT 模型,并构建了类似 GLUE 的西班牙语评估基准,在多数任务上超越多语言 BERT 模型,部分任务达到新最优。
2023-08-06 cs.AI cs.CL cs.LG
Optimizing ASR for Catalan-Spanish Code-Switching: A Comparative Analysis of Methodologies
LangTech Lab(语言技术实验室)
本文针对加泰罗尼亚语-西班牙语语码转换的ASR难题,比较了合成数据、单语音频拼接和带语言标记的真实数据三种策略,发现适量合成数据结合主导语言标记微调Whisper模型效果最佳。
2025-07-18 cs.CL eess.AS
Lessons learned from the evaluation of Spanish Language Models
University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU);HiTZ Center - Ixa(HiTZ中心-Ixa)
本文对西班牙语语言模型进行全面对比,发现大公司多语言模型优于单语模型,且单语模型间结果不具决定性,指出构建更优西班牙语单语模型仍需深入研究语料规模、质量与预训练技术。
2023-09-22 cs.AI cs.CL
Preparing an Endangered Language for the Digital Age: The Case of Judeo-Spanish
Col·lectivaT;Universitat Pompeu Fabra(庞培法布拉大学);Dublin City University(都柏林城市大学);Sephardic Center of Istanbul(伊斯坦布尔塞法迪中心)
我们开发机器翻译和语音合成系统,以补充振兴犹太-西班牙语的努力,这是塞法迪犹太人的流亡语言,幸存了几个世纪,但现在面临着在数字时代灭绝的威胁。在土耳其和其他地方的塞法迪社区创建的资源的基础上,我们创建了语料库和工具,有助于为后代保护这种语言。对于机器翻译,我们首先开发了一个西班牙语到犹太-西班牙语的基于规则的机器翻译系统,以生成大量的合成并行数据的相关语言对:土耳其语,英语和西班牙语。然后,我们使用这个合成数据和由Sephardic社区翻译创建的真实并行数据来训练基线神经机器翻译引擎。对于文本到语音合成,我们提出了一个3.5小时的单扬声器语音语料库建立一个神经语音合成引擎。资源、模型权重和在线推理引擎是公开共享的。
2022-05-31 cs.CL
Mapping the Multilingual Margins: Intersectional Biases of Sentiment Analysis Systems in English, Spanish, and Arabic
Columbia University(哥伦比亚大学)
随着自然语言处理系统变得越来越普遍,有必要解决其实施和部署中的公平性问题,以确保其对社会的负面影响得到理解和最小化。然而,使用多语言和交叉框架或下游任务研究公平性的工作有限。在本文中,我们介绍了四个多语种的公平评估语料库,补充测试集,旨在衡量社会偏见,和一个新的统计框架,研究自然语言处理中的单一和交叉的社会偏见。我们使用这些工具来测量性别,种族,民族和跨部门的社会偏见,在英语,西班牙语和阿拉伯语的情绪回归任务训练的五个模型。我们发现,许多系统表现出统计上显着的单一和交叉的社会偏见。
2022-04-07 cs.CL
Automatic Spanish Translation of the SQuAD Dataset for Multilingual Question Answering
TALP Research Center(TALP研究中心)
最近,多语言问答成为一个重要的研究课题,它正在收到越来越多的兴趣在NLP社区。然而,大规模数据集的不可用性使得训练多语言QA系统具有与英语系统相当的性能具有挑战性。在这项工作中,我们开发的翻译对齐(TAR)方法自动翻译斯坦福问答数据集(SQuAD)v1.1到西班牙语。然后,我们使用该数据集通过微调多语言BERT模型来训练西班牙语QA系统。最后,我们使用最近提出的跨语言提取QA的MLQA和XQuAD基准测试评估了我们的QA模型。实验结果表明,我们的模型优于以前的多语言BERT基线,在西班牙语MLQA语料库上实现了68.1个F1点的最新值,在西班牙语XQuAD语料库上实现了77.6个F1和61.8个精确匹配点。据我们所知,合成生成的SQuAD-es v1.1语料库几乎100%包含在原始英文版本中,是西班牙语的第一个大规模QA培训资源。
2019-12-12 cs.CL
Sequence-to-Sequence Spanish Pre-trained Language Models
KU Leuven(鲁汶大学);Universidad Politécnica Salesiana(Salesiana理工大学)
本文针对西班牙语缺乏序列到序列预训练模型的问题,基于西班牙语语料库训练并评估了 BART、T5 和 BERT2BERT 等编码器-解码器架构,发现它们在多项任务中表现优异,并已开源以促进西班牙语 NLP 发展。
2024-03-21 cs.AI cs.CL cs.LG
Parallel Corpus for Indigenous Language Translation: Spanish-Mazatec and Spanish-Mixtec
Instituto Politécnico Nacional (IPN)(国立理工学院);Transdisciplinary Research for Augmented Innovation - Laboratory (TRAI-L)(增强创新跨学科研究实验室);Tecnológico Nacional de México(墨西哥国家技术学院)
本文构建了西班牙语-马萨特克语和西班牙语-米斯特克语平行语料库,并通过微调M2M100-48模型验证其在低资源机器翻译中的有效性,强调土著语言作为目标语言时表现更优。
2023-05-27 cs.CL
Evaluating Indirect Strategies for Chinese-Spanish Statistical Machine Translation
Institute for Infocomm Research(信息通信研究所)
尽管汉语和西班牙语是世界上使用最多的两种语言,但对这两种语言的机器翻译研究并不多。统计机器翻译是当今最流行的机器翻译方法之一。为了这个目的,我们报告的细节,可用的平行语料库是基本的旅行者表达语料库(BTEC),圣经和联合国(UN)。此外,我们进行了实验工作,这三个语料库中最大的探索替代SMT策略,通过使用枢轴语言。三种替代方案被认为是枢:级联,伪语料库和三角测量。作为枢纽语言,我们使用英语,阿拉伯语或法语。结果表明,对于一个基于短语的SMT系统,英语是最好的枢纽语言之间的中文和西班牙语。我们提出了一个系统的输出组合使用枢轴策略,这是能够优于直接翻译策略。这项工作的主要目标是激励和参与研究界在这对重要的语言工作,因为它们的人口影响。
2014-02-04 cs.CL
Targum -- A Multilingual New Testament Translation Corpus
本文介绍了一个包含651种新约翻译的多语言语料库,涵盖五种语言,每种语言的翻译数量远超以往,为翻译史的量化研究提供了深度数据支持。
2026-05-12 cs.CL
3CEL: A corpus of legal Spanish contract clauses
Instituto de Ingeniería del Conocimiento(知识工程研究所);Universidad Politécnica de Madrid(马德里理工大学)
本文介绍在 INESData 2024 框架下开发的西班牙语法律合同条款语料库(3CEL),包含 373 份人工标注标书和 19 个类别(共 4782 个标签),用于合同信息抽取,以缓解西班牙语法律 NLP 资源稀缺问题。
2025-01-27 cs.CL
ALBETO and DistilBETO: Lightweight Spanish Language Models
University of Chile(智利大学);National Center for Artificial Intelligence (CENIA)(国家人工智能中心(CENIA));Millennium Institute for Foundational Research on Data (IMFD)(千禧数据基础研究所(IMFD));KU Leuven(鲁汶大学)
近年来,在预训练的语言模型方面有了相当大的进步,其中也提供了非英语语言版本。由于它们的使用越来越多,这些模型的许多轻量级版本(减少了参数)也被发布,以加快训练和推理时间。然而,这些较轻型号的版本(例如,除英语外,其他语言的语言仍然很少。在本文中,我们提出了ALBETO和DistilBETO,这是版本的ALBERT和DistilBERT预先训练的西班牙语语料库。我们训练几个版本的ALBETO,从5 M到223 M参数,以及一个67 M参数的DistilBETO。我们在GLUES基准中评估我们的模型,其中包括西班牙语中的各种自然语言理解任务。结果表明,我们的轻量级模型实现竞争力的结果,BETO(西班牙BERT),尽管有较少的参数。更具体地说,我们更大的ALBETO模型在MLDoc、PAWS-X、XNLI、MLQA、SQAC和XQuAD数据集上的性能优于所有其他模型。然而,BETO仍然保持不败的POS和NER。作为进一步的贡献,所有模型都公开提供给社区供未来研究。
2023-01-25 cs.CL
A New NMT Model for Translating Clinical Texts from English to Spanish
College of Information and Computer Science, University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特信息与计算机科学学院);Department of Computer Sciences, University of Massachusetts Lowell(马萨诸塞大学洛约拉计算机科学系);Department of Quantitative Health Sciences, University of Massachusetts Medical School(马萨诸塞大学医学学院定量健康科学系);Bedford VAMC and CHOIR(贝德福德退伍军人医疗中心和CHOIR)
针对英语到西班牙语临床文本翻译因缺乏平行语料库和未知词多而困难的问题,提出仅需少量域内平行语料库训练的NOOV系统,通过集成双语词典和生物医学短语查询表提升翻译准确性与流畅性。
2025-08-26 cs.CL
Regionalized models for Spanish language variations based on Twitter
Consejo Nacional de Ciencia y Tecnología(国家科学技术委员会);Centro de Investigación e Innovación en Tecnologías de la Información y Comunicación(信息与通信技术研究与创新中心);Centro de Investigación en Ciencias de Información Geoespacial(地理空间信息科学研究中心);Instituto Politécnico Nacional(国家理工学院)
西班牙语是世界上使用最多的语言之一,但在不同的国家,西班牙语的书写和口语并不一定相同。了解当地语言的变化可以帮助提高模型在区域任务上的性能,既可以理解当地的结构,也可以改善消息的内容。例如,想想一个机器学习工程师,他在特定地区自动执行一些语言分类任务,或者一个社会科学家试图理解社交媒体上的一个地区性事件;两者都可以利用基于方言的语言模型来理解正在发生的事情,并提供更多的上下文信息,从而提高精度。这份手稿介绍并描述了一套西班牙语的区域化资源,这些资源建立在26个西班牙语国家的四年Twitter公共信息上。我们介绍了基于FastText的词嵌入,基于BERT的语言模型,以及每个区域的样本语料库。我们还提供了一个广泛的比较,包括词汇和语义相似的地区,以及使用区域资源的消息分类任务的例子。
2022-12-09 cs.CL cs.CY cs.SI
Exploring Large Language Models for Hate Speech Detection in Rioplatense Spanish
Instituto de Cs. de la Computación(计算机科学研究所);CONICET(阿根廷科学技术研究委员会);UBA(布宜诺斯艾利斯大学);Instituto Gino Germani(吉诺·格尔马研究所);FSOC(社会科学学院);Departamento de Computación, FCEN UBA(布宜诺斯艾利斯大学精确与自然科学学院计算机系)
本文分析了大型语言模型在拉普拉塔河西班牙语仇恨言论检测中的性能,利用思维链推理进行分类实验并与BERT对比,发现尽管精度较低,但对细微案例仍具敏感性。
2024-10-16 cs.CL
Multilingual Pretraining Using a Large Corpus Machine-Translated from a Single Source Language
University College London(伦敦大学学院);Together AI;University of Waterloo(滑铁卢大学);National Institute of Informatics(情报信息研究所)
本研究利用机器翻译将高质量英语数据集FineWeb-Edu扩展为多语言语料TransWeb-Edu,并训练13亿参数的CuatroLLM,在多个非英语推理任务上以更少数据超越现有最先进模型,并开源全部资源。
2024-11-06 cs.CL
Curated Datasets and Neural Models for Machine Translation of Informal Registers between Mayan and Spanish Vernaculars
Universitat d’Alacant(阿利坎特大学)
本文构建并发布聚焦玛雅语与西班牙语日常非正式表达的 MayanV 平行语料,并训练神经翻译模型,证明通用资源难以反映真实语域。
2024-04-11 cs.CL cs.LG
What is Your Favorite Gender, MLM? Gender Bias Evaluation in Multilingual Masked Language Models
Emory University(埃默里大学)
针对多语言 MLM 性别偏见评估不足的问题,本文提出不依赖英语平行语料的多语言方法和基于模型的句子对生成技术,并用多种指标证明既有评估不稳定。
2024-04-09 cs.CL
EriBERTa: A Bilingual Pre-Trained Language Model for Clinical Natural Language Processing
HiTZ Basque Center for Language Technology(HiTZ巴斯克语言技术中心);University of the Basque Country (UPV/EHU)(巴斯克大学(UPV/EHU))
针对西班牙语临床领域专用语言模型匮乏的问题,本文提出在大规模医疗临床语料上预训练的双语模型EriBERTa,其临床任务表现优于现有西语模型,且跨语言迁移能力可缓解西语临床数据不足的困境。
2023-06-12 cs.CL
Enhancing Scientific Discourse: Machine Translation for the Scientific Domain
Institute for Speech and Language Processing(语音与语言处理研究所);Athena RC(雅典研究中心)
本文针对科学领域中由于专业术语和复杂句式带来的翻译挑战,构建了多语种平行和单语语料库,并通过微调通用神经机器翻译系统评估语料库质量。
2026-05-20 cs.CL
Biomedical term normalization of EHRs with UMLS
Vicomtech;UPV/EHU(巴斯克大学)
本文提出了一种新的原型,生物医学术语规范化的电子健康记录摘录与统一医学语言系统(UMLS)元词库。尽管设计上是多语言和跨语言的,但我们首先专注于处理西班牙语的临床文本,因为目前还没有针对这种语言和特定目的的工具。该工具基于Apache Lucene来索引Metathesaurus并从输入文本生成映射候选项。它使用IXA管道进行基本语言处理,并使用UKB工具包解决歧义。它已通过测量其协议MetaMap在两个英语-西班牙语平行语料库进行了评估。此外,我们提出了一个基于Web的界面的工具。
2018-05-24 cs.CL
ClinLinker: Medical Entity Linking of Clinical Concept Mentions in Spanish
Universidad de Málaga(马拉加大学);Research Institute of Multilingual Language Technologies(多语言语言技术研究所);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
ClinLinker提出基于SapBERT双编码器检索与交叉编码器重排序的两阶段西班牙语医学实体链接方法,在DisTEMIST和MedProcNER上分别超越先前基准40和43个百分点。
2024-04-09 cs.CL
Termhood-based Comparability Metrics of Comparable Corpus in Special Domain
Nanjing University of Science and Technology(南京理工大学)
跨语言信息检索和机器翻译资源,如词典和平行语料库,在特定领域是稀缺和难以获得的。此外,这些资源仅限于英语、法语和西班牙语等少数几种语言,因此,自动获取这些领域的可比语料库可以有效地解决这一问题。可比较的语料库,即子语料库之间互不翻译的语料库,可以很容易地从网上获得。因此,在多语种信息处理中,建立和使用可比语料库往往是一种更为可行的选择。可比性度量是可比语料库建设和使用的关键问题之一。目前,还没有一个被广泛接受的定义或度量方法的语料库可比性。事实上,在自然语言处理的不同任务中,可以给出不同的相似性定义或度量方法。本文提出了一种面向双语术语抽取的相似性度量方法--基于术语的相似性度量方法。该方法首先根据词频对词进行排序,然后根据词频排序表计算余弦相似度作为相似度。实验结果表明,基于词条的度量方法比传统的基于频率的度量方法具有更好的性能。
2013-02-19 cs.CL
Improving Sentiment Analysis over non-English Tweets using Multilingual Transformers and Automatic Translation for Data-Augmentation
European Commission – DG-JRC(欧盟委员会联合研究中心)
与一般文本相比,推文是特定的文本数据。尽管在过去的十年中,对英语的tweets进行情感分析已经变得非常流行,但是仍然很难找到针对非英语语言的大型注释语料库。自然语言处理中最近兴起的Transformer模型允许在许多任务中实现无与伦比的性能,但这些模型需要相应的文本量来适应tweet域。我们建议使用多语言Transformer模型,我们对英语推文进行预训练,并使用自动翻译应用数据增强,以使模型适应非英语语言。我们在法语,西班牙语,德语和意大利语的实验表明,所提出的技术是一种有效的方法来提高结果的Transformers在非英语语言的小语料库的推文。
2020-10-07 cs.CL
Pretrained Language Models for Document-Level Neural Machine Translation
Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
以前的工作文档级NMT通常集中在有限的上下文,因为性能下降较大的上下文。本文主要研究了在大规模文本中使用语言模型的问题,主要有三个方面的贡献:(1)与以往在大规模并行语料库上使用预训练语言模型不同,本文使用了基于单语文档的预训练语言模型,特别是BERT;(2)我们提出了上下文操作方法来控制大上下文的影响,这导致了使用小上下文和大上下文的系统上的可比结果;(3)我们引入了用于正则化的多任务训练,以避免模型过度拟合我们的训练语料库,这进一步改进了我们的系统以及更深的编码器。实验在广泛使用的IWITOS数据集上进行,有三种语言对,中文-英文、法文-英文和西班牙文-英文。结果表明,我们的系统是显着优于三个以前报道的文档级系统。
2019-11-08 cs.CL
SemEval-2020 Task 9: Overview of Sentiment Analysis of Code-Mixed Tweets
University of Houston(休斯顿大学);IIIT Delhi(印度德里信息技术学院);IIIT Sri City(印度斯里城信息技术学院);NTNU(挪威科技大学);Wipro AI Labs(威普罗人工智能实验室)
在本文中,我们介绍了SemEval-2020任务9对代码混合推文的情感分析(SentiMix 2020)的结果。我们还发布并描述了我们的Hinglish(印地语-英语)和Spanglish(西班牙语-英语)语料库,这些语料库使用单词级语言识别和短语级情感标签进行注释。这些语料库分别由20 K和19 K个示例组成。情绪标签是-积极,消极和中性。SentiMix共吸引了89个参赛作品,其中包括61个参加Hinglish比赛的团队和28个参加Spanglish比赛的团队。最好的成绩是75.0%F1的Hinglish和80.6%F1的Spanglish。我们观察到BERT类模型和集成方法是参与者中最常见和最成功的方法。
2020-08-10 cs.CL
Scalable Cross-lingual Document Similarity through Language-specific Concept Hierarchies
Universidad Politécnica de Madrid(马德里理工大学);Amazon Research(亚马逊研究院)
随着越来越多的数字文章以更广泛的语言出现,以及不同语言的使用范围不断扩大,我们需要能够浏览多语言语料库的注释方法。多语言概率主题模型是近年来出现的一组半监督机器学习模型,可用于对多种语言的文本集合进行主题探索。然而,这些方法需要主题对齐的训练数据来创建语言独立的空间。这种限制限制了该技术可以为训练提供解决方案的场景数量,并且很难扩展到训练阶段需要大量多语言文档的情况。本文提出了一种无监督的文档相似度算法,不需要平行或可比语料库,或任何其他类型的翻译资源。该算法用跨语言标签标注从单一语言文档中自动创建的主题,并通过独立训练的模型中的多语言概念层次来描述文档。在英语,西班牙语和法语版的JCR-Accounts语料库上进行的实验显示,通过相似内容对文档进行分类和排序的结果很有希望。
2020-12-15 cs.AI cs.CL cs.IR
The Model's Language Matters: A Comparative Privacy Analysis of LLMs
Inria(法国国家信息与自动化研究所);INSA Lyon(里昂国立应用科学学院);CITI(信息与技术研究所)
本研究首次定量证明语言结构影响大语言模型的隐私泄露,意大利语泄露最强,法语和西班牙语更稳健,需语言感知的隐私保护机制。
2025-10-09 cs.CL cs.CR
Unsupervised Cross-Lingual Part-of-Speech Tagging with Monolingual Corpora Only
School of Foreign Languages, University of Electronic Science and Technology of China(电子科技大学外国语言学院);School of Computer Science and Engineering, University of Electronic Science and Technology of China(电子科技大学计算机科学与工程学院)
本文提出了一种仅使用单语语料的无监督跨语言词性标注框架,通过无监督神经机器翻译构建伪平行句子对,并利用多源投影技术提升词性标注性能。
2026-02-10 cs.CL