Spanish and LLM Benchmarks: is MMLU Lost in Translation?
ETSI de Telecomunicación(电信高级工程师学院);Universidad Politécnica de Madrid(马德里理工大学);Facultad de Filosofía y Letras(哲学与文学学院);Universidad Autónoma de Madrid(马德里自治大学);SomosNLP
本文研究了自动翻译对LLM基准测试MMLU在西班牙语评估中的影响,发现部分测试失败归因于翻译错误,强调需由专家修订或适配非英语基准测试。
2024-05-28 cs.AI cs.CL
The Role of Prompt Language and Translation-Theory-Driven Prompts in Large Language Models: A Case Study on Spanish-Chinese Journalistic Translation
Faculty of Translation and Interpreting(翻译与口译学院);Autonomous University of Barcelona(巴塞罗那自治大学);Barcelona, Spain(西班牙巴塞罗那)
研究提示语言和翻译理论驱动的提示设计对GPT-5.2生成的西中新闻翻译质量的影响。通过48种实验条件翻译平行语料库,用自动评估指标和人工评估,发现理论驱动提示能减少特定错误,提示语言影响小。
2026-07-07 cs.AI cs.CL
Improving Low-Resource Translation with Dictionary-Guided Fine-Tuning and RL: A Spanish-to-Wayuunaiki Study
Universidad de los Andes(洛斯安第斯大学)
本文针对西班牙语到瓦尤纳基语的低资源翻译,提出词典工具增强的决策框架,结合监督微调与GRPO强化学习,使模型学会何时及如何查询词典,在AmericasNLP 2025测试集上取得最高+3.37 BLEU提升和18%相对增益。
2025-08-26 cs.AI cs.CL
Evaluating Large Language Models on the Spanish Medical Intern Resident (MIR) Examination 2024/2025:A Comparative Analysis of Clinical Reasoning and Knowledge Application
Universidad de Alcalá(阿尔卡拉大学);Binpar(宾帕尔(Binpar))
本文评估22个LLM在2024/2025年西班牙MIR医学考试中的临床推理、专业知识与多模态能力,发现领域微调模型准确率更优。
2025-03-16 cs.AI cs.CL
NoticIA: A Clickbait Article Summarization Dataset in Spanish
HiTZ Basque Center for Language Technology(HiTZ巴斯克语言技术中心);University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU)
本文提出了西班牙语诱饵文章摘要数据集NoticIA,包含850篇新闻文章及人工撰写的单句摘要,并基于此评估多种大型语言模型,同时训练了达到接近人类性能的特定任务模型ClickbaitFighter。
2024-05-31 cs.AI cs.CL
The futility of STILTs for the classification of lexical borrowings in Spanish
National Library of Norway AI-Lab(挪威国家图书馆人工智能实验室);LINHD, UNED(西班牙国家远程教育大学数字人文研究实验室)
第一版的IberLEF 2021关于自动检测借用(ADobo)的共享任务专注于检测出现在西班牙语媒体上的词汇借用,以及最近被导入到西班牙语中的词汇借用。在这项工作中,我们测试了中间标记数据任务(STILTs)的补充训练,从词性(POS),命名实体识别(NER),代码转换和语言识别方法到使用现有的预训练基于transformer的语言模型在令牌级别上对借款进行分类。我们广泛的实验结果表明,STILTs不提供任何改善直接微调的多语言模型。然而,在小的语言子集上训练的多语言模型比多语言BERT表现得更好,但不如给定数据集的多语言RoBERTa。
2021-09-17 cs.CL
MessIRve: A Large-Scale Spanish Information Retrieval Dataset
CONICET-Universidad de Buenos Aires. Instituto de Ciencias de la Computación (ICC). Buenos Aires, Argentina(CONICET-阿根廷布宜诺斯艾利斯大学。计算机科学研究所(ICC)。布宜诺斯艾利斯,阿根廷);Universidad de Buenos Aires. Facultad de Ciencias Exactas y Naturales. Departamento de Computación. Buenos Aires, Argentina(阿根廷布宜诺斯艾利斯大学。自然科学学院。计算机系。布宜诺斯艾利斯,阿根廷);University of California, Santa Barbara. California, U.S.A.(美国加利福尼亚大学圣巴巴拉分校);Quantit
针对西班牙语IR数据集匮乏的问题,该研究推出大规模数据集MessIRve,包含近70万条真实西语查询与维基百科相关文档,覆盖多地区方言与广泛主题,并提供基准评测,助力西语IR研究与信息获取。
2025-11-19 cs.AI cs.CL
Historical Ink: Exploring Large Language Models for Irony Detection in 19th-Century Spanish
Universidad de los Andes(安第斯大学)
本研究利用大型语言模型(BERT和GPT-4o)增强19世纪拉丁美洲报纸的反讽检测,通过半自动注释方法解决类别不平衡,贡献了新历史西班牙语数据集和融合历史文化的注释方法论。
2025-03-28 cs.AI cs.CL cs.DL
Language Model Knowledge Distillation for Efficient Question Answering in Spanish
University of Cambridge(剑桥大学)
本文提出SpanishTinyRoBERTa,通过知识蒸馏压缩西班牙语问答模型,在保持性能的同时显著提升推理速度,适用于资源受限环境。
2024-03-16 cs.CL cs.LG stat.ML
Probing Latent Colombian Identity Inferences in Qwen2.5-7B with Natural Language Autoencoders
Universidad Autónoma de Occidente(西自治大学)
研究Qwen2.5 - 7B - Instruct处理提示时是否表征哥伦比亚相关信息,用自然语言自动编码器转化残差流激活,通过含30个提示的数据集进行研究,将激活可解释性与西班牙语变体偏差评估相联系。
2026-07-27 cs.AI cs.CL
MedCOD: Enhancing English-to-Spanish Medical Translation of Large Language Models Using Enriched Chain-of-Dictionary Framework
Center for Healthcare Organization and Implementation Research, VA Bedford Health Care(医疗组织与实施研究中心,VA贝德福德医疗中心);Miner School of Computer and Information Sciences, University of Massachusetts Lowell(矿物计算机与信息科学学院,马萨诸塞州立大学洛厄尔分校);Manning College of Information and Computer Sciences, University of Massachusetts Amherst(曼宁信息与计算机科学学院,马萨诸塞州立大学阿姆赫斯特分校)
MedCOD 通过融合 UMLS 与 LLM-KB 的结构化医学知识并配合 LoRA 微调,显著提升多个开源大语言模型的英译西医学翻译质量,超越 GPT-4o 等强基线模型。
2025-09-19 cs.AI cs.CL
Resolving Transcription Ambiguity in Spanish: A Hybrid Acoustic-Lexical System for Punctuation Restoration
Dialpad Canada Inc.(加拿大Dialpad公司)
针对西班牙语无标点陈述与疑问句的歧义,提出混合声学-词汇标点恢复系统,整合声学与词汇信号,提升问号F1及整体标点恢复,优于LLM并降低ASR词错误率。
2024-02-05 cs.AI cs.CL
Improving Bilingual Capabilities of Language Models to Support Diverse Linguistic Practices in Education
Stony Brook University(石溪大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究通过微调开源多语言模型,显著提升了其在单语及双语学生写作评估中的性能,减少了双语评分偏差,支持教育中的真实语言实践。
2024-11-06 cs.AI cs.CL
EsBBQ and CaBBQ: The Spanish and Catalan Bias Benchmarks for Question Answering
Barcelona Supercomputing Center (BSC-CNS)(巴塞罗那超级计算中心(BSC-CNS));HiTZ Center – IXA, University of the Basque Country(HiTZ中心–IXA,巴斯克大学)
本文针对非英语及美国以外社会背景的资源匮乏问题,提出了西班牙语和加泰罗尼亚语问答偏见基准(EsBBQ和CaBBQ),基于BBQ评估10类社会偏见,实验表明模型在模糊场景下易选错且高准确率常伴随对社会偏见的更大依赖。
2025-07-15 cs.CL
FMI@SU ToxHabits: Evaluating LLMs Performance on Toxic Habit Extraction in Spanish Clinical Texts
Faculty of Mathematics and Informatics, Sofia University St. Kliment Ohridski(索非亚大学圣克利门特奥赫里德斯基数学与信息学学院)
本文提出了一种识别西班牙临床文本中毒瘾习惯实体的方法,通过LLMs在零样本、少样本和提示优化中发现GPT-4.1在少样本提示下表现最佳,达到0.65的F1分数,展示了非英语语言命名实体识别的潜力。
2026-04-07 cs.AI cs.CL
RigoBERTa: A State-of-the-Art Language Model For Spanish
Instituto de Ingeniería del Conocimiento(知识工程研究所);Universidad Autónoma de Madrid(马德里自治大学)
本文介绍了RigoBERTA,一个国家的最先进的语言模型的西班牙语。RigoBERTA是在一个精心策划的语料库上训练的,该语料库由具有关键特征的不同子语料库组成。它遵循DeBERTa体系结构,与其他与BERT或RoBERTa规模类似的体系结构相比,DeBERTa有几个优点。RigoBERTa的性能评估超过13个NLU任务与其他可用的西班牙语语言模型,即MarIA,BERTIN和BETO相比。RigoBERTA在13项任务中的10项中表现优于三种模型,取得了新的“最先进”结果。
2022-06-03 cs.CL
Enabling Autoregressive Models to Fill In Masked Tokens
University of California Los Angeles(加州大学洛杉矶分校)
针对AR模型无法掩码填充、MLM模型计算低效的问题,提出MARIA架构,结合预训练MLM与AR模型的拼接隐藏状态训练线性解码器,使AR模型保留KV缓存推理优势的同时实现掩码填充,性能显著优于离散扩散模型。
2025-02-09 cs.AI cs.CL cs.LG
3CEL: A corpus of legal Spanish contract clauses
Instituto de Ingeniería del Conocimiento(知识工程研究所);Universidad Politécnica de Madrid(马德里理工大学)
本文介绍在 INESData 2024 框架下开发的西班牙语法律合同条款语料库(3CEL),包含 373 份人工标注标书和 19 个类别(共 4782 个标签),用于合同信息抽取,以缓解西班牙语法律 NLP 资源稀缺问题。
2025-01-27 cs.CL
ClinLinker: Medical Entity Linking of Clinical Concept Mentions in Spanish
Universidad de Málaga(马拉加大学);Research Institute of Multilingual Language Technologies(多语言语言技术研究所);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
ClinLinker提出基于SapBERT双编码器检索与交叉编码器重排序的两阶段西班牙语医学实体链接方法,在DisTEMIST和MedProcNER上分别超越先前基准40和43个百分点。
2024-04-09 cs.CL
Generalistic or Specific Embeddings, Which is Better? An Empirical Study on Search for Clinical Coding in Non-English Languages
TietAI
本研究通过使用大型生成语言模型生成的合成数据微调双语编码器,构建两阶段检索器,解决了非英语语言临床编码检索中召回率下降的问题,并在多语言基准上取得了优于BioBERT-ST的性能。
2026-05-28 cs.AI cs.CL cs.LG
ChatGPT as a Solver and Grader of Programming Exams written in Spanish
Centro Singular de Investigación en Tecnoloxias Intelixentes (CiTIUS)(智能技术 singular 研究中心(CiTIUS));Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
本研究评估了ChatGPT解答与评分西班牙语计算机科学本科编程考试的能力,发现其仅能有效处理简单编码任务,同时发布了配套编程任务语料库及提示词资源供后续研究使用。
2025-03-20 cs.AI
CNER: A tool Classifier of Named-Entity Relationships
Universidad del Valle(山谷大学)
本研究提出西班牙语命名实体关系抽取工具集合CNER,基于容器架构整合多类工具并配友好界面,作为教学资源展示机器学习在西语NLP中的应用,初步验证了其在西语语境下的应用潜力。
2024-05-17 cs.CL cs.HC
One for All: Towards Language Independent Named Entity Linking
IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
实体链接(EL)是通过将文本中的提及与预定义的提及数据库(个人,组织等)中的条目相关联来消除歧义的任务。大多数以前的EL研究主要集中在一种语言,英语,很少关注其他语言,如西班牙语或中文。在本文中,我们介绍了LIEL,语言独立的实体链接系统,它提供了一个EL框架,一旦在一种语言上训练,在许多不同的语言上都能很好地工作而不改变。LIEL在整个文档中进行联合全局预测,采用具有许多领域和语言独立特征函数的判别重排序框架。在众多基准数据集上的实验表明,所提出的系统一旦在一种语言(英语)上进行训练,其性能优于英语中的几种最先进的系统(4分),并且训练后的模型在西班牙语上也表现得非常好(比竞争对手系统好14分),证明了该方法的可行性。
2017-12-05 cs.CL
Spanish Legalese Language Model and Corpora
Barcelona Supercomputing Center(巴塞罗那超级计算中心)
根据英语在世界范围内的相关性,英语有许多语言模型。然而,对于西班牙语来说,即使它是一种广泛使用的语言,也只有很少的西班牙语语言模型,这导致其规模小且过于通用。法律俚语可以被认为是西班牙语的变体,因为它在词汇,语义和短语理解方面非常复杂。在这项工作中,我们收集了来自不同来源的法律领域语料库,生成了一个模型,并对西班牙语的一般领域任务进行了评估。该模型在这些任务中提供了合理的结果。
2021-10-23 cs.AI cs.CL
Spanish Biomedical and Clinical Language Embeddings
Barcelona Supercomputing Center(巴塞罗那超级计算中心)
我们使用FastText计算单词和子词嵌入。对于子词嵌入我们选择了字节对编码(BPE)算法来表示子字。我们评估了生物医学词嵌入,获得了比以前的版本更好的结果,这表明随着数据的增加,我们获得了更好的表示。
2021-02-25 cs.AI cs.CL
RoBERTuito: a pre-trained language model for social media text in Spanish
Universidad de Buenos Aires(布宜诺斯艾利斯大学);CONICET(国家科学技术研究委员会)
自BERT出现以来,Transformer语言模型和迁移学习已成为自然语言理解任务的最新研究成果。最近,一些工作面向特定领域的预训练专门制作的模型,例如科学论文,医学文档,用户生成的文本等。这些特定于领域的模型已被证明在大多数任务中显着提高性能。然而,对于英语以外的其他语言,这种模型并不广泛可用。在这项工作中,我们提出了RoBERTuito,一个预先训练的语言模型,用于用户生成的西班牙语文本,经过超过5亿条推文的训练。在涉及用户生成文本的基准任务上进行的实验表明,RoBERTuito在西班牙语中的表现优于其他预先训练的语言模型。除此之外,我们的模型在语言代码转换评估基准(LinCE)的一些英语-西班牙语任务中取得了最佳结果,并且在英语任务中与单语模型相比也具有竞争力。为了促进进一步的研究,我们在HuggingFace模型中心公开了RobERTuito以及用于预训练它的数据集。
2022-05-04 cs.AI cs.CL
Spanish TrOCR: Leveraging Transfer Learning for Language Adaptation
KTH Royal Institute of Technology(瑞典皇家理工学院);CentraleSupélec, université Paris-Saclay(中央高等电力学院,巴黎-萨克雷大学);Qantev(宽迪夫科技)
本研究探索TrOCR架构的西班牙语迁移学习,提出资源高效的多语言OCR数据集构建流水线,对比两种适配方法,证明微调方案效果更优,推出当前最优的开源西班牙语OCR模型并公开相关资源。
2024-07-09 cs.AI cs.CL
Evaluation Benchmarks for Spanish Sentence Representations
KU Leuven(鲁汶大学);University of Western Ontario(西安大略大学);University of Chile(智利大学);National Center for Artificial Intelligence Research (CENIA)(国家人工智能研究中心(CENIA));Millennium Institute for Foundational Research on Data (IMFD)(千年数据基础研究所(IMFD))
由于预先训练的语言模型的成功,近年来已经发布了英语以外的语言版本。这一事实意味着需要资源来评估这些模型。在西班牙语的情况下,有几种方法来系统地评估模型的质量。在本文中,我们缩小差距,通过建立两个评估基准。受先前工作的启发(Conneau和Kiela,2018; Chen等人,2019年),我们介绍了西班牙语SentEval和西班牙语DiscoEval,旨在评估独立和话语感知句子表征的能力。我们的基准测试包括相当多的预先存在的和新构建的数据集,这些数据集解决了来自各个领域的不同任务。此外,我们评估和分析了最新的预训练西班牙语语言模型,以展示其能力和局限性。作为一个例子,我们发现,对于话语评估任务的情况下,mBERT,一个语言模型在多种语言上训练,通常提供了一个更丰富的潜在的代表性比模型只与西班牙语的文档训练。我们希望我们的贡献将激励一个更公平的,更可比的,和不那么繁琐的方式来评估未来的西班牙语语言模型。
2022-04-15 cs.AI cs.CL
Lessons learned from the evaluation of Spanish Language Models
University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU);HiTZ Center - Ixa(HiTZ中心-Ixa)
本文对西班牙语语言模型进行全面对比,发现大公司多语言模型优于单语模型,且单语模型间结果不具决定性,指出构建更优西班牙语单语模型仍需深入研究语料规模、质量与预训练技术。
2023-09-22 cs.AI cs.CL
LengClaro2023: A Dataset of Administrative Texts in Spanish with Plain Language adaptations
University of the Basque Country(巴斯克国家大学);HiTZ Center(HiTZ中心);Ixa University of the Basque Country(Ixa巴斯克国家大学)
本文构建了 LengClaro2023 西班牙语行政文本数据集,为每篇文本提供两种遵循不同简明语言规范的简化版本,用于评估西班牙语 ATS 系统。
2025-06-06 cs.AI cs.CL
Improving Similar Language Translation With Transfer Learning
Natural Language Processing Lab(自然语言处理实验室);The University of British Columbia(英属哥伦比亚大学)
我们研究了基于预训练神经机器翻译模型的迁移学习,以在(低资源)相似语言之间进行翻译。这项工作是我们对WMT 2021相似语言翻译共享任务的贡献的一部分,我们在该任务中提交了不同语言对的模型,包括法语-班巴拉语,西班牙语-加泰罗尼亚语和西班牙语-葡萄牙语。我们的加泰罗尼亚语-西班牙语($82.79$ BLEU)和葡萄牙语-西班牙语($87.11$ BLEU)模型在官方共享任务评估中排名前1,我们是唯一提交法语-班巴拉配对模型的团队。
2021-10-06 cs.AI cs.CL
Translation of Pronominal Anaphora between English and Spanish: Discrepancies and Evaluation
University of Alicante(阿利坎特大学)
本文评价了在机器翻译(MT)系统中代词回指翻译的不同任务。MT interlingua方法命名为AGIR(照应生成与Interlingua表示)改进了迄今为止提出的其他建议,因为它能够翻译插入照应,检测共指链,并将西班牙语零代词翻译成英语-其他系统很少考虑的问题。本文提出了解决和评估这些回指问题的AGIR使用不同种类的知识(词汇,形态,句法和语义)。本文在非限制性语料库上对英语和西班牙语照应性第三人称代词(包括西班牙语零人称代词)到目标语言的翻译进行了评估。在西班牙语和英语代词的翻译中,我们分别获得了80.4%和84.8%的准确率。虽然我们只学习了西班牙语和英语,但我们的方法可以很容易地扩展到其他语言,如葡萄牙语,意大利语或日语。
2011-06-24 cs.AI cs.CL
A Survey of Spanish Clinical Language Models
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Instituto de Ingeniería del Conocimiento(知识工程研究所)
本综述聚焦西班牙语临床领域的编码器语言模型,回顾17个相关语料库,对多种模型进行基准测试(微调超3000个模型),并公开语料库与最佳模型以促进结果复现与未来挑战。
2023-08-04 cs.AI cs.CL cs.LG
EuskañolDS: A Naturally Sourced Corpus for Basque-Spanish Code-Switching
HiTZ Center - Ixa, University of the Basque Country UPV/EHU(巴斯克大学UPV/EHU HiTZ中心 - Ixa)
本文提出首个自然来源的巴斯克语-西班牙语语码转换语料库EuskañolDS,通过语言识别模型筛选并人工验证现有语料中的语码转换实例,以缓解该语言对语码转换数据匮乏的问题。
2025-02-05 cs.AI cs.CL
Spanish Biomedical Crawled Corpus: A Large, Diverse Dataset for Spanish Biomedical Language Models
Barcelona Supercomputing Center(巴塞罗那超级计算中心)
我们介绍CoWeSe(Corpus Web Salud Español),迄今为止最大的西班牙语生物医学语料库,由4.5GB(约7.5亿个令牌)的干净纯文本组成。CoWeSe是2020年在3000个西班牙域名上执行的大规模爬虫程序的结果。该语料库是公开可用的,并且已经进行了预处理。CoWeSe是西班牙语生物医学和健康NLP的重要资源,已经用于训练特定领域的语言模型和生成单词嵌入。我们在知识共享署名4.0国际许可下发布了CoWeSe语料库,两者都在Zenodo(\url{https://zenodo.org/record/4561971\#.YTI5SnVKiEA})中。
2021-09-16 cs.CL
A Rule-Based Approach For Aligning Japanese-Spanish Sentences From A Comparable Corpora
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
统计机器翻译系统(SMT)的性能与其使用的平行语料库的质量和长度成正比。然而,对于某些语言对来说,它们相当缺乏。长期的目标是建立一个用于SMT的日语-西班牙语平行语料库,然而,缺乏有用的日语-西班牙语平行语料库。为了解决这个问题,在这项研究中,我们提出了一种方法来提取日语-西班牙语平行句子从维基百科使用词性标注和基于规则的方法。这种方法的主要焦点是两种语言的句法特征。对样品进行了人体评价,与基线相比,显示出有希望的结果。
2012-11-19 cs.AI cs.CL
Japanese-Spanish Thesaurus Construction Using English as a Pivot
Nara Institute of Science and Technology(奈良先端科学技术大学院大学)
我们提出的研究结果的目标是自动创建一个多语种的词库的基础上,维基百科和WordNet的免费资源。我们的目标是增加用于自然语言处理任务的资源,例如针对日语-西班牙语对的机器翻译。鉴于资源的稀缺性,我们使用现有的英语资源作为一个支点,建立一个三语的日本-西班牙语-英语词库。我们的方法包括从维基百科中提取翻译元组,通过将它们映射到WordNet词义来消除它们的歧义。我们目前的结果比较两种方法的消歧,第一个使用VSM维基百科的文章文本和WordNet的定义,第二个使用分类信息提取的维基百科,我们发现,混合这两种方法产生有利的结果。使用所提出的方法,我们已经构建了一个多语种的西班牙语-日语-英语词库,由25,375个条目。同样的方法可以应用于维基百科中链接到英语的任何一对语言。
2013-03-06 cs.AI cs.CL
Predicting metrical patterns in Spanish poetry with language models
UNED(西班牙国立远程教育大学);IE University(IE大学)
在本文中,我们比较了自动韵律模式识别系统,可用于西班牙语对大量的实验微调语言模型训练相同的任务。尽管最初被认为是一个适合语义任务的模型,我们的研究结果表明,BERT为基础的模型保留了足够的结构信息,表现相当不错的西班牙语扫描。
2020-11-18 cs.CL
esCorpius: A Massive Spanish Crawling Corpus
LHF Labs(LHF实验室);Universidad Autónoma de Madrid(马德里自治大学);University of Edinburgh(爱丁堡大学);Universidad de Granada(格拉纳达大学)
近年来,基于转换器的模型在自然语言处理的语言建模方面取得了重大进展。然而,它们需要大量的数据进行(预)训练,并且缺乏英语以外的语言语料库。最近,一些倡议提出了从自动网络爬行获得的多语言数据集。然而,西班牙语的结果存在重要的缺点,因为它们与其他语言相比太小,或者由于次优的清理和重复数据删除而呈现出低质量。在本文中,我们介绍esCorpius,西班牙爬行语料库获得近1铅的常见爬行数据。它是西班牙语中最广泛的语料库,在提取,纯化和重复删除Web文本内容方面具有这种质量水平。我们的数据整理过程涉及一种新型的高度并行的清理管道,并包含一系列重复数据删除机制,共同确保文档和段落边界的完整性。此外,我们维护源网页URL和WARC碎片源URL,以便根据欧盟法规进行投诉。esCorpius已在CC BY-NC-ND 4.0许可下发布,并可在HuggingFace上使用。
2022-07-01 cs.AI cs.CL
Spanish Pre-trained BERT Model and Evaluation Data
Adereso;Universidad de Chile(智利大学);Millennium Institute for Foundational Research on Data (IMFD)(千年基础数据研究所(IMFD))
本文发布了一个仅用西班牙语数据预训练的 BERT 模型,并构建了类似 GLUE 的西班牙语评估基准,在多数任务上超越多语言 BERT 模型,部分任务达到新最优。
2023-08-06 cs.AI cs.CL cs.LG
Examining Spanish Counseling with MIDAS: a Motivational Interviewing Dataset in Spanish
University of Michigan(密歇根大学);Texas State University(德克萨斯州立大学)
针对自然语言处理研究未考察英语咨询会话分析发现是否适用于其他语言的问题,本文引入西班牙语动机性访谈数据集MIDAS,探究英西咨询师行为的语言差异并开发分类器,展示其在咨询师行为编码任务中的应用。
2025-02-12 cs.CL
Classification of Human- and AI-Generated Texts for English, French, German, and Spanish
IU International University of Applied Sciences(IU国际应用科学大学)
本研究构建多语言文本语料库,分析人类与AI生成文本的分类特征,对比两种检测场景下的特征效果,验证了特征的跨语言迁移性并得出各语言最优特征组合。
2023-12-08 cs.AI cs.CL
Parallel Corpus for Indigenous Language Translation: Spanish-Mazatec and Spanish-Mixtec
Instituto Politécnico Nacional (IPN)(国立理工学院);Transdisciplinary Research for Augmented Innovation - Laboratory (TRAI-L)(增强创新跨学科研究实验室);Tecnológico Nacional de México(墨西哥国家技术学院)
本文构建了西班牙语-马萨特克语和西班牙语-米斯特克语平行语料库,并通过微调M2M100-48模型验证其在低资源机器翻译中的有效性,强调土著语言作为目标语言时表现更优。
2023-05-27 cs.CL
Word Sense Disambiguation in Native Spanish: A Comprehensive Lexical Evaluation Resource
Telef\'onica Innovación Digital, Research, Spain
本文针对西班牙语词义消歧资源匮乏且偏重英语的问题,构建了基于西班牙皇家学院词典的义项清单和词汇数据集,并用最先进系统评估了现有西班牙语资源。
2024-09-30 cs.AI cs.CL
Spanish Built Factual Freectianary (Spanish-BFF): the first AI-generated free dictionary
dezzai;UCM(马德里康普顿斯大学);URJC(胡安卡洛斯国王大学)
字典是最古老和最常用的语言资源之一。构建它们是一项复杂的任务,据我们所知,还需要使用生成大语言模型(LLM)进行探索。我们介绍了“西班牙语内置事实自由”(西班牙语BFF)作为第一个西班牙语AI生成的字典。这是第一个使用GPT-3的免费字典。我们还定义了未来的步骤,以改善对该领域的初步承诺,例如更多的语言。
2023-02-28 cs.CL
Word Sense Disambiguation Using English-Spanish Aligned Phrases over Comparable Corpora
UNED(西班牙国立远程教育大学)
在本文中,我们描述了一个WSD实验的基础上双语英语-西班牙语可比语料库中的个别名词短语已被确定,并与他们各自的对应在其他语言。该实验的评估是针对SemCor进行的。我们发现,采用的对齐算法,潜在的精度是高的(74.3%),但该方法的覆盖率是低的(2.7%),由于对齐是远远低于我们预期的频率。与我们的直觉相反,精确度并不随着比对的数量而一致地上升。由于几个因素,覆盖率很低;存在重要的领域差异,并且英语和西班牙语对于这种方法来说过于接近,无法有效地区分感官,因此不适合WSD,尽管该方法在机器翻译中可能更有成效。
2009-10-29 cs.AI cs.CL
Preparing an Endangered Language for the Digital Age: The Case of Judeo-Spanish
Col·lectivaT;Universitat Pompeu Fabra(庞培法布拉大学);Dublin City University(都柏林城市大学);Sephardic Center of Istanbul(伊斯坦布尔塞法迪中心)
我们开发机器翻译和语音合成系统,以补充振兴犹太-西班牙语的努力,这是塞法迪犹太人的流亡语言,幸存了几个世纪,但现在面临着在数字时代灭绝的威胁。在土耳其和其他地方的塞法迪社区创建的资源的基础上,我们创建了语料库和工具,有助于为后代保护这种语言。对于机器翻译,我们首先开发了一个西班牙语到犹太-西班牙语的基于规则的机器翻译系统,以生成大量的合成并行数据的相关语言对:土耳其语,英语和西班牙语。然后,我们使用这个合成数据和由Sephardic社区翻译创建的真实并行数据来训练基线神经机器翻译引擎。对于文本到语音合成,我们提出了一个3.5小时的单扬声器语音语料库建立一个神经语音合成引擎。资源、模型权重和在线推理引擎是公开共享的。
2022-05-31 cs.CL
Evaluating Large Language Models with Tests of Spanish as a Foreign Language: Pass or Fail?
本文评估了最先进的大型语言模型在西班牙语外语考试基准TELEIA上的表现,发现其虽能较好理解西班牙语,但语法能力仍远不及母语者水平。
2024-09-08 cs.CL
Adapting the Core Language Engine to French and Spanish
我们描述了大量的独立于领域的语言处理系统,法语和西班牙语的快速开发手动适应现有的英语语言系统,SRI核心语言引擎。我们详细解释了适应过程,并认为它提供了一个相当普遍的食谱转换为一个相应的一个浪漫的语言为基础的英语语法系统。
1996-05-10 cmp-lg cs.CL
Modeling Topics and Sociolinguistic Variation in Code-Switched Discourse: Insights from Spanish-English and Spanish-Guaraní
本研究利用大型语言模型构建标注流程,分析西班牙-英语和西班牙-瓜拉尼语混合话语中的主题与社会语言学变异,揭示性别、语言主导地位与话语功能的关系,并扩展了双语现象的定量证据。
2025-12-03 cs.CL
ClinText-SP and RigoBERTa Clinical: a new set of open resources for Spanish Clinical NLP
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Instituto de Ingeniería del Conocimiento(知识工程研究所)
本研究推出西班牙语最大公开临床语料库ClinText-SP与领域自适应预训练的临床语言模型RigoBERTa Clinical,二者性能优于现有模型,公开发布后将推动临床NLP研究与医疗应用发展。
2025-03-24 cs.AI cs.CL
Language Resources in Spanish for Automatic Text Simplification across Domains
Universidad Autónoma de Madrid(马德里自治大学);Consejo Superior de Investigaciones Científicas(西班牙高等科学研究理事会);Universidad Nacional de Educación a Distancia(国立远程教育大学)
本文介绍了面向金融、医学和历史三个领域的西班牙语自动简化语言资源与模型,涵盖语料库、指南、词典、数据集和工具,并全部公开共享。
2024-09-30 cs.CL
Applying a Pre-trained Language Model to Spanish Twitter Humor Prediction
WAMRI;n-waves;University of San Francisco(旧金山大学)
我们参加了HAHA 2019挑战赛,将$3^{rd}$置于分类任务中,将$2^{nd}$置于回归任务中。我们描述了我们的系统和创新,以及比较我们的结果与朴素贝叶斯基线。基于Twitter的大型语料库使我们能够训练一个专注于西班牙语的语言模型,并将这些知识转移到我们的竞争模型中。为了克服某些标签中的固有错误,我们在损失函数中使用标签平滑来降低类置信度。我们项目的所有代码都包含在GitHub存储库中,以便于参考并允许其他人复制。
2019-07-06 cs.CL
MEL: Legal Spanish Language Model
Instituto de Ingeniería del Conocimiento (IIC)(知识工程研究所);Universidad Politécnica de Madrid(马德里理工大学)
本文提出基于XLM-RoBERTa-large微调的西班牙语法律语言模型MEL,通过在BOE等法律文本上训练,显著提升了法律文本理解能力,并在多种NLP任务中展现出应用潜力。
2025-01-27 cs.CL