arXiv 2109.077652021-09-16cs.CL

西班牙语生物医学爬行语料库：西班牙语生物医学语言模型的大型多样数据集

Spanish Biomedical Crawled Corpus: A Large, Diverse Dataset for Spanish Biomedical Language Models

Barcelona Supercomputing Center（巴塞罗那超级计算中心）

Casimiro Pio Carrino, Jordi Armengol-Estapé, Ona de Gibert Bonet, Asier Gutiérrez-Fandiño, Aitor Gonzalez-Agirre, Martin Krallinger, Marta Villegas

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

我们介绍CoWeSe（Corpus Web Salud Español），迄今为止最大的西班牙语生物医学语料库，由4.5GB（约7.5亿个令牌）的干净纯文本组成。CoWeSe是2020年在3000个西班牙域名上执行的大规模爬虫程序的结果。该语料库是公开可用的，并且已经进行了预处理。CoWeSe是西班牙语生物医学和健康NLP的重要资源，已经用于训练特定领域的语言模型和生成单词嵌入。我们在知识共享署名4.0国际许可下发布了CoWeSe语料库，两者都在Zenodo（\url{https://zenodo.org/record/4561971\#.YTI5SnVKiEA}）中。

英文摘要：

We introduce CoWeSe (the Corpus Web Salud Español), the largest Spanish biomedical corpus to date, consisting of 4.5GB (about 750M tokens) of clean plain text. CoWeSe is the result of a massive crawler on 3000 Spanish domains executed in 2020. The corpus is openly available and already preprocessed. CoWeSe is an important resource for biomedical and health NLP in Spanish and has already been employed to train domain-specific language models and to produce word embbedings. We released the CoWeSe corpus under a Creative Commons Attribution 4.0 International license, both in Zenodo (\url{https://zenodo.org/record/4561971\#.YTI5SnVKiEA}).

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

当专业化帮助：使用池上下文嵌入检测化学和生物医学实体在西班牙语

When Specialization Helps: Using Pooled Contextualized Embeddings to Detect Chemical and Biomedical Entities in Spanish

Goethe University Frankfurt（法兰克福歌德大学）

药理学物质、化合物和蛋白质的识别是识别化学品和其他生物医学相关单位之间关系的基本前期工作。在本文中，我们描述了一种方法，任务1的PharmaCoNER挑战，其中涉及到识别提到的化学品和药物在西班牙医学文本。我们训练了一个最先进的BiLSTM-CRF序列标记器，它使用开源框架FLAIR堆叠池上下文嵌入，单词和子词嵌入。我们提出了一个新的语料库组成的文章和论文从西班牙健康科学期刊，称为西班牙健康语料库，并使用它来训练特定领域的嵌入，我们将在我们的模型训练。我们使用预训练的嵌入实现了89.76%的F1分数，并且能够使用专门的嵌入将这些结果提高到90.52%的F1分数。

2019-10-08cs.CLcs.LG

NUBES：西班牙语临床语篇否定与不确定语料库

NUBES: A Corpus of Negation and Uncertainty in Spanish Clinical Texts

Vicomtech Foundation（维孔特克基金会）；Basque Research and Technology Alliance (BRTA)（巴斯克研究与技术联盟（BRTA））；HiTZ centre（HiTZ中心）；University of the Basque Country UPV/EHU（巴斯克大学（UPV/EHU））

本文介绍了NUBes语料库的第一个版本（西班牙语生物医学文本中的否定和不确定性注释）。该语料库是一项正在进行的研究的一部分，目前由29，682个句子组成，这些句子来自匿名健康记录，并附有否定和不确定性。文章包括一个详尽的比较与西班牙语类似的语料库，并提出了主要的注释和设计决策。此外，我们使用深度学习算法进行初步实验，以验证带注释的数据集。据我们所知，NUBes是西班牙语中最大的公开否定语料库，也是第一个包含推测线索，范围和事件注释的语料库。

2020-04-02cs.CL

UFRGS参与WMT生物医学翻译共享任务

UFRGS Participation on the WMT Biomedical Translation Shared Task

本文介绍了南里奥格兰德联邦大学（UFRGS）团队为生物医学翻译共享任务开发的机器翻译系统。我们的系统基于统计机器翻译和神经机器翻译，分别使用Moses和OpenNMT工具包。我们参与了英语/西班牙语和英语/葡萄牙语对的四个翻译方向。为了创建我们的训练数据，我们连接了几个平行的语料库，既有来自域内和域外的资源，也有来自UMLS的术语资源。根据官方的共享任务评估，我们的系统获得了最好的BLEU分数。

2019-05-06cs.CL

西班牙语的生物医学和临床语言模型：在中等资源场景中特定领域预训练的好处

Biomedical and Clinical Language Models for Spanish: On the Benefits of Domain-Specific Pretraining in a Mid-Resource Scenario

Text Mining Unit Barcelona Supercomputing Center（文本挖掘组巴塞罗那超级计算中心）

这项工作提出了西班牙语的生物医学和临床语言模型，通过实验不同的预训练选择，如在单词和子单词级掩蔽，不同的词汇量和测试域数据，寻找更好的语言表示。有趣的是，在没有足够的临床数据从头开始训练模型的情况下，我们应用混合域预训练和跨域转移方法来生成适合真实世界临床数据的高性能生物临床模型。我们评估了我们的模型上的命名实体识别（NER）任务的生物医学文件和具有挑战性的出院报告。当与具有竞争力的mBERT和BETO模型相比时，我们在所有NER任务中的表现都明显优于它们。最后，我们通过提供一个有趣的以词汇为中心的分析，研究了模型的词汇对NER性能的影响。结果证实，特定领域的预训练是在下游NER任务中实现更高性能的基础，即使在中间资源的情况下。据我们所知，我们为西班牙语提供了第一个基于生物医学和临床转换器的预训练语言模型，旨在促进西班牙语NLP在生物医学中的应用。我们最好的模型可以在HuggingFace中心免费获得：https://huggingface.co/BSC-TeMU。

2021-09-17cs.CL

HEAD-QA v2：扩展医疗基准以进行推理

HEAD-QA v2: Expanding a Healthcare Benchmark for Reasoning

HEAD-QA v2扩展了医疗推理数据集，包含12000个西班牙专业考试问题，评估多种LLM性能，发现模型规模和推理能力是主要影响因素。

2026-03-30cs.CL

西班牙语生物医学和临床语言嵌入

Spanish Biomedical and Clinical Language Embeddings

Barcelona Supercomputing Center（巴塞罗那超级计算中心）

我们使用FastText计算单词和子词嵌入。对于子词嵌入我们选择了字节对编码（BPE）算法来表示子字。我们评估了生物医学词嵌入，获得了比以前的版本更好的结果，这表明随着数据的增加，我们获得了更好的表示。

2021-02-25cs.AIcs.CL

更多相关论文收起更多论文

通过文档最小风险培训解决暴露偏倚：剑桥大学在WMT20生物医学翻译任务中

Addressing Exposure Bias With Document Minimum Risk Training: Cambridge at the WMT20 Biomedical Translation Task

Department of Engineering, University of Cambridge（剑桥大学工程系）

2020年WMT生物医学翻译任务评估了Medline摘要翻译。这是一个小领域的翻译任务，意味着有限的相关训练数据具有非常独特的风格和词汇。在这些数据上训练的模型容易受到暴露偏差效应的影响，特别是当训练句子对彼此之间的翻译不完美时。如果模型学会忽略源句子，这可能会导致推理过程中的不良行为。UNICAM条目在微调期间使用最小风险培训的强大变体解决了这个问题。我们对比这种方法与数据过滤，以消除“问题”的训练样本。在MRT微调下，我们在英-德和英-西两个方向的生物医学翻译中都取得了良好的效果。特别是，我们实现了最好的英语到西班牙语的翻译结果和第二好的西班牙语到英语的结果，尽管只使用单一的模型，没有集成。

2020-10-11cs.CL

通用嵌入还是特定嵌入，哪个更好？非英语语言临床编码搜索的实证研究

Generalistic or Specific Embeddings, Which is Better? An Empirical Study on Search for Clinical Coding in Non-English Languages

TietAI

本研究通过使用大型生成语言模型生成的合成数据微调双语编码器，构建两阶段检索器，解决了非英语语言临床编码检索中召回率下降的问题，并在多语言基准上取得了优于BioBERT-ST的性能。

2026-05-28cs.AIcs.CLcs.LG

EHR的生物医学术语标准化与UMLS

Biomedical term normalization of EHRs with UMLS

Vicomtech；UPV/EHU（巴斯克大学）

本文提出了一种新的原型，生物医学术语规范化的电子健康记录摘录与统一医学语言系统（UMLS）元词库。尽管设计上是多语言和跨语言的，但我们首先专注于处理西班牙语的临床文本，因为目前还没有针对这种语言和特定目的的工具。该工具基于Apache Lucene来索引Metathesaurus并从输入文本生成映射候选项。它使用IXA管道进行基本语言处理，并使用UKB工具包解决歧义。它已通过测量其协议MetaMap在两个英语-西班牙语平行语料库进行了评估。此外，我们提出了一个基于Web的界面的工具。

2018-05-24cs.CL

MarIA：西班牙语语言模型

MarIA: Spanish Language Models

Barcelona Supercomputing Center（巴塞罗那超级计算中心）

这项工作提出了MarIA，一个家庭的西班牙语语言模型和相关资源提供给业界和研究界。目前，MarIA包括RoBERTa-base，RoBERTa-large，GPT 2和GPT 2-large西班牙语语言模型，可以说是西班牙语中最大和最熟练的语言模型。这些模型是使用570 GB的干净和去重复文本的大型语料库进行预训练的，其中1350亿字是从西班牙国家图书馆在2009年至2019年期间抓取的西班牙网络档案中提取的。我们评估了九个现有的评估数据集和一个新的提取问答数据集从头创建的模型的性能。总体而言，MarIA模型在各种NLU任务和培训设置中的表现优于现有的西班牙语模型。

2022-04-05cs.AIcs.CL

基于级联方法的生物医学领域英语-加泰罗尼亚语神经机器翻译

English-Catalan Neural Machine Translation in the Biomedical Domain through the cascade approach

TALP Research Center（TALP研究中心）

本文介绍了建立一个神经机器翻译系统在生物医学领域的英语-加泰罗尼亚语对的方法。从领域和语言对的角度来看，这个任务可以被认为是一个低资源的任务。面对这一任务，本文报告了实验的级联枢轴战略，通过西班牙语的神经机器翻译使用英语-西班牙语SCIELO和西班牙语-加泰罗尼亚语El Periódico数据库。为了测试该系统的最终性能，我们已经创建了一个新的测试数据设置为英语加泰罗尼亚语在生物医学领域，这是免费提供的要求。

2018-04-26cs.AIcs.CL

西班牙放射学报告注释语料库的创建

Creation of an Annotated Corpus of Spanish Radiology Reports

Hospital De Pediatría, Prof. Dr. Juan P. Garrahan（加尔拉汉儿科医院）

本文介绍了一个新的注释语料库的513匿名放射学报告写在西班牙语。报告用实体、否定和不确定性术语和关系手工注释。该语料库被认为是命名实体识别和关系抽取算法的评估资源，并作为使用监督方法的输入。由于保密问题和相关费用，生物医学注释资源稀缺。这项工作提供了一些指导方针，可以帮助其他研究人员承担类似的任务。

2017-10-30cs.CL

WMT19的UCAM生物医学翻译：迁移学习多领域集成

UCAM Biomedical translation at WMT19: Transfer learning multi-domain ensembles

University of Cambridge（剑桥大学）；SDL Research（SDL研究院）

2019年WMT生物医学翻译任务涉及翻译Medline摘要。我们使用迁移学习来实现这一点，以获得一系列不同领域的强神经模型，并将它们组合成多领域集成。我们进一步实验了自适应语言模型集成加权方案。我们的提交在英语-西班牙语两个方向上都取得了最好的提交结果。

2019-06-13cs.CL

BVS Corpus：一个多语种生物医学科技文本平行语料库

BVS Corpus: A Multilingual Parallel Corpus of Biomedical Scientific Texts

Universidade Federal do Rio Grande do Sul（南里奥格兰德联邦大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）

BVS数据库（保健虚拟图书馆）是拉丁美洲和加勒比生物医学信息的集中来源，创建于1998年，由BIREME（区域医学图书馆）与泛美卫生组织（OPAS）协调。摘要有英语、西班牙语和葡萄牙语版本，其中一个子集有一种以上的语言版本，因此可能是平行语料库的来源。在这篇文章中，我们提出了平行语料库的发展，从BVS在三种语言：英语，葡萄牙语和西班牙语。使用Hunalign算法自动对齐EN/ES和EN/PT语言对的句子，以及三语文章的子集。我们通过为每个语言对训练神经机器翻译（OpenNMT）系统来展示我们语料库的能力，该系统在科学生物医学文章中的表现优于相关工作。句子对齐也进行了手动评估，在所有语言中平均有96%的句子正确对齐。我们的平行语料库是免费提供的，有关于文章元数据的补充信息。

2019-05-05cs.CLcs.IR

一种用于将临床文本从英语翻译成西班牙语的新型NMT模型

A New NMT Model for Translating Clinical Texts from English to Spanish

College of Information and Computer Science, University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特信息与计算机科学学院）；Department of Computer Sciences, University of Massachusetts Lowell（马萨诸塞大学洛约拉计算机科学系）；Department of Quantitative Health Sciences, University of Massachusetts Medical School（马萨诸塞大学医学学院定量健康科学系）；Bedford VAMC and CHOIR（贝德福德退伍军人医疗中心和CHOIR）

针对英语到西班牙语临床文本翻译因缺乏平行语料库和未知词多而困难的问题，提出仅需少量域内平行语料库训练的NOOV系统，通过集成双语词典和生物医学短语查询表提升翻译准确性与流畅性。

2025-08-26cs.CL

BioMamba: 领域自适应的生物医学语言模型

BioMamba: Domain-Adaptive Biomedical Language Models

Rensselaer Polytechnic Institute（拉特格斯理工学院）；Jiaxing New Jies Thermal Power Co. Ltd.（嘉兴新捷热电有限公司）；North University of China（北方大学）；Zhejiang University（浙江大学）；IBM Research（IBM研究院）；Nanjing University（南京大学）

提出基于Mamba2的领域自适应预训练方法BioMamba，在PubMed、C4和Wikipedia混合数据上持续训练，显著降低生物医学困惑度并保持通用语言能力。

2026-06-11cs.CL

用于从西班牙语文本中识别症状的微调大语言模型

Fine-Tuned Large Language Models for Symptom Recognition from Spanish Clinical Text

Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carleton University（卡尔顿大学）

本研究针对临床症状识别需求，参与SympTEMIST西班牙文医疗文本症状检测共享任务，提出结合多组经主办方发布数据微调的大语言模型的方案，为临床信息抽取及决策支持系统构建提供支撑。

2024-01-28cs.CLcs.LG

生物医学数据的多语言神经机器翻译模型

A Multilingual Neural Machine Translation Model for Biomedical Data

Naver Labs Europe（Naver Labs 欧洲研究院）；Naver Papago

我们发布了一个多语言神经机器翻译模型，可用于生物医学领域的文本翻译。该模型可以从5种语言（法语，德语，意大利语，韩语和西班牙语）翻译成英语。它使用大量通用和生物医学数据进行训练，使用域标签。我们的基准测试表明，它在新闻（通用领域）和生物医学测试集上的表现接近最先进的水平，并且优于现有的公开发布的模型。我们相信，此次发布将有助于对COVID-19危机的数字内容及其对社会、经济和医疗保健政策的影响进行大规模多语言分析。我们还发布了一个测试集的生物医学文本的韩国英语。它由官方指南和最近的论文中的758句话组成，都是关于COVID-19的。

2020-08-06cs.CLcs.LG

在生物医学任务上比较和组合几种流行的命名实体识别方法

Comparing and combining some popular NER approaches on Biomedical tasks

Concordia University（康考迪亚大学）

本文比较了SEQ、SeqCRF和SpanPred三种NER方法在4个生物医学数据集上的表现，并提出学习式组合系统，在GENIA上显著提升F1和召回率。

2023-05-30cs.CLcs.LG

ClinLinker：西班牙语临床概念提及的医学实体链接

ClinLinker: Medical Entity Linking of Clinical Concept Mentions in Spanish

Universidad de Málaga（马拉加大学）；Research Institute of Multilingual Language Technologies（多语言语言技术研究所）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）

ClinLinker提出基于SapBERT双编码器检索与交叉编码器重排序的两阶段西班牙语医学实体链接方法，在DisTEMIST和MedProcNER上分别超越先前基准40和43个百分点。

2024-04-09cs.CL

用于医疗任务的多语言BERT语言模型：领域特定适应与跨语言性评估

Multilingual BERT language model for medical tasks: Evaluation on domain-specific adaptation and cross-linguality

Erasmus University Medical Center Rotterdam（鹿特丹伊拉斯姆斯大学医学中心）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）

本研究探讨在领域特定语料库上进一步预训练多语言BERT对医疗NLP任务的影响，发现领域适应和跨语言迁移能显著提升低资源语言（荷兰语、罗马尼亚语、西班牙语）的临床任务性能。

2025-10-31cs.CL

BioASQ 2022 综述：第十届大规模生物医学语义索引与问答 BioASQ 挑战赛

Overview of BioASQ 2022: The tenth BioASQ challenge on Large-Scale Biomedical Semantic Indexing and Question Answering

National Center for Scientific Research “Demokritos”（希腊德谟克利特国家科学研究中心）；Aristotle University of Thessaloniki（亚里士多德大学塞萨洛尼基分校）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）

本文综述2022年第十届BioASQ生物医学语义索引与问答挑战赛，介绍其含新增DisTEMIST任务在内的四项任务，以及38支团队提交的170余个系统多数优于强基线的参赛结果，体现领域技术持续进步。

2022-10-13cs.AIcs.CLcs.IR

MrBERT：通过词汇、领域和维度适应构建的现代多语言编码器

MrBERT: Modern Multilingual Encoders via Vocabulary, Domain, and Dimensional Adaptation

Barcelona Supercomputing Center（巴塞罗那超级计算中心）

MrBERT通过词汇、领域和维度适应，实现了多语言编码器在特定任务和专业领域中的高性能与高效优化。

2026-03-07cs.AIcs.CLcs.LG