BERTuit: Understanding Spanish language in Twitter through a native transformer
Universidad Politécnica de Madrid（马德里理工大学）
复杂的基于注意力的语言模型（如BERT、Roberta或GPT-3）的出现允许在大量场景中处理高度复杂的任务。然而，当应用于特定领域时，这些模型遇到了相当大的困难。Twitter等社交网络就是这种情况，它是一种不断变化的信息流，使用非正式和复杂的语言编写，其中每条消息都需要仔细评估才能理解，即使是考虑到上下文所起的重要作用的人类。通过自然语言处理来解决这一领域的任务面临着严峻的挑战。当强大的最先进的多语言语言模型应用于此场景时，语言特定的细微差别会在翻译中丢失。为了面对这些挑战，我们提出了\textbf{BERTuit}，这是迄今为止为西班牙语提出的更大的Transformer，使用RoBERTa优化在2.3亿西班牙语tweet的大规模数据集上进行了预训练。我们的动机是提供一个强大的资源，以更好地了解西班牙语Twitter，并用于专注于这个社交网络的应用程序，特别强调解决方案，致力于解决这个平台上的错误信息的传播。BERTuit在几个任务上进行了评估，并与M-BERT，XLM-RoBERTA和XLM-T进行了比较，这些都是非常有竞争力的多语言Transformers。我们的方法的实用性与应用程序，在这种情况下：一个zero-shot的方法来可视化组的恶作剧和剖析作者传播虚假信息。错误信息在Twitter等平台上以英语以外的语言广泛传播，这意味着Transformers的性能在传输到…
2022-06-13 cs.CL cs.LG
BERTIN: Efficient Pre-Training of a Spanish Language Model using Perplexity Sampling
National Library of Norway（挪威国家图书馆）；Telefónica I+D（西班牙电信研发公司）；Foqum（Foqum公司）；Narrativa（Narrativa公司）
大语言模型的预训练通常在计算和数据方面都需要大量的资源。常用的Web源（如Common Crawl）可能包含足够的噪声，使此预训练次优。在这项工作中，我们实验不同的采样方法从西班牙语版本的mC4，并提出了一种新的以数据为中心的技术，我们命名为$\textit{perplexity sampling}$，使预训练的语言模型在大约一半的步骤和使用五分之一的数据。由此产生的模型与当前最先进的模型相当，甚至在某些任务中取得了更好的结果。我们的工作证明了Transformers的多功能性，并为小团队在有限的预算下训练他们的模型铺平了道路。我们的模型可在此$\href{https://huggingface.co/bertin-project}{URL}$。
2022-07-14 cs.AI cs.CL
A New NMT Model for Translating Clinical Texts from English to Spanish
College of Information and Computer Science, University of Massachusetts Amherst（马萨诸塞大学阿姆赫斯特信息与计算机科学学院）；Department of Computer Sciences, University of Massachusetts Lowell（马萨诸塞大学洛约拉计算机科学系）；Department of Quantitative Health Sciences, University of Massachusetts Medical School（马萨诸塞大学医学学院定量健康科学系）；Bedford VAMC and CHOIR（贝德福德退伍军人医疗中心和CHOIR）
针对英语到西班牙语临床文本翻译因缺乏平行语料库和未知词多而困难的问题，提出仅需少量域内平行语料库训练的NOOV系统，通过集成双语词典和生物医学短语查询表提升翻译准确性与流畅性。
2025-08-26 cs.CL
Few-shot clinical entity recognition in English, French and Spanish: masked language models outperform generative model prompting
Université Paris-Saclay（巴黎-萨克雷大学）；Sorbonne Université（索邦大学）
本研究针对临床领域小样本命名实体识别任务，对比生成式大模型提示学习与掩码模型微调方法，发现轻量掩码biLSTM-CRF模型在英、法、西三语临床NER上F1更优且环境影响更低，提示当前LLM提示学习暂不适合临床NER生产。
2024-10-08 cs.CL
A Survey of Spanish Clinical Language Models
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Instituto de Ingeniería del Conocimiento（知识工程研究所）
本综述聚焦西班牙语临床领域的编码器语言模型，回顾17个相关语料库，对多种模型进行基准测试（微调超3000个模型），并公开语料库与最佳模型以促进结果复现与未来挑战。
2023-08-04 cs.AI cs.CL cs.LG
ClinText-SP and RigoBERTa Clinical: a new set of open resources for Spanish Clinical NLP
Universidad Carlos III de Madrid（马德里卡洛斯三世大学）；Instituto de Ingeniería del Conocimiento（知识工程研究所）
本研究推出西班牙语最大公开临床语料库ClinText-SP与领域自适应预训练的临床语言模型RigoBERTa Clinical，二者性能优于现有模型，公开发布后将推动临床NLP研究与医疗应用发展。
2025-03-24 cs.AI cs.CL
Spanish Biomedical and Clinical Language Embeddings
Barcelona Supercomputing Center（巴塞罗那超级计算中心）
我们使用FastText计算单词和子词嵌入。对于子词嵌入我们选择了字节对编码（BPE）算法来表示子字。我们评估了生物医学词嵌入，获得了比以前的版本更好的结果，这表明随着数据的增加，我们获得了更好的表示。
2021-02-25 cs.AI cs.CL
ClinLinker: Medical Entity Linking of Clinical Concept Mentions in Spanish
Universidad de Málaga（马拉加大学）；Research Institute of Multilingual Language Technologies（多语言语言技术研究所）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）
ClinLinker提出基于SapBERT双编码器检索与交叉编码器重排序的两阶段西班牙语医学实体链接方法，在DisTEMIST和MedProcNER上分别超越先前基准40和43个百分点。
2024-04-09 cs.CL
EriBERTa: A Bilingual Pre-Trained Language Model for Clinical Natural Language Processing
HiTZ Basque Center for Language Technology（HiTZ巴斯克语言技术中心）；University of the Basque Country (UPV/EHU)（巴斯克大学（UPV/EHU））
针对西班牙语临床领域专用语言模型匮乏的问题，本文提出在大规模医疗临床语料上预训练的双语模型EriBERTa，其临床任务表现优于现有西语模型，且跨语言迁移能力可缓解西语临床数据不足的困境。
2023-06-12 cs.CL
Exploring Large Language Models for Hate Speech Detection in Rioplatense Spanish
Instituto de Cs. de la Computación（计算机科学研究所）；CONICET（阿根廷科学技术研究委员会）；UBA（布宜诺斯艾利斯大学）；Instituto Gino Germani（吉诺·格尔马研究所）；FSOC（社会科学学院）；Departamento de Computación, FCEN UBA（布宜诺斯艾利斯大学精确与自然科学学院计算机系）
本文分析了大型语言模型在拉普拉塔河西班牙语仇恨言论检测中的性能，利用思维链推理进行分类实验并与BERT对比，发现尽管精度较低，但对细微案例仍具敏感性。
2024-10-16 cs.CL
Video Games as a Corpus: Sentiment Analysis using Fallout New Vegas Dialog
University of Helsinki（赫尔辛基大学）；École Normale Supérieure（巴黎高等师范学院）
我们提出了一种方法，用于从Fallout New Vegas中提取多语言情感注释对话数据集。游戏开发者已经在游戏中的每一行对话中预先注释了8种不同情感之一：\textit{anger, disgust, fear, happy, neutral, pained, sad }和\textit{surprised}。该游戏已被翻译成英语，西班牙语，德语，法语和意大利语。我们使用多语言BERT，XLMRoBERTa和语言特定的BERT模型提取的数据集上进行多语言，多标签情感分析的实验。在我们的实验中，对于大多数语言，多语言BERT的性能优于XLMRoBERTa，对于大多数语言，语言特定模型也略优于多语言BERT。最好的整体准确率为54%，它是通过使用西班牙语数据的多语言BERT。提取的数据集提出了一个具有挑战性的任务，情感分析。我们已经在Zenodo上公开发布了数据，包括测试和训练部分。由于版权原因，数据集被打乱了。
2022-12-05 cs.CL
Fine-Tuned Large Language Models for Symptom Recognition from Spanish Clinical Text
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Carleton University（卡尔顿大学）
本研究针对临床症状识别需求，参与SympTEMIST西班牙文医疗文本症状检测共享任务，提出结合多组经主办方发布数据微调的大语言模型的方案，为临床信息抽取及决策支持系统构建提供支撑。
2024-01-28 cs.CL cs.LG
Automatic detection of diseases in Spanish clinical notes combining medical language models and ontologies
CTIC Centro Tecnológico（CTIC技术中心）
提出融合大型语言模型与医学本体的混合方法，从西班牙语初诊或复诊报告中检测皮肤科病理，并通过有序学习类型、严重程度和部位取得最优分类性能。
2024-12-04 cs.CL
Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis
UC San Diego（加州大学圣迭戈分校）
本文构建西班牙语歧义名词最小对句及人类相关性判断数据集，系统评估单语与多语BERT模型的语境化语义表征，揭示其与模型规模、架构层级及训练规格的关系。
2025-03-12 cs.CL
Cross-lingual Emotion Detection
University of Pittsburgh（匹兹堡大学）；Cornell University（康奈尔大学）；aiXplain Inc.（aiXplain公司）
情绪检测可以为我们提供了解人类行为的窗口。然而，由于人类情感的复杂动力学，构造带注释的数据集来训练自动化模型可能是昂贵的。因此，我们探讨跨语言的方法，将使用数据从源语言建立模型，在目标语言的情感检测的有效性。我们比较了三种方法，即：i）使用固有的多语言模型; ii）将训练数据翻译成目标语言; iii）使用自动标记的并行语料库。在我们的研究中，我们将英语作为源语言，阿拉伯语和西班牙语作为目标语言。我们研究了不同的分类模型，如BERT和支持向量机训练与不同的功能的有效性。我们基于BERT的单语模型在目标语言数据上进行训练，阿拉伯语和西班牙语的Jaccard绝对得分分别超过最先进的（SOTA）4%和5%。接下来，我们表明，单独使用英语数据的跨语言方法，我们可以分别实现阿拉伯语和西班牙语BERT模型的90%和80%以上的相对有效性。最后，我们使用LIME分析了为不同语言对训练跨语言模型的挑战
2022-05-04 cs.CL
AKI-BERT: a Pre-trained Clinical Language Model for Early Prediction of Acute Kidney Injury
Northwestern University（西北大学）；Feinberg School of Medicine（范伯格医学院）
急性肾损伤（acute kidney injury，AKI）是一种常见的临床综合征，其特征是在几小时或几天内突然发生肾衰竭或肾损害。对ICU中较易发生AKI的患者进行准确的AKI早期预测，可以及时进行干预，减少AKI的并发症。与AKI相关的大部分临床信息被捕获在临床笔记中，这些临床笔记主要是非结构化文本，并且需要高级自然语言处理（NLP）来进行有用的信息抽取。另一方面，预训练的上下文语言模型，如双向编码器表示从Transformers（BERT）最近在一般领域的许多NLP任务的性能有所提高。然而，很少有人探索BERT在疾病特异性医学领域的任务，如AKI早期预测。本文尝试将BERT应用于特定疾病，并提出了一种基于BERT的AKI领域特定预训练语言模型（AKI-BERT），可用于挖掘AKI的临床记录，以早期预测AKI。AKI-BERT是根据具有AKI风险的患者的临床记录预先训练的BERT模型。我们在重症监护医学信息市场III（MIMIC-III）数据集上的实验表明，AKI-BERT可以提高早期AKI预测的性能，从而将BERT模型的实用性从一般临床领域扩展到疾病特异性领域。
2022-05-07 cs.CL
Multilingual BERT has an accent: Evaluating English influences on fluency in multilingual models
Stanford University（斯坦福大学）
本文发现多语言BERT存在语法结构偏差，即英语等高资源语言的语法会渗入低资源语言，并通过西班牙语代词省略和希腊语主谓顺序实验证明其偏向英语式结构，呼吁更关注语言学意识的流利度评估。
2023-04-13 cs.CL
Publicly Available Clinical BERT Embeddings
Harvard-MIT（哈佛-麻省理工）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；Microsoft Research（微软研究院）
上下文词嵌入模型如ELMo（Peters等人，2018）和BERT（Devlin等人，2018）在最近几个月大大提高了许多自然语言处理（NLP）任务的性能。然而，这些模型在专业语料库（如临床文本）上的研究很少;此外，在临床领域，还不存在公开的预训练BERT模型。在这项工作中，我们通过探索和发布临床文本的BERT模型来满足这一需求：一个用于通用临床文本，另一个用于出院总结。我们证明，使用特定领域的模型产生三个常见的临床NLP任务相比，非特异性嵌入的性能提高。这些领域特定的模型在两个临床去识别任务上的性能并不好，并认为这是去识别源文本和合成非去识别任务文本之间差异的自然结果。
2019-06-20 cs.CL
The futility of STILTs for the classification of lexical borrowings in Spanish
National Library of Norway AI-Lab（挪威国家图书馆人工智能实验室）；LINHD, UNED（西班牙国家远程教育大学数字人文研究实验室）
第一版的IberLEF 2021关于自动检测借用（ADobo）的共享任务专注于检测出现在西班牙语媒体上的词汇借用，以及最近被导入到西班牙语中的词汇借用。在这项工作中，我们测试了中间标记数据任务（STILTs）的补充训练，从词性（POS），命名实体识别（NER），代码转换和语言识别方法到使用现有的预训练基于transformer的语言模型在令牌级别上对借款进行分类。我们广泛的实验结果表明，STILTs不提供任何改善直接微调的多语言模型。然而，在小的语言子集上训练的多语言模型比多语言BERT表现得更好，但不如给定数据集的多语言RoBERTa。
2021-09-17 cs.CL
Sexism Prediction in Spanish and English Tweets Using Monolingual and Multilingual BERT and Ensemble Models
Universitat Politècnica de València（瓦伦西亚理工大学）；Escola Politécnica da Universidade de São Paulo（圣保罗大学）
社交媒体的普及带来了仇恨言论和性别歧视等问题。识别和分类社交媒体中的性别歧视是非常相关的任务，因为它们将有助于建立一个更健康的社会环境。然而，这些任务相当具有挑战性。这项工作提出了一个系统，使用多语言和单语言的BERT和数据点翻译和合奏策略的性别歧视识别和分类在英语和西班牙语。它是在伊比利亚语言评估论坛（IberLEF）提出的2021年社交网络共享（EXIST 2021）任务中进行的。本文介绍了所提出的系统及其主要组成部分，并进行了深入的超参数分析。观察到的主要结果是：（i）该系统获得了比基线模型（多语言BERT）更好的结果;（ii）集成模型获得了比单语言模型更好的结果;（iii）考虑到所有单个模型和最佳标准化值的集成模型获得了两项任务的最佳准确度和F1分数。这项工作在EXIST的两项任务中均获得第一名，准确率最高（任务1为0.780，任务2为0.658），F1得分最高（任务1的F1二进制为0.780，任务2的F1宏为0.579）。
2021-11-08 cs.AI cs.CL cs.CY
FMI@SU ToxHabits: Evaluating LLMs Performance on Toxic Habit Extraction in Spanish Clinical Texts
Faculty of Mathematics and Informatics, Sofia University St. Kliment Ohridski（索非亚大学圣克利门特奥赫里德斯基数学与信息学学院）
本文提出了一种识别西班牙临床文本中毒瘾习惯实体的方法，通过LLMs在零样本、少样本和提示优化中发现GPT-4.1在少样本提示下表现最佳，达到0.65的F1分数，展示了非英语语言命名实体识别的潜力。
2026-04-07 cs.AI cs.CL
To Adapt or not to Adapt, Rethinking the Value of Medical Knowledge-Aware Large Language Models
University of the Basque Country（巴斯克大学）
研究通过比较通用与临床LLM在多选题任务中的表现，发现临床模型在英语任务中不占优势，但在西班牙语任务中表现更好，表明现有评估框架可能不足以体现真实医疗专业知识。
2026-04-08 cs.CL
Emotion Classification In-Context in Spanish
Department of Computer and Information Sciences, University of Delaware（计算机与信息科学系，德克萨斯大学）
针对西班牙语客户反馈情感分类，提出结合TF-IDF与BERT嵌入的自定义堆叠集成方法，在原生数据集上达到93.3%准确率，优于翻译版本及单一模型。
2025-05-26 cs.CL cs.LG
Lung Cancer Concept Annotation from Spanish Clinical Narratives
Centro de Tecnología Biomédica, Universidad Politécnica de Madrid（马德里理工大学生物医学技术中心）；Universidad Politécnica de Madrid（马德里理工大学）；ETS de Ingenieros Informáticos, Universidad Politécnica de Madrid（马德里理工大学计算机工程高等技术学院）
近年来，临床数据的快速增长和计算科学的快速发展使我们能够从医疗行业的海量数据中提取新的见解。肿瘤临床记录正在创建用于记录患者病史的丰富数据库，它们可能包含许多有助于更好地管理疾病的模式。然而，这些模式被锁定在临床文档的自由文本（非结构化）部分内，并且限制了健康专业人员从它们提取有用信息并最终以准确的方式执行查询和查询（QA）过程。信息抽取（IE）过程需要自然语言处理（NLP）技术来为这些模式分配语义。因此，在本文中，我们分析了特定肺癌概念的注释器的设计，可以集成在Apache非结构化信息管理架构（UIMA）框架。此外，我们解释了注释结果的生成和存储的细节。
2018-09-18 cs.AI cs.CL
ESNLIR: A Spanish Multi-Genre Dataset with Causal Relationships
本文针对西班牙语NLI资源稀缺问题，提出了多体裁且包含因果关系的ESNLIR数据集，并通过BERT家族模型验证了体裁丰富性有助于提升模型泛化能力。
2025-03-11 cs.CL
ALBETO and DistilBETO: Lightweight Spanish Language Models
University of Chile（智利大学）；National Center for Artificial Intelligence (CENIA)（国家人工智能中心（CENIA））；Millennium Institute for Foundational Research on Data (IMFD)（千禧数据基础研究所（IMFD））；KU Leuven（鲁汶大学）
近年来，在预训练的语言模型方面有了相当大的进步，其中也提供了非英语语言版本。由于它们的使用越来越多，这些模型的许多轻量级版本（减少了参数）也被发布，以加快训练和推理时间。然而，这些较轻型号的版本（例如，除英语外，其他语言的语言仍然很少。在本文中，我们提出了ALBETO和DistilBETO，这是版本的ALBERT和DistilBERT预先训练的西班牙语语料库。我们训练几个版本的ALBETO，从5 M到223 M参数，以及一个67 M参数的DistilBETO。我们在GLUES基准中评估我们的模型，其中包括西班牙语中的各种自然语言理解任务。结果表明，我们的轻量级模型实现竞争力的结果，BETO（西班牙BERT），尽管有较少的参数。更具体地说，我们更大的ALBETO模型在MLDoc、PAWS-X、XNLI、MLQA、SQAC和XQuAD数据集上的性能优于所有其他模型。然而，BETO仍然保持不败的POS和NER。作为进一步的贡献，所有模型都公开提供给社区供未来研究。
2023-01-25 cs.CL
Fake News Detection in Spanish Using Deep Learning Techniques
Universidad de Antioquia（安蒂奥基亚大学）；Intelligent Information Systems Lab（智能信息系统实验室）
本文使用机器学习技术解决了西班牙语中的假新闻检测问题。从根本上讲，这是针对英语语言解决的相同问题;然而，西班牙语中没有大量公开可用且充分标记的假新闻来有效地训练机器学习模型，类似于针对英语语言提出的模型。因此，这项工作探讨了不同的培训策略和架构，为这一领域的进一步研究建立了一个基线。使用了四个数据集，两个英语数据集和两个西班牙语数据集，并测试了四个实验方案，包括经典机器学习模型的基线，使用西班牙语的小型数据集进行训练和验证。剩下的方案包括最先进的深度学习模型，这些模型用英语训练（或微调）并验证，用西班牙语训练并验证，用英语拟合并用自动翻译的西班牙语句子验证。深度学习架构构建在不同的预训练词嵌入表示之上，包括GloVe，ELMo，BERT和BETO（在西班牙语大型语料库上训练的BERT版本）。根据结果，最佳策略是将预训练的BETO模型和基于LSTM层的递归神经网络相结合，准确率高达80%;尽管如此，使用随机森林估计器的基线模型也获得了类似的结果。此外，由于传播错误，翻译策略没有产生可接受的结果;当用英语或西班牙语训练时，也观察到模型性能的显著差异，主要归因于每种语言可用的样本数量。
2021-10-13 cs.AI cs.CL cs.LG
Evaluating Large Language Models on the Spanish Medical Intern Resident (MIR) Examination 2024/2025:A Comparative Analysis of Clinical Reasoning and Knowledge Application
Universidad de Alcalá（阿尔卡拉大学）；Binpar（宾帕尔（Binpar））
本文评估22个LLM在2024/2025年西班牙MIR医学考试中的临床推理、专业知识与多模态能力，发现领域微调模型准确率更优。
2025-03-16 cs.AI cs.CL
Progress Notes Classification and Keyword Extraction using Attention-based Deep Learning Models with BERT
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；IUPUI（印第安纳大学与普渡大学印第安纳波利斯联合分校）；Carmel High School（卡梅尔高中）；DePauw University（德堡大学）
各种深度学习算法已经被开发出来用于分析不同类型的临床数据，包括临床文本分类和从“自由文本”中提取信息等，但是从临床笔记中自动提取关键词仍然是一个挑战。挑战包括处理包含各种缩写、可能的错别字和非结构化句子的嘈杂临床笔记。本研究的目的是研究基于注意力的深度学习模型，以分类从现实世界的电子病历系统中提取的去识别的临床进展记录。基于注意力的深度学习模型可以用于解释模型并理解驱动临床进展笔记的正确或不正确分类的关键词。本研究中的基于注意力的模型能够提供人类可理解的文本分类模型。实验结果表明，加入注意层的微调BERT分类模型可以达到97.6%的高分类准确率，高于基线微调BERT分类模型。在这项研究中，我们还证明了基于注意力的模型可以识别与临床进展记录类别密切相关的相关关键词。
2019-10-24 cs.CL
Sequence-to-Sequence Spanish Pre-trained Language Models
KU Leuven（鲁汶大学）；Universidad Politécnica Salesiana（Salesiana理工大学）
本文针对西班牙语缺乏序列到序列预训练模型的问题，基于西班牙语语料库训练并评估了 BART、T5 和 BERT2BERT 等编码器-解码器架构，发现它们在多项任务中表现优异，并已开源以促进西班牙语 NLP 发展。
2024-03-21 cs.AI cs.CL cs.LG
Clinical named entity recognition in the Portuguese language: a benchmark of modern BERT models and LLMs
Spesia；Faculdade de Medicina, Universidade de São Paulo（圣保罗大学医学院）；Pontifícia Universidade Católica do Paraná (PUCPR)（巴拉那天主教大学）；Florida Atlantic University（佛罗里达大西洋大学）；Universidade Federal do Paraná (UFPR)（巴拉那联邦大学）
本文评估了BERT和LLM在葡萄牙语临床命名实体识别中的表现，发现mmBERT-base在微平均F1分数上表现最佳，通过迭代分层和过采样策略提升了性能。
2026-03-27 cs.CL
Let's Play Mono-Poly: BERT Can Reveal Words' Polysemy Level and Partitionability into Senses
Université Paris-Saclay（巴黎-萨克雷大学）；CNRS, LISN（法国国家科学研究中心，LISN）；University of Helsinki（赫尔辛基大学）
预训练的语言模型（LM）编码了丰富的语言结构信息，但它们对词汇多义的认识仍然不清楚。我们提出了一种新的实验装置，专门训练用于不同语言（英语，法语，西班牙语和希腊语）和多语种BERT的LM分析这种知识。我们对精心设计的数据集进行分析，以反映不同的意义分布，并控制与多义词高度相关的参数，如频率和语法类别。我们证明，BERT派生的表征反映了词的多义性水平和他们的分割成意义。英语BERT嵌入中的多义词相关信息更清晰，但其他语言中的模型也设法在不同的多义词水平上建立相关的区别。我们的研究结果有助于更好地理解语境化表征中编码的知识，并为多语言词汇语义研究开辟了新的途径。
2021-04-29 cs.CL
Historical Ink: Semantic Shift Detection for 19th Century Spanish
Universidad de los Andes（安第斯大学）
本研究针对19世纪西班牙语（重点为拉美西语）的语义演变检测任务，构建专属语料库与可定制流水线，用古西语微调的类BERT模型分析词义变化，为探究语言反映的文化社会变迁提供参考。
2024-07-19 cs.AI cs.CL
Multilingual Clinical NER for Diseases and Medications Recognition in Cardiology Texts using BERT Embeddings
Transilvania University of Brasov（布拉索夫Transilvania大学）；Siemens Healthineers（西门子医疗）
面向 BioASQ MultiCardioNER，本研究评估多种通用领域单语与多语言 BERT 模型，用于英、西、意三语心脏病学文本的疾病和药物 NER，并在四个子任务上超过排行榜平均与中位 F1。
2025-10-20 cs.CL
Z-Index at CheckThat! Lab 2022: Check-Worthiness Identification on Tweet Text
Daffodil International University（达福迪尔国际大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
社交媒体和数字技术的广泛使用有助于分享有关事件和活动的各种新闻和信息。尽管分享了积极的信息，但误导和虚假信息也在社交媒体上传播。已经有人努力通过人工专家和自动工具来识别这种误导性信息。由于网上出现了大量包含事实主张的信息，手工工作无法很好地扩展。因此，自动识别值得检查的索赔对人类专家来说非常有用。在这项研究中，我们描述了我们的参与子任务-1A：检查价值的鸣叫（英语，荷兰语和西班牙语）的检查！CLEF 2022的实验室我们执行标准的预处理步骤，并应用不同的模型来识别给定的文本是否值得进行事实检查。我们使用过采样技术来平衡数据集，并应用支持向量机和随机森林（RF）与TF-IDF表示。我们还使用BERT多语言（BERT-m）和XLM-RoBERTa-base预训练模型进行实验。我们使用BERT-m进行正式提交，我们的系统在西班牙语，荷兰语和英语中分别排名第3，第5和第12位。在进一步的实验中，我们的评估表明，Transformer模型（BERT-m和XLM-RoBERTa-base）在荷兰语和英语语言中优于SVM和RF，而在西班牙语中观察到不同的情况。
2022-07-15 cs.CL cs.LG
Understanding patient complaint characteristics using contextual clinical BERT embeddings
Medius Health
在临床会话应用中，所提取的实体倾向于捕获患者的主诉的主要主题，即症状或疾病。然而，他们大多未能认识到投诉的特征，如时间，发病和严重程度。例如，如果输入是“我头痛，而且很严重”，那么最先进的模型仅识别主要症状实体-头痛，但忽略表征头痛的“严重”的严重性因素。在本文中，我们设计了一个两阶段的方法来检测实体的特征，如一般用户在上下文中，他们会描述他们的症状，临床医生提出的症状。我们使用Word 2 Vec和BERT对患者提供的临床文本进行编码。我们转换输出并将任务重新构建为多标签分类问题。最后，我们将处理后的编码与线性判别分析（LDA）算法相结合，对主要实体的特征进行分类。实验结果表明，我们的方法实现了40-50%的提高的准确性比国家的最先进的模型。
2020-02-14 cs.CL
Federated pretraining and fine tuning of BERT using clinical notes from multiple silos
Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）
近年来，大规模上下文表示模型，如BERT，极大地促进了自然语言处理（NLP）。然而，在医疗保健等特定领域，由于隐私和监管原因，从多个机构访问各种大规模文本数据极具挑战性。在这篇文章中，我们展示了可以使用来自不同孤岛的临床文本以联邦方式预训练和微调BERT模型，而无需移动数据。
2020-02-20 cs.CL cs.LG
Assessing the Syntactic Capabilities of Transformer-based Multilingual Language Models
Pompeu Fabra University（庞培法布拉大学）；Catalan Institute for Research and Advanced Studies (ICREA)（加泰罗尼亚研究与高级研究所）
基于多语言转换器的语言模型通常在100多种语言上进行预训练，已被证明在广泛的跨语言迁移任务中取得了出色的结果。然而，它仍然是未知的优化不同的语言条件的能力的模型概括的句法结构，以及如何语言的句法现象不同的复杂性受到影响。在这项工作中，我们探讨的单语和多语言版本的BERT和ROBERTa的句法泛化能力。更具体地说，我们评估英语和西班牙语测试模型的句法泛化潜力，比较单语和多语言模型在同一语言（英语），和两种不同的语言（英语和西班牙语）的多语言模型的句法能力。对于英语，我们使用可用的SyntaxGym测试套件;对于西班牙语，我们引入了SyntaxGyES，这是一种新的西班牙语语法测试组合，旨在通过SyntaxGym在线平台评估语言模型的语法泛化能力。
2021-05-10 cs.CL
Clinical Trial Information Extraction with BERT
Data Science and AI, Novartis（诺华数据科学与人工智能部门）；Global Drug Development, Novartis Pharma AG（诺华制药全球药物开发部）
临床试验文件的自然语言处理（NLP）在新的试验设计中可能很有用。在这里，我们确定相关的临床试验设计的实体类型，并提出了一个框架，称为CT-BERT从临床试验文本的信息提取。我们训练命名实体识别（NER）模型，通过微调一组预先训练好的BERT模型来提取合格标准实体。然后，我们将CT-BERT的性能与最近的基线方法进行了比较，包括基于注意力的BiLSTM和Criteria 2 Query。结果证明了CT-BERT在临床试验NLP中的优越性。
2021-09-11 cs.CL cs.LG q-bio.QM
Multilingual BERT language model for medical tasks: Evaluation on domain-specific adaptation and cross-linguality
Erasmus University Medical Center Rotterdam（鹿特丹伊拉斯姆斯大学医学中心）；Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
本研究探讨在领域特定语料库上进一步预训练多语言BERT对医疗NLP任务的影响，发现领域适应和跨语言迁移能显著提升低资源语言（荷兰语、罗马尼亚语、西班牙语）的临床任务性能。
2025-10-31 cs.CL
Harnessing the Power of BERT in the Turkish Clinical Domain: Pretraining Approaches for Limited Data Scenarios
Ege University（埃格大学）
本研究探索多种预训练方法对土耳其语临床语言模型在放射学报告多标签分类任务中的影响，发现结合通用领域知识与任务特定微调（如BERTurk和TurkRadBERT-task v1）性能最佳，并首次评估了同时预训练方法。
2023-05-05 cs.CL
RoBERTuito: a pre-trained language model for social media text in Spanish
Universidad de Buenos Aires（布宜诺斯艾利斯大学）；CONICET（国家科学技术研究委员会）
自BERT出现以来，Transformer语言模型和迁移学习已成为自然语言理解任务的最新研究成果。最近，一些工作面向特定领域的预训练专门制作的模型，例如科学论文，医学文档，用户生成的文本等。这些特定于领域的模型已被证明在大多数任务中显着提高性能。然而，对于英语以外的其他语言，这种模型并不广泛可用。在这项工作中，我们提出了RoBERTuito，一个预先训练的语言模型，用于用户生成的西班牙语文本，经过超过5亿条推文的训练。在涉及用户生成文本的基准任务上进行的实验表明，RoBERTuito在西班牙语中的表现优于其他预先训练的语言模型。除此之外，我们的模型在语言代码转换评估基准（LinCE）的一些英语-西班牙语任务中取得了最佳结果，并且在英语任务中与单语模型相比也具有竞争力。为了促进进一步的研究，我们在HuggingFace模型中心公开了RobERTuito以及用于预训练它的数据集。
2022-05-04 cs.AI cs.CL
Transfer Learning in Biomedical Natural Language Processing: An Evaluation of BERT and ELMo on Ten Benchmarking Datasets
National Center for Biotechnology Information（国家生物技术信息中心）；National Library of Medicine, National Institutes of Health（美国国立卫生研究院国家医学图书馆）
受通用语言理解评估基准成功的启发，我们引入了生物医学语言理解评估（BLUE）基准，以促进生物医学领域中预训练语言表征开发的研究。该基准测试由五个任务和十个数据集组成，涵盖了不同数据集大小和难度的生物医学和临床文本。我们还评估了基于BERT和ELMo的几个基线，发现在PubMed摘要和MIMIC-III临床笔记上预训练的BERT模型达到了最佳结果。我们在https://github.com/ncbi-nlp/BLUE_Benchmark上公开提供数据集、预训练模型和代码。
2019-06-18 cs.CL
The Word and the Way: Strategies for Domain-Specific BERT Pre-Training in German Medical NLP
School of Computation, Information and Technology（计算信息科技学院）；Technical University of Munich（慕尼黑技术大学）；Chair of IT Infrastructure for Translational Medical Research（转化医学研究信息基础设施主任）；Faculty of Applied Computer Science（应用计算机科学学院）；University of Augsburg（艾希施泰特大学）；Institute of General Practice（基础医学研究所）；Faculty of Medicine and Medical Center（医学学院和医学中心）
本文提出ChristBERT系列模型，通过对比持续预训练、从头训练和领域词汇适应三种策略，在德语医学NLP任务中实现最优性能，并建立新的基准。
2026-06-02 cs.CL
Distilling Large Language Models for Efficient Clinical Information Extraction
Poolesville High School（普尔斯维尔高中）；University of California Santa Cruz（加州大学圣克鲁兹分校）；Stanford University School of Medicine（斯坦福大学医学院）；Clinical Excellence Research Center（临床卓越研究中心）；Stanford Health Care（斯坦福医疗保健系统）
本文利用LLM和医学本体作为教师标注器蒸馏BERT模型，在临床NER任务上以最高101倍成本降低和12倍速度提升实现了与大型LLM相近的性能。
2024-12-21 cs.CL
MT-Clinical BERT: Scaling Clinical Information Extraction with Multitask Learning
Virginia Commonwealth University（弗吉尼亚联邦大学）
临床记录包含大量重要但不易获得的患者信息。自动提取该信息的系统依赖于大量的训练数据，对于这些训练数据，它们存在有限的资源来创建。此外，它们是分开开发的;这意味着特定任务系统之间不能共享信息。这个瓶颈不必要地使实际应用复杂化，降低了每个单独解决方案的性能能力，并且关联了管理多个信息抽取系统的工程债务。我们通过开发多任务临床BERT来解决这些挑战：一个单一的深度学习模型，通过在任务之间共享表示，同时执行八个临床任务，包括实体提取，PHI识别，语言蕴涵和相似性。我们发现我们的单一系统与所有最先进的特定任务系统相比具有竞争力，同时还受益于大量的计算优势。
2020-04-21 cs.CL cs.IR cs.LG
KliniskVestBERT: BERT Model Specialised to Norwegian Clinical Texts
helse-vest-ikt（赫尔塞-维斯特信息科技）
通过继续预训练现有BERT模型，在挪威临床文本上构建KliniskVestBERT模型，在临床NLP任务中显著优于基线模型。
2026-06-02 cs.AI cs.CL
BOE-XSUM: Extreme Summarization in Clear Language of Spanish Legal Decrees and Notifications
Universidad Nacional de Educación a Distancia（西班牙国家远程教育大学）；The National Library of Norway（挪威国家图书馆）
本文构建了包含3648条西班牙BOE法律文档简明摘要的BOE-XSUM数据集，并通过微调中型LLM验证其显著优于零样本通用模型。
2025-09-29 cs.CL
Bio+Clinical BERT, BERT Base, and CNN Performance Comparison for Predicting Drug-Review Satisfaction
University of California, Berkeley（加州大学伯克利分校）
本文比较了 Bio+Clinical BERT、BERT Base 和 CNN 在药物评论满意度三分类任务上的表现，发现医学领域专用的 Bio+Clinical BERT 显著优于通用 BERT，宏平均 f1 和召回率提升 11%，并指出两类模型各具优势。
2023-08-02 cs.AI cs.CL cs.LG
MIRA-Ev:A Benchmark for Granular Evidence Detection and Relational Reasoning in Clinical Exams
HiTZ Center, University of the Basque Country (EHU)（巴斯克大学HiTZ中心）；Hospital Universitario de Cruces（克鲁塞斯大学医院）
该研究针对临床自然语言处理评估局限，引入基于西班牙MIR执照考试案例的MIRA-Ev基准，重新注释相关关系并发布多语言版本，将评估组织为证据句子检索、论证组件提取和关系分类的三层任务层次结构。
2026-07-22 cs.AI cs.CL
Prediction of ICD Codes with Clinical BERT Embeddings and Text Augmentation with Label Balancing using MIMIC-III
University of California, Berkeley（加州大学伯克利分校）
本文使用MIMIC-III数据集实现了ICD代码预测任务的最新结果。这是通过使用临床BERT（Alsentzer等人，2019年）。嵌入和文本增强以及标签平衡，以提高ICD章节和ICD疾病代码的F1评分。我们将改进的性能主要归因于使用新颖的文本增强来在训练过程中打乱句子的顺序。与Top-32 ICD代码预测（Keyang Xu，et.（见上文）在F1得分为0.76的情况下，我们实现了0.75的最终F1得分，但是在总共前50个ICD代码上。
2020-08-24 cs.AI cs.CL
Does the Magic of BERT Apply to Medical Code Assignment? A Quantitative Study
Aalto University（阿尔托大学）
无监督预训练是许多自然语言处理系统的组成部分，而带有语言模型的迁移学习在许多下游任务中取得了显著的效果。在医疗代码分配的临床应用中，诊断和程序代码是从冗长的临床笔记（如出院摘要）中推断出来的。然而，在没有进一步架构工程的情况下，尚不清楚预训练模型是否对医疗代码预测有用。本文对在不同领域预训练的各种上下文化语言模型在临床笔记中的医疗代码分配的性能进行了全面的定量分析。我们提出了一个层次化的微调架构，以捕捉遥远的话之间的相互作用，并采用标签明智的注意，利用标签信息。与目前的趋势相反，我们证明了一个精心训练的经典CNN在具有频繁代码的MIMIC-III子集上优于基于注意力的模型。我们的实证研究结果提出了改进医疗代码分配应用的方向。
2021-10-26 cs.CL
L2D-Clinical: Learning to Defer for Adaptive Model Selection in Clinical Text Classification
University of Minnesota, Northeastern University Minneapolis, Boston, USA（明尼苏达大学、东北大学）
本文提出L2D-Clinical框架，通过不确定性信号和文本特征决定在BERT和LLM之间延迟决策，提升临床文本分类的准确率，实验表明在ADE检测和治疗结果分类任务中均取得显著提升。
2026-04-14 cs.AI cs.CL
Revealing the impact of social circumstances on the selection of cancer therapy through natural language processing of social work notes
Bakar Computational Health Sciences Institute, University of California, San Francisco（加州大学旧金山分校巴卡尔计算健康科学研究所）；University of California, Office of the President（加州大学校长办公室）；Division of Hematology/Oncology, Department of Medicine, University of California, San Francisco（加州大学旧金山分校医学系血液学/肿瘤学分部）
本研究利用基于BERT的分层多步模型分析乳腺癌患者的社工记录，发现健康社会决定因素会导致治疗选择存在系统性差异，社工报告对理解临床决策差异至关重要。
2023-06-16 cs.CL
