Automatic Generation of High Quality CCGbanks for Parser Domain Adaptation
Nara Institute of Science and Technology(奈良先端科学技术大学院大学);Artificial Intelligence Research Center, AIST(产业技术综合研究所人工智能研究中心);Ochanomizu University(御茶水女子大学)
基于利用依赖树资源自动生成组合范畴语法语料库的思想,提出了一种新的组合范畴语法分析的领域自适应方法.我们的解决方案在概念上很简单,并且不依赖于特定的解析器架构,这使得它适用于当前性能最好的解析器。我们进行了广泛的解析实验,并进行了详细的讨论;在现有的(1)生物医学文本和(2)问题句子的基准数据集之上,我们创建了(3)语音对话和(4)数学问题的实验数据集。当应用于所提出的方法时,现成的CCG解析器显示出显着的性能增益,在语音会话上从90.7%提高到96.6%,在数学问题上从88.5%提高到96.8%。
2019-06-05 cs.CL
Domain-adaptation of spherical embeddings
Iris AI
嵌入模型的领域自适应,将通用嵌入更新为特定领域的语言,是一种经过验证的技术,适用于没有足够数据从头开始训练有效模型的领域。化学出版物就是这样一个领域,其中科学术语和过载的术语抑制了通用语言模型的性能。arXiv:1911.01196中提出的最近的球形嵌入模型(JoSE)在多维单位球体上的训练期间联合学习单词和文档嵌入,这对于文档分类和单词相关任务表现良好。但是,我们发现在训练过程中全局旋转导致的非收敛性阻止了它的领域自适应。在这项工作中,我们开发了一些方法来对抗嵌入空间的全局旋转,并提出了在特定领域的训练过程中更新单词和文档的策略。两个新的文档分类数据集整理从一般和化学科学期刊,比较所提出的更新训练策略与基准模型。我们表明,我们的策略是能够降低性能成本的领域自适应到一个类似的水平Word2Vec。
2021-11-01 cs.CL
BioClinical ModernBERT: A State-of-the-Art Long-Context Encoder for Biomedical and Clinical NLP
针对生物医学与临床NLP领域编码器发展滞后、适配性有限的问题,研究团队基于ModernBERT构建了BioClinical ModernBERT,通过超535亿token多源语料预训练提升性能,发布两版本模型及检查点助力相关研究。
2025-06-12 cs.AI cs.CL
Unsupervised Domain Adaptation of Language Models for Reading Comprehension
NTT Media Intelligence Laboratories, NTT Corporation(NTT集团NTT媒体情报实验室)
本研究探讨了阅读理解的无监督领域自适应。阅读理解是一项学习学生运用文本进行问答的能力的任务。关于RC的最先进的模型仍然不具有一般的语言智能;即,它们的准确度是针对在训练中未使用的域外数据集的。我们假设,这种差异是由于缺乏语言建模(LM)能力的域外。UDARC任务允许模型在源域中使用有监督的RC训练数据,而在目标域中仅使用未标记的通道。为了解决UDARC问题,我们提出了两种领域自适应模型。第一个学习领域外LM和领域内RC任务顺序。第二个是使用LM和RC的多任务学习方法的建议模型。该模型既保留了从源域中的监督数据获得的RC能力,又保留了从目标域中的未标记数据获得的LM能力。我们使用不同领域的五个数据集在UDARC上评估了模型。该模型优于没有领域自适应的模型。特别是,该模型在一个看不见的生物医学领域的EM/F1产生了4.3/4.2点的改善。
2020-05-21 cs.CL
RadAdapt: Radiology Report Summarization via Lightweight Domain Adaptation of Large Language Models
Stanford University(斯坦福大学)
该研究针对放射学报告摘要生成任务,系统探索大语言模型的轻量级领域自适应策略,发现临床文本预训练加参数高效微调的方法性能最优,仅微调0.32%参数,为临床自然语言处理方案开发提供参考。
2023-07-20 cs.CL
Inexpensive Domain Adaptation of Pretrained Language Models: Case Studies on Biomedical NER and Covid-19 QA
LMU Munich(慕尼黑大学);Siemens AG(西门子股份公司)
预训练语言模型(PTLM)的领域自适应通常通过对目标领域文本的无监督预训练来实现。虽然这种方法是成功的,但在硬件、运行时间和CO_2排放方面是昂贵的。在这里,我们提出了一个更便宜的替代方案:我们训练Word 2 Vec的目标域的文本,并将得到的词向量与一个通用域PTLM的词片向量。我们评估了八个生物医学命名实体识别(NER)任务,并与最近提出的BioBERT模型进行比较。我们覆盖了超过60%的BioBERT-BERT F1 delta,占BioBERT CO_2排放量的5%,占其云计算成本的2%。我们还展示了如何快速调整现有的通用领域问答(QA)模型,以适应新冠肺炎大流行这一新兴领域。
2020-06-27 cs.CL
BiCA: Effective Biomedical Dense Retrieval with Citation-Aware Hard Negatives
University of Copenhagen(哥本哈根大学)
BiCA通过利用引用链接生成引用感知硬负样本,提升生物医学领域密集检索性能,实现零样本检索和长尾主题的优越表现。
2025-12-21 cs.CL cs.IR
Extending a Parser to Distant Domains Using a Few Dozen Partially Annotated Examples
Allen Institute for AI(艾伦人工智能研究所);Seattle, WA(西雅图(华盛顿州))
我们重新审视神经时代解析器的领域自适应。首先,我们表明,最近的进展,字表示大大减少了领域自适应的需要时,目标域是句法相似的源域。作为证据,我们训练一个解析器在华尔街日报单独实现超过90%F1的布朗语料库。对于语法上更远的域,我们提供了一种简单的方法来调整解析器,只使用几十个部分注释。例如,我们使用大约五打训练样本,将保持集合中无错误几何域解析的百分比从45%增加到73%。在这个过程中,我们展示了一个新的国家的最先进的单一模型的结果在华尔街日报测试集的94.3%。这比之前的92.6%的最新技术水平绝对增加了1.7%。
2018-05-16 cs.CL
Domain adaptation for sequence labeling using hidden Markov models
Inria(法国国家信息与自动化研究所);École Normale Supérieure(巴黎高等师范学院);Université Paris-Est(巴黎东大学);École des Ponts - ParisTech(巴黎高科桥路学院)
大多数基于机器学习的自然语言处理系统对领域转移不鲁棒。例如,一个在华尔街日报句子上训练的最先进的句法依赖分析器在测试来自Web的文本数据时,性能绝对下降了10个点以上。使这些方法对域移位更鲁棒的有效解决方案是首先使用来自两个域的大量未标记数据来学习单词表示,然后在监督学习算法中使用该表示作为特征。在本文中,我们建议使用隐马尔可夫模型来学习单词表示的词性标记。特别是,我们研究了使用来自源,目标或两个域的数据来学习表示的影响,以及使用HMM表示单词的不同方式。
2013-12-14 cs.CL cs.LG
Adaptation of Biomedical and Clinical Pretrained Models to French Long Documents: A Comparative Study
Nantes Université(南特大学);CHU Nantes(南特大学医院中心);INSERM(法国国家健康与医学研究院);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);LS2N(南特数字科学实验室)
本文比较了三种基于Longformer的法语生物医学长文档适配策略,发现用英语临床模型继续预训练法语生物医学文本效果最佳,长序列模型在多数下游任务上优于BERT,但BERT在命名实体识别上仍最高效。
2024-02-26 cs.AI cs.CL
Lexical Adaptation of Link Grammar to the Biomedical Sublanguage: a Comparative Evaluation of Three Approaches
我们研究的适应链接语法分析器的生物医学子语言,重点领域的条款没有发现在一个通用的解析器词典。使用两个生物医学语料库,我们实现和评估三种方法来解决未知的单词:自动词库扩展,使用形态学线索,并使用词性标注消歧。我们分别评估每种方法对解析性能的影响,并考虑这些方法的组合。除了提高45%的解析效率,我们发现,最好的方法,将信息从一个域的词性标注,提供了一个统计显着的10%的相对减少错误。经过改编的解析器可以在http://www.it.utu.fi/biolg上获得开源许可证。
2006-06-28 cs.CL cs.IR
BMDetect: A Multimodal Deep Learning Framework for Comprehensive Biomedical Misconduct Detection
Wuhan University(武汉大学);University of Electronic Science and Technology of China(电子科技大学);Metanovas Biotech Inc.(Metanovas生物技术公司)
针对生物医学学术不端检测的算法局限与流程碎片化问题,提出多模态深度学习框架BMDetect,融合期刊元数据、语义嵌入与GPT-4o挖掘的文本属性,并构建大规模基准BioMCD,实现74.33%的AUC,显著优于单模态基线且具备跨子领域可迁移性。
2025-07-15 cs.CL cs.LG
UM_FHS at TREC 2024 PLABA: Exploration of Fine-tuning and AI agent approach for plain language adaptations of biomedical text
University of Maribor(马里博尔大学);University of Ljubljana(卢布尔雅那大学);Columbia University(哥伦比亚大学);Manisa Celal Bayar University(马尼萨杰拉尔·巴亚尔大学);University of Edinburgh(爱丁堡大学)
本研究针对生物医学文本面向13-14岁学生的通俗化适配问题,测试了基于gpt-4o和gpt-4o-mini的三种方法,发现gpt-4o-mini提示工程效果最优。
2025-02-19 cs.CL
A Dataset for Plain Language Adaptation of Biomedical Abstracts
Lister Hill National Center for Biomedical Communications(李斯特·希尔国家生物医学交流中心);U.S. National Library of Medicine(美国国家医学图书馆);National Institutes of Health(美国国立卫生研究院)
尽管与健康相关的文献呈指数级增长,但科学文章的语言可能难以让公众理解。因此,将这种专家级语言改编成通俗语言版本对于公众可靠地理解大量与健康相关的文献是必要的。用于自动适应的深度学习算法是一种可能的解决方案;然而,需要黄金标准数据集进行适当的评估。到目前为止,建议的数据集包括成对的可比较的专业和一般公众面对的文件或从这些文件中挖掘出的语义相似的句子。这导致了不完美的比对和小测试集之间的权衡。为了解决这个问题,我们创建了Plain Language Adaptation of Biomedical Abstracts数据集。此数据集是第一个手动调整的数据集,它既与文档对齐,又与文档对齐。该数据集包含750个改编摘要,共计7643个句子对。在描述数据集的同时,我们还使用最先进的深度学习方法对数据集进行了自动适应基准测试,为未来的研究设定了基线。
2022-10-21 cs.AI cs.CL
BioADAPT-MRC: Adversarial Learning-based Domain Adaptation Improves Biomedical Machine Reading Comprehension Task
University of Tennessee(田纳西大学);Oak Ridge National Laboratory(橡树岭国家实验室)
生物医学机器阅读理解(biomedical-MRC)旨在理解复杂的生物医学叙述,并帮助医疗保健专业人员从中检索信息。现代基于神经网络的MRC系统的高性能依赖于高质量、大规模、人工标注的训练数据集。在生物医学领域,创建这样的数据集的一个关键挑战是对领域知识的需求,导致标记数据的稀缺性以及从标记的通用(源)领域到生物医学(目标)领域的迁移学习的需求。然而,由于主题的差异,通用和生物医学领域之间的边缘分布存在差异。因此,将学习到的表示从通用领域训练的模型直接转移到生物医学领域可能会损害模型的性能。针对生物医学机器阅读理解任务(BioADAPT-MRC)提出了一种基于对抗学习的领域自适应框架,该框架是一种基于神经网络的方法,用于解决一般和生物医学领域数据集之间的边缘分布差异。BioADAPT-MRC放松了生成伪标签的需要,以训练性能良好的生物医学MRC模型。我们通过将其与三个广泛使用的基准生物医学MRC数据集(BioASQ-7b,BioASQ-8b和BioASQ-9b)上的最佳现有方法进行比较,广泛评估了BioADAPT-MRC的性能。我们的研究结果表明,在不使用任何来自生物医学领域的合成或人工注释数据的情况下,BioADAPT-MRC可以在这些数据集上实现最先进的性能。可用性:BioADAPT-MRC作为开源项目在\url{https://github.com/mmahbub/BioAD…
2022-07-26 cs.AI cs.CL cs.LG
ConDA: Contrastive Domain Adaptation for AI-generated Text Detection
Arizona State University(亚利桑那州立大学)
本文提出ConDA框架,将AI生成新闻文本检测建模为无监督域自适应任务,结合对比学习学习域不变表示,在仅用源域标签数据的情况下取得比最佳基线平均提升31.7%、接近全监督检测器的效果。
2023-09-20 cs.AI cs.CL cs.LG
Plain language adaptations of biomedical text using LLMs: Comparision of evaluation metrics
University of Maribor(马里博尔大学);University of Ljubljana(卢布尔雅那大学);University of Edinburgh(爱丁堡大学)
本研究比较了利用大语言模型对生物医学文本进行plain language改编的不同方法,发现gpt-4o-mini在评估指标上表现优异,而微调方法效果欠佳。
2025-12-18 cs.AI cs.CL
Biomedical Large Languages Models Seem not to be Superior to Generalist Models on Unseen Medical Data
Charité - Universitätsmedizin Berlin(柏林夏里特医学院);Freie Universität Berlin(柏林自由大学);Humboldt Universität zu Berlin(柏林洪堡大学);Athinoula A. Martinos Center for Biomedical Imaging(雅典娜·马蒂诺斯生物医学成像中心);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);Institute for AI in Medicine (IKIM)(医学人工智能研究所);University Hospital Essen (AöR)(埃森大学医院);Technical University of Munich(慕尼黑工业大学);University Hospital Aachen(亚琛大学医院);Cancer Research Center Cologne Essen (CCCE)(科隆埃森癌症研究中心);West German Cancer Center Essen(西德埃森癌症中心);German Cancer Consortium (DKTK, Partner site Essen)(德国癌症联盟(埃森合作站点));TU Dortmund(多特蒙德工业大学);Bakar Computational Health Sciences Institute(巴卡尔计算健康科学研究所);University of California, San Francisco(加州大学旧金山分校)
本研究评估生物医学微调LLMs在未见临床数据上的表现,发现其总体逊于通用模型,表明领域微调可能降低性能,建议采用检索增强生成等替代方法。
2024-08-25 cs.CL
Biomedical Machine Translation for Low-Resource Arabic-Script Languages via Cross-Lingual Transfer and LoRA Adapter Merging
研究针对阿拉伯语脚本低资源语言生物医学翻译稀缺问题,利用阿拉伯语和波斯语作枢纽,通过LoRA微调训练特定领域适配器,评估少样本学习、最小监督适应及零数据LoRA适配器合并三种策略,展现不同策略效果及跨语言转移局限性。
2026-07-27 cs.CL
Neural Domain Adaptation for Biomedical Question Answering
Hasso Plattner Institute(哈索·普拉特纳研究所);DFKI(德国人工智能研究中心)
事实问答(QA)最近受益于深度学习(DL)系统的发展。神经网络模型在存在大型数据集的领域中优于传统方法,例如SQuAD(ca. 100,000个问题)的维基百科文章。然而,这些系统还没有被应用到QA在更具体的领域,如生物医学,因为数据集通常太小,从零开始训练DL系统。例如,用于生物医学QA的BioASQ数据集包括不到900个factoid(单个答案)和列表(多个答案)QA实例。在这项工作中,我们通过采用各种迁移学习技术,将在大型开放域数据集(SQuAD,源)上训练的神经QA系统适应于生物医学数据集(BioASQ,目标)。我们的网络架构是基于一个国家的最先进的QA系统,扩展与生物医学词嵌入和一个新的机制来回答列表问题。与现有的生物医学QA系统相比,我们的系统不依赖于特定领域的本体,解析器或实体标记,这是昂贵的创建。尽管如此,我们的系统在事实问题上取得了最先进的结果,在列表问题上取得了有竞争力的结果。
2017-06-15 cs.AI cs.CL cs.NE
BiDoRA: Bi-level Optimization-Based Weight-Decomposed Low-Rank Adaptation
University of California, San Diego(加州大学圣迭戈分校)
针对DoRA同步优化导致的过拟合和耦合更新问题,提出基于双层优化的BiDoRA,通过异步解耦优化幅度与方向,提升微调效果,在多项任务上优于现有方法。
2025-08-03 cs.CL cs.LG
Is Biomedical Specialization Still Worth It? Insights from Domain-Adaptive Language Modelling with a New French Health Corpus
Université Grenoble Alpes, CNRS, Grenoble INP, LIG(格勒诺布尔阿尔卑斯大学,法国国家科学研究中心,格勒诺布尔国立理工学院,格勒诺布尔信息学实验室);Sorbonne Université, LIMICS(索邦大学,医学信息学与知识工程实验室)
本文探讨了在法语生物医学领域通过持续预训练对小型至中型LLM进行专业化的方法,发现DAPT在资源受限情况下有效,但需通过模型合并缓解泛化权衡。
2026-04-08 cs.CL
MedAdapter: Efficient Test-Time Adaptation of Large Language Models towards Medical Reasoning
Georgia Tech(佐治亚理工学院);Emory University(埃默里大学)
针对大语言模型适配生物医学领域时面临的规模大、隐私难保障等问题,提出仅微调小型适配器来排序候选解的MedAdapter方法,可高效适配白盒/黑盒大模型,提升推理性能且兼顾隐私与成本。
2024-10-04 cs.AI cs.CL
Benchmarking for Biomedical Natural Language Processing Tasks with a Domain Specific ALBERT
The University of Sydney(悉尼大学)
生物医学文本数据的可用性和自然语言处理(NLP)的进步使生物医学NLP的新应用成为可能。使用领域特定语料库训练或微调的语言模型可以胜过一般模型,但迄今为止,生物医学NLP的工作在语料库和任务方面受到限制。我们提出了BioALBERT,这是一个特定于领域的自适应Transformers(ALBERT)的精简双向编码器表示,在生物医学(PubMed和PubMed Central)和临床(MIMIC-III)语料库上进行了训练,并针对20个基准数据集的6个不同任务进行了微调。实验表明,BioALBERT在命名实体识别(+11.09%BLURB分数提高)、关系抽取(+0.80%BLURB分数)、句子相似度(+1.05%BLURB分数)、文档分类(+0.62%F1-分数)和问答(+2.83%BLURB分数)方面优于现有技术。它代表了20个基准数据集中的17个的最新技术水平。通过提供BioALBERT模型和数据,我们的目标是帮助生物医学NLP社区避免培训的计算成本,并为未来广泛的生物医学NLP任务建立一套新的基线。
2021-07-09 cs.CL
Adapting Biomedical Abstracts into Plain language using Large Language Models
George Mason University(乔治梅森大学);CGI inc.(CGI公司);University of Washington(华盛顿大学)
本文针对公众健康素养不足问题,通过微调开源大型语言模型将PubMed生物医学摘要改编为平实语言,其基于GPT-4的模型在PLABA赛道平均简单性指标排名第一、平均准确性指标排名第三。
2025-01-26 cs.CL
NEJM-enzh: A Parallel Corpus for English-Chinese Translation in the Biomedical Domain
Baidu Research(百度研究院);Oregon State University(俄勒冈州立大学)
机器翻译需要大量的平行文本。虽然这样的数据集在新闻专线等领域很丰富,但在生物医学领域却不太容易获得。汉语和英语是世界上使用最广泛的两种语言,但据我们所知,在生物医学领域还没有一个平行的语料库。在这项研究中,我们开发了一个有效的管道来获取和处理一个英汉平行语料库,由大约10万个句子对和每边300万个标记组成,来自新英格兰医学杂志(NEJM)。我们发现,在域外数据上进行训练并使用少至4,000个NEJM句子对进行微调,可以将en $\to$ zh(zh $\to$ en)方向的翻译质量提高25.3(13.4)BLEU。在较大的域内数据集上,翻译质量继续以较慢的速度提高,在完整数据集上,en $\to$ zh(zh $\to$ en)方向的BLEU增加了33.0(24.3)。
2020-05-18 cs.CL cs.DL
Lessons from the TREC Plain Language Adaptation of Biomedical Abstracts (PLABA) track
Yale School of Medicine(耶鲁医学院);Tufts University(塔夫茨大学);NYU Grossman School of Medicine(纽约大学格罗斯曼医学院);Johns Hopkins University(约翰霍普金斯大学);Georgia Institute of Technology(佐治亚理工学院);National Institute of Standards(国家标准研究院);National Library of Medicine(国家医学图书馆)
本文总结 TREC PLABA 评测任务经验,发现大语言模型在生物医学摘要简明化中事实准确性和完整性接近人类,但在简洁性、术语识别及自动评测指标方面仍存在明显不足。
2025-07-21 cs.AI cs.CL cs.IR
Reading the News: Adapting Large Language Models to Swedish Journalism Through Continued Pre-Training
Linköping University(林雪平大学);Bonnier News(邦尼尔新闻)
本研究通过整理新闻数据集对大型语言模型进行持续预训练,结合经验回放缓解遗忘,提升了模型在瑞典新闻领域的生成质量与事实知识,且需针对性评估适配效果。
2026-09-01 cs.AI cs.CL cs.LG
Uncertainty-Aware Adaptation of Large Language Models for Protein-Protein Interaction Analysis
Computing & Data Sciences Directorate, Brookhaven National Laboratory(布鲁海文国家实验室计算与数据科学 Directorate);Department of Electrical & Computer Engineering, Texas A&M University(德克萨斯A&M大学电气与计算机工程系)
本研究提出一种用于蛋白质-蛋白质相互作用分析的大型语言模型不确定性感知适应方法,利用微调LLaMA-3和BioMedGPT,结合LoRA集成与贝叶斯LoRA进行不确定性量化,提升了预测可靠性与可重复性。
2025-08-14 cs.AI cs.CL cs.LG
BioMamba: Domain-Adaptive Biomedical Language Models
Rensselaer Polytechnic Institute(拉特格斯理工学院);Jiaxing New Jies Thermal Power Co. Ltd.(嘉兴新捷热电有限公司);North University of China(北方大学);Zhejiang University(浙江大学);IBM Research(IBM研究院);Nanjing University(南京大学)
提出基于Mamba2的领域自适应预训练方法BioMamba,在PubMed、C4和Wikipedia混合数据上持续训练,显著降低生物医学困惑度并保持通用语言能力。
2026-06-11 cs.CL
Multiple-hypothesis CTC-based semi-supervised adaptation of end-to-end speech recognition
Toshiba Cambridge Research Laboratory(东芝剑桥研究实验室);The University of Sheffield(谢菲尔德大学)
本文提出了一种用于端到端语音识别的自适应方法。在该方法中,多个自动语音识别(ASR)1-最佳假设被集成在计算的连接主义时间分类(CTC)损失函数。当使用ASR假设时,多个ASR假设的整合有助于减轻ASR假设中的误差对CTC损失计算的影响。当应用于部分自适应数据没有标签的半监督自适应场景时,所提出的方法的CTC损失从通过解码未标记的自适应数据获得的不同ASR 1-best假设计算。在干净和多条件训练场景中进行实验,其中基于CTC的端到端ASR系统分别在华尔街日报(WSJ)干净训练数据和CHiME-4多条件训练数据上进行训练,并在Aurora-4测试数据上进行测试。所提出的自适应方法产生6.6%和5.8%的相对字出错率(WER)减少清洁和多条件的训练方案,分别相比,基线系统,这是适应与部分的自适应数据具有手动transmittance使用反向传播微调。
2021-03-31 cs.CL
Building Chinese Biomedical Language Models via Multi-Level Text Discrimination
Baidu Inc.(百度公司);University of Science and Technology of China(中国科学技术大学)
预训练语言模型(PLM),如BERT和GPT,不仅在一般领域,而且在生物医学领域,已经彻底改变了NLP领域。在构建生物医学PLM方面,大多数先前的努力都只是简单地采用领域自适应,并且主要集中在英语上。在这项工作中,我们介绍了eHealth,这是一个从头开始构建的中国生物医学PLM,具有新的预培训框架。这个新框架通过令牌和序列级别的歧视将eHealth预先训练为一个可识别的系统。前者是为了检测被生成器损坏的输入令牌,并从可能的候选者中恢复其原始身份,而后者是为了进一步区分同一原始序列的损坏。因此,eHealth可以在令牌和序列级别上学习语言语义。在11个不同形式的汉语生物医学语言理解任务上的实验验证了该方法的有效性和优越性。我们在\url{https://github.com/PaddlePaddle/Research/tree/master/KG/eHealth}上发布了预训练的模型,并将在稍后发布代码。
2022-03-02 cs.AI cs.CL
Improving Automatic Evaluation of Large Language Models (LLMs) in Biomedical Relation Extraction via LLMs-as-the-Judge
York University(约克大学);Vector Institute Toronto(多伦多向量研究所)
本文研究使用 LLMs-as-the-Judge 评估生物医学关系抽取,发现因输出格式不规范导致评判准确率低,通过引入结构化输出格式与领域适应技术显著提升了评估性能并公开了相关数据。
2025-06-01 cs.CL
MedInjection-FR: Exploring the Role of Native, Synthetic, and Translated Data in Biomedical Instruction Tuning
MedInjection-FR研究通过结合原生、合成和翻译数据,探索其在生物医学指令微调中的作用,发现原生数据效果最佳,混合数据提供互补优势,合成数据需与原生结合才能提升性能。
2026-03-06 cs.CL
Data-Efficient Biomedical In-Context Learning: A Diversity-Enhanced Submodular Perspective
Division of Computational Health Sciences, Department of Surgery(计算健康科学系,外科系);School of Nursing(护理学院);College of Computing and Data Science(计算与数据科学学院)
针对生物医学上下文学习中示例选择缺乏多样性的问题,提出Dual-Div两阶段检索排序框架,在多个任务中显著提升性能并验证了初始检索多样性的关键作用。
2025-08-11 cs.CL
Delving into LLM-assisted writing in biomedical publications through excess vocabulary
Hertie Institute for AI in Brain Health, University of Tübingen, Germany(人工智能与脑健康赫尔蒂研究所、图宾根大学,德国);Northwestern University, Evanston, Illinois, USA(西北大学,埃文斯顿,伊利诺伊州,美国)
本文通过分析PubMed上1500余万篇生物医学摘要的词汇变化,提出超额词汇分析方法,发现LLM的出现导致特定风格词频率骤增,估计2024年至少13.5%的摘要经LLM处理,揭示LLM对科学写作的深远影响。
2025-07-03 cs.AI cs.CL cs.CY
Model-Agnostic Meta Learning for Class Imbalance Adaptation
University of Memphis(密苏里大学)
本文提出HAMR框架,通过双层优化和邻域感知重采样解决类别不平衡问题,实验表明在多个领域数据集上有效提升少数类性能。
2026-04-20 cs.CL
Biomedical Reference Generation Remains Unreliable across 26 Large Language Models
Columbia University(哥伦比亚大学);VNS Health(VNS健康机构);Tel Aviv Sourasky Medical Center(特拉维夫苏拉斯基医疗中心);University of Eastern Finland(东芬兰大学);Wellbeing Services County of North Savo(北萨沃福祉服务县);Wellbeing Services County of Southwest Finland(西南芬兰福祉服务县)
本研究评估26个大语言模型在生物医学参考文献生成中的可靠性,发现编造率高达55.4%,且无模型在全部字段上正确率超过54.6%,强调使用前必须验证。
2026-09-15 cs.CL
Evi-Steer: Learning to Steer Biomedical Vision-Language Models through Efficient and Generalizable Evidential Tuning
Concordia University(康科迪亚大学)
提出Evi-Steer框架,通过证据跨模态低维引导实现BiomedCLIP的不确定性感知参数高效微调,仅更新0.11%参数,在15个生物医学数据集上少样本学习和域泛化设置中优于现有方法。
2026-05-31 cs.CL cs.CV
Visual Exploration and Knowledge Discovery from Biomedical Dark Data
University Of Delhi(德里大学);National Informatics Center(国家信息中心)
数据可视化技术提供了一种有效的手段来组织和呈现图形化格式的数据,这不仅加快了决策和模式识别的过程,而且使决策者能够充分理解数据洞察并做出明智的决策。随着时间的推移,随着技术和计算资源的增加,世界科学知识呈指数级增长。然而,其中大部分缺乏结构,无法轻易分类和导入常规数据库。这种类型的数据通常被称为暗数据。数据可视化技术提供了一个很有前途的解决方案,通过快速理解信息,发现新兴趋势,识别关系和模式等来探索这些数据。在这项实证研究中,我们使用PubMed的丰富语料库,包括来自生物医学文献的3000多万条引文,使用各种信息可视化技术来直观地探索和理解潜在的关键见解。我们采用基于自然语言处理的流水线从生物医学暗数据中发现知识。管道包括不同的词法分析技术,如主题建模,以提取固有的主题和主要关注领域,网络图,以研究各种实体之间的关系,如科学文献和期刊,研究人员,以及关键字和术语等。我们的目标是提供一个潜在的解决方案,以克服分析压倒性的大量信息的问题,并减少人类的局限性。在处理和检查如此大量的数据时,认知和感知。
2020-09-28 cs.CL cs.DL cs.IR
BiomedCLIP: a multimodal biomedical foundation model pretrained from fifteen million scientific image-text pairs
Microsoft Research(微软研究院);Providence Genomics(普罗维登斯基因组学公司)
本文构建含1500万对图文的PMC-15M数据集,并据此预训练多模态生物医学基础模型BiomedCLIP,在检索、分类、VQA及放射学任务上达到最先进水平。
2025-01-08 cs.CL cs.CV
CLIP-SVD: Efficient and Interpretable Vision-Language Adaptation via Singular Values
Department of Electrical & Computer Engineering, Concordia University(康科迪亚大学电气与计算机工程系);Department of Computer Science & Software Engineering, Concordia University(康科迪亚大学计算机科学与软件工程系)
CLIP-SVD通过奇异值微调方法,以0.04%的参数量实现高效视觉-语言模型适应,提升适应性能并保留泛化能力,在11个自然和10个生物医学数据集上取得最佳分类结果。
2026-04-22 cs.CL cs.CV
Boosting Low-Resource Biomedical QA via Entity-Aware Masking Strategies
University of Warwick(华威大学);The Alan Turing Institute(艾伦·图灵研究所);Queen Mary University of London(伦敦玛丽女王大学)
生物医学问答(QA)由于其能够从大量的科学文献中为用户提供高质量的信息而受到越来越多的关注。虽然最近已经提供了越来越多的生物医学QA数据集,但这些资源仍然相当有限,而且生产成本很高。通过预训练的语言模型(LM)的迁移学习已被证明是利用现有通用知识的有前途的方法。然而,对这些大型模型进行微调可能成本高昂且耗时,而且在适应专业领域的特定主题(如COVID-19文献)时,其效益往往有限。为了进一步引导他们的领域自适应,我们提出了一个简单而未经探索的方法,我们称之为生物医学实体感知掩蔽(BEM)。我们鼓励掩蔽的语言模型根据表征当前领域的关键实体来学习以实体为中心的知识,并使用这些实体来驱动LM微调。由此产生的策略是一个下游过程,适用于各种各样的掩蔽LM,不需要额外的存储器或组件的神经架构。实验结果表明,性能与几个生物医学QA数据集上的最先进的模型相当。
2021-02-16 cs.CL cs.IR cs.LG
Finding the Right Recipe for Low Resource Domain Adaptation in Neural Machine Translation
NVIDIA(英伟达)
通用翻译模型通常仍然难以在专业领域中生成准确的翻译。为了指导机器翻译从业者并表征领域自适应方法在不同数据可用性场景下的有效性,我们对单语和并行数据方法进行了深入的实证探索,以在架构更改不切实际的情况下对预先训练的第三方NMT模型进行领域自适应。我们比较数据为中心的适应方法的隔离和组合。我们研究方法的有效性,在非常低的资源(8 k并行的例子)和适度低的资源(46 k并行的例子)的条件下,并提出了一个集成的方法,以减轻减少原始域的翻译质量。我们的工作包括三个领域:消费电子,临床和生物医学,并跨越四个语言对- Zh-En,Ja-En,Es-En和Ru-En。我们还提出了实现高域内性能的具体建议,并发布了所有语言的消费电子和医疗领域数据集,并公开了我们的代码。
2022-06-02 cs.CL cs.LG
Learning A Unified Named Entity Tagger From Multiple Partially Annotated Corpora For Efficient Adaptation
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);University of Southern California(南加州大学);Outreach, Inc.(Outreach公司)
命名实体识别(NER)识别原始文本中提到的类型化实体。虽然任务已经很好地建立,但没有通用的标签集:通常,数据集被注释用于下游应用程序,因此只覆盖与特定任务相关的一小部分实体类型。例如,在生物医学领域,一个语料库可能注释基因,另一种化学物质和另一种疾病-尽管每个语料库中的文本包含对所有三种类型实体的引用。在本文中,我们提出了一个深度结构化的模型来整合这些“部分注释”的数据集,以共同识别出现在训练语料库中的所有实体类型。通过利用多个数据集,该模型可以学习鲁棒的输入表示;通过构建联合结构化模型,它避免了在测试时组合多个模型的预测所导致的潜在冲突。实验表明,当在多个部分注释的数据集上进行训练以及在包含来自多个训练语料库的标签的数据集上进行测试时,所提出的模型显著优于强多任务学习基线。
2019-10-04 cs.CL
BiomedCoOp: Learning to Prompt for Biomedical Vision-Language Models
Concordia University(康考迪亚大学)
本文提出 BiomedCoOp 提示学习框架,通过结合大语言模型平均提示集成与基于统计的知识蒸馏,高效适配 BiomedCLIP,在 11 个医学数据集上显著提升少样本生物医学图像分类的准确性与泛化性。
2025-03-12 cs.CL cs.CV
MEDVOC: Vocabulary Adaptation for Fine-tuning Pre-trained Language Models on Medical Text Summarization
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);L3S Research Center(L3S研究中心)
本研究提出动态词汇适配策略MEDVOC,通过基于片段得分的超参数搜索优化预训练语言模型词汇,大幅降低微调成本,在多类医学摘要场景下显著提升效果与忠实度。
2024-08-17 cs.CL
MrBERT: Modern Multilingual Encoders via Vocabulary, Domain, and Dimensional Adaptation
Barcelona Supercomputing Center(巴塞罗那超级计算中心)
MrBERT通过词汇、领域和维度适应,实现了多语言编码器在特定任务和专业领域中的高性能与高效优化。
2026-03-07 cs.AI cs.CL cs.LG
EQ-5D Classification Using Biomedical Entity-Enriched Pre-trained Language Models and Multiple Instance Learning
Doctoral School of Applied Informatics and Applied Mathematics, Obuda University(应用信息与应用数学博士学校,奥布达大学)
本文提出利用生物医学实体增强的预训练语言模型和多实例学习方法,提升EQ-5D在摘要中的检测精度,实现更高效的系统文献综述自动化筛选。
2026-01-30 cs.AI cs.CL
Investigating Large Language Models and Control Mechanisms to Improve Text Readability of Biomedical Abstracts
Manchester Metropolitan University(曼彻斯特城市大学);The University of Manchester(曼彻斯特大学)
本研究探究大语言模型在生物医学摘要简化任务中的能力,采用领域微调、提示学习和控制标记机制,实验表明BART-L-w-CT在SARI和简洁性上最优,T5-base在BERTscore和意义保留上最优。
2024-03-16 cs.AI cs.CL
Back-Training excels Self-Training at Unsupervised Domain Adaptation of Question Generation and Passage Retrieval
Mila/McGill University(Mila/麦吉尔大学);Korbit Technologies(Korbit 科技公司);Facebook CIFAR AI Chair(Facebook CIFAR AI 讲席)
在这项工作中,我们引入了反向训练,一种替代自训练的无监督领域自适应(UDA)从源到目标域。虽然自训练生成合成训练数据,其中自然输入与噪声输出对齐,但反向训练导致自然输出与噪声输入对齐。这显著地减小了目标域和合成数据分布之间的间隙,并且减小了模型对源域的过拟合。我们从\textit{Natural Questions}域到机器学习和生物医学域运行UDA实验的问题生成和段落检索。我们发现,反向训练大大优于自我训练,平均提高了7.8 BLEU-4分,在两个领域的前20名检索准确率为17.6%。我们进一步提出了一致性过滤器,以在训练之前去除低质量的合成数据。我们还发布了一个新的领域适应数据集- \textit{MLQuestions},包含35 K未对齐的问题,50 K未对齐的段落和3 K对齐的问题-段落对。
2021-09-09 cs.AI cs.CL cs.LG
Lite Training Strategies for Portuguese-English and English-Portuguese Translation
Institute of Computing, University of Campinas(坎皮纳斯大学计算研究所);School of Electrical and Computer Engineering, University of Campinas(坎皮纳斯大学电气与计算机工程学院);NeuralMind Inteligência Artificial(NeuralMind 人工智能公司);David R. Cheriton School of Computer Science, University of Waterloo(滑铁卢大学 David R. Cheriton 计算机科学学院)
尽管深度学习广泛应用于机器翻译,但开发高质量的翻译模型仍然很昂贵。在这项工作中,我们研究了预训练模型的使用,例如使用低成本硬件进行葡萄牙语-英语和英语-葡萄牙语翻译任务的T5。我们探讨使用葡萄牙语和英语预训练的语言模型,并提出了适应的英语tokenizer代表葡萄牙语字符,如分音符,急性和严重的口音。我们将我们的模型与ParaCrawl数据集子集上的Google翻译API和MarianMT进行了比较,并与WMT 19生物医学翻译共享任务的获奖提交进行了比较。我们还介绍了我们提交的WMT 20生物医学翻译共享任务。我们的结果表明,我们的模型在适度的硬件上(一个8 GB的游戏GPU持续九天)训练时,具有与最先进的模型相竞争的性能。我们的数据、模型和代码可在https://github.com/unicamp-dl/Lite-T5-Translation上获得。
2020-08-20 cs.CL
GAPMAP: Mapping Scientific Knowledge Gaps in Biomedical Literature Using Large Language Models
University of Colorado, Anschutz(科罗拉多大学安舒茨分校);University of Chicago(芝加哥大学)
本研究提出GAPMAP框架及TABI推理方案,拓展了生物医学文献隐式知识空白推断任务,在近1500篇文献上验证了大语言模型识别两类空白的能力,可为研究规划与资助决策提供支持。
2025-10-29 cs.AI cs.CL cs.LG
OpenMed NER: Open-Source, Domain-Adapted State-of-the-Art Transformers for Biomedical NER Across 12 Public Datasets
CNRS Paris, France(法国巴黎国家科学研究中心)
OpenMed NER通过轻量级领域自适应预训练和低秩自适应微调,在12个生物医学NER基准上以高效训练和低碳排放超越闭源模型,取得10项最先进结果。
2025-08-03 cs.AI cs.CL