Biomedical Interpretable Entity Representations
IBM Research(IBM研究院);University of Texas at Austin(德克萨斯大学奥斯汀分校);Northeastern University(东北大学)
预训练的语言模型诱导密集的实体表示,在以实体为中心的NLP任务上提供强大的性能,但这种表示不能立即解释。这可能成为生物医学等重要领域采用模型的障碍。最近有关于一般可解释的表示学习的工作(Onoe和Durrett,2020),但这些领域不可知的表示并不容易转移到生物医学的重要领域。在本文中,我们创建了一个新的实体类型系统和训练集从一个大型语料库的生物医学文本映射实体的概念在医学本体,并从这些维基百科的页面,其类别是我们的类型。从这个映射中,我们得到生物医学可解释实体表示(BIER),其中维度对应于细粒度的实体类型,值是给定实体具有相应类型的预测概率。我们提出了一种新的方法,利用BIER的最终稀疏和中间密集表示,以方便模型和实体类型调试。我们表明,BIER在生物医学任务中实现了强大的性能,包括命名实体消歧和实体标签分类,我们提供了错误分析,以突出其可解释性的实用性,特别是在低监督设置。最后,我们提供了我们的诱导68 K生物医学类型系统,相应的37万个三元组的派生数据用于训练BIER模型和我们的最佳性能模型。
2021-06-17 cs.CL cs.LG
Does Learning from Decentralized Non-IID Unlabeled Data Benefit from Self Supervision?
MIT(麻省理工学院)
分散式学习已经被提倡和广泛部署,以有效地利用分布式数据集,并广泛关注监督学习(SL)问题。不幸的是,大多数现实世界的数据都是未标记的,并且各个来源之间可能存在高度异构性。在这项工作中,我们通过自监督学习(SSL),特别是对比视觉表示学习的镜头仔细研究了无标记数据的分散学习。我们研究了分散学习设置下一系列对比学习算法在相对较大规模的数据集上的有效性,包括ImageNet-100,MS-COCO和一个新的真实世界机器人仓库数据集。我们的实验表明,去中心化SSL(Dec-SSL)方法对去中心化数据集的异构性具有鲁棒性,并学习了对象分类,检测和分割任务的有用表示。这种鲁棒性使得可以显著减少通信并降低数据源的参与率,而性能下降最小。有趣的是,使用相同数量的数据,Dec-SSL学习的表示不仅可以与需要通信和过多数据存储成本的集中式SSL学习的表示相提并论,而且有时还优于从分散式SL提取的表示,这需要有关数据标签的额外知识。最后,我们提供了理论上的见解,了解为什么数据异构性是一个关注的Dec-SSL目标,并引入功能对齐和聚类技术,开发一个新的Dec-SSL算法,进一步提高性能,在面对高度非IID数据。我们的研究为在去中心化学习中接受未标记数据提供了积极的证据,我们希望为去中心化SSL是否有效以及为什么有效提供新的见解。
2023-02-28 cs.AI cs.CV cs.LG
Unified Representation of Genomic and Biomedical Concepts through Multi-Task, Multi-Source Contrastive Learning
Harvard Medical School(哈佛医学院);Tsinghua University(清华大学);VA Boston Healthcare System(波士顿VA医疗系统);Brigham and Women’s Hospital(布莱根妇女医院)
本文提出GENEREL框架,通过多任务对比学习微调语言模型,构建统一嵌入空间对齐SNPs与临床概念,有效捕获生物医学关系并促进数据整合与发现。
2024-10-14 cs.AI cs.CL cs.LG
Federated Training of Dual Encoding Models on Small Non-IID Client Datasets
Google Research(谷歌研究院)
本文针对小型非IID客户端数据上的对偶编码模型联邦训练问题,提出分布式互相关优化方法DCCO,通过聚合跨客户端编码统计量模拟大批量训练,在不共享原始数据的前提下显著优于现有联邦变体。
2023-04-10 cs.CV cs.LG
Self-Alignment Pretraining for Biomedical Entity Representations
University of Cambridge(剑桥大学);Monash University(莫纳什大学);Amazon Alexa(亚马逊Alexa)
尽管通过掩蔽语言模型(MLM)的自监督学习取得了广泛的成功,但在生物医学领域中准确地捕获细粒度的语义关系仍然是一个挑战。这对于实体级任务(如实体链接)至关重要,其中建模实体关系(特别是同义关系)的能力至关重要。为了应对这一挑战,我们提出了SapBERT,这是一种预训练方案,可以自对齐生物医学实体的表示空间。我们设计了一个可扩展的度量学习框架,可以利用UMLS,一个庞大的收集生物医学本体与4M+的概念。与以前基于流水线的混合系统相比,SapBERT为医疗实体链接(MEL)问题提供了一个优雅的一个模型解决方案,在六个MEL基准数据集上实现了新的最先进的(SOTA)。在科学领域,即使没有特定任务的监督,我们也能实现SOTA。与各种特定领域的预训练MLMs(如BioBERT,SciBERT和PubMedBERT)相比,我们的预训练方案有了很大的改进,证明了它的有效性和鲁棒性。
2021-04-07 cs.AI cs.CL cs.LG
Federated Unsupervised Representation Learning
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院);School of Public Affairs, Zhejiang University(浙江大学公共管理学院);Tongdun Technology(同盾科技)
为了利用分布式边缘设备上的大量未标记数据,我们在联邦学习中提出了一个新问题,称为联邦无监督表示学习(FURL),以在没有监督的情况下学习通用表示模型,同时保护数据隐私。FURL提出了两个新的挑战:(1)客户端之间的数据分布偏移(Non-IID distribution)会使局部模型关注不同的类别,导致表示空间的不一致。(2)如果没有FURL中客户端之间的统一信息,则客户端之间的表示将不一致。为了解决这些挑战,我们提出了联合构造平均与字典和对齐(FedCA)算法。FedCA由两个关键模块组成:(1)字典模块,用于聚合来自每个客户端的样本的表示,并与所有客户端共享,以确保表示空间的一致性;(2)对齐模块,用于在公共数据上训练的基础模型上对齐每个客户端的表示。我们采用对比损失进行局部模型训练。通过在IID和非IID设置中使用三种评估协议的广泛实验,我们证明了FedCA优于所有基线,具有显著的利润率。
2020-10-18 cs.AI cs.LG
Generalization Analysis for Supervised Contrastive Representation Learning under Non-IID Settings
Nong Minh Hieu(农明辉);Antoine Ledent(安托万·莱登)
本文针对非独立同分布设置下的对比表示学习(CRL)提供了泛化分析,借鉴U统计量推导出样本数与覆盖数对数相关的泛化界限,并给出了常见函数类的超额风险界限。
2025-05-28 cs.LG stat.ML
Multimodal Contrastive Representation Learning in Augmented Biomedical Knowledge Graphs
University of Alabama at Birmingham(阿拉巴马大学伯明翰分校);Washington University in St. Louis(华盛顿大学圣路易斯分校)
本文提出一种结合语言模型嵌入与图对比学习的多模态方法,并构建了增强知识图谱PrimeKG++,通过统一语义与关系信息显著提升了生物医学知识图谱中链接预测的准确性与泛化能力。
2025-06-28 cs.CL cs.LG
Multi-task Joint Strategies of Self-supervised Representation Learning on Biomedical Networks for Drug Discovery
College of Computer Science and Electronic Engineering, Hunan University(湖南大学计算机科学与电子工程学院);Institute of Open Source Software and Platform, Peng Cheng Laboratory(鹏城实验室开源软件与平台研究所);Computer Network Information Center, Chinese Academy of Sciences(中国科学院计算机网络信息中心);The State Key Laboratory of Chemo/Biosensing and Chemometrics, Hunan University(湖南大学化学生物传感与计量学国家重点实验室)
生物医学网络上的自监督表示学习(SSL)为药物发现提供了新的机会。然而,如何有效地组合多个SSL模型仍然具有挑战性,并且很少有人探索。因此,我们提出了多任务联合策略的自我监督表示学习的生物医学网络的药物发现,命名为MSSL 2drug。我们设计了六个基本的SSL任务的灵感来自各种模态功能,包括结构,语义和属性在异构生物医学网络。重要的是,在两个药物发现场景中,通过基于图形注意力的多任务对抗学习框架评估了多个任务的15种组合。结果表明两个重要的发现。(1)与其他多任务联合模型相比,多模式任务的组合实现了最佳性能。(2)当模态大小相同时,局部-全局组合模型比随机两任务组合模型产生更高的性能。因此,我们推测多模态和局部-全局组合策略可以作为药物发现的多任务SSL的指导方针。
2022-12-18 cs.AI cs.LG q-bio.QM
Forgetting Through Transforming: Enabling Federated Unlearning via Class-Aware Representation Transformation
Shanghai Jiao Tong University(上海交通大学);National University of Singapore(新加坡国立大学)
针对现有联邦遗忘方法在非独立同分布场景下难以平衡擦除效果与模型效用的问题,提出基于类别感知表征变换的FUCRT方法,通过变换类别选择和双对比对齐实现高效遗忘,性能优于现有基线。
2024-10-09 cs.LG
Towards Principled Representation Learning from Videos for Reinforcement Learning
Microsoft Research New York(微软研究院纽约分部);Sony Research(索尼研究院)
研究视频数据预训练表征用于强化学习的理论,证明在iid噪声下时间对比学习和前向建模能以多项式样本复杂度学习潜在状态,但在外源噪声下样本复杂度指数级恶化,并在视觉领域验证理论。
2024-03-20 cs.AI cs.CV cs.LG
Causal Representation Learning from Multimodal Biomedical Observations
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Carnegie Mellon University(卡内基梅隆大学);University of Bristol(布里斯托大学);Broad Institute of MIT and Harvard(麻省理工学院与哈佛大学博德研究所)
本文面向多模态生物医学数据,提出非参数化潜在因果模型及模态间结构稀疏条件,实现逐成分可辨识,并用合成与真实表型实验验证。
2025-03-16 cs.LG q-bio.QM stat.ME
Sample-Efficient Linear Representation Learning from Non-IID Non-Isotropic Data
University of Pennsylvania(宾夕法尼亚大学);Columbia University(哥伦比亚大学)
针对非独立同分布且非各向同性数据,提出DFW算法改进交替最小化下降,消除表示学习偏差,实现随总数据量降低的噪声缩放和线性收敛,提升了样本效率与泛化能力。
2024-10-12 cs.LG cs.SY eess.SY
Decentralized Unsupervised Learning of Visual Representations
University of Pittsburgh(匹兹堡大学);George Mason University(乔治梅森大学);University of Notre Dame(圣母大学);Facebook(脸书)
协作学习使分布式客户端能够学习用于预测的共享模型,同时将训练数据保持在每个客户端上的本地。然而,现有的协作学习方法需要完全标记的数据进行训练,这是不方便或有时不可行的,由于高标记成本和专业知识的要求。缺乏标签使得协作学习在许多现实环境中不切实际。自监督学习可以通过从未标记的数据中学习来解决这一挑战。对比学习(CL)是一种自监督学习方法,可以有效地从未标记的图像数据中学习视觉表示。然而,在客户端上收集的分布式数据通常在客户端之间不是独立和相同分布的(非IID),并且每个客户端可能只有少数几类数据,这降低了CL和学习表示的性能。为了解决这个问题,我们提出了一个合作的对比学习框架,包括两种方法:特征融合和邻域匹配,通过它一个统一的特征空间之间的客户端学习更好的数据表示。特征融合为每个客户端提供远程特征作为准确的对比信息,以更好地进行本地学习。邻域匹配进一步将每个客户端的本地特征与远程特征对齐,使得可以学习客户端之间的良好聚类的特征。大量的实验表明了该框架的有效性。它在IID数据上的性能比其他方法高出11%,并与集中式学习的性能相匹配。
2022-04-22 cs.CV cs.LG
Can representation learning for multimodal image registration be improved by supervision of intermediate layers?
Uppsala University(乌普萨拉大学)
多模态成像和相关分析通常需要图像对准。对比学习可以生成多模态图像的表示,将多模态图像配准的挑战性任务减少到单模态。以前,在对比学习中对中间层的额外监督已经改进了生物医学图像分类。我们评估了类似的方法是否可以改进注册学习的表示,以提高注册性能。我们探索了三种方法来增加对比监督的潜在功能的瓶颈层的U-Nets编码的多模态图像和评估三个不同的批评功能。我们的研究结果表明,在没有对潜在特征进行额外监督的情况下学习的表示在两个公共生物医学数据集的注册下游任务中表现最好。我们研究的性能下降,利用最近的见解在分类和自监督学习的对比学习。我们通过多维尺度可视化学习表示的空间关系,并表明对瓶颈层的额外监督可能导致中间嵌入空间的部分维度崩溃。
2023-03-01 cs.CV cs.LG
Collaborative Unsupervised Visual Representation Learning from Decentralized Data
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
无监督表示学习利用互联网上的集中数据取得了出色的性能。然而,对隐私保护的日益增长的意识限制了在多方中爆炸性增长的分散的未标记图像数据的共享(例如,手机和相机)。因此,一个自然的问题是如何利用这些数据来学习下游任务的视觉表示,同时保护数据隐私。为了解决这个问题,我们提出了一个新的联邦无监督学习框架,FedU。在这个框架中,每一方都使用在线网络和目标网络的对比学习,独立地从未标记的数据中训练模型。然后,中央服务器聚合训练的模型,并用聚合的模型更新客户端的模型。它保护数据隐私,因为每一方只能访问其原始数据。多方之间的分散数据通常是非独立且同分布(非IID)的,从而导致性能下降。为了应对这一挑战,我们提出了两个简单但有效的方法:1)我们设计的通信协议,只上传在线网络的编码器的服务器聚合和更新他们的聚合编码器; 2)我们引入了一个新的模块,动态决定如何更新预测器的基础上,由非IID所造成的分歧。预测器是在线网络的另一个组成部分。大量的实验和消融证明了FedU的有效性和意义。在非IID数据的线性和半监督评估中,它比只有一方的训练方法高出5%以上,比其他方法高出14%以上。
2021-08-14 cs.AI cs.CV cs.DC
Causal Structure and Representation Learning with Biomedical Applications
Department of Electrical Engineering and Computer Science, Massachusetts Institute of Technology(电气工程与计算机科学系,麻省理工学院)
本文针对表征学习在因果任务中失效的问题,提出融合因果推断与表征学习的统计计算框架,利用多模态生物医学数据研究因果发现、因果变量学习与最优扰动设计。
2025-11-06 cs.AI cs.LG stat.ML
FedDistill: Global Model Distillation for Local Model De-Biasing in Non-IID Federated Learning
The Hong Kong Polytechnic University(香港理工大学)
针对非独立同分布联邦学习中数据不平衡引发的局部模型偏差与局部遗忘问题,提出FedDistill框架,通过分组蒸馏和全局模型拆分强化知识迁移,提升局部模型泛化与分类能力,在多个基准上准确率和收敛速度优于现有基线。
2024-04-14 cs.AI cs.CV cs.LG
Open-PMC-18M: A High-Fidelity Large Scale Medical Dataset for Multimodal Representation Learning
Vector Institute(Vector研究所);York University(约克大学);University of Waterloo(滑铁卢大学)
Open-PMC-18M通过高保真医学数据集提升多模态表示学习性能,实现子图提取与上下文丰富化,支持多种视觉-语言任务。
2025-12-05 cs.CV
ProtST: Multi-Modality Learning of Protein Sequences and Biomedical Texts
Mila - Québec AI Institute(米拉-魁北克人工智能研究所);Université de Montréal(蒙特利尔大学);Intel Labs(英特尔实验室);HEC Montréal(蒙特利尔高等商学院)
本文提出ProtST框架,通过构建ProtDescribe数据集并设计三类预训练任务,将生物医学文本与蛋白质序列进行多模态对齐,从而增强蛋白质语言模型的功能表示能力,并在监督学习、零样本分类和功能检索任务上验证其优越性。
2023-07-05 cs.LG q-bio.BM
Know2BIO: A Comprehensive Dual-View Benchmark for Evolving Biomedical Knowledge Graphs
UCLA(加州大学洛杉矶分校);Tsinghua University(清华大学);David Geffen School of Medicine(戴维·格芬医学院)
针对生物医学知识图谱构建中多源整合难、更新滞后、多模态数据不足等问题,提出通用异构基准Know2BIO,整合30类源数据并配套多模态特征,支持自动更新,验证了其作为生物医学KG表征学习基准的有效性。
2023-10-05 cs.AI cs.LG q-bio.QM
Federated Self-Supervised Modulation Classification under Non-IID and Imbalanced Data
Department of Electrical and Computer Engineering(电气与计算机工程系);University of Texas at Austin(德克萨斯大学奥斯汀分校);Qualcomm Technologies Inc.(高通技术公司)
该研究针对非独立同分布与不平衡数据场景,提出FedSSL-AMC联邦自监督框架,结合因果时间膨胀CNN编码器与轻量级本地SVM,在调制分类任务上取得优于监督联邦学习基线的性能。
2026-08-18 cs.AI cs.LG eess.SP
PGB: A PubMed Graph Benchmark for Heterogeneous Network Representation Learning
Department of Computer Science, Emory University(埃默里大学计算机科学系)
针对生物医学文献异质性捕捉研究不足的问题,提出含丰富元数据、三类评估任务的PubMed图基准PGB,整合元数据并公开,用于评估异质图嵌入效果。
2023-08-25 cs.LG cs.SI
GeomCLIP: Contrastive Geometry-Text Pre-training for Molecules
The Pennsylvania State University(宾夕法尼亚州立大学);Tsinghua University(清华大学)
针对现有分子几何表示方法忽略生物医学文本信息的问题,提出GeomCLIP框架,通过多模态对齐与单模态去噪预训练任务,有效结合3D几何结构与文本信息,提升了分子性质预测与零样本检索等任务的性能。
2024-11-16 cs.LG q-bio.BM
When Does Deep Representation Learning Help Single-Cell Clustering? A Sensitivity-Aware Diagnostic Benchmark for Biomedical AI Pipelines
Van Lang University(范朗大学)
研究单细胞聚类中深度表示学习是否必要,通过九个聚类管道在十个真实数据集上的诊断基准测试及相关分析,集成多种测试方法,揭示不同模式,确定主要方差贡献者,提供数据集感知和计算意识决策框架。
2026-07-29 cs.LG q-bio.GN
HCOE: Hyperbolic Clinical Ontology Embeddings from Biomedical Language Models
McGill University(麦吉尔大学);Northwestern University(西北大学);Ohio University(俄亥俄大学)
针对生物医学语言模型未显式保留医学代码层级的问题,提出双曲临床本体嵌入(HCOE),将BioBERT嵌入映射至庞加莱球,结合本体引导对比学习与路径聚合,在ICD/ATC关系预测及MIMIC-IV多项临床任务上取得最优性能。
2026-09-28 cs.AI cs.LG
Implications of Topological Imbalance for Representation Learning on Biomedical Knowledge Graphs
AstraZeneca(阿斯利康);HEC Montreal(蒙特利尔高等商学院);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);Canadian Institute for Advanced Research (CIFAR)(加拿大高等研究院)
最近开发的来自机器学习的方法的采用已经引起了利用该领域的互连性质的药物发现知识图谱(KG)的创建。基于图形的数据建模,结合KG嵌入(KGE)方法,是有希望的,因为它们提供了更直观的表示,并适合于推理任务,如预测丢失的链接。一个常见的应用是产生给定疾病的基因的排名列表,其中排名基于基因和疾病之间的关联的感知可能性。因此,至关重要的是,这些预测不仅相关,而且具有生物学意义。然而,KG可能直接由于集成的底层数据源或由于图的构造中的建模选择而有偏差,其结果之一是某些实体可能在拓扑上被过度表示。我们展示了这些固有的结构失衡的影响,导致密集连接的实体被高度排名,无论上下文。我们在不同的数据集、模型以及预测任务中为这种观察提供支持。此外,我们提出了各种图形扰动实验,产生更多的支持观察KGE模型可以更多地受到实体的频率,而不是任何生物信息编码的关系。我们的研究结果强调了数据建模选择的重要性,并强调从业者在解释模型输出和KG组成时需要注意这些问题。
2022-03-18 cs.AI cs.LG cs.SI
Approximate Fisher Kernels of non-iid Image Models for Image Categorization
Milsoft(米尔索夫公司);Inria Grenoble(法国国家信息与自动化研究所格勒诺布尔分院);Inria Grenoble Rhône-Alpes(法国国家信息与自动化研究所格勒诺布尔-罗纳-阿尔卑斯分院);Laboratoire Jean Kuntzmann(让·孔茨曼实验室);CNRS(法国国家科学研究中心);Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
词袋(BoW)模型将图像视为局部描述符的集合,并通过视觉单词直方图来表示它们。Fisher向量(FV)表示通过考虑局部描述符的一阶和二阶统计量来扩展BoW。在这两种表示中,局部描述符被假设为相同且独立分布(iid),从建模的角度来看,这是一个糟糕的假设。已经实验观察到,BoW和FV表示的性能可以通过采用诸如功率归一化的折扣变换来改善。在本文中,我们引入了非iid模型,通过处理的模型参数作为潜在的变量是集成了,使所有的局部区域依赖。使用Fisher核原理,我们通过数据对数似然w.r.t.的梯度来编码图像。模型超参数我们的模型自然会在表示中产生折扣效应;这表明这种转换已被证明是成功的,因为它们与非iid模型获得的表示密切对应。为了实现易于处理的计算,我们依赖于变分自由能界来学习超参数并计算近似Fisher核。我们的实验评估结果验证,我们的模型导致性能的改善,使用功率归一化,在国家的最先进的特征聚合方法。
2015-10-03 cs.CV cs.LG
Mechanistic Evidence for Preserved-but-Misaligned Representations in Non-IID FedAvg
Lahore University of Management Sciences(拉瓦尔大学管理科学学院)
研究非独立同分布FedAvg性能下降原因,通过在稀疏客户端训练视觉模型中结合多种分析方法,发现其性能下降不能仅用表示擦除解释,还因保留内部结构与最终预测路径未对齐。
2026-07-16 cs.LG
Rethinking the Representation in Federated Unsupervised Learning with Non-IID Data
Zhejiang University(浙江大学);Midea Group(美的集团);Fuzhou University(福州大学)
本文提出FedU2框架,通过灵活的均匀正则化器(FUR)避免局部表示坍缩,并利用高效的统一聚合器(EUA)约束客户端模型更新以促进统一表示,有效解决了非独立同分布数据下联邦无监督学习的表示不足问题。
2024-03-25 cs.AI cs.LG
Biomedical Entity Representations with Synonym Marginalization
Korea University(高丽大学)
生物医学命名实体在许多生物医学文本挖掘工具中扮演着重要的角色。然而,由于所提供的同义词的不完整性及其表面形式的众多变化,生物医学实体的标准化非常具有挑战性。在本文中,我们专注于学习表示的生物医学实体完全基于同义词的实体。为了从不完整的同义词中学习,我们使用基于模型的候选人选择,并最大限度地提高出现在顶级候选人中的同义词的边际可能性。随着我们的模型的发展,我们基于模型的候选对象会迭代更新,以包含更难的负样本。通过这种方式,我们避免了从超过40万个候选者中明确地预先选择阴性样本。在具有三种不同实体类型(疾病,化学,不良反应)的四个生物医学实体标准化数据集上,我们的模型BioSyn始终优于以前的最先进模型,几乎达到每个数据集的上限。
2020-05-01 cs.CL cs.LG
No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data
在真实世界的联邦系统中训练分类模型的一个核心挑战是使用非IID数据进行学习。为了解决这个问题,大多数现有的工作涉及在局部优化中强制正则化或改进服务器上的模型聚合方案。其他作品也共享公共数据集或合成样本,以补充代表性不足的类的训练或引入一定程度的个性化。虽然有效,但他们缺乏对数据异构性如何影响深度分类模型的每一层的深入理解。在本文中,我们通过对不同层学习的表示进行实验分析来弥合这一差距。我们的观察结果令人惊讶:(1)在分类器中存在比其他层更大的偏差,以及(2)通过在联邦训练之后对分类器进行后校准可以显著提高分类性能。出于上述研究结果,我们提出了一种新的和简单的算法,称为分类器校准与虚拟表示(CCVR),调整分类器使用虚拟表示采样从近似高斯混合模型。实验结果表明,CCVR在流行的联邦学习基准测试(包括CIFAR-10、CIFAR-100和CINIC-10)上达到了最先进的性能。我们希望我们简单而有效的方法可以为未来的非IID数据联邦学习研究提供一些启示。
2021-10-28 cs.CV cs.DC cs.LG
Predicting Molecule-Target Interaction by Learning Biomedical Network and Molecule Representations
Global Health Drug Discovery Institute(全球健康药物研发中心)
分子-靶点相互作用的研究对于药物发现具有重要意义,可以用于靶点识别、靶点识别、途径研究、药物-药物相互作用等。现有的研究方法大多利用生物医学网络信息或分子结构特征来预测潜在的相互作用。然而,生物医学网络信息为基础的方法通常遭受冷启动问题,而基于结构的方法往往给有限的性能,由于结构/相互作用的假设和数据质量。为了解决这些问题,我们提出了一种伪连体图神经网络方法,即MTINet+,它学习生物医学网络拓扑结构和分子结构/化学信息作为表示来预测给定分子和靶对的潜在相互作用。在MTINet+中,从生物医学网络的已知相互作用中提取给定分子和目标对的1-hop子图作为拓扑信息,同时将分子的结构和化学属性作为分子信息进行处理。MTINet+学习这两种类型的信息作为预测配对链接的嵌入特征。在不同的分子-靶相互作用任务的实验中,MTINet+的表现明显优于最先进的基线。此外,在我们设计的网络稀疏性实验中,MTINet+对不同的稀疏生物医学网络表现出很强的鲁棒性。
2023-02-06 cs.LG
Predicting Biomedical Interactions with Higher-Order Graph Convolutional Networks
Rochester Institute of Technology(罗切斯特理工学院);Thomas H. Gosnell School of Life Sciences(托马斯·H·戈斯内尔生命科学学院)
生物医学相互作用网络在预测生物学意义的相互作用、识别疾病的网络生物标志物以及发现推定的药物靶点方面具有令人难以置信的潜力。最近,图神经网络已经被提出来有效地学习生物医学实体的表示,并在生物医学相互作用预测方面取得了最先进的成果。这些方法只考虑直接邻居的信息,但不能从不同距离的邻居中学习到一般的混合特征。在本文中,我们提出了一个高阶图卷积网络(HOGCN)聚合信息从高阶邻域的生物医学相互作用预测。具体来说,HOGCN收集不同距离处邻居的特征表示,并学习它们的线性混合,以获得生物医学实体的信息表示。在蛋白质-蛋白质、药物-药物、药物-靶标和基因-疾病相互作用等四个相互作用网络上的实验表明,HOGCN实现了更准确和校准的预测。HOGCN表现良好的噪声,稀疏的相互作用网络时,在不同距离的邻居的特征表示被认为是。此外,一组新的相互作用的预测验证了基于文献的案例研究。
2020-10-16 cs.LG
Biomedical Knowledge Graph Refinement and Completion using Graph Representation Learning and Top-K Similarity Measure
The University of Texas at Austin(得克萨斯大学奥斯汀分校);AbbVie Inc.(艾伯维公司);Indiana University(印第安纳大学)
知识图谱已成为集成异构数据源的基本方法之一。集成异构数据源至关重要,特别是在生物医学领域,其中药物发现等中央数据驱动的任务依赖于整合来自不同生物医学数据库的信息。这些数据库包含各种生物实体和关系,如蛋白质(PDB)、基因(Gene Ontology)、药物(DrugBank)、疾病(DDB)和蛋白质-蛋白质相互作用(BioGRID)。在语义上集成异构生物医学数据库的过程往往是千疮百孔的缺陷。数据驱动的药物发现的质量取决于所使用的挖掘方法的准确性和数据的质量。因此,拥有完整和精炼的生物医学知识图谱是实现更准确的药物发现结果的核心。在这里,我们建议使用最新的图表示学习和嵌入模型来完善和完善生物医学知识图谱。这项初步工作演示了学习集成生物医学知识图谱Chem 2Bio 2 RD的离散表示[3]。我们执行知识图谱完成和细化任务,使用学习的嵌入向量之间的简单top-K余弦相似性度量来预测数据中存在的药物和靶标之间的缺失链接。我们表明,这个简单的过程可以用来替代二进制分类器在链接预测。
2020-12-18 cs.AI cs.LG
Hyperbolic Graph Representation Learning for Differential Diagnosis on Biomedical Knowledge Graphs
Università degli Studi di Milano(米兰大学);Università della Svizzera italiana (USI)(瑞士意大利语大学);Politecnico di Milano(米兰理工大学);Aalto University(阿尔托大学);FGV(杰图利奥·瓦加斯基金会)
本文研究双曲图表示学习在生物医学知识图谱中用于孟德尔疾病鉴别诊断,证明其在低维下优于欧几里得基线,并能利用层次结构支持诊断推理。
2026-09-17 cs.AI cs.LG
Bag-of-Words Representation for Biomedical Time Series Classification
Deakin University(迪肯大学);University of South Carolina(南卡罗来纳大学)
脑电(EEG)和心电(ECG)等生物医学时间序列的自动分析由于其在医学上的重要应用而引起了生物医学工程界的极大兴趣。在这项工作中,提出了一个简单而有效的词袋表示,能够捕捉局部和全局结构相似性信息的生物医学时间序列表示。特别是,类似于在文本文档域中使用的词袋模型,所提出的方法将时间序列视为文本文档,并从时间序列中提取局部片段作为单词。然后将生物医学时间序列表示为码字的直方图,其中每个条目是时间序列中出现的码字的计数。虽然忽略了局部片段的时间顺序,但词袋表示能够捕获高级结构信息,因为局部和全局结构信息都得到了很好的利用。词袋模型的性能进行了验证,从真实的EEG和ECG信号中提取的三个数据集。实验结果表明,该方法不仅对词袋模型的参数,如局部段长度和码本大小不敏感,而且对噪声具有鲁棒性。
2012-12-11 cs.AI cs.LG
FRAug: Tackling Federated Learning with Non-IID Features via Representation Augmentation
Ludwig Maximilian University of Munich(慕尼黑大学);Siemens Technology(西门子技术);Munich Center for Machine Learning(慕尼黑机器学习中心);University of Oxford(牛津大学)
针对联邦学习中客户端特征分布偏移的问题,提出FRAug方法,通过共享生成模型结合表征变换网络生成客户端专属嵌入以扩充数据,提升模型泛化能力,效果优于现有最优方法。
2023-08-22 cs.AI cs.LG
FedCoSR: Personalized Federated Learning with Contrastive Shareable Representations for Label Heterogeneity in Non-IID Data
Department of Data Science and AI, Faculty of IT and Monash Energy Institute, Monash University(数据科学与人工智能系,IT学院和莫纳什能源研究所,莫纳什大学);School of Computer Science and Technology, University of Electronic Science and Technology of China (UESTC), Chengdu, and Shenzhen Institute for Advanced Study of UESTC, Shenzhen, China(计算机科学与技术学院,电子科技大学(UESTC)成都校区,以及UESTC深圳高级研究所,深圳,中国)
针对非独立同分布数据中标签偏斜与数据稀缺导致的不准确和不公平问题,提出个性化联邦学习算法FedCoSR,通过全局聚合浅层参数与本地表示、结合对比学习及自适应本地聚合,有效提升了准确性与公平性。
2025-09-17 cs.AI cs.LG
Learning Informative Representations of Biomedical Relations with Latent Variable Models
University College London(伦敦大学学院);BenevolentAI
从大型科学文献语料库中提取生物医学关系是一项具有挑战性的自然语言处理任务。现有的方法通常集中在确定一个关系,无论是在一个句子(提及级)或整个语料库(对级)。在这两种情况下,最近的方法通过学习点估计来表示关系,取得了很好的效果;然后将其用作关系分类器的输入。然而,一对生物医学实体之间以文本表达的关系通常比点估计所能捕获的更复杂。为了解决这个问题,我们提出了一个潜在的变量模型与任意灵活的分布来表示实体对之间的关系。此外,我们的模型提供了一个统一的架构提到级和对级关系抽取。我们证明,我们的模型实现的结果与强基线的两个任务的竞争力,同时具有更少的参数,并显着更快的训练。我们公开我们的代码。
2020-11-20 cs.CL cs.LG
Homophily Outlier Detection in Non-IID Categorical Data
Australian Institute for Machine Learning, University of Adelaide(阿德莱德大学澳大利亚机器学习研究所);Center of Artificial Intelligence, University of Technology Sydney(悉尼科技大学人工智能中心);Data Science Lab, University of Technology Sydney(悉尼科技大学数据科学实验室)
大多数现有的离群值检测方法假设离群值因子(即,离群值评分测量)(例如,特征值和数据对象)是独立且相同分布的(IID)。这个假设在现实世界的应用中并不成立,在现实世界的应用中,不同实体的离群值相互依赖和/或来自不同的概率分布(非IID)。这可能导致无法检测到重要的离群值,这些离群值太细微,无法在不考虑非IID性质的情况下识别。在更具挑战性的情况下,这一问题甚至更加突出,例如,具有许多噪声特征的高维数据。本文提出了一种新的离群点检测框架,并通过捕获非IID离群点因子来识别分类数据中的离群点。我们的方法首先定义并将分布敏感的离群因素及其相互依赖性纳入基于值-值图的表示中。然后,它在值图中建模离群传播过程以学习特征值的离群性。学习值离群允许直接离群值检测或离群特征选择。图表示和挖掘的方法,在这里很好地捕捉丰富的非IID特征。我们在15个具有不同数据复杂度的真实数据集上的实证结果表明:(i)在95%/99%的置信水平下,本文提出的离群点检测方法显著优于五种最先进的方法,在10个最复杂的数据集上实现了10%-28%的AUC改善;以及(ii)所提出的特征选择方法在实现两个不同现有检测器的后续离群值检测方面显著优于三种竞争方法。
2021-03-21 cs.AI cs.LG stat.ML
Transformers and the representation of biomedical background knowledge
The University of Manchester(曼彻斯特大学);CRUK Manchester Institute(英国癌症研究中心曼彻斯特研究所);Idiap Research Institute(Idiap研究所)
专门的基于transformers的模型(如BioBERT和BioMegatron)适用于基于公共生物医学语料库的生物医学领域。因此,它们有可能编码大规模的生物知识。我们研究了这些模型中生物学知识的编码和表示,以及它在支持癌症精准医学推理方面的潜在效用-即解释基因组改变的临床意义。我们比较了不同的Transformer基线的性能;我们使用探测来确定不同实体编码的一致性;我们使用聚类方法来比较和对比基因、变体、药物和疾病嵌入的内部属性。我们表明,这些模型确实编码生物知识,虽然其中一些是在微调特定的任务丢失。最后,我们分析了模型在数据集中的偏差和不平衡方面的表现。
2022-08-18 cs.AI cs.CL cs.LG
Copula Adapted Directed Acyclic Graph for Cluster Representation of Biomedical Data
Old Dominion University(奥多明尼昂大学);North Carolina Agricultural and Technical State University(北卡罗来纳农业技术州立大学)
针对生物医学数据中标签缺失和复杂依赖问题,提出CopDAG框架,结合copula模型与DAG因果发现,在16个数据集上聚类性能领先。
2026-09-16 cs.LG stat.CO stat.ML
Federated Learning with Taskonomy for Non-IID Data
Shell Global Solutions International B.V.(壳牌全球解决方案国际有限公司);Delft University of Technology (TU Delft)(代尔夫特理工大学);Myant Inc.(迈安特公司)
经典的联邦学习方法在存在非IID客户端数据的情况下会导致显著的性能下降。解决这个问题的一个可能的方向是形成具有大致IID数据的客户端集群。遵循这个方向的大多数解决方案都是迭代的,并且相对较慢,在发现潜在的集群形成时也容易出现收敛问题。我们介绍了联邦学习与任务分类法(FLT),通过学习客户端之间的任务相关性来更有效地联合聚合异构数据,从而概括了这一方向。在一个一次性的过程中,服务器为客户端提供一个预先训练(和微调)的编码器,将其数据压缩成潜在的表示,并将其数据的签名传输回服务器。然后,服务器通过流形学习来学习客户端之间的任务相关性,并执行联邦平均的泛化。FLT可以灵活地处理一个通用的客户端相关性图,当没有显式的客户端集群,以及有效地将其分解成(不相交)集群的联邦学习。我们证明,FLT不仅优于现有的国家的最先进的基线在非IID的情况下,但也提供了更好的公平性在客户端。
2021-10-08 cs.DC cs.LG
LFHE: Local-First Heuristic Evolution for Bounded Local Topology Search in Decentralized Learning with Non-IID Data
Durham University(杜伦大学);University of Cambridge(剑桥大学)
针对非独立同分布数据下分散式学习的拓扑敏感问题,提出本地优先启发式进化(LFHE)框架,仅用局部信息进行受限拓扑搜索,在四个基准上取得竞争性能,并揭示性能与局部性的权衡。
2026-10-07 cs.AI cs.LG
BERT-based Ranking for Biomedical Entity Normalization
School of Biomedical Informatics, The University of Texas Health Science Center at Houston(德克萨斯大学休斯顿健康科学中心生物医学信息学院)
开发高性能的实体规范化算法,可以减轻长期变化的问题是生物医学界的极大兴趣。尽管基于深度学习的方法已成功应用于生物医学实体规范化,但它们通常依赖于传统的上下文无关的词嵌入。最近引入了来自Transformers的双向编码器表示(BERT)、用于生物医学文本挖掘的BERT(BioBERT)和用于临床文本挖掘的BERT(ClinicalBERT),以使用双向Transformers来预训练上下文化的单词表示模型,从而推进了许多自然语言处理任务的最新技术水平。在这项研究中,我们提出了一个实体规范化架构,通过微调预训练的BERT / BioBERT / ClinicalBERT模型,并进行了广泛的实验,以评估使用三种不同类型的数据集的生物医学实体规范化的预训练模型的有效性。我们的实验结果表明,最好的微调模型始终优于以前的方法,并推进了生物医学实体标准化的最新技术,准确性提高了1.17%。
2019-08-09 cs.CL cs.IR cs.LG
Enhancing Embedding Representations of Biomedical Data using Logic Knowledge
University of Siena(锡耶纳大学)
知识图谱嵌入(KGE)已经成为一种非常流行的模型,专门设计用于处理本体和图结构数据,因为它们可以隐式地编码潜在空间中实体和关系之间的统计依赖关系。KGE技术对于生物医学领域特别有效,在生物医学领域中,处理生物和化学对象之间的复杂相互作用的大知识图谱是非常常见的。最近在文献中,PharmKG数据集已被提出作为最具挑战性的知识图谱生物医学基准之一,具有基因,疾病和化学品之间的数十万个关系事实。尽管KGE可以扩展到非常大的关系域,但它们通常无法表示事实之间更复杂的关系依赖关系,如逻辑规则,这可能是复杂实验环境中的基础。在本文中,我们利用逻辑规则来增强嵌入表示的KGE的PharmKG数据集。为此,我们采用了关系推理网络(R2N),最近提出的神经符号的方法显示出可喜的成果知识图谱完成任务。R2N使用可用的逻辑规则来构建一个神经架构,在KGE潜在表示上进行推理。在实验中,我们表明,我们的方法能够显着改善PharmKG数据集的当前最先进水平。最后,我们提供了一个消融研究实验比较的效果,根据不同的选择标准和不同的考虑规则的数量的替代规则集。
2023-03-23 cs.AI cs.LG q-bio.QM
Learning Domain-Specialised Representations for Cross-Lingual Biomedical Entity Linking
University of Cambridge(剑桥大学)
注入外部特定领域的知识(例如,UMLS)转化为预训练的语言模型(LM),提高了它们处理诸如生物医学实体链接(BEL)之类的专业领域内任务的能力。然而,这种丰富的专业知识仅可用于少数语言(例如,英文)。在这项工作中,通过提出一种新的跨语言的生物医学实体连接任务(XL-BEL),并建立一个新的XL-BEL基准跨越10个类型学上不同的语言,我们首先调查的能力,标准的知识不可知以及知识增强的单语和多语言LM超出标准的单语英语BEL任务。这些分数表明英语成绩差距很大。然后,我们解决的挑战,资源丰富的语言转移到资源贫乏的特定领域的知识。为此,我们提出并评估了一系列的跨语言迁移方法的XL-BEL任务,并证明,一般域的双文本有助于传播可用的英语知识的语言很少或没有域内的数据。值得注意的是,我们表明,我们提出的特定于域的传输方法在所有目标语言中产生一致的增益,有时高达20 Precision@1点,没有任何领域内的知识,在目标语言,没有任何领域内的并行数据。
2021-05-30 cs.AI cs.CL cs.LG
Joint Local Relational Augmentation and Global Nash Equilibrium for Federated Learning with Non-IID Data
College of Computer Science, Zhejiang University(浙江大学计算机学院);Tiansuan Lab, Ant Group(蚂蚁集团天算实验室);College of Computer and Data Science, Fuzhou University(福州大学计算机与大数据学院)
针对非独立同分布数据下联邦学习存在的客户端内与客户端间两类耦合不一致问题,提出含局部关系增强和全局纳什均衡模块的FedRANE框架,经多基准数据集验证可有效提升联邦学习性能。
2023-08-17 cs.AI cs.GT cs.LG
Federated Spectral Graph Transformers Meet Neural Ordinary Differential Equations for Non-IID Graphs
Indian Institute of Information Technology Kottayam (IIITK)(印度信息技术学院科塔亚姆分校(IIITK));International Institute of Information Technology Hyderabad (IIITH)(印度信息技术学院海得拉巴分校(IIITH))
针对联邦GNN学习未被充分探索的问题,提出结合谱图Transformer与神经常微分方程的方法,处理非IID图,在同构/异构图上性能优异,推动联邦GNN发展。
2025-04-16 cs.LG
Evaluating Sparse Interpretable Word Embeddings for Biomedical Domain
Isfahan University of Technology(伊斯法罕理工大学);Isfahan University of Medical Sciences(伊斯法罕医科大学)
词嵌入已经在包括生物医学领域的自然语言处理任务中找到了它们的方式。虽然这些矢量表示成功地捕捉语义和句法词的关系,隐藏的模式和趋势的数据,他们无法提供可解释性。可解释性是论证的关键手段,而论证是生物医学应用中不可或缺的一部分。我们提出了一个包容性的研究在医学领域的词嵌入的可解释性,侧重于稀疏方法的作用。提供了词向量表示的可解释性的定性和定量测量和度量。对于定量评估,我们引入了一个广泛的分类数据集,可用于量化基于类别理论的可解释性。还提出了所研究的方法的内在和外在评价。至于后者,我们提出了数据集,可用于有效的外在评价的词向量在生物医学领域。基于我们的实验,可以看出,稀疏的词向量显示出更好的可解释性,同时保留了其原始向量在下游任务中的性能。
2020-05-11 cs.CL cs.LG
Logit Calibration and Feature Contrast for Robust Federated Learning on Non-IID Data
Kyung Hee University(庆熙大学)
针对 non-IID 联邦学习中直接对抗训练损害准确率的问题,提出 FatCC,通过局部 logit 校准与全局特征对比同时提升干净准确率和鲁棒准确率。
2024-04-10 cs.AI cs.CV cs.LG
Unified Bayesian representation for high-dimensional multi-modal biomedical data for small-sample classification
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);Aalto University(阿尔托大学);Instituto de Investigación Sanitaria Gregorio Marañón (IiSGM)(格雷戈里奥·马拉尼翁卫生研究所)
提出BALDUR贝叶斯算法,通过在潜在空间结合多模态数据视图并集成双核,解决高维小样本分类问题,实现特征剪枝与模型可解释性,在神经退行性疾病数据集上超越现有模型并有效识别生物标志物。
2024-11-11 cs.LG stat.ML
Boosting multi-demographic federated learning for chest radiograph analysis using general-purpose self-supervised representations
University Hospital RWTH Aachen(亚琛工业大学附属医院);Hamedan University of Technology(哈马丹理工大学);Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡大学);Stanford University(斯坦福大学)
本研究利用通用自监督表示增强联邦学习,以应对胸部X光片分析中多人口(含儿科)数据非独立同分布挑战,显著提升模型性能。
2025-06-19 cs.AI cs.CV cs.LG