Bayesian neural network with pretrained protein embedding enhances prediction accuracy of drug-protein interaction
Seoul National University（首尔大学）
药物-蛋白质相互作用的表征在药物发现的高通量筛选中至关重要。基于深度学习的方法引起了人们的关注，因为它们可以预测药物-蛋白质相互作用，而无需人类的试错。然而，由于数据标记需要大量资源，可用的蛋白质数据大小相对较小，因此降低了模型性能。在这里，我们提出了两种方法来构建一个深度学习框架，该框架在小的标记数据集上表现出卓越的性能。首先，我们使用迁移学习在编码蛋白质序列时使用预训练模型，该模型以无监督的方式训练一般的序列表示。其次，我们使用贝叶斯神经网络，通过估计数据的不确定性，使一个强大的模型。因此，我们的模型在预测药物-蛋白质相互作用方面的表现优于以前的基线。我们还表明，量化的不确定性从贝叶斯推断的置信度，并可用于筛选DPI数据点。
2020-12-21 cs.LG
Enhancing Protein-Protein Interaction Prediction with Hierarchical Motif-based Multimodal Protein Embedding
National University of Singapore（新加坡国立大学）；University of California, Los Angeles（加州大学洛杉矶分校）
提出MMM-PPI模型，通过层次化基序的多模态编码（微观、中观、宏观三尺度）整合序列、结构和功能信息，提升蛋白质-蛋白质相互作用预测性能。
2026-05-30 cs.AI cs.LG q-bio.QM
ProtFAD: Introducing function-aware domains as implicit modality towards protein function prediction
Tsinghua University（清华大学）；Peng Cheng Laboratory（鹏城实验室）；Peking University（北京大学）；University of Agder（阿格德尔大学）
针对蛋白质序列与结构建模瓶颈，本文提出 ProtFAD，利用功能感知结构域作为隐式模态，并通过语义对齐预训练与三元组 InfoNCE 对比学习提升蛋白质功能预测性能。
2024-12-02 cs.LG q-bio.BM
Transferable Implicit Solvent Machine Learning Potential for Drugs and Proteins Approaching Ab Initio Accuracy
Technical University of Munich（慕尼黑技术大学）
研究针对生物分子系统建模中机器学习原子间势推理慢的问题，提出由等变图神经网络参数化、基于从头算和实验标签训练的可转移水隐式网络（TWIN），该模型可转移性强，性能优，为生物分子系统高效建模提供了可能。
2026-07-14 cs.LG physics.chem-ph q-bio.BM
Event Embedding of Protein Networks : Compositional Learning of Biological Function
Lawrence Berkeley National Lab（劳伦斯伯克利国家实验室）
本文研究了在蛋白质-蛋白质相互作用网络中强制严格组合结构是否能产生有意义的几何组织。通过Event2Vec模型训练64维表示，并与基于Word2Vec的DeepWalk基线进行比较，发现组合结构显著提升了路径连贯性、功能类比准确性及层次路径组织。
2026-04-01 cs.LG
Learning protein sequence embeddings using information from structure
Massachusetts Institute of Technology（麻省理工学院）
从蛋白质的氨基酸序列推断其结构特性是生物学中一个具有挑战性的重要问题。绝大多数蛋白质序列的结构是未知的，但结构对于理解功能至关重要。现有的从序列中检测蛋白质之间结构相似性的方法无法识别和利用结构模式，当序列偏离太远时，限制了我们在结构相关蛋白质之间转移知识的能力。我们通过表示学习的视角来处理这个问题。我们介绍一个框架，映射任何蛋白质序列的载体嵌入序列-每个氨基酸位置-编码的结构信息。我们在蛋白质序列上训练双向长短期记忆（LSTM）模型，该模型具有两部分反馈机制，该机制包含来自（i）蛋白质之间的全局结构相似性和（ii）单个蛋白质的成对残基接触图的信息。为了能够从结构相似性信息中学习，我们定义了一种新的相似性度量，基于它们之间的软对称对齐（SSA）的任意长度的向量嵌入序列之间。我们的方法是能够学习有用的位置特定的嵌入，尽管缺乏序列之间的位置级对应的直接观察。我们的经验表明，我们的多任务框架优于其他基于序列的方法，甚至在预测结构相似性时，我们的目标是最好的基于结构的比对方法。最后，我们证明了我们学习的嵌入可以转移到其他蛋白质序列问题，提高跨膜结构域预测的最新水平。
2019-10-16 cs.LG q-bio.BM stat.ML
Learning Implicit Bias in Generative Spaces for Accelerating Protein Dynamics Emulation
Fudan University（复旦大学）；Shanghai Academy of AI for Science（上海人工智能科学研究院）；Shanghai Innovation Institute（上海创新研究院）
提出在预训练生成式仿真器的生成空间中引入隐式历史依赖偏置，结合距离加权分数估计和环境支持正则化，通过重投影步骤保持结构有效性，显著提升采样多样性和稀有状态覆盖速度。
2026-10-09 cs.AI cs.LG
Leveraging Sequence Embedding and Convolutional Neural Network for Protein Function Prediction
National Tsing Hua University（台湾清华大学）
准确预测蛋白质功能和性质的能力在生物技术产业中是必不可少的，例如药物开发和人工蛋白质合成等。蛋白质功能预测的主要挑战是大的标签空间和缺乏标记的训练数据。我们的方法利用无监督序列嵌入和深度卷积神经网络的成功来克服这些挑战。相比之下，大多数现有的方法删除罕见的蛋白质功能，以减少标签空间。此外，一些现有的方法需要额外的生物信息（例如，蛋白质的三维结构），这在生物化学实验中难以确定。我们提出的方法显着优于其他方法的公开可用的基准只使用蛋白质序列作为输入。这使得识别蛋白质功能的过程得以加速。
2021-12-01 cs.AI cs.LG q-bio.BM
ProtNN: Fast and Accurate Nearest Neighbor Protein Function Prediction based on Graph Embedding in Structural and Topological Space
University of Quebec At Montreal（蒙特利尔魁北克大学）
研究蛋白质的功能对于理解生命的分子机制非常重要。可公开获得的蛋白质结构的数量越来越大。然而，确定蛋白质结构的功能仍然是一项困难、昂贵和耗时的任务。这些困难往往是由于空间和拓扑结构在确定活细胞中蛋白质功能中的重要作用。在本文中，我们提出了ProtNN，一种新的蛋白质功能预测方法。给定一个未注释的蛋白质结构和一组注释的蛋白质，ProtNN基于蛋白质图的成对相似性找到最近的邻居注释结构。给定一个查询蛋白质，ProtNN发现最近的邻居参考蛋白质的基础上的图表示模型和两个查询和参考蛋白质图在结构和拓扑空间中的向量嵌入之间的成对相似性。ProtNN为查询蛋白质分配在k个最近邻参考蛋白质的集合中具有最高票数的函数，其中k是用户定义的参数。实验评估表明，与最先进的方法相比，ProtNN能够在极快的运行时间内准确地对多个数据集进行分类。我们进一步表明，ProtNN能够在单进程模式下扩展到整个PDB数据集，而无需并行化，与最先进的方法相比，运行时间增加了数千个数量级。
2016-01-25 cs.LG cs.SI
Protein Language Model-Powered 3D Ligand Binding Site Prediction from Protein Sequence
Hunter College, City University of New York（纽约市立大学亨特学院）；Weill Cornell Medicine, Cornell University（康奈尔大学威尔康奈尔医学院）；Graduate Center, City University of New York（纽约市立大学研究生中心）
本文提出 LaMPSite，仅利用蛋白质序列经 ESM-2 获取残基表示与接触图，并结合配体图神经网络及几何约束预测结合位点，在无三维结构输入下达到与结构方法竞争的性能。
2023-12-05 cs.CL cs.LG q-bio.QM
ProtFlow: Fast Protein Sequence Design via Flow Matching on Compressed Protein Language Model Embeddings
Zhejiang University（浙江大学）
针对蛋白质序列设计中现有深度生成方法存在的推理效率低、建模空间大等问题，提出基于流匹配的ProtFlow框架，通过压缩蛋白质语言模型嵌入的潜空间实现快速设计，在多任务中优于特定方法。
2025-04-15 cs.AI cs.LG q-bio.BM
Fixed-Length Protein Embeddings using Contextual Lenses
Harvard University（哈佛大学）；Google Research（谷歌研究院）
基本局部比对搜索工具（BLAST）是目前最流行的生物序列数据库搜索方法。BLAST通过由加权编辑距离定义的相似性来比较序列，这导致它在计算上是昂贵的。与使用编辑距离相反，向量相似性方法可以使用现代硬件或散列技术大大加速。这种方法需要生物序列的固定长度嵌入。最近人们对使用深度学习模型学习固定长度的蛋白质嵌入产生了兴趣，假设监督或半监督模型的隐藏层可以产生潜在有用的向量嵌入。我们考虑Transformer（BERT）蛋白质语言模型，这些模型在TrEMBL数据集上进行了预训练，并使用上下文镜头在其上学习固定长度的嵌入。训练嵌入以预测Pfam数据库中蛋白质所属的序列家族。我们发现，对于最近邻族分类，预训练提供了显着的性能提升，相应的学习嵌入与BLAST竞争。此外，我们表明，通过静态池化获得的原始Transformer嵌入在最近邻家庭分类上表现不佳，这表明通过上下文镜头以监督的方式学习嵌入可能是一种计算效率高的微调替代方案。
2020-10-15 cs.CL cs.LG q-bio.BM
Directed Evolution of Proteins via Bayesian Optimization in Embedding Space
Department of Computer Science FEE, Czech Technical University in Prague Prague, Czech Republic（计算机科学系（FEE），捷克技术大学布拉格分校）
本文提出一种结合贝叶斯优化与蛋白质语言模型嵌入表示的机器学习辅助定向进化方法，在相同筛选次数下提升优化效果，并超越现有回归目标方法。
2025-09-05 cs.LG q-bio.BM
OntoProtein: Protein Pretraining With Gene Ontology Embedding
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
自监督蛋白质语言模型在蛋白质表征学习中的有效性已经得到证明。随着计算能力的不断提高，现有的蛋白质语言模型在经过数百万个不同序列预训练后，其参数规模可以从百万级提升到亿级，并取得了显著的进步。然而，这些流行的方法很少考虑将知识图（KG），它可以提供丰富的结构化知识事实，更好的蛋白质表示。我们认为，知识库中的信息生物学知识可以增强蛋白质表示与外部知识。在这项工作中，我们提出了OntoProtein，这是第一个将GO（基因本体论）中的结构用于蛋白质预训练模型的通用框架。我们构建了一个新的大规模知识图，它由GO及其相关蛋白质组成，基因注释文本或蛋白质序列描述图中的所有节点。我们提出了一种新的对比学习方法，使用知识感知负采样来联合优化预训练过程中的知识图和蛋白质嵌入。实验结果表明，OntoProtein在TAPE基准测试中可以超越现有的预训练蛋白质语言模型的方法，并在蛋白质相互作用和蛋白质功能预测方面获得比基线更好的性能。代码和数据集可在https://github.com/zjunlp/OntoProtein上获得。
2022-06-03 cs.AI cs.CL cs.IR
MAPE-PPI: Towards Effective and Efficient Protein-Protein Interaction Prediction via Microenvironment-Aware Protein Embedding
Westlake University（西湖大学）；Zhejiang University（浙江大学）；University of Notre Dame（圣母大学）
本文提出MAPE-PPI方法，通过微环境感知的蛋白质嵌入和掩码码本建模预训练策略，实现大规模蛋白质-蛋白质相互作用的高效且有效预测。
2024-02-22 cs.LG q-bio.BM
Efficiently Predicting Mutational Effect on Homologous Proteins by Evolution Encoding
Aarhus University（奥胡斯大学）
提出进化感知消息传递神经网络 EvolMPNN，通过采样锚点蛋白质并聚合进化信息以捕捉细微突变效应，在蛋白质特性预测任务中性能提升达 6.4% 且推理速度提高 36 倍。
2024-06-25 cs.LG q-bio.BM
Protein Thoughts: Interpretable Reasoning with Tree of Thoughts and Embedding-Space Flow Matching for Protein-Protein Interaction Discovery
Department of Statistics and CCAM University of Chicago（统计学系和CCAM大学芝加哥分校）；School of Medicine Stanford University（医学学院斯坦福大学）；Department of Statistics University of Chicago（统计学系芝加哥大学）
本文提出了一种可解释的蛋白质-蛋白质相互作用发现框架，通过显式推理将PPI发现转化为可解释的搜索问题，利用嵌入空间流匹配和树 of 思维搜索方法提升预测精度和可解释性。
2026-05-19 cs.AI cs.CE cs.LG
ProtSent: Protein Sentence Transformers
Department of Biological Chemistry（生物化学系）；Department of Computer and Information Science（计算机与信息科学系）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Ben-Gurion University of the Negev（内盖夫本·古里安大学）
ProtSent通过对比学习框架改进蛋白质语言模型，提升蛋白质功能和结构表征能力，在23项下游任务中表现优异，尤其在远程同源检测和结构检索中取得显著提升。
2026-10-20 cs.CL cs.LG
Fold2Seq: A Joint Sequence(1D)-Fold(3D) Embedding-based Generative Model for Protein Design
Texas A&M University（德克萨斯农工大学）；IBM Research（IBM研究院）
设计一个新的蛋白质序列所需的三维拓扑折叠是一个基本的，但在蛋白质工程的重要任务。由于复杂的序列-折叠关系以及捕获折叠内序列（因此结构和功能）的多样性的困难，存在挑战。为了克服这些挑战，我们提出了Fold 2Seq，这是一种新的基于transformer的生成框架，用于设计以特定目标折叠为条件的蛋白质序列。为了对复杂的序列-结构关系进行建模，Fold 2Seq使用Transformer联合学习序列嵌入，并从3D体素中的二级结构元素的密度学习折叠嵌入。在具有单个折叠的单一，高分辨率和完整结构输入的测试集上，我们的实验证明了Fold 2Seq在序列设计的速度，覆盖率和可靠性方面的改进或相当的性能，与现有的最先进的方法相比，包括数据驱动的深度生成模型和基于物理的RosettaDesign。与基于结构的深度模型和RosettaDesign相比，基于折叠的Fold 2Seq的独特优势在来自低质量、不完整或模糊输入结构的三个额外现实挑战中变得更加明显。源代码和数据可在https://github.com/IBM/fold2seq上获得。
2021-06-24 cs.LG q-bio.BM
STAR-GO: Improving Protein Function Prediction by Learning to Hierarchically Integrate Ontology-Informed Semantic Embeddings
Bogazici University（博阿齐奇大学）
STAR-GO通过整合本体引导的语义嵌入与结构特征，提升蛋白质功能预测的零样本泛化能力，实现最先进的性能。
2026-03-26 cs.LG q-bio.BM
Variational embedding of protein folding simulations using gaussian mixture variational autoencoders
Department of Chemical and Biomolecular Engineering, University of Maryland（马里兰大学化学与生物分子工程系）
利用分子动力学模拟对生物分子进行构象采样通常会产生大量的高维数据，这使得难以使用常规分析技术进行解释。因此，需要采用简化方法来提取有用的相关信息。在这里，我们设计了一个机器学习方法，高斯混合变分自动编码器（GMVAE），可以同时进行降维和聚类的生物分子构象在无监督的方式。我们表明，GMVAE可以学习的自由能景观的蛋白质折叠高度分离的集群，对应于亚稳态折叠过程中的代表性降低。由于GMVAE使用混合高斯作为先验，它可以直接承认蛋白质折叠自由能景观的多流域性质。为了使模型端到端可微，我们使用Gumbel-softmax分布。我们在三个长时间尺度的蛋白质折叠轨迹上测试了该模型，并表明GMVAE嵌入类似于折叠漏斗，折叠状态沿着漏斗向下，展开状态在漏斗路径的外部。此外，我们表明，GMVAE的潜空间可用于动力学分析，并且建立在这种嵌入上的马尔可夫状态模型产生的折叠和展开时间尺度与其他严格的动力学嵌入非常一致例如时间独立分量分析（TICA）。
2021-08-27 cs.LG physics.comp-ph q-bio.BM
StabilityArc: Decoding Protein Sequence Embeddings into Generalizable Stability Landscapes
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
StabilityArc通过共享RoPE变换器将ESMC-600M嵌入映射为替换效应矩阵，在66次留一蛋白质评估中达0.7134 Spearman相关，并作为Kermut先验提升至0.8280，实现跨蛋白质稳定性预测。
2026-10-16 cs.LG q-bio.BM
Exploring the limits of pre-trained embeddings in machine-guided protein design: a case study on predicting AAV vector viability
LASIGE, Faculdade de Ciências da Universidade de Lisboa（里斯本大学科学院LASIGE研究所）
本研究评估了多种ProtBERT和ESM2嵌入变体在蛋白质序列表示中的表现，发现氨基酸级嵌入在监督任务中优于序列级嵌入，但需通过任务特定标签微调才能达到最佳性能。
2026-02-16 cs.LG q-bio.QM
All-atomistic Transferable Neural Potentials for Protein Solvation
University of North Carolina at Chapel Hill - Eshelman School of Pharmacy（北卡罗来纳大学教堂山分校-埃舍尔曼药学院）
本文提出PHNN模型，通过学习可迁移的参数修正提升隐式溶剂模型的准确性，并在非领域蛋白系统中保持预测能力。
2026-05-14 cs.LG physics.chem-ph
Accurate Protein Structure Prediction by Embeddings and Deep Learning Representations
Columbia University（哥伦比亚大学）；Cornell University（康奈尔大学）
蛋白质是生命的主要组成部分，也是生物体中几乎所有化学和生物物理事件的致动器。它们的天然结构反过来又使它们的生物功能在药物设计中起着重要作用。这激发了从蛋白质的氨基酸序列预测其结构，这是计算生物学中的一个基本问题。在这项工作中，我们展示了最先进的蛋白质结构预测（PSP）结果，使用嵌入和深度学习模型预测骨架原子距离矩阵和扭转角。我们恢复了骨架原子的三维坐标，并通过优化重构了全原子蛋白质。我们创建了一个新的蛋白质的黄金标准数据集，它是全面的，易于使用。我们的数据集包括氨基酸序列、Q8二级结构、位置特异性评分矩阵、多个序列比对共进化特征、骨架原子距离矩阵、扭转角和3D坐标。我们通过RMSD对最新的蛋白质结构预测技术关键评估（CASP）测试数据进行了结构预测质量评估，并与CASP13中的获胜团队和AlphaFold一起展示了竞争结果，并取代了CASP12中获胜团队的结果。我们公开我们的数据、模型和代码。
2019-11-09 cs.LG q-bio.BM stat.ML
Deep Contextual Learners for Protein Networks
Harvard University（哈佛大学）；Broad Institute of MIT and Harvard（麻省理工学院和哈佛大学博德研究所）；Harvard Data Science（哈佛数据科学研究院）
空间背景是理解健康和疾病的核心。然而，参考蛋白质相互作用网络缺乏这种情境化，从而限制了蛋白质相互作用可能在人体中发生的位置以及它们在疾病中如何改变的研究。情境化的蛋白质相互作用可以更好地表征具有疾病特异性相互作用的基因，并阐明疾病在特定细胞类型中的表现。在这里，我们介绍AWARE，一种将细胞和组织背景注入蛋白质嵌入的图形神经消息传递方法。AWARE优化了多尺度嵌入空间，其结构反映了单细胞分辨率的网络拓扑结构。我们构建了一个多尺度的人类细胞图谱网络，并应用AWARE来学习支持细胞类型和组织层次的蛋白质、细胞类型和组织嵌入。我们证明了AWARE在预测蛋白质是否在疾病中发生改变以及这种关联最有可能在人体中表现出来的新任务上的实用性。为此，AWARE比没有上下文信息的通用嵌入至少高出12.5%，这表明AWARE有潜力揭示蛋白质在疾病中的上下文依赖作用。
2021-07-16 cs.LG q-bio.MN q-bio.QM
Site2Vec: a reference frame invariant algorithm for vector embedding of protein-ligand binding sites
IIT Tirupati（印度蒂鲁帕蒂理工学院）
蛋白质与配体相互作用是生命系统中分子相互作用的基本类型之一。配体是在蛋白质分子表面称为结合位点的特定区域与蛋白质分子相互作用的小分子。诸如蛋白质功能相似性的评估和药物副作用的检测等任务需要鉴定跨不同途径的不同蛋白质的相似结合位点。用于相似性评估的机器学习方法需要结合位点的特征描述符。基于手工设计的图案和原子配置的传统方法不能在数千个站点上扩展。在这方面，现在部署了可以捕获非常复杂的输入特征空间的深度神经网络算法。然而，将深度学习应用于结合位点结构的一个基本挑战是输入表示和参考框架。我们在这里报告一个新的算法Site 2 Vec，推导出参考框架不变的载体嵌入的蛋白质配体结合位点。该方法是基于代表点和化学组成的组成氨基酸的网站之间的成对距离。向量嵌入充当用于邻近查询和确定相似站点的局部敏感散列函数。该方法在10个数据集和23个其他站点比较方法的广泛基准研究中质量分数超过95%，表现最佳。该算法用于高通量处理，并已被评估为相对于参考帧移位，坐标扰动和残基突变的稳定性。我们提供Site 2 Vec作为一个独立的可执行文件和托管在\url{http://services.iittp.ac.in/bioinfo/home}的Web服务。
2020-07-27 cs.CG cs.LG q-bio.BM
ZeroFold: Protein-RNA Binding Affinity Predictions from Pre-Structural Embeddings
Centre for Misfolding Diseases, Yusuf Hamied Department of Chemistry, University of Cambridge（错误折叠疾病中心，尤斯夫·哈米埃德化学系，剑桥大学）；Medicinal Chemistry, Research and Early Development, Respiratory and Immunology, BioPharmaceuticals R&D, AstraZeneca（药物化学，研发与早期开发，呼吸与免疫学，生物制药研发，阿斯利康）
本文提出ZeroFold模型，利用预结构嵌入预测蛋白质- RNA结合亲和力，通过跨模态注意力机制结合蛋白质和RNA的预结构嵌入，构建了PRADB数据集并验证了模型性能。
2026-03-24 cs.LG q-bio.BM
PLM-eXplain: Divide and Conquer the Protein Embedding Space
Utrecht University（乌得勒支大学）
本文提出可解释适配器层PLM-X，将蛋白质语言模型嵌入分解为可解释生化特征子空间和残差子空间，在保持预测性能的同时提升模型决策的生物学可解释性。
2025-04-09 cs.AI cs.LG q-bio.BM
Lightweight MSA Design Advances Protein Folding From Evolutionary Embeddings
CUHK（香港中文大学）；MIT（麻省理工学院）；UCSD（加州大学圣迭戈分校）；UvA（乌得勒支大学）；UPenn（宾夕法尼亚大学）；UIUC（伊利诺伊大学香槟分校）
PLAME利用预训练语言模型的进化嵌入生成MSA，结合选择策略和质量度量，在AlphaFold2/3上提升低同源蛋白折叠精度，并作为轻量适配器使ESMFold接近AlphaFold2性能。
2025-09-25 cs.AI cs.LG q-bio.QM
ReactEmbed: A Plug-and-Play Module for Unifying Protein-Molecule Representations Guided by Biochemical Reaction Networks
Technion（技术ion）
提出ReactEmbed模块，利用生化反应网络对齐蛋白质和分子嵌入，实现跨域统一表示，无需重新训练。
2026-05-24 cs.LG
Learned Indexing in Proteins: Extended Work on Substituting Complex Distance Calculations with Embedding and Clustering Techniques
Faculty of Informatics, Masaryk University（马萨里克大学信息学院）
尽管相似性搜索研究不断发展，但它仍然面临着来自数据复杂性的相同挑战，例如维数灾难和计算昂贵的距离函数。各种机器学习技术已经证明能够用简单线性函数的组合来替换复杂的数学模型，通常以查询的准确性和正确性的形式保证为代价来获得速度和简单性。作者通过为3D蛋白质结构搜索的复杂问题提出一个轻量级的解决方案来探索这一研究趋势的潜力。该解决方案由三个步骤组成-（i）将3D蛋白质结构信息转换为非常紧凑的向量，（ii）使用概率模型将这些向量分组并通过返回给定数量的相似对象来响应查询，以及（iii）应用基本向量距离函数来细化结果的最终过滤步骤。
2022-10-05 cs.IR cs.LG
Viral Proteins Reveal Geometry of Protein Language Models
University of Washington（华盛顿大学）；DeepMind（深度思维）
研究蛋白质语言模型在不平衡数据下对病毒蛋白的表示，发现嵌入空间中存在主导的“天然性”轴，该轴按模型困惑度排序序列，且缩放效果因病毒家族而异，但嵌入仍保留病毒特异性信号。
2026-06-12 cs.LG q-bio.QM
Implicitly Incorporating Morphological Information into Word Embedding
University of Science and Technology of China（中国科学技术大学）
在本文中，我们提出了三个新的模型来增强词嵌入隐式使用形态信息。词汇相似度和句法类比实验表明，隐式模型优于传统的显式模型。我们的模型优于所有最先进的基线，并显着提高了这两项任务的性能。此外，我们在最小语料库上的性能与CBOW在五倍于我们的语料库上的性能相似。参数分析表明，隐式模型可以在词嵌入训练过程中补充语义信息。
2017-05-08 cs.CL cs.LG
PROTOCOL: Late Interaction Retrieval for Protein Homolog Search
MIT（麻省理工学院）；Princeton University（普林斯顿大学）
提出ProtoCol模型，利用ColBERT风格的延迟交互机制对残基嵌入进行最大相似度评分，以提升远程同源搜索的灵敏度，在SCOPe超家族和Pfam clan基准上优于多种基线方法。
2026-05-27 cs.IR cs.LG q-bio.BM
Sparse Autoencoders for Low-$N$ Protein Function Prediction and Design
Georgia Institute of Technology（佐治亚理工学院）
本研究系统评估了稀疏自编码器在低样本蛋白质功能预测与设计中的有效性，发现其仅用24条序列即可优于ESM2基线，并通过引导潜在变量在83%案例中生成最高适应性变体。
2025-08-25 cs.LG q-bio.QM
Robust Inference-Time Steering of Protein Diffusion Models via Embedding Optimization
Flatiron Institute（Flatiron研究所）
本文提出EmbedOpt框架，通过优化嵌入空间使蛋白质结构先验与实验约束对齐，在稀疏距离约束和冷冻电镜图匹配中表现更优，且对超参数更鲁棒。
2026-05-14 cs.LG
ImplicitSLIM and How it Improves Embedding-based Collaborative Filtering
St. Petersburg Department of the Steklov Mathematical Institute（斯捷克洛夫数学研究所圣彼得堡分所）
本文提出 ImplicitSLIM，一种通过低成本、低内存方式从类 SLIM 模型提取嵌入以改进基于嵌入的协同过滤模型的无监督学习方法，无需显式训练繁重模型，能提升性能并加速收敛。
2024-05-31 cs.IR cs.LG
Modeling Dabrafenib Response Using Multi-Omics Modality Fusion and Protein Network Embeddings Based on Graph Convolutional Networks
Universitas Negeri Gorontalo（哥伦打洛国立大学）
本研究通过多组学融合与图卷积网络提升达拉菲尼反应预测，揭示互补分子决定因素。
2025-12-13 cs.LG q-bio.BM
ResCap-DBP: A Lightweight Residual-Capsule Network for Accurate DNA-Binding Protein Prediction Using Global ProteinBERT Embeddings
Department of Biomedical Engineering, Bangladesh University of Engineering（生物医学工程系，孟加拉国工程大学）；School of Mathematics, Physics and Computing（数学、物理与计算学院）；University of Southern Queensland, Springfield, QLD 4300, Australia（南方昆士兰大学，斯普林菲尔德，QLD 4300，澳大利亚）
本文提出 ResCap-DBP 轻量级残差-胶囊网络，融合全局 ProteinBERT 嵌入直接预测 DNA 结合蛋白，并在多组基准上取得优于现有方法的 AUC 与泛化表现。
2025-07-27 cs.AI cs.LG eess.SP
Generative Modeling of Full-Atom Protein Conformations using Latent Diffusion on Graph Embeddings
Signal Processing Laboratory (LTS2), EPFL, Lausanne, Switzerland（信号处理实验室（LTS2），瑞士洛桑联邦理工学院）；Institute of Bioengineering, EPFL, Lausanne, Switzerland（生物工程研究所，瑞士洛桑联邦理工学院）；Bioinformatics Group, University & Research Wageningen, The Netherlands（生物信息学组，荷兰瓦赫宁根大学及研究学院）；Ludwig Institute for Cancer Research, Lausanne, Switzerland（癌症研究路易斯研究所，瑞士洛桑）
本文提出LD-FPG框架，利用ChebNet图神经网络与潜扩散模型从MD轨迹生成全原子蛋白质构象系综，在D2R数据集上以高保真度重现结构并恢复二面角分布。
2025-08-18 cs.LG q-bio.BM
When do cheap embeddings beat protein language models? A theoretically-grounded hashing sketch for biological sequence classification
Columbia University, NY, USA（哥伦比亚大学）；IBA, Karachi, Pakistan（巴基斯坦卡拉奇的IBA）
Murmur2Vec通过哈希技术高效生成COVID-19刺突序列嵌入，提升大规模病毒序列分析的效率和准确性。
2026-09-11 cs.LG q-bio.GN
Protein 3D Graph Structure Learning for Robust Structure-based Protein Property Prediction
Zhejiang University（浙江大学）；AI Lab, Research Center for Industries of the Future, Westlake University（西湖大学未来产业研究院AI实验室）
本文针对使用AI预测蛋白质结构导致性质预测精度下降的问题，从结构嵌入偏差角度分析原因，提出PGSL-RP3问题、基准数据集及SAO框架，有效提升了预测与实验结构的预测鲁棒性。
2023-10-19 cs.AI cs.LG q-bio.QM
DeepGATGO: A Hierarchical Pretraining-Based Graph-Attention Model for Automatic Protein Function Prediction
Shenzhen University（深圳大学）
针对现有蛋白质功能预测方法依赖结构信息且特征提取不足的问题，提出基于序列的层次化模型DeepGATGO，结合图注意力网络与对比学习，在大规模数据集上实现更好的可扩展性。
2023-07-24 cs.LG q-bio.QM
Geometric-informed GFlowNets for Structure-Based Drug Design
Simon Fraser University（西蒙菲莎大学）
本文改进 GFlowNet 的蛋白质条件机制，融合蛋白质与配体的三角一致几何嵌入，并在 CrossDocked2020 上提升单目标与多目标 SBDD 的结合亲和力。
2024-06-16 cs.LG q-bio.BM
Graph Embedding on Biomedical Networks: Methods, Applications, and Evaluations
The Ohio State University（俄亥俄州立大学）；The Research Institute at Nationwide Children’s Hospital（全国儿童医院研究所）；Huazhong Agricultural University（华中农业大学）
图嵌入学习旨在自动学习低维节点表示，近年来引起了越来越多的关注。到目前为止，大多数最新的图嵌入方法是在社会和信息网络上进行评估，并没有在生物医学网络上进行系统的实验和分析。另一方面，对于各种生物医学网络分析任务，传统技术如矩阵分解（其可以被看作是一种类型的图嵌入方法）已经显示出有希望的结果，因此需要系统地评估最近的图嵌入方法（例如，基于随机游走和基于神经网络）的可用性和进一步提高我们选择了11种有代表性的图嵌入方法，并对3个重要的生物医学链接预测任务进行了系统的比较：药物-疾病关联（DDA）预测，药物-药物相互作用（DDI）预测，蛋白质-蛋白质相互作用（PPI）预测;以及2个节点分类任务：医学术语语义类型分类、蛋白质功能预测。我们的实验结果表明，最近的图嵌入方法取得了可喜的成果，值得更多的关注，在未来的生物医学图分析。与用于DDA、DDI和蛋白质功能预测的三种最先进的方法相比，最近的图嵌入方法在不使用任何生物特征的情况下实现了具有竞争力的性能，并且学习的嵌入可以被视为生物特征的互补表示。通过总结实验结果，我们提供了一般性的指导方针，适当选择图嵌入方法和设置其超参数为不同的生物医学任务。
2020-02-20 cs.LG cs.SI
A Novel Framework for Multi-Modal Protein Representation Learning
School of Computer Science and Engineering, Sun Yat-sen University (SYSU)（计算机科学与工程学院，中山大学）
提出DAMPE框架，通过最优传输对齐和条件图生成融合多模态蛋白质数据，在GO基准上优于或匹配现有方法，显著提升蛋白质功能预测性能。
2025-10-27 cs.AI cs.LG q-bio.QM
pLMFPPred: a novel approach for accurate prediction of functional peptides integrating embedding from pre-trained protein language model and imbalanced learning
School of Mathematics and Computer Science, Guangdong Ocean University（广东海洋大学数学与计算机学院）；School of Basic Medical Sciences, Lanzhou University（兰州大学基础医学院）；Department of Hematology, Affiliated Hospital of Guangdong Medical University（广东医科大学附属医院血液科）
本文提出 pLMFPPred，融合 ESM-2 嵌入、SMOTE-TOMEK 不平衡采样与 Shapley 特征选择，用于准确预测功能性肽和毒性肽，并在独立测试中显著优于现有方法。
2023-09-25 cs.LG q-bio.QM
Inferred global dense residue transition graphs from primary structure sequences enable protein interaction prediction via directed graph convolutional neural networks
Division of Computer Science Texas Woman’s University（计算机科学系德克萨斯女子大学）；Department of Computer Science The University of Texas Rio Grande Valley（计算机科学系德克萨斯大学里奥格兰德谷分校）
提出ProtGram-DirectGCN框架，利用全局推断的n-gram图和有向图卷积神经网络进行蛋白质相互作用预测，在有限数据下保持强劲性能。
2025-10-15 cs.AI cs.LG
Reward-Zero: Language Embedding Driven Implicit Reward Mechanisms for Reinforcement Learning
Reward-Zero通过语言嵌入驱动的隐式奖励机制，提升强化学习的样本效率、泛化能力和可扩展性。
2026-03-10 cs.LG
Learning to Align Molecules and Proteins: A Geometry-Aware Approach to Binding Affinity
Drexel University（德雷塞尔大学）
本文提出轻量级框架FIRM-DTI，通过FiLM层条件化分子嵌入和三元组损失度量学习，在DTI-DG基准上实现最先进的药物-靶标结合亲和力预测。
2025-09-25 cs.AI cs.LG q-bio.MN
Structure-guided molecular design with contrastive 3D protein-ligand learning
Acellera Labs（Acellera实验室）
本文提出结合对比学习3D结构编码与自回归分子生成的统一框架，用于解决结构导向分子设计中的挑战，生成具有优良结合性质的候选分子。
2026-04-21 cs.LG
Integrating Protein Sequence and Expression Level to Analysis Molecular Characterization of Breast Cancer Subtypes
Kansas State University（堪萨斯州立大学）
乳腺癌的复杂性和可变性对理解其进展和指导有效治疗构成了重大挑战。本研究旨在整合蛋白质序列数据与表达水平，以改善乳腺癌亚型的分子特征并预测临床结局。使用ProtGPT 2，一种专门为蛋白质序列设计的语言模型，我们生成了捕获蛋白质功能和结构特性的嵌入。将这些嵌入与蛋白质表达水平整合以形成富集的生物表示，使用机器学习方法（例如用于聚类的集成K-means和用于分类的XGBoost）对所述生物表示进行分析。我们的方法能够成功地将患者聚类为生物学上不同的组，并准确预测临床结果，如生存和生物标志物状态，实现高性能指标，特别是生存的F1评分为0.88，生物标志物状态预测为0.87。特征重要性分析确定KMT 2C、CLASP 2和MYO 1B是参与激素受体阳性和三阴性乳腺癌中激素信号传导、细胞骨架重塑和治疗抵抗的关键蛋白，对乳腺癌亚型行为和进展具有潜在影响。此外，蛋白质相互作用网络和相关性分析揭示了可能影响乳腺癌亚型行为和进展的蛋白质之间的功能相互依赖性。这些发现表明，整合蛋白质序列和表达数据提供了有价值的见解，肿瘤生物学，并有显着的潜力，以提高个性化的治疗策略，在乳腺癌护理。
2025-10-30 cs.LG q-bio.BM
Hyperbolic Graph Embedding with Enhanced Semi-Implicit Variational Inference
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
由于数据中复杂的依赖关系，对物理、社会和信息科学中产生的关系数据进行有效建模具有挑战性。在这项工作中，我们建立了半隐式图变分自动编码器，以捕获低维图潜在表示中的高阶统计量。我们将双曲几何在潜在的空间，通过庞加莱嵌入有效地表示图形表现出层次结构。为了解决经典变分推理中的朴素后验潜在分布假设，我们使用半隐式分层变分贝叶斯来隐式捕获给定图形数据的后验，这些数据可能表现出重尾，多模式，偏斜和高度相关的潜在结构。我们表明，现有的半隐式变分推理的目标可证明减少信息中观察到的图。基于这一观察，我们估计并添加一个额外的互信息项的半隐式变分推理学习目标，以捕捉丰富的相关性之间产生的输入和潜在的空间。我们表明，将此正则化项与庞加莱嵌入结合使用，可以提高学习的高级表示的质量，并实现更灵活和更忠实的图形建模。我们的实验表明，我们的方法优于现有的图形变分自动编码器在欧几里德和双曲空间的边缘链接预测和节点分类。
2021-03-10 cs.LG stat.ML
