Generative Pretrained Autoregressive Transformer Graph Neural Network applied to the Analysis and Discovery of Novel Proteins
Massachusetts Institute of Technology（麻省理工学院）
提出一种集成transformer和图卷积架构的生成式预训练模型，基于提示解决蛋白质正逆向建模任务，多任务协同提升了整体性能，可设计结构蛋白与抗菌材料。
2023-07-11 cond-mat.dis-nn cond-mat.soft cs.CL
Cross-Modality Protein Embedding for Compound-Protein Affinity and Contact Prediction
Texas A&M University（得克萨斯农工大学）
化合物-蛋白质对主导FDA批准的药物-靶标对，并且化合物-蛋白质亲和力和接触（CPAC）的预测可以帮助加速药物发现。在这项研究中，我们认为蛋白质的多模态数据，包括一维氨基酸序列和（序列预测）二维残基对接触地图。我们经验性地评估了两种单一模式的嵌入在其CPAC预测（即无结构可解释的化合物-蛋白质亲和力预测）的准确性和普遍性。我们合理化他们的表现在嵌入个人模态和学习概括嵌入标签关系的挑战。我们进一步提出了两个涉及交叉模态蛋白质嵌入的模型，并确定具有交叉相互作用（从而捕获模态之间的相关性）的模型在亲和力，接触和结合位点预测方面优于SOTA和我们的单一模态模型，这些预测在训练集中从未见过。
2020-11-14 cs.LG q-bio.BM
Accurate De Novo Prediction of Protein Contact Map by Ultra-Deep Learning Model
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
近年来，蛋白质接触预测取得了令人振奋的进展，但对于没有大量同源序列的蛋白质，预测的接触仍然是低质量的，对从头结构预测不是很有用。本文提出了一种新的深度学习方法，该方法通过由两个深度残差网络形成的超深度神经网络整合进化耦合（EC）和序列保守信息来预测接触。这种深度神经网络使我们能够模拟非常复杂的序列接触关系以及长距离的相互接触相关性。我们的方法大大优于现有的接触预测方法，并导致更准确的接触辅助蛋白质折叠。在579个蛋白质的三个数据集上进行测试，我们的方法，代表性EC方法CCMpred和CASP 11获奖者MetaPSICOV的平均top L远程预测准确率分别为0.47，0.21和0.30;我们的方法，CCMpred和MetaPSICOV的平均top L/10远程准确率分别为0.77，0.47和0.59。使用我们预测的接触作为约束的从头折叠可以产生正确的折叠（即，TMscore>0.6），而使用MetaPSICOV-和CCMpred-预测的接触可以分别仅对79和62种蛋白质这样做。此外，我们的接触辅助模型比基于模板的模型具有更好的质量。使用我们预测的接触作为限制，我们可以（从头开始）折叠398个膜蛋白中的208个，TM评分>0.5。相比之下，当我们的方法的训练蛋白质被用作模板时，同源建模只能对其中的10个进行。一个有趣的发现是，即使我们没有用任何膜蛋白训练我们的预测模型，我们的方法在膜…
2016-11-27 cs.LG q-bio.BM q-bio.QM
Predicting membrane protein contacts from non-membrane proteins by deep transfer learning
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Chicago（芝加哥大学）；University of Hong Kong（香港大学）
膜蛋白（MP）结构的计算预测是非常具有挑战性的，部分原因是缺乏足够的解决结构的同源建模。最近，直接进化偶联分析（DCA）揭示了一些光蛋白质接触预测，因此，接触辅助折叠，但DCA是有效的，只有在一些非常大的家庭，因为它只使用在一个单一的蛋白质家族的信息。本文提出了一种深度迁移学习方法，通过从数千种非膜蛋白（non-MP）中学习接触模式和复杂的序列-接触关系，可以显著改善MP接触预测。在510个非冗余MP上进行测试，我们的深度模型（仅从非MP学习）具有最高的L/10长距离接触预测精度0.69，优于我们仅由MP训练的深度模型（0.63），并且远远优于代表性的DCA方法CCMpred（0.47）和CASP 11获奖者MetaPSICOV（0.55）。当由非MP和MP混合训练时，我们的深度模型的准确性可以进一步提高到0.72。当仅评估跨膜区域中的接触时，当分别由非MP和MP的混合、仅由非MP和仅由MP训练时，我们的方法具有最高L/10远程准确度0.62、0.57和0.53，仍然比MetaPSICOV（0.45）和CCMpred（0.40）好得多。所有这些结果表明，我们的深度模型从非MP学习到的序列-结构关系可以很好地推广到MP接触预测。改进的接触预测还导致更好的接触辅助折叠。仅使用最高预测联系人作为约束，当仅由非MP训练时，我们的深度学习方法可以折叠TMscore>0.6的510个MP中的1…
2017-04-24 cs.LG cs.NE q-bio.BM
Unsupervised and Supervised Structure Learning for Protein Contact Prediction
TOYOTA TECHNOLOGICAL INSTITUTE AT CHICAGO（芝加哥丰田理工学院）
蛋白质接触为理解蛋白质结构和功能提供了关键信息，因此从序列中预测接触是一个重要的问题。最近的研究表明，一些正确预测的长距离接触可以帮助拓扑级结构建模。因此，接触预测和接触辅助蛋白质折叠也证明了这个问题的重要性。本文将简要介绍现有的相关工作，然后展示如何通过具有拓扑约束的无监督图模型建立接触预测。此外，我将解释如何使用监督深度学习方法来进一步提高接触预测的准确性。最后，我将提出一个名为多样性得分的评分系统来衡量联系预测的新颖性，以及一个算法，该算法根据新的评分系统预测联系。
2020-08-31 cs.LG q-bio.QM stat.ML
Knowledge from Large-Scale Protein Contact Prediction Models Can Be Transferred to the Data-Scarce RNA Contact Prediction Task
Dartmouth College（达特茅斯学院）；Northwestern University（西北大学）；Central China Normal University（华中师范大学）
本文发现基于蛋白质协同进化Transformer模型学到的结构知识可迁移到数据稀缺的RNA接触预测任务，并通过迁移学习框架显著提升预测性能，缓解了数据稀缺瓶颈。
2024-01-19 cs.LG q-bio.QM
DRLComplex: Reconstruction of protein quaternary structures using deep reinforcement learning
University of Missouri（密苏里大学）
预测的链间残基-残基接触可用于从头开始构建蛋白质复合物的四级结构。然而，只有少数的方法已经开发出使用预测的链间接触来重建蛋白质四级结构。在这里，我们提出了一种基于深度强化学习（DRL Complex）的基于Agent的自学习方法，以链间接触作为距离约束来构建蛋白质复合物结构。我们在同源二聚体和异源二聚体蛋白质复合物的两个标准数据集上严格测试了DRL Complex（即，CASP-CAPRI同源二聚体和Std_32异源二聚体数据集）。利用真实接触作为输入，DRLComplex在两个数据集上分别实现了0.9895和0.9881的高平均TM分数以及0.2197和0.92的低平均界面RMSD（I_RMSD）。当使用预测的接触时，该方法对于同二聚体和异二聚体分别实现0.73和0.76的TM分数。我们的实验发现，重建的四级结构的准确性取决于接触预测的准确性。与其他优化方法相比，DRL Complex的性能与先进的梯度下降方法相近，优于Markov Chain Monte Carlo模拟方法和基于模拟退火的方法，验证了DRL Complex用于蛋白质复合物四级结构重构的有效性.
2022-05-26 cs.AI cs.LG q-bio.BM
Explainable Deep Relational Networks for Predicting Compound-Protein Affinities and Contacts
Department of Electrical；Computer Engineering, Texas A\&M University, College Station, TX 77843, United States；Department of Computer Science；Engineering, Texas A\&M University, College Station, TX 77843, United States
预测化合物与蛋白质的亲和力对于加速药物发现至关重要。机器学习最近取得的进展主要集中在准确性上，但在可解释性方面还有很多需要改进的地方。通过分子联系的基础亲和力，我们的大规模的可解释性评估发现常用的注意力机制不足。因此，我们制定了一个层次化的多目标学习问题，其预测的接触形成的基础上预测的亲和力。我们进一步设计了一个物理启发的深度关系网络，DeepRelations，具有内在可解释的架构。具体来说，各种原子级接触或“关系”导致分子级亲和力预测。嵌入式注意与预测的结构上下文和监督部分可用的训练接触。DeepRelations表现出了卓越的可解释性：在不影响亲和力预测的情况下，它分别将测试、化合物独特、蛋白质独特和两者都独特的接触预测的AUPRC提高了9.5、16.9、19.3和5.7倍。我们的研究代表了第一个专门的模型开发和系统的模型评估，可解释的机器学习的化合物-蛋白质亲和力。
2019-12-29 cs.LG q-bio.BM
Protein Contact Prediction by Integrating Joint Evolutionary Coupling Analysis and Supervised Learning
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
蛋白质接触包含了蛋白质结构和功能研究的重要信息，但从序列中预测蛋白质接触仍然是一个非常具有挑战性的问题。进化耦合（EC）分析和监督机器学习的方法来预测接触，利用不同类型的信息，分别。本文提出了一种群体图形套索（GGL）接触预测方法，结合联合多族EC分析和监督学习。与现有的单家族EC分析仅使用靶蛋白家族中的残基共进化信息不同，我们的联合EC分析使用靶蛋白家族及其相关家族中的残基共进化，这些家族可能具有不同的序列但相似的折叠。为了实现联合EC分析，我们使用高斯图形模型（GGM）建模一组相关的蛋白质家族，然后通过最大似然法共同估计其精度矩阵，但精度矩阵应具有相似的残差共同进化模式。为了进一步提高估计精度矩阵的准确性，我们采用监督学习方法从各种进化和非进化信息中预测接触概率，然后将预测概率作为先验纳入我们的GGL框架。实验表明，我们的方法可以更准确地预测接触比现有的方法，我们的方法执行更好的保守和家庭特定的接触。
2015-04-08 cs.LG math.OC q-bio.BM
Predicting protein contact map using evolutionary and physical constraints by integer programming (extended version)
Toyota Technological Institute at Chicago（芝加哥丰田工业大学）
动机蛋白质接触图描述了蛋白质中残基的空间和功能关系，包含了蛋白质三维结构预测的关键信息。尽管已经被广泛研究，但仅使用序列信息预测接触图仍然非常具有挑战性。现有的方法大多是逐元素地预测接触图矩阵，忽略了接触之间的相关性和整个接触图的物理可行性。最近的几种方法预测接触地图的基础上残基的共同进化，考虑到接触相关性和执行稀疏约束，但这些方法需要非常大量的序列同源物的蛋白质在考虑和所得的接触地图可能仍然是物理上不利的。结果本文提出了一种新的方法PhyCMAP接触地图预测，集成了机器学习和整数线性规划（ILP）的进化和物理约束。进化约束包括序列特征、残基协同进化和环境特异性统计势。物理约束比稀疏约束更具体地描述了接触之间的关系。因此，我们的方法大大减少了接触映射矩阵的解空间，从而显着提高了预测精度。实验结果证实，PhyCMAP优于目前流行的方法，无论有多少序列同源物可用于所考虑的蛋白质。PhyCMAP可以在PSIBLAST搜索序列同源物后几分钟内预测接触，比最近的两种方法PSICOV和EvFold快得多。有关Web服务器，请参见http://raptorx.uchicago.edu。
2013-08-19 cs.CE cs.LG math.OC
A Protein Structure Prediction Approach Leveraging Transformer and CNN Integration
Johns Hopkins University（约翰斯·霍普金斯大学）；University of Washington（华盛顿大学）；Columbia University（哥伦比亚大学）；New York University（纽约大学）
针对现有蛋白质结构预测进展无法满足信息需求的问题，本文提出融合CNN与有监督Transformer蛋白质语言模型的DstruCCN模型，结合二者特征预测结合位点矩阵并重构三维结构，助力蛋白质结构研究。
2024-03-08 cs.LG q-bio.BM
Transformers in Protein: A Survey
Department of Electronics and Computer Engineering（电子与计算机工程系）；Shenzhen MSU-BIT University（深圳MSU-BIT大学）；School of Computer Science and Technology（计算机科学与技术学院）
本综述调研了超100项研究，系统梳理Transformer在蛋白质结构预测、功能预测、相互作用分析、药物发现等任务中的应用，总结关键数据集与代码资源，并展望未来研究方向。
2025-05-27 cs.CR cs.LG q-bio.QM
Transformer Neural Networks Attending to Both Sequence and Structure for Protein Prediction Tasks
George Mason University（乔治梅森大学）
越来越多的基因组蛋白质序列的解码开辟了新的研究途径，连接蛋白质序列的功能与Transformer神经网络。最近的研究表明，已知蛋白质序列的数量支持通过Transformers学习有用的，任务不可知的序列表示。在本文中，我们认为学习联合序列结构表示可以为功能相关的预测任务提供更好的表示。我们提出了一个Transformer神经网络，出席了序列和三级结构。我们表明，这种联合表示比基于序列的表示更强大，并且它们在各种指标上对超家族成员产生更好的性能。
2022-06-17 cs.AI cs.LG q-bio.QM
Generative power of a protein language model trained on multiple sequence alignments
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Institute of Bioengineering（生物工程研究所）；School of Life Sciences（生命科学学院）；SIB Swiss Institute of Bioinformatics（瑞士生物信息学研究所）
本文提出并验证了一种基于 MSA Transformer 掩码语言建模目标的迭代序列生成方法，证明其在同源性、共进化、结构度量及高阶统计分布上优于或媲美 Potts 模型，展示了该模型在蛋白质序列生成与设计中的强大能力。
2022-11-20 cs.LG q-bio.BM q-bio.QM
Protein language models trained on multiple sequence alignments learn phylogenetic relationships
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；SIB Swiss Institute of Bioinformatics（瑞士生物信息学研究所）
具有注意力的自监督神经语言模型最近被应用于生物序列数据，推进结构，功能和突变效应预测。一些蛋白质语言模型，包括MSA Transformer和AlphaFold的EvoFormer，将进化相关蛋白质的多个序列比对（MSA）作为输入。MSA Transformer的行注意力的简单组合导致了最先进的无监督结构接触预测。我们表明，同样简单，通用的，MSA Transformer的列关注的组合强烈相关的序列之间的汉明距离在MSA。因此，基于MSA的语言模型编码详细的系统发育关系。我们进一步表明，这些模型可以分离的共同进化信号编码的功能和结构的限制，反映历史偶然性的系统发育相关性。为了评估这一点，我们生成合成的MSA，无论是没有或有同源性，从天然MSA训练的波茨模型。我们发现，无监督的接触预测时，使用MSA Transformer与推断Potts模型的系统发育噪声更有弹性。
2022-09-21 cs.LG q-bio.BM q-bio.QM
Do Protein Transformers Have Biological Intelligence?
University of Delaware（德克萨斯大学）；Beijing University of Posts and Telecommunications（北京邮电大学）；Yale University（耶鲁大学）；University of Louisiana at Lafayette（路易斯安那州立大学）
本文构建 Protein-FN 数据集，提出轻量高效的 SPT 架构与 Sequence Score 可解释方法，验证蛋白质 Transformer 能以高准确率发现符合生物学知识的序列模式。
2025-06-07 cs.AI cs.LG q-bio.BM
Insights Into the Inner Workings of Transformer Models for Protein Function Prediction
Fraunhofer Institute for Telecommunications, Heinrich-Hertz-Institut, HHI（弗劳恩霍夫电信研究所（海因里希·赫兹研究所））；Carl von Ossietzky University of Oldenburg（卡尔·冯·奥西茨基奥尔登堡大学）
本研究扩展集成梯度XAI方法，检查微调至蛋白质功能预测的Transformer内部表示，识别关键氨基酸并验证其与生物学注释的统计对应，提供开源实现。
2024-02-09 cs.LG q-bio.BM
Large-Scale Multi-omic Biosequence Transformers for Modeling Protein-Nucleic Acid Interactions
Duke University School of Medicine（杜克大学医学院）；NYU Langone Health（纽约大学朗格尼医学中心）；New York University（纽约大学）
OmniBioTE是一种大规模多组学生物序列变压器，通过混合蛋白质和核酸数据训练，实现了对蛋白质-核酸相互作用的高效预测和结构信息学习。
2026-01-17 cs.LG q-bio.BM
ETDock: A Novel Equivariant Transformer for Protein-Ligand Docking
College of Electronics and Information Engineering, Shenzhen University（深圳大学电子与信息工程学院）；Tencent AI Lab（腾讯AI实验室）
ETDock提出了一种等变变换器网络，通过融合配体图层面特征和迭代优化生成优化配体姿态，实现蛋白质-配体结合预测的高性能表现。
2026-01-03 cs.LG q-bio.BM
Vaxformer: Antigenicity-controlled Transformer for Vaccine Design Against SARS-CoV-2
University of Edinburgh（爱丁堡大学）；The Alan Turing Institute（艾伦·图灵研究所）；University of Gdańsk（格但斯克大学）；University of Victoria（维多利亚大学）
提出条件蛋白质语言模型Vaxformer，生成抗原性受控的SARS-CoV-2刺突蛋白，在稳定性和抗原性评估中优于现有模型，为通用疫苗设计提供新方法。
2023-05-18 cs.LG q-bio.BM q-bio.QM
LC-SEPLM: long-range contact-supervised adaptation for sequence-only protein representation learning
研究针对蛋白质语言模型未明确学习三维残基接触的问题，提出LC-SEPLM，通过LoRA和远程残基对接触监督适配ESM2，经训练后在多项蛋白质任务上优于ESM2，证明该方法能有效引入结构信息并保留序列推理。
2026-07-30 cs.AI cs.LG
A Comprehensive Review of Transformer-based language models for Protein Sequence Analysis and Design
Department of Computer Science and Engineering, Shiv Nadar University（计算机科学与工程系，Shiv Nadar大学）；Department of Computer Science and Engineering, Adamas University（计算机科学与工程系，Adamas大学）
本文系统综述了基于Transformer的语言模型在蛋白质序列分析与设计中的应用，涵盖功能识别、结构预测、从头生成和结合预测等任务，并总结现有方法的优缺点及未来研究方向。
2025-07-18 cs.AI cs.LG q-bio.QM
Multimodal Pre-Training Model for Sequence-based Prediction of Protein-Protein Interaction
Baidu Inc.（百度公司）
蛋白质相互作用（PPI）是许多生物过程的基本要素，其中两种或多种蛋白质物理结合在一起以实现其功能。PPI建模对于许多生物医学应用是有用的，例如疫苗设计、抗体治疗和肽药物发现。预训练蛋白质模型以学习有效的表示对于PPI至关重要。PPI的大多数预训练模型都是基于序列的，它们天真地将自然语言处理中使用的语言模型应用于氨基酸序列。更先进的工作利用结构感知预训练技术，利用已知蛋白质结构的接触图。然而，无论是序列还是接触图都不能完全表征与PPI问题密切相关的蛋白质的结构和功能。受此启发，我们提出了一个多模态蛋白质预训练模型，该模型具有三种模态：序列，结构和功能（S2 F）。值得注意的是，我们不是使用接触图来学习氨基酸水平的刚性结构，而是使用重原子的点云的拓扑结构复合体来编码结构特征。它允许我们的模型不仅学习主链的结构信息，还学习侧链的结构信息。此外，我们的模型结合了从文献或手动注释中提取的蛋白质的功能描述的知识。我们的实验表明，S2 F学习的蛋白质嵌入在各种PPI任务上都取得了良好的性能，包括跨物种PPI、抗体-抗原亲和力预测、SARS-CoV-2的抗体中和预测以及突变驱动的结合亲和力变化预测。
2021-12-09 cs.LG q-bio.BM
PGraphDTA: Improving Drug Target Interaction Prediction using Protein Language Models and Contact Maps
University of California Los Angeles（加利福尼亚大学洛杉矶分校）
本研究提出PGraphDTA方法，通过整合蛋白质语言模型和接触图信息作为归纳偏置，改进药物靶点相互作用预测，显著优于基线模型，有望加速药物发现过程。
2024-02-11 cs.LG q-bio.QM
Evaluating protein binding interfaces with PUMBA
Bioinformatics Research Group (BioRG)（生物信息学研究组）；Knight Foundation School of Computing and Information Sciences（骑士基金会计算与信息科学学院）；Florida International University（佛罗里达国际大学）；Biomolecular Sciences Institute（生物分子科学研究所）
本文提出 PUMBA，通过用 Vision Mamba 替换 PIsToN 的 Vision Transformer 主干来增强蛋白质-蛋白质界面评分，并在多个大规模公共数据集上实现稳定优于 PIsToN 的表现。
2025-10-19 cs.LG q-bio.QM
Predicting protein inter-residue contacts using composite likelihood maximization and deep learning
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；Peking University（北京大学）；Huazhong University of Science and Technology（华中科技大学）
准确预测蛋白质残基间的接触对于计算蛋白质的三级结构具有重要意义。残基间协同进化事件的分析已被证明是推断残基间接触的有效方法。马尔可夫随机场（MRF）技术虽然被广泛地用于接触预测，但遭受以下困境：MRF的实际似然函数是准确的但计算耗时，相反，对实际似然的近似，例如伪似然，计算有效但不准确。因此，如何同时实现准确性和效率仍然是一个挑战。在这项研究中，我们提出了这样一种方法（称为clmDCA）的接触预测。与使用伪似然的plmDCA不同，即，单个残差的条件概率的乘积，我们的方法使用复合似然，即，所有剩余对的条件概率的乘积。理论上证明了复合似然比伪似然更能逼近实际似然函数。同时，复合似然仍然是有效的最大化，从而确保clmDCA的效率。我们在流行的基准数据集（包括PSICOV数据集和CASP-11数据集）上进行了全面的实验，以表明：i）单独的clmDCA在预测精度上优于现有的基于MRF的方法。ii）当配备深度学习技术进行细化时，clmDCA的预测准确性进一步显著提高，表明clmDCA适用于后续细化过程。我们进一步提出了成功的应用预测的接触，以准确地建立三级结构的蛋白质在PSICOV数据集。可访问性：软件clmDCA和服务器可通过http://protein.ict.ac.cn/clmDCA/公开访问。
2018-08-31 cs.LG q-bio.BM stat.ME
Transformer-based toxin-protein interaction analysis prioritizes airborne particulate matter components with potential adverse health effects
The Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）
该研究开发了基于Transformer的深度学习工具tipFormer，通过双重预训练语言模型和交叉注意力机制捕捉毒素与蛋白质的相互作用，以高通量识别并优先筛选空气颗粒物中具有潜在不良健康影响的有毒成分。
2024-12-21 cs.LG q-bio.BM
BERTology Meets Biology: Interpreting Attention in Protein Language Models
Salesforce Research（Salesforce研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Transformer架构已被证明可以学习用于蛋白质分类和生成任务的有用表示。然而，这些表示在可解释性方面提出了挑战。在这项工作中，我们展示了一套方法来分析蛋白质Transformer模型，通过镜头的注意。我们表示关注：（1）捕获蛋白质的折叠结构，连接在基础序列中相距较远但在三维结构中空间上接近的氨基酸，（2）靶向结合位点，蛋白质的关键功能组分，以及（3）随着层深度的增加，关注逐渐更复杂的生物物理特性。我们发现这种行为在三种Transformer架构（BERT，AL BERT，XLNet）和两种不同的蛋白质数据集上是一致的。我们还提出了一个三维可视化的注意力和蛋白质结构之间的相互作用。可视化和分析代码可在https://github.com/salesforce/provis上获得。
2021-03-28 cs.CL cs.LG q-bio.BM
Tailoring Molecules for Protein Pockets: a Transformer-based Generative Solution for Structured-based Drug Design
University of Science and Technology of China（中国科学技术大学）；Microsoft Research（微软研究院）；Renmin University of China（中国人民大学）
基于结构的药物设计在计算机辅助药物发现中受到越来越多的关注。与通过计算筛选预定义化合物库的虚拟筛选方法相比，基于靶蛋白结构的从头药物设计可以提供新的候选药物。在本文中，我们提出了一种名为TamGent（具有Transformer的目标感知分子生成器）的生成解决方案，该解决方案可以针对给定的目标直接从头开始生成候选药物，克服了现有化合物库的限制。遵循Transformer框架（深度学习中最先进的框架），我们设计了Transformer编码器的变体来处理目标的3D几何信息，并在PubChem的1000万种化合物上预训练Transformer解码器，以生成候选药物。通过对药物库中靶点候选化合物的系统评价，发现化合物的结合亲和力和药物敏感性都有较大提高。TamGent在有效性和效率方面都优于以前的基准。通过产生SARS-CoV-2主要蛋白酶和致癌突变体KRAS G12C的候选化合物进一步验证了该方法。结果表明，我们的方法不仅重新发现了先前验证的药物分子，而且还产生了具有更好对接分数的新分子，扩大了化合物库，并可能导致发现新药。
2022-08-30 cs.LG q-bio.BM
Folding membrane proteins by deep transfer learning
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；University of Chicago（芝加哥大学）；University of Hong Kong（香港大学）；King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）
膜蛋白（MP）结构的计算解析是具有挑战性的，部分原因是缺乏足够的解决结构的同源性建模。在这里，我们描述了一种高通量深度迁移学习方法，该方法首先通过从非膜蛋白（非MP）学习来预测MP接触，然后使用预测的接触作为距离约束来预测三维结构模型。在510个非冗余MP上进行测试，我们的方法具有比现有方法至少好0.18的接触预测精度，预测218个MP的正确折叠（TMscore至少为0.6），并分别为57和108个MP生成RMSD小于4埃和5埃的三维模型。在连续自动模型评估（CAMEO）项目中进行的严格盲测表明，我们的方法预测了两个最近测试MP的210个残基的高分辨率三维模型，RMSD接近2埃。我们估计，我们的方法可以预测1，345至1，871个审查的人类多通道MP的正确折叠，包括几百个新的折叠，这将有助于发现靶向膜蛋白的药物。
2017-08-28 cs.LG q-bio.BM
Pairing interacting protein sequences using masked language modeling
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；SIB Swiss Institute of Bioinformatics（瑞士生物信息学研究所）
本文提出 DiffPALM，利用 MSA Transformer 的掩码语言建模能力捕获链间协同进化，在不微调的情况下实现蛋白质相互作用序列配对，并在浅层 MSA 基准和 AlphaFold-Multimer 复合物结构预测中优于现有方法。
2023-08-14 cs.LG q-bio.BM
Discrete Ricci Curvature on Protein Contact Graphs for Lightweight Fold Classification
研究蛋白质折叠分类，将α碳接触图上的离散Ricci曲率作为轻量级结构描述符，与多种基线比较。结果显示其性能优于平均池化的ESM-2嵌入，与持久同调结合性能最强，为预训练蛋白质语言模型嵌入提供实用替代方案。
2026-07-21 cs.LG
Tranception: protein fitness prediction with autoregressive transformers and inference-time retrieval
University of Oxford（牛津大学）；Harvard Medical School（哈佛医学院）；Cohere
准确建模蛋白质序列适应度景观的能力对于广泛的应用至关重要，从量化人类变异对疾病可能性的影响，到预测病毒中的免疫逃逸突变和设计新型生物蛋白质。在多序列比对上训练的蛋白质序列的深度生成模型是迄今为止解决这些任务的最成功的方法。然而，这些方法的性能取决于用于可靠训练的足够深和多样的比对的可用性。因此，它们的潜在范围受到许多蛋白质家族很难（如果不是不可能的话）对齐的事实的限制。在来自不同家族的大量非对齐蛋白质序列上训练的大语言模型解决了这些问题，并显示出最终弥合性能差距的潜力。我们介绍了Tranception，一种新的Transformer架构，利用自回归预测和检索同源序列的推理，以实现最先进的健身预测性能。鉴于其对多个突变体的显着更高的性能，对浅比对的鲁棒性和对插入缺失评分的能力，我们的方法提供了比现有方法更大的范围。为了能够在更广泛的蛋白质家族中进行更严格的模型测试，我们开发了ProteinGym -一套广泛的变异效应多重检测，与现有的基准相比，大大增加了检测的数量和多样性。
2022-05-27 cs.LG
xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein
BioMap Research（博研生物研究院）；Tsinghua University（清华大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对现有蛋白质语言模型无法同时兼顾理解与生成任务的问题，提出统一预训练框架xTrimoPGLM，以1000亿参数规模训练，在多项基准上性能领先，还支持蛋白质从头与可编程生成，推动蛋白质基础模型发展。
2024-12-09 cs.AI cs.LG q-bio.QM
pLDDT-Predictor: High-speed Protein Screening Using Transformer and ESM2
针对 AlphaFold2 计算成本高、难以高通量筛选的问题，本文提出基于 ESM2 嵌入与 Transformer 的 pLDDT-Predictor，可快速预测 pLDDT 并实现 250,000 倍加速。
2025-06-06 cs.AI cs.LG q-bio.BM
SaDiT: Efficient Protein Backbone Design via Latent Structural Tokenization and Diffusion Transformers
Carnegie Mellon University（卡内基梅隆大学）；Zhejiang Lab（浙江实验室）；The Chinese University of Hong Kong（香港中文大学）
SaDiT通过结合潜在结构标记化和扩散变换器，实现了高效的蛋白质骨架设计，提升了生成速度和结构可行性。
2026-02-06 cs.AI cs.LG
ReLSO: A Transformer-based Model for Latent Space Optimization and Generation of Proteins
Yale University（耶鲁大学）
强大的自然语言模型的发展提高了学习蛋白质序列的有意义表示的能力。此外，高通量诱变、定向进化和下一代测序的进展使得大量标记的适应性数据得以积累。利用这两个趋势，我们引入了正则化潜在空间优化（ReLSO），这是一种基于深度变换的自动编码器，具有高度结构化的潜在空间，经过训练可以联合生成序列并预测适应度。通过正则化的预测头，ReLSO引入了一个强大的蛋白质序列编码器和一种新的方法来实现高效的适应度景观遍历。使用ReLSO，我们显式地对大型标记数据集的序列功能景观进行建模，并通过使用基于梯度的方法在潜在空间内进行优化来生成新分子。我们在几个公开的蛋白质数据集上评估了这种方法，包括抗雷珠单抗和GFP的变体集。与其他方法相比，我们观察到ReLSO具有更高的序列优化效率（每个优化步骤的适应度增加），其中ReLSO更稳健地生成高适应度序列。此外，由联合训练的ReLSO模型学习的基于注意力的关系为序列级适应度归因信息提供了潜在的途径。
2022-05-31 cs.LG
ProtSent: Protein Sentence Transformers
Department of Biological Chemistry（生物化学系）；Department of Computer and Information Science（计算机与信息科学系）；The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；Ben-Gurion University of the Negev（内盖夫本·古里安大学）
ProtSent通过对比学习框架改进蛋白质语言模型，提升蛋白质功能和结构表征能力，在23项下游任务中表现优异，尤其在远程同源检测和结构检索中取得显著提升。
2026-10-20 cs.CL cs.LG
Deciphering the Language of Nature: A transformer-based language model for deleterious mutations in proteins
Raymond G. Perelman Center for Cellular and Molecular Therapeutics, Children’s Hospital of Philadelphia（费城儿童医院雷蒙德·G·佩雷尔曼细胞与分子治疗中心）；Palisades Charter High School（帕利塞德特许高中）；Massachusetts Institute of Technology（麻省理工学院）；Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）
本文提出MutFormer，一种基于transformer的模型，用于预测蛋白质错义突变的致病性，通过结合自注意力和卷积层，提升对氨基酸突变依赖性的建模能力。
2023-02-10 cs.LG q-bio.GN q-bio.QM
Protein contacts are already in the attention: a single-forward-pass alternative to the Categorical Jacobian
Independent Researcher（独立研究员）
提出通过选择少量注意力头（仅需10个标记蛋白质）平均即可在一次前向传播中恢复蛋白质接触，在无泄漏数据上优于分类雅可比矩阵，并发现该信号依赖于双向预训练。
2026-07-01 cs.AI cs.LG
Masked Language Modeling for Proteins via Linearly Scalable Long-Context Transformers
Google（谷歌）；University of Cambridge（剑桥大学）；Alan Turing Institute（艾伦·图灵研究所）；DeepMind（深度思维）
Transformer模型在各种领域都取得了最先进的成果。然而，对训练注意力机制以学习远距离输入之间的复杂依赖关系的成本的关注继续增长。作为回应，利用学习到的注意力矩阵的结构和稀疏性的解决方案已经蓬勃发展。然而，涉及长序列的实际应用，例如生物序列分析，可能无法满足这些假设，从而排除了对这些模型的探索。为了解决这个问题，我们提出了一个新的Transformer架构，表演者，通过正交随机特征（FAVOR）的基础上快速注意。我们的机制在序列中的令牌数量上线性而不是二次地缩放，其特征在于次二次空间复杂度，并且不包含任何稀疏模式先验。此外，它提供了强有力的理论保证：无偏估计的注意矩阵和一致收敛。它还与预先训练的常规Transformers向后兼容。我们证明了它的有效性的蛋白质序列建模的挑战性任务，并提供详细的理论分析。
2020-10-01 cs.CL cs.LG stat.ML
Central Dogma Transformer III: Interpretable AI Across DNA, RNA, and Protein
Independent Researcher（独立研究员）
CDT-III通过双阶段虚拟细胞嵌入器架构，跨DNA、RNA和蛋白质实现机制导向AI，通过蛋白质预测提升RNA表现，揭示RNA-only模型的局限性，并在无临床数据情况下预测CD52敲低的副作用。
2026-03-26 cs.LG q-bio.GN
FragXsiteDTI: Revealing Responsible Segments in Drug-Target Interaction with Transformer-Driven Interpretation
University of Central Florida（中佛罗里达大学）
本研究提出基于Transformer的FragXsiteDTI模型，首次同时利用药物分子片段与蛋白口袋，借助可学习潜变量数组实现信息转换，在三个基准数据集上性能优于现有最优模型，且具备DTI关键作用片段的可解释性。
2023-11-04 cs.AI cs.LG
Enhancing Reinforcement learning in 3-Dimensional Hydrophobic-Polar Protein Folding Model with Attention-based layers
Faculty of Engineering, The University of Tokyo（东京大学工学部）
本研究将深度Q网络与注意力机制结合，用于三维疏水-极性蛋白质折叠模型，通过自回避行走和专门奖励函数，在标准基准上取得短序列最佳解和长链近最优结果。
2025-04-22 cs.AI cs.LG
ProtGO: A Transformer based Fusion Model for accurately predicting Gene Ontology (GO) Terms from full scale Protein Sequences
University of Central Florida（中佛罗里达大学）
本研究提出基于Transformer的蛋白质功能注释融合模型ProtGO，可从全序列预测GO术语，准确率达当前最优，轻量低耗且不受序列长度限制。
2024-12-08 cs.LG q-bio.GN
