Generative power of a protein language model trained on multiple sequence alignments
École Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Institute of Bioengineering(生物工程研究所);School of Life Sciences(生命科学学院);SIB Swiss Institute of Bioinformatics(瑞士生物信息学研究所)
本文提出并验证了一种基于 MSA Transformer 掩码语言建模目标的迭代序列生成方法,证明其在同源性、共进化、结构度量及高阶统计分布上优于或媲美 Potts 模型,展示了该模型在蛋白质序列生成与设计中的强大能力。
2022-11-20 cs.LG q-bio.BM q-bio.QM
Generative Flows on Discrete State-Spaces: Enabling Multimodal Flows with Applications to Protein Co-Design
University of Oxford(牛津大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出离散流模型(DFMs),利用连续时间马尔可夫链实现离散数据的流匹配,统一了离散扩散模型,并构建多模态流框架,在蛋白质序列与结构协同设计任务中取得最先进性能。
2024-06-05 cs.LG q-bio.QM stat.ML
ProT-GFDM: A Generative Fractional Diffusion Model for Protein Generation
本文提出ProT-GFDM,一种利用分数阶随机动力学进行蛋白质主链建模的生成式扩散模型,通过超扩散特性更好地捕捉长程依赖,在密度、覆盖率和FID指标上优于传统方法。
2025-04-29 q-bio.QM
Deep Supervised and Convolutional Generative Stochastic Network for Protein Secondary Structure Prediction
Princeton University(普林斯顿大学)
蛋白质二级结构预测是蛋白质结构预测中的一个基本问题。在这里,我们提出了一个新的监督生成随机网络(GSN)的基础上的方法来预测局部二级结构与深层次的表示。GSN是最近提出的深度学习技术(Bengio & Thibodeau-Laufer,2013),用于全球训练深度生成模型。我们提出了GSN的监督扩展,它学习马尔可夫链从条件分布中采样,并将其应用于蛋白质结构预测。为了将模型扩展到全尺寸的高维数据,例如具有数百个氨基酸的蛋白质序列,我们引入了卷积架构,该架构允许在多层分层表示中进行有效学习。我们的架构独特地专注于预测结构化的低级标签,这些标签通过模型学习的低级和高级表示来通知。在我们的应用中,这对应于标记每个氨基酸残基的二级结构状态。我们在不同的非同源蛋白质组上训练和测试了该模型,这些蛋白质具有小于30%的序列同一性。我们的模型在CB 513数据集上实现了66.4%的Q8准确度,优于先前报道的最佳性能64.9%(Wang et al.,2011)对于这个具有挑战性的二级结构预测问题。
2014-03-06 cs.CE cs.LG q-bio.QM
Training self-supervised peptide sequence models on artificially chopped proteins
Amazon Devices(亚马逊设备部门);Amazon Machine Learning Solutions Lab(亚马逊机器学习解决方案实验室);AWS Professional Services(亚马逊云科技专业服务部门)
蛋白质的表征学习主要集中在对蛋白质序列的整体理解上,而不管它们的长度如何。然而,较短的蛋白质(称为肽)与较长的蛋白质相比具有不同的结构和功能。不幸的是,没有那么多天然存在的肽可用于测序,因此用于训练的肽特异性数据较少。在本文中,我们提出了一个新的肽数据增强计划,我们训练肽语言模型人工构建的肽,是小的连续子集的较长的野生型蛋白质,我们称之为“切碎的蛋白质”的训练肽。我们评估了用切碎的蛋白质与天然肽训练的模型的代表性潜力,发现用切碎的蛋白质训练语言模型会导致短蛋白质序列的更一般化的嵌入。这些肽特异性模型也比在全长蛋白质上训练的语言模型更好地保留了它们所来源的原始蛋白质的信息。我们将掩蔽语言模型的训练目标与三种新的肽特定训练目标进行了比较:下一个肽预测,对比肽选择和进化加权MLM。我们证明了深度突变扫描肽基准的改进的zero-shot学习性能。
2022-11-09 cs.LG q-bio.BM q-bio.QM
Few Shot Protein Generation
Massachusetts Institute of Technology(麻省理工学院);Simons Machine Learning Center(西蒙斯机器学习中心);New York Structural Biology Center(纽约结构生物学中心)
我们提出的MSA到蛋白质的Transformer,蛋白质序列的生成模型的条件下,蛋白质家族的多个序列比对(MSA)。与学习蛋白质家族的生成模型的现有方法不同,MSA到蛋白质Transformer直接在多个序列比对的学习编码上调节序列生成,从而避免了对拟合专用家族模型的需要。通过在Pfam中训练大量精心策划的多序列比对,我们的MSA到蛋白质Transformer很好地推广到训练期间未观察到的蛋白质家族,并且优于传统的家族建模方法,特别是当MSA很小时。我们的生成方法准确地建模上位性和插入缺失,并允许精确的推理和有效的采样不同于其他方法。我们展示了我们的MSA到蛋白质的Transformer的蛋白质序列建模能力,并将其与综合基准实验中的替代序列建模方法进行比较。
2022-04-03 cs.AI q-bio.BM q-bio.QM
Adaptive machine learning for protein engineering
Stanford University School of Medicine(斯坦福大学医学院);Stanford University(斯坦福大学);Microsoft Research New England(微软新英格兰研究院)
从数据中学习以预测蛋白质序列如何编码功能的机器学习模型正在成为一种有用的蛋白质工程工具。然而,当使用这些模型来建议新的蛋白质设计时,必须处理蛋白质序列的巨大组合复杂性。在这里,我们回顾如何使用序列到功能机器学习代理模型来选择序列进行实验测量。首先,我们讨论如何通过单轮机器学习优化来选择序列。然后,我们讨论顺序优化,其目标是发现优化的序列,并在多轮训练,优化和实验测量中改进模型。
2021-07-06 cs.LG q-bio.BM q-bio.QM
Efficient generative modeling of protein sequences using simple autoregressive models
生成模型作为新的序列数据驱动的蛋白质设计方法的有前途的候选者出现,并用于提取隐藏在快速增长的序列数据库中的蛋白质的结构和功能信息。在这里,我们提出了简单的自回归模型作为高度准确但计算效率高的生成序列模型。我们表明,它们与基于玻尔兹曼机或深度生成模型的现有方法类似,但计算成本大大降低(在$10^2$和$10^3$之间)。此外,我们的模型结构简单,具有独特的数学优势,转化为序列生成和评估的适用性提高。在这些模型中,我们可以很容易地估计给定序列的概率,并且使用模型的熵,与特定蛋白质家族相关的功能序列空间的大小。在反应调节器的例子中,我们发现了大量的ca。$10^{68}$可能的序列,然而,它只构成天文学上的小部分$10^{-80}$的所有氨基酸序列的相同长度。这些发现说明了通过生成序列模型探索序列空间的潜力和困难。
2021-11-09 cond-mat.dis-nn cond-mat.stat-mech q-bio.BM
State-specific protein-ligand complex structure prediction with a multi-scale deep generative model
California Institute of Technology(加州理工学院);Nvidia Corporation(英伟达公司);Entos, Inc.(Entos公司)
本文提出 NeuralPLexer,仅依据蛋白质序列与配体分子图,通过多尺度扩散生成模型预测状态特异性蛋白质-配体复合物及构象变化,并在对接、结构恢复和全局蛋白质准确性上超越现有方法。
2023-04-19 cs.LG q-bio.BM q-bio.QM
Generative Capacity of Probabilistic Protein Sequence Models
Temple University(天普大学)
Potts模型和变分自编码器(VAE)最近作为生成蛋白质序列模型(GPSM)获得了普及,以探索适应度景观并预测突变的影响。尽管令人鼓舞的结果,GPSM生成的概率分布的定量表征和比较仍然缺乏。目前尚不清楚GPSM是否可以忠实地再现由于上位性而在天然序列中观察到的复杂的多残基突变模式。我们开发了一套序列统计评估的“生成能力”的三个GPSM最近的兴趣:成对的Potts哈密顿量,VAE,和网站独立的模型,使用自然和合成数据集。我们表明,Potts哈密顿模型的生成能力是最大的,在该模型产生的高阶突变统计与自然序列中观察到的一致。相比之下,我们表明,VAE的生成能力之间的成对波茨和网站独立的模型。重要的是,我们的工作措施GPSM生成能力的高阶序列协变统计,我们已经开发,并提供了一个新的框架来评估和解释GPSM的准确性,强调上位性的作用。
2021-03-15 cs.LG physics.data-an q-bio.QM
Peptide-GPT: Generative Design of Peptides using Generative Pre-trained Transformers and Bio-informatic Supervision
Carnegie Mellon University(卡内基梅隆大学)
本文提出PeptideGPT蛋白质语言模型,结合困惑度、凸包过滤、ESMFold结构预测及PeptideBERT、HAPPENN分类监督,实现具有溶血、抗污着和溶解性等属性的从头肽设计。
2024-10-25 cs.LG q-bio.QM
Variational auto-encoding of protein sequences
Harvard University(哈佛大学);Harvard Medical School(哈佛医学院)
蛋白质负责生物学中最多样化的功能。从蛋白质序列中提取信息并预测突变效应的能力在生物学和医学的许多领域中是极其有价值的。然而,蛋白质序列和功能之间的映射是复杂的并且知之甚少。在这里,我们提出了一个嵌入的天然蛋白质序列使用变异自动编码器,并用它来预测突变如何影响蛋白质功能。我们使用这种无监督的方法来聚类自然变异,并学习蛋白质内位置集之间的相互作用。这种方法通常比考虑序列内没有相互作用的基线方法更好,并且在某些情况下比使用逆Potts模型的最先进方法更好。该生成模型可用于计算指导蛋白质序列空间的探索,并更好地为合理和自动的蛋白质设计提供信息。
2018-01-03 cs.LG q-bio.QM
Molecular dynamics without molecules: searching the conformational space of proteins with generative neural networks
Wayne State University(韦恩州立大学);Univ. of Bari Aldo Moro(巴里大学阿尔多·莫罗分校);National Research Council (CONICET)(国家研究委员会(CONICET));Daruma Institute for Applied Intelligence(达摩应用智能研究所)
全原子和粗粒分子动力学是研究蛋白质构象的两种常用计算工具。然而,这两种模拟方法的缺点是,如果不访问超级计算资源,这些状态变得可检测的时间和长度尺度难以实现。这种方法的一种替代方案是基于将分子动力学的原子轨迹编码为没有物理粒子的速记版本,然后通过使用人工智能来学习传播编码的轨迹。在这里,我们表明,一个简单的文本表示的分子动力学轨迹的框架作为载体的Ramachandran盆地类保留了大部分的结构信息的完整原子表示的蛋白质在每个帧中,并可以用来生成等价的原子无轨迹适合训练不同类型的生成神经网络。反过来,经过训练的生成模型可以用于无限扩展无原子动力学或从模型潜在空间中的蛋白质表示中采样蛋白质的构象空间。我们直观地定义这种方法作为分子动力学没有分子,并表明,它能够覆盖物理相关的蛋白质的状态,难以访问与传统的分子动力学。
2022-06-09 cs.AI q-bio.BM q-bio.QM
FlowDock: Geometric Flow Matching for Generative Protein-Ligand Docking and Affinity Prediction
University of Missouri-Columbia(密苏里大学哥伦比亚分校)
本研究提出基于条件流匹配的深度几何生成模型FlowDock,可同时实现多配体柔性蛋白质-配体对接、结构置信度与亲和力预测,在多个基准测试中表现优异,助力药物研发中的虚拟筛选。
2025-03-24 cs.AI cs.LG q-bio.BM
Leveraging Sequence Embedding and Convolutional Neural Network for Protein Function Prediction
National Tsing Hua University(台湾清华大学)
准确预测蛋白质功能和性质的能力在生物技术产业中是必不可少的,例如药物开发和人工蛋白质合成等。蛋白质功能预测的主要挑战是大的标签空间和缺乏标记的训练数据。我们的方法利用无监督序列嵌入和深度卷积神经网络的成功来克服这些挑战。相比之下,大多数现有的方法删除罕见的蛋白质功能,以减少标签空间。此外,一些现有的方法需要额外的生物信息(例如,蛋白质的三维结构),这在生物化学实验中难以确定。我们提出的方法显着优于其他方法的公开可用的基准只使用蛋白质序列作为输入。这使得识别蛋白质功能的过程得以加速。
2021-12-01 cs.AI cs.LG q-bio.BM
Variable-Length Generative Protein Design via Generalized Poisson Flow
研究针对蛋白质设计中可变长度生成的关键问题,引入广义泊松流(GPFlow)框架,通过最小化负对数似然学习速率函数,经多模态评估验证其可变长度生成质量,在多种设计任务中表现出色,提升了蛋白质设计的灵活性与适应性。
2026-07-13 cs.LG q-bio.QM
Learning protein constitutive motifs from sequence data
对进化相关的蛋白质序列的统计分析提供了关于它们的结构、功能和历史的见解。我们表明,限制玻尔兹曼机(RBM),旨在学习复杂的高维数据及其统计特征,可以有效地从序列信息的蛋白质家族建模。在这里,我们将RBM应用于20个蛋白质家族,并提出了详细的结果,两个短蛋白质结构域,Kunitz和WW,一个长的伴侣蛋白,Hsp 70,和合成的晶格蛋白的基准。RBM推断的特征是生物学上可解释的:它们与结构(如残基-残基三级接触、延伸的二级基序($α$ -螺旋和$β$ -折叠)和固有无序区域)、功能(如活性和配体特异性)或系统发育一致性相关。此外,我们利用RBM设计新的蛋白质序列与推定的性质,通过组合和向上或向下的不同模式的意愿。因此,我们的工作表明,RBM是一个通用的和实用的工具,揭示和利用蛋白质家族的基因型-表型关系。
2019-02-27 q-bio.BM q-bio.QM
Enhancing the Protein Tertiary Structure Prediction by Multiple Sequence Alignment Generation
Shanghai AI Laboratory(上海人工智能实验室);Mila, Université de Montréal(蒙特利尔大学米拉研究所);Zelixir Biotech(泽列西尔生物科技公司);Fudan University(复旦大学);The Chinese University of Hong Kong(香港中文大学)
本文提出生成式语言模型 MSA-Augmenter,通过生成保留协同进化信息的新序列补充浅层 MSA,并在 CASP14 上证明其可进一步提升 AF2 的蛋白质结构预测质量。
2023-06-02 cs.CE cs.LG q-bio.BM
Interpretable Structured Learning with Sparse Gated Sequence Encoder for Protein-Protein Interaction Prediction
Golisano College of Computing and Information Sciences, Rochester Institute of Technology(罗切斯特理工学院戈利萨诺计算与信息科学学院);Thomas H. Gosnell School of Life Sciences, Rochester Institute of Technology(罗切斯特理工学院托马斯·H·戈斯内尔生命科学学院)
通过从氨基酸序列中学习信息表示来预测蛋白质-蛋白质相互作用(PPI)是生物学中一个具有挑战性的重要问题。尽管已经提出了Siamese架构中的各种深度学习模型来对来自序列的PPI进行建模,但是由于成对编码过程,这些方法对于大量PPI来说在计算上是昂贵的。此外,这些方法难以解释,因为从蛋白质序列到其序列表示的非直观映射。为了解决这些挑战,我们提出了一个新的深度框架来单独从序列建模和预测PPI。我们的模型采用了双向门控递归单元,通过利用序列的上下文和顺序信息来学习序列表示。我们进一步采用稀疏正则化来模拟氨基酸之间的长程依赖关系,并选择重要的氨基酸(蛋白质基序),从而提高可解释性。此外,编码过程的新颖设计使我们的模型计算效率高,可扩展到越来越多的交互。在最新交互数据集上的实验结果表明,与其他最先进的方法相比,我们的模型具有更好的性能。基于文献的案例研究说明了我们的模型提供生物学见解来解释预测的能力。
2020-10-16 cs.LG q-bio.QM
DyneTrion: A Spatio-temporally Coherent Generative Emulator for Protein Dynamics Across Timescales
Artificial Intelligence Innovation and Incubation Institute, Fudan University(复旦大学人工智能创新与孵化院);Shanghai Academy of AI for Science(上海人工智能科学研究院);School of Data Science, Fudan University(复旦大学数据科学学院);Institute for Big Data, Fudan University(复旦大学大数据研究院);MOE Laboratory for National Development and Intelligent Governance, Fudan University(复旦大学教育部国家发展与智能治理实验室)
研究针对蛋白质跨时间尺度动力学模拟成本高的问题,提出DyneTrion模拟器,采用三注意力架构,在多基准测试中表现良好,能重现相关特性,还引入数据集评估其长时间尺度泛化能力,为蛋白质建模提供可扩展路径。
2026-07-20 cs.LG q-bio.QM
Ankh3: Multi-Task Pretraining with Sequence Denoising and Completion Enhances Protein Representations
Proteinea Inc.(Proteinea公司)
本研究提出多任务预训练模型Ankh3,结合多种掩蔽概率的掩码语言建模与序列补全,仅从蛋白质序列学习更丰富表示,提升二级结构预测、荧光、GB1适应性和接触预测等下游任务性能。
2025-05-26 cs.LG q-bio.QM
DeepConv-DTI: Prediction of drug-target interactions via deep learning with convolution on protein sequences
School of Electrical Engineering and Computer Science, Gwangju Institute of Science and Technology(光州科学技术院电气与计算机工程学院)
药物-靶点相互作用(DTI)的识别在药物发现中起着关键作用。体外和体内实验的高成本和劳动密集型性质突出了基于计算机的DTI预测方法的重要性。在几个计算模型中,传统的蛋白质描述符被证明是不够的信息,以预测准确的DTI。因此,在这项研究中,我们采用卷积神经网络(CNN)的原始蛋白质序列捕获本地残基模式参与DTI。在蛋白质序列上使用CNN,我们的模型比以前的基于蛋白质标记的模型表现得更好。此外,我们的模型在大规模预测DTI方面的表现优于之前的深度学习模型。通过检查合并的卷积结果,我们发现我们的模型可以检测蛋白质的结合位点的DTI。总之,我们的预测模型用于检测目标蛋白的局部残基模式成功地丰富了原始蛋白质序列的蛋白质特征,产生比以前的方法更好的预测结果。
2018-11-06 cs.LG q-bio.QM
Generating 3D Molecules Conditional on Receptor Binding Sites with Deep Generative Models
University of Pittsburgh(匹兹堡大学)
基于结构的药物发现的目标是找到与给定靶蛋白结合的小分子。深度学习已被用于生成具有某些化学信息学特性的药物样分子,但尚未应用于通过对蛋白质-配体结合相互作用的条件分布进行采样来生成预测与蛋白质结合的3D分子。在这项工作中,我们首次描述了一种深度学习系统,用于生成以受体结合位点为条件的3D分子结构。我们使用条件变分自动编码器来处理这个问题,该编码器在交叉对接的蛋白质-配体结构的原子密度网格表示上训练。我们应用原子拟合和键推断程序来构建有效的分子构象从生成的原子密度。我们评估所产生的分子的特性,并证明它们在突变受体上发生显着变化。我们还使用采样和插值技术探索生成模型所学习的潜在空间。这项工作为通过深度学习从蛋白质结构中端到端预测稳定的生物活性分子打开了大门。
2022-01-26 cs.LG q-bio.QM
Transformer Neural Networks Attending to Both Sequence and Structure for Protein Prediction Tasks
George Mason University(乔治梅森大学)
越来越多的基因组蛋白质序列的解码开辟了新的研究途径,连接蛋白质序列的功能与Transformer神经网络。最近的研究表明,已知蛋白质序列的数量支持通过Transformers学习有用的,任务不可知的序列表示。在本文中,我们认为学习联合序列结构表示可以为功能相关的预测任务提供更好的表示。我们提出了一个Transformer神经网络,出席了序列和三级结构。我们表明,这种联合表示比基于序列的表示更强大,并且它们在各种指标上对超家族成员产生更好的性能。
2022-06-17 cs.AI cs.LG q-bio.QM
ProtVec: A Continuous Distributed Representation of Biological Sequences
University of California, Berkeley(加州大学伯克利分校);Lawrence Berkeley National Lab(劳伦斯伯克利国家实验室)
提出了一种新的生物序列表示和特征提取方法。命名为bio-vectors(BioVec)是指生物序列,蛋白质(氨基酸序列)是蛋白质载体(ProtVec),基因序列是基因载体(GeneVec),这种表示法可以广泛用于蛋白质组学和基因组学中的深度学习应用。在本文中,我们专注于蛋白质载体,可用于广泛的生物信息学研究,如家庭分类,蛋白质可视化,结构预测,无序蛋白质鉴定,和蛋白质相互作用预测。在该方法中,我们采用人工神经网络的方法,并表示一个蛋白质序列与一个单一的密集的n维向量。为了评估该方法,我们将其应用于从Swiss-Prot获得的属于7,027个蛋白质家族的324,018个蛋白质序列的分类,其中获得了93% ± 0.06%的平均家族分类准确率,优于现有的家族分类方法。此外,我们使用ProtVec表示从结构蛋白质预测无序蛋白质。使用两个无序序列数据库:DisProt数据库以及具有富含苯丙氨酸-甘氨酸重复序列(FG-NUPS)的核孔蛋白的无序区域的数据库。使用支持向量机分类器,FG-Nup序列与蛋白质数据库(PDB)中发现的结构化蛋白质序列区分的准确率为99.8%,非结构化DisProt序列与结构化DisProt序列区分的准确率为100.0%。这些结果表明,通过仅将各种蛋白质的序列数据提供到该模型中,可以确定关于蛋白质结构的准确信息。
2016-05-26 cs.AI cs.LG q-bio.GN
Co-Generative De Novo Functional Protein Design
Institute for AI Industry Research (AIR), Tsinghua University(人工智能产业研究院(AIR),清华大学);Department of Computer Science(计算机科学系);Technology, Tsinghua University(技术,清华大学)
本文提出CodeFP模型,通过同时解码序列和结构令牌,提升功能性与折叠性的实现。模型利用功能局部结构增强语义编码,并引入辅助功能监督以缓解训练模糊性,实验显示在功能一致性和折叠性上均优于基线。
2026-05-01 cs.AI q-bio.QM
ProGen2: Exploring the Boundaries of Protein Language Models
Salesforce Research(赛富时研究院);Johns Hopkins University(约翰斯·霍普金斯大学);Columbia University(哥伦比亚大学)
在蛋白质序列上训练的基于注意力的模型在与人工智能驱动的蛋白质设计相关的分类和生成任务方面取得了令人难以置信的成功。然而,我们缺乏足够的理解如何非常大规模的模型和数据在有效的蛋白质模型开发中发挥作用。我们介绍了一套蛋白质语言模型,命名为ProGen2,它被扩展到6.4B参数,并在不同的序列数据集上进行训练,这些序列数据集来自基因组,宏基因组和免疫组数据库的十亿多个蛋白质。ProGen2模型在捕获观察到的进化序列的分布、生成新的可行序列以及预测蛋白质适应度方面表现出最先进的性能,而无需额外的微调。随着大模型尺寸和蛋白质序列的原始数量继续变得更广泛,我们的研究结果表明,需要越来越重视提供给蛋白质序列模型的数据分布。我们在https://github.com/salesforce/progen上发布ProGen 2模型和代码。
2022-06-27 cs.LG q-bio.QM
Selection of sequence motifs and generative Hopfield-Potts models for protein familiesilies
进化相关蛋白质家族的统计模型最近引起了人们的兴趣:特别是成对Potts模型,如直接耦合分析所推断的那些,已经能够提取有关折叠蛋白质的三维结构的信息,以及蛋白质中氨基酸取代的影响。这些模型通常被要求再现蛋白质家族中氨基酸使用的单点和两点统计,{ \em,即}~以捕获所谓的残基保守和协变统计的共同进化起源的蛋白质。成对Potts模型是实现这一目标的最大熵模型。虽然是成功的,这些模型依赖于大量的{ \em ad hoc}引入的参数,这些参数必须从有限数量的数据中估计,并且其生物物理解释仍然不清楚。在这里,我们提出了一种方法来减少参数,这是基于选择集体序列基序。它自然导致制定的统计序列模型的Hopfield-Potts模型。这些模型可以准确地推断使用映射到限制玻尔兹曼机和持续的对比发散。我们发现,当应用于蛋白质数据时,即使是20-40个模式也足以获得统计上接近生成的模型。Hopfield模式形成可解释的序列基序,并可用于将氨基酸序列聚类为功能亚家族。然而,这些图案的分布式集体本质上限制了Hopfield-Potts模型在预测接触图的能力,显示出开发超越这里讨论的Hopfield-Potts模型的必要性。
2019-09-05 cond-mat.dis-nn cond-mat.stat-mech q-bio.BM
Circuit Tracing in Autoregressive Protein Language Models
Stanford University(斯坦福大学)
提出ProGenMech框架,通过跨层稀疏编码器忠实恢复ProGen3的生成计算,并零样本发现与蛋白质生成和适应性预测相关的稀疏电路,揭示生物意义基序。
2026-06-16 cs.LG q-bio.QM
Application of Sequence Embedding in Protein Sequence-Based Predictions
在基于序列的预测中,传统上输入序列由多序列比对(MSA)或源自MSA的表示(例如位置特异性评分矩阵)表示。最近,受自然语言处理发展的启发,序列嵌入的一些应用已经被观察到。本文综述了蛋白质序列嵌入的不同方法及其应用,包括蛋白质接触预测、二级结构预测和功能预测。
2021-10-14 q-bio.QM
Conceptual framework for performing simultaneous fold and sequence optimization in multi-scale protein modeling
我们提出了一个双重优化的概念,预测最佳序列以及最佳折叠的非格点蛋白质模型的背景下,多尺度建模。我们验证了最近推出的隐力蒙特卡罗优化算法的实用性,发现显着降低能量折叠的最低限度和详细的蛋白质模型比以前报道的。此外,我们还发现了对于给定的链长和残基混合物,在所有序列中产生最低能量倍数的蛋白质序列。特别是,对于具有二进制序列的蛋白质模型,我们表明,序列优化的折叠比历史上固定的最低能量折叠形成更紧凑的核心,Fibonacci系列序列的链长为13,21,34,55和89。然后,我们扩展我们的搜索算法使用UNRES,领先的联合残基蛋白质力场之一。我们对三种测试蛋白的组合折叠和序列优化揭示了UNRES中有利于α螺旋结构的固有偏差,即使二级结构预测清楚地表明除了无规卷曲之外只有β折叠,并且几乎没有螺旋。特别是一个三链反平行β折叠蛋白结构域的测试表明,通过其序列的排列,UNRES将该结构重新折叠成完美的α螺旋,但实际上,螺旋只是力场的人工产物,该结构在全原子最先进的分子动力学模拟中迅速展开。
2014-12-21 q-bio.BM q-bio.QM
Using Sequence Alignments to Predict Protein Structure and Stability With High Accuracy
我们提出了一种基于序列的概率形式主义,直接解决了蛋白质相互作用位置网络中的合作效应,提供了显着改善的接触预测,以及由于多个突变的非加性效应的自由能变化的准确定量预测。除了这些实际的考虑,我们的基于序列的计算与实验数据的结构和稳定性的协议表明,由自然进化过程中产生的蛋白质序列的统计分布之间的关系很强,这些序列的结构的热力学稳定性折叠。
2012-07-10 q-bio.BM q-bio.QM
Large Language Model is Secretly a Protein Sequence Optimizer
Tufts University(塔夫茨大学);Northeastern University(东北大学);Cornell University(康奈尔大学);UC Berkeley(加州大学伯克利分校)
该研究发现经文本训练的大语言模型可作为蛋白质序列优化器,结合定向进化方法,在帕累托与实验预算约束下实现蛋白质工程,在两类适应度景观上均验证有效。
2025-01-17 cs.AI cs.LG q-bio.QM
SFM-Protein: Integrative Co-evolutionary Pre-training for Advanced Protein Sequence Representation
Microsoft Research(微软研究院);Zhejiang University(浙江大学);Huazhong University of Science and Technology(华中科技大学);Tsinghua University(清华大学)
针对传统蛋白质基础模型难捕捉共进化信息的问题,本研究提出SFM-Protein预训练策略,强化氨基酸残基相互作用以提取长短程共进化特征,在多下游任务中优于同等规模ESM等基线,推动序列蛋白质建模发展。
2024-10-31 cs.AI cs.CL cs.LG
DeepGO: Predicting protein functions from sequence and interactions using a deep ontology-aware classifier
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
大量的蛋白质序列通过应用新的高通量测序技术而变得可用。这些蛋白质的实验功能表征是耗时和昂贵的,并且通常仅对少数选定的模式生物进行严格的测试。计算功能预测方法已被建议来填补这一空白。蛋白质的功能使用基因本体(GO)进行分类,其中包含40,000多个类。此外,蛋白质具有多种功能,这使得功能预测成为一个大规模、多类别、多标签的问题。我们已经开发了一种新的方法来预测蛋白质的功能从序列。我们使用深度学习从蛋白质序列以及跨物种蛋白质相互作用网络中学习特征。我们的方法专门输出GO结构中的信息,并利用GO类之间的依赖关系作为背景信息来构建深度学习模型。我们使用功能注释计算评估(CAFA)建立的标准评估我们的方法,并证明了与基线方法(如BLAST)相比的显着改进,预测细胞位置的显着改进。
2017-05-15 cs.LG q-bio.GN q-bio.QM
idMotif: An Interactive Motif Identification in Protein Sequences
University of Oklahoma(俄克拉荷马大学);Oklahoma State University(俄克拉荷马州立大学)
idMotif 是一个可视化分析框架,利用深度学习分类和局部解释,通过交互式视图帮助专家识别蛋白质序列中的基序,以支持疾病预测。
2024-02-04 cs.GR cs.HC cs.LG
Inverse Statistical Physics of Protein Sequences: A Key Issues Review
在进化过程中,蛋白质的氨基酸序列发生了重要的变化,而它们的三维折叠结构和生物学功能却保持着显著的保守性。由于现代测序技术,序列数据以前所未有的速度积累。这提供了大量的所谓同源,即~进化上相关的蛋白质序列,逆统计物理学的方法可以应用于这些序列。使用序列数据作为从微观配置或可观察量的样本中推断玻尔兹曼分布的基础,可以提取关于进化约束的信息,从而提取蛋白质功能和结构。在这里,我们概述了一些生物学上的重要问题,以及受生物力学启发的建模方法如何帮助回答这些问题。最后,我们讨论了一些开放的问题,我们希望在未来几年内得到解决。
2017-03-03 cond-mat.stat-mech q-bio.BM q-bio.QM
How to Hallucinate Functional Proteins
在这里,我们提出了一种新的方法,蛋白质设计和表型推断使用生成模型的蛋白质序列。BioSeqVAE是一种可变自动编码器变体,可以产生可能折叠和发挥功能的语法有效的蛋白质序列。BioSeqVAE在整个已知蛋白质序列空间上进行训练,并学习以无监督的方式生成蛋白质序列的有效示例。该模型的验证表明,其潜在的特征空间是有用的,它准确地重建序列。它的有用性证明了相关的下游设计任务的选择。这项工作的目的是作为一个通用的无结构蛋白质设计工具的计算的第一步。
2019-03-01 q-bio.QM
A Fine-tuning Dataset and Benchmark for Large Language Models for Protein Understanding
Toursun Synbio(图森合成生物);Johns Hopkins University(约翰斯·霍普金斯大学);University of Cambridge(剑桥大学);Shanghai Institute for Biomedical and Pharmaceutical Technologies(上海生物医药技术研究院);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);UNSW Syndey(新南威尔士大学悉尼分校)
本文构建含174.6亿预训练token与89.3万SFT指令的ProteinLMDataset,以及含944道人工核验多选题的ProteinLMBench;经其训练的InternLM2-7B在蛋白质理解评测中超过GPT-4。
2024-07-08 cs.AI cs.CL cs.LG
Protein Structure and Sequence Generation with Equivariant Denoising Diffusion Probabilistic Models
蛋白质是介导生命基础细胞过程的重要部分的大分子。生物工程中的一项重要任务是设计具有特定3D结构和化学性质的蛋白质,以实现目标功能。为此,我们引入了一个生成模型的蛋白质结构和序列,可以在显着更大的规模比以前的分子生成建模方法。该模型完全从实验数据中学习,并在蛋白质拓扑结构的紧凑规范上产生其生成条件,以产生全原子骨架配置以及序列和侧链预测。通过对样本的定性和定量分析,我们证明了模型的质量。采样轨迹的视频可在https://nanand2.github.io/proteins上获得。
2022-05-26 cs.AI q-bio.QM
Fast uncovering of protein sequence diversity from structure
提出InvMSAFold反向折叠方法,通过捕获同源蛋白质MSA中的氨基酸协方差高效生成高度多样的蛋白质序列,在保持结构功能完整性的同时大幅提升采样速度,为蛋白质设计和高通量虚拟筛选提供新可能。
2025-05-29 q-bio.QM
Modeling sequence-space exploration and emergence of epistatic signals in protein evolution
在进化过程中,蛋白质通过随机突变和表型选择之间的相互作用探索序列空间。在这里,我们建立在重建数据驱动的适应度景观的同源蛋白质家族的最新进展,提出实验蛋白质进化的随机模型。这些模型定量预测实验进化序列库的重要特征,如适应度分布和位置特异性突变谱。它们还使我们能够有效地模拟序列文库,以获得大量的实验参数组合,如序列差异,选择强度和文库大小。我们展示了潜力的方法在重新分析最近的两个实验,以确定蛋白质结构的上位性信号出现在实验序列库。为了可检测,这些信号需要足够大且足够发散的文库。我们的建模框架提供了一个定量的解释变量的成功最近发表的实验。此外,我们可以预测时间和资源密集型进化实验的结果,从而开辟了一条计算优化实验方案的途径。
2022-01-27 cond-mat.dis-nn q-bio.BM q-bio.PE
ProtT-Affinity: Sequence-Based Protein-Protein Binding Affinity Prediction Using ProtT5 Embeddings
Department of Physics, Huazhong University of Science and Technology(华中科技大学物理学院)
ProtT-Affinity通过结合ProtT5嵌入和轻量级Transformer架构,实现了基于序列的蛋白质-蛋白质结合亲和力预测,在缺乏结构信息时提供实用的替代方案。
2025-11-20 q-bio.QM
SeqMapPDB: A Standalone Pipeline to Identify Representative Structures of Protein Sequences and Mapping Residue Indices in Real-Time at Proteome Scale
动机:蛋白质的3D结构为理解其生化作用提供了丰富的信息。识别蛋白质序列的代表性蛋白质结构对于蛋白质组规模的蛋白质分析是必不可少的。然而,在鉴定给定蛋白质序列的代表性结构和提供残基索引的精确映射方面存在技术困难。现有的结构和序列之间的映射数据库通常是静态的,不适合研究频繁修改基因模型的蛋白质组。它们通常不能提供可靠和一致的代表性结构,使序列覆盖率最大化。此外,蛋白质异构体通常不能正确地分离。结果如下:为了克服这些困难,我们已经开发了一个计算管道称为SeqMapPDB提供高品质的代表PDB结构的给定序列。它提供映射到完全覆盖序列的结构(当可用时),或映射到最大限度地覆盖查询序列的部分非重叠结构域的集合。残基指数被准确映射,异构蛋白质被解析。SeqMapPDB是高效的,可以快速地实时对参考基因组的选定版本进行蛋白质组范围的映射。此外,SeqMapPDB为内部序列和结构数据的大规模映射提供了独立管道的灵活性。可用性:我们的方法可以在https://bitbucket.org/lianglabuic/seqmappdb上以GNU GPL许可证获得。
2023-02-27 q-bio.GN q-bio.QM
Fine-grained parallelization of similarity search between protein sequences
本报告提出了一个蛋白质序列比较算法的实现,专门设计用于加速耗时的部分并行硬件,如SSE指令,多核架构或图形板。已开发了三个程序:PLAST-P、TPLAST-N和PLAST-X。与NCBI BLAST家族程序(BLAST-P、TBLAST-N和BLAST-X)相比,它们提供了等效的结果,加速因子范围为5至10。
2008-04-23 q-bio.QM
Towards Solving the Inverse Protein Folding Problem
准确地分配不同蛋白质序列的折叠是结构研究的主要障碍,也是蛋白质折叠逆问题的基础。在此,我们概述了我们在序列相似性(<25%同一性)的“黄昏区”中的折叠识别理论。我们的分析表明,使用位置特异性评分矩阵(PSSMs)建立的结构序列谱显着优于多个流行的同源性建模算法,用于关联和预测结构,仅给出其氨基酸序列。重要的是,结构序列谱重建了对照和测试数据集中的SCOP折叠分类。从我们的实验结果表明,结构序列配置文件可以用来快速注释蛋白质折叠在蛋白质组学规模。我们建议将整个蛋白质数据库(~1070倍)编码成结构序列谱,将提取能够改进大多数(如果不是所有)结构建模方法的互操作信息。
2010-08-29 cs.SC q-bio.QM
Controllable Protein Sequence Generation with LLM Preference Optimization
State Key Laboratory for Novel Software Technology, Nanjing University(南京大学计算机软件新技术国家重点实验室);Medical School, Nanjing University(南京大学医学院);National Institute of Healthcare Data Science, Nanjing University(南京大学国家医疗数据科学研究院)
本文提出CtrlProt方法,通过多列表偏好优化策略微调蛋白质LLM,解决了现有可控蛋白质生成在功能性和结构稳定性上的不足,在单属性和多属性生成任务上均达到SOTA。
2025-01-25 cs.AI cs.CE q-bio.QM
Linguistic Laws Meet Protein Sequences: A Comparative Analysis of Subword Tokenization Methods
Boğaziçi University(博阿齐奇大学)
本研究比较分析BPE、WordPiece和SentencePiece三种子词分词方法在不同词汇量下处理蛋白质序列的效果,发现其在结构域保留和语言定律遵循上存在差异,强调需开发蛋白质专用分词策略。
2024-11-26 cs.CL q-bio.QM