Reprogramming Pretrained Language Models for Protein Sequence Representation Learning
Brown University（布朗大学）；IBM Research（IBM研究院）
近年来，蛋白质学习任务的机器学习指导解决方案取得了重大进展。然而，在科学发现任务的成功是有限的定义和标记的域内数据的可访问性。为了解决低数据约束，最近对数百万个蛋白质序列进行预训练的深度学习模型的适应已经显示出了希望;然而，构建这种特定领域的大规模模型在计算上是昂贵的。在这里，我们提出了通过字典学习（R2 DL）的表示学习，这是一个端到端的表示学习框架，在这个框架中，我们为交替域任务重新编程了深度模型，这些任务可以在蛋白质属性预测上表现良好，并且训练样本显著减少。R2 DL重新编程一个预先训练的英语语言模型，通过学习英语和蛋白质序列词汇嵌入之间的稀疏线性映射来学习蛋白质序列的嵌入。我们的模型可以获得更好的准确性，并显着提高数据效率高达$10^5$倍的基线设置的预训练和标准的监督方法。为此，我们重新编程了一个现成的预先训练的英语语言Transformer，并在一组蛋白质理化预测任务（二级结构，稳定性，同源性，稳定性）以及一组生物医学相关的蛋白质功能预测任务（抗菌，毒性，抗体亲和力）上对其进行基准测试。
2023-01-05 cs.CL cs.LG q-bio.BM
Linear Fitness Subspace in Protein Language Models Enables Sample-Efficient Directed Evolution
Nanyang Technological University（南洋理工大学）；Sun Yat-sen University（中山大学）；Zhejiang University（浙江大学）；Carnegie Mellon University（卡内基梅隆大学）；Shanghai Institute of Optics and Fine Mechanics（上海光学精密机械研究所）；Zhongnan Hospital, Wuhan University（武汉大学中南医院）；University of Southern California（南加州大学）
提出线性适应度子空间假设，并开发子空间引导进化搜索（SGES），在少量标记样本下高效估计适应度方向，显著提升蛋白质定向进化的预测与搜索效率。
2026-10-07 cs.AI cs.LG q-bio.QM
Aligning Proteins and Language: A Foundation Model for Protein Retrieval
Carnegie Mellon University（卡内基梅隆大学）；Purdue University（普渡大学）
本文提出 CLIP 风格的蛋白质-语言对比学习框架，利用约20万蛋白质-描述对训练，实现PDB域内与EMDB跨数据库的零样本蛋白质结构与语义检索。
2025-05-27 cs.AI cs.CE cs.CV
CCPL: Cross-modal Contrastive Protein Learning
Zhejiang University（浙江大学）；AI Lab, Westlake University（西湖大学人工智能实验室）
本文提出无监督跨模态对比蛋白质学习方法CCPL，利用蛋白质语言模型和对比对齐增强结构表示学习，并通过自监督结构约束保持结构信息，在多个基准上取得优越性能。
2024-09-04 cs.AI cs.LG q-bio.BM
FoldToken2: Learning compact, invariant and generative protein structure language
Westlake University（西湖大学）；Research Center for Industries of the Future（未来产业研究中心）；AI Lab（人工智能实验室）
FoldToken2 通过改进不变编码器、向量量化压缩器和等价解码器，将蛋白质结构转换为紧凑且可恢复的离散 token，在单链和多链结构量化上显著优于 FoldToken1。
2024-06-11 cs.AI cs.LG q-bio.BM
LEMON-ZEST: Evolution-Informed Tokenization for Efficient Protein Language Modeling
University College London（伦敦大学学院）；Georgia Institute of Technology（佐治亚理工学院）
提出进化信息感知的分词方法ZEST及紧凑模型LEMON，以200M参数超越600M-3B模型，证明进化先验可替代大规模参数扩展，实现高效蛋白质表示学习。
2026-11-10 cs.LG q-bio.BM
OntoProtein: Protein Pretraining With Gene Ontology Embedding
Zhejiang University（浙江大学）；Alibaba-Zhejiang University Joint Research Institute of Frontier Technologies（阿里巴巴-浙江大学前沿技术联合研究院）
自监督蛋白质语言模型在蛋白质表征学习中的有效性已经得到证明。随着计算能力的不断提高，现有的蛋白质语言模型在经过数百万个不同序列预训练后，其参数规模可以从百万级提升到亿级，并取得了显著的进步。然而，这些流行的方法很少考虑将知识图（KG），它可以提供丰富的结构化知识事实，更好的蛋白质表示。我们认为，知识库中的信息生物学知识可以增强蛋白质表示与外部知识。在这项工作中，我们提出了OntoProtein，这是第一个将GO（基因本体论）中的结构用于蛋白质预训练模型的通用框架。我们构建了一个新的大规模知识图，它由GO及其相关蛋白质组成，基因注释文本或蛋白质序列描述图中的所有节点。我们提出了一种新的对比学习方法，使用知识感知负采样来联合优化预训练过程中的知识图和蛋白质嵌入。实验结果表明，OntoProtein在TAPE基准测试中可以超越现有的预训练蛋白质语言模型的方法，并在蛋白质相互作用和蛋白质功能预测方面获得比基线更好的性能。代码和数据集可在https://github.com/zjunlp/OntoProtein上获得。
2022-06-03 cs.AI cs.CL cs.IR
Viral Proteins Reveal Geometry of Protein Language Models
University of Washington（华盛顿大学）；DeepMind（深度思维）
研究蛋白质语言模型在不平衡数据下对病毒蛋白的表示，发现嵌入空间中存在主导的“天然性”轴，该轴按模型困惑度排序序列，且缩放效果因病毒家族而异，但嵌入仍保留病毒特异性信号。
2026-06-12 cs.LG q-bio.QM
ProGen2: Exploring the Boundaries of Protein Language Models
Salesforce Research（赛富时研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）；Columbia University（哥伦比亚大学）
在蛋白质序列上训练的基于注意力的模型在与人工智能驱动的蛋白质设计相关的分类和生成任务方面取得了令人难以置信的成功。然而，我们缺乏足够的理解如何非常大规模的模型和数据在有效的蛋白质模型开发中发挥作用。我们介绍了一套蛋白质语言模型，命名为ProGen2，它被扩展到6.4B参数，并在不同的序列数据集上进行训练，这些序列数据集来自基因组，宏基因组和免疫组数据库的十亿多个蛋白质。ProGen2模型在捕获观察到的进化序列的分布、生成新的可行序列以及预测蛋白质适应度方面表现出最先进的性能，而无需额外的微调。随着大模型尺寸和蛋白质序列的原始数量继续变得更广泛，我们的研究结果表明，需要越来越重视提供给蛋白质序列模型的数据分布。我们在https://github.com/salesforce/progen上发布ProGen 2模型和代码。
2022-06-27 cs.LG q-bio.QM
ProLanGO: Protein Function Prediction Using Neural~Machine Translation Based on a Recurrent Neural Network
Pacific Lutheran University（太平洋路德大学）；Baidu Inc.（百度公司）；Hiretual Inc.（Hiretual公司）；University of Electronic Science and Technology of China（电子科技大学）
随着新一代测序技术的发展，测定蛋白质序列的方法快速、廉价，但由于传统生物学实验技术的局限性，从蛋白质序列中提取有用信息的方法相对缓慢且昂贵。蛋白质功能预测一直是一个长期存在的挑战，填补了大量的蛋白质序列和已知功能之间的差距。本文提出了一种新的方法，将蛋白质功能问题转化为语言翻译问题，将新提出的蛋白质序列语言ProLan转化为蛋白质功能语言GOLan，并建立了一个基于递归神经网络的神经机器翻译模型，将ProLan语言翻译为GOLan语言。我们通过参加2016年最新的第三届功能注释关键评估（CAFA 3）对我们的方法进行了盲测，并评估了我们的方法在CAFA竞争后发布的功能的选定蛋白质上的性能。在训练和测试数据集上的良好性能表明，我们提出的新方法是蛋白质功能预测的一个有前途的方向。综上所述，我们首次提出了一种将蛋白质功能预测问题转化为语言翻译问题，并将神经机器翻译模型应用于蛋白质功能预测的方法。
2017-10-19 cs.LG q-bio.QM
Linguistically inspired roadmap for building biologically reliable protein language models
University of Oslo（奥斯陆大学）；Oslo University Hospital（奥斯陆大学医院）；University of Science and Technology of China（中国科学技术大学）
本文提出一条语言学启发的蛋白质语言模型构建路线图，从训练数据、分词、嵌入和模型解释等环节引入语言学规则提取思想，以提升模型可解释性并揭示序列-功能关系的生物学机制。
2023-04-28 cs.LG q-bio.QM
Circuit Tracing in Autoregressive Protein Language Models
Stanford University（斯坦福大学）
提出ProGenMech框架，通过跨层稀疏编码器忠实恢复ProGen3的生成计算，并零样本发现与蛋白质生成和适应性预测相关的稀疏电路，揭示生物意义基序。
2026-06-16 cs.LG q-bio.QM
Repurposing Protein Language Models for Latent Flow-Based Fitness Optimization
University of Zurich（苏黎世大学）；ETH Zurich（苏黎世联邦理工学院）
CHASE通过重新利用预训练蛋白质语言模型的进化知识，结合潜在流匹配模型，在蛋白质设计中实现高适应度变体的高效生成。
2026-02-02 cs.LG q-bio.QM
MI-PEFT: Mixture-of-Experts Integrated Parameter-Efficient Fine-Tuning Protein Language Models Improves Acidophilic Proteins Classification
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）
针对嗜酸蛋白鉴定耗时问题，提出MI-PEFT框架，结合LoRA与DeepSeekMoE分类头，在ESM C-600M上实现高效分类并缓解类别不平衡。
2026-09-09 cs.LG q-bio.QM
Interpreting Protein Language Model Embeddings via Orthogonal Projection for Protein Fitness Prediction
Hasso Plattner Institute, University of Potsdam（波茨坦大学哈索·普拉特纳研究所）；Broad Institute of MIT and Harvard（麻省理工学院及哈佛大学布罗德研究所）；Humboldt University of Berlin（柏林洪堡大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
本研究提出通过正交投影技术去除蛋白质语言模型嵌入中的可解释生化特征效应，证明其编码与生化特性相关的模式并量化其对蛋白质适应性预测的贡献，该方法可迁移至其他问题场景。
2026-08-27 cs.LG q-bio.QM
Endowing Protein Language Models with Structural Knowledge
Max Planck Institute of Biochemistry（马克斯·普朗克生物化学研究所）
该研究提出Protein Structure Transformer框架，通过结构提取器模块将结构信息整合进蛋白质语言模型的自注意力机制，在仅含54.2万结构的小数据集上预训练后，参数效率更优且性能超越ESM-2，刷新蛋白质功能预测基准。
2024-01-26 cs.LG q-bio.BM q-bio.QM
Driving Accurate Allergen Prediction with Protein Language Models and Generalization-Focused Evaluation
The Chinese University of Hong Kong（香港中文大学）；The Hong Kong Polytechnic University（香港理工大学）；Sanford Burnham Prebys Medical Discovery Institute（桑福德-伯纳姆-普雷比斯医学发现研究所）
本文提出 Applm 框架，利用千亿参数蛋白质语言模型 xTrimoPGLM 在新型过敏原识别、高相似同源物区分及突变功能评估等困难场景中优于七种现有方法，并开源软件与基准数据集。
2025-08-14 cs.LG q-bio.QM
Detection of circular permutations by Protein Language Models
本文提出plmCP方法，利用蛋白质语言模型高效、准确地检测蛋白质环状排列，克服了传统序列和结构方法在准确性与计算效率上的局限，并考虑了结构柔性。
2024-08-06 q-bio.QM
Large Language Model is Secretly a Protein Sequence Optimizer
Tufts University（塔夫茨大学）；Northeastern University（东北大学）；Cornell University（康奈尔大学）；UC Berkeley（加州大学伯克利分校）
该研究发现经文本训练的大语言模型可作为蛋白质序列优化器，结合定向进化方法，在帕累托与实验预算约束下实现蛋白质工程，在两类适应度景观上均验证有效。
2025-01-17 cs.AI cs.LG q-bio.QM
Protein Language Models and Structure Prediction: Connection and Progression
Zhejiang University（浙江大学）；Westlake University（西湖大学）
从序列预测蛋白质结构是功能预测、药物设计和相关生物过程理解的重要任务。最近的进展已经证明了语言模型（LM）在处理蛋白质序列数据库中的能力，它继承了注意力网络的优点，并在蛋白质的学习表示中捕获有用的信息。在过去的两年中，蛋白质结构预测（PSP）取得了显著的成就，包括基于进化的PSP和基于单序列的PSP。看起来，基于蛋白质语言模型（pLM）的管道已经成为PSP中的主流范例，而不是使用基于能量的模型和采样过程。尽管取得了丰硕的进展，PSP社区需要一个系统的和最新的调查，以帮助弥合自然语言处理（NLP）和PSP领域的LM之间的差距，并介绍他们的方法，进步和实际应用。为此，在本文中，我们首先介绍了蛋白质和人类语言之间的相似性，允许LM扩展到pLM，并应用于蛋白质数据库。然后，我们从网络结构、预训练策略、应用和常用蛋白质数据库的角度系统地回顾了LM和pLM的最新进展。接下来，讨论了PSP的不同类型的方法，特别是基于pLM的结构在蛋白质折叠过程中的作用。最后，我们确定了PSP社区所面临的挑战，并预见了有前途的研究方向，随着pLM的进步。本调查旨在为研究人员了解PSP方法，开发pLM并解决该领域的实际问题提供实践指南。
2022-11-30 cs.AI cs.LG q-bio.QM
A Fine-tuning Dataset and Benchmark for Large Language Models for Protein Understanding
Toursun Synbio（图森合成生物）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Cambridge（剑桥大学）；Shanghai Institute for Biomedical and Pharmaceutical Technologies（上海生物医药技术研究院）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；UNSW Syndey（新南威尔士大学悉尼分校）
本文构建含174.6亿预训练token与89.3万SFT指令的ProteinLMDataset，以及含944道人工核验多选题的ProteinLMBench；经其训练的InternLM2-7B在蛋白质理解评测中超过GPT-4。
2024-07-08 cs.AI cs.CL cs.LG
DPLM-2: A Multimodal Diffusion Protein Language Model
Nanjing University（南京大学）；ByteDance Research（字节跳动研究院）
本文提出多模态扩散蛋白质语言模型 DPLM-2，通过将三维结构离散化为 token 并联合训练序列与结构分布，实现序列与结构的同时生成，并在折叠、逆折叠等条件生成任务中取得有竞争力的性能。
2024-10-17 cs.LG q-bio.QM
Protein Language Model-Powered 3D Ligand Binding Site Prediction from Protein Sequence
Hunter College, City University of New York（纽约市立大学亨特学院）；Weill Cornell Medicine, Cornell University（康奈尔大学威尔康奈尔医学院）；Graduate Center, City University of New York（纽约市立大学研究生中心）
本文提出 LaMPSite，仅利用蛋白质序列经 ESM-2 获取残基表示与接触图，并结合配体图神经网络及几何约束预测结合位点，在无三维结构输入下达到与结构方法竞争的性能。
2023-12-05 cs.CL cs.LG q-bio.QM
Interpreting Latent Protein Language Model Features with Geometric Annotations
School of Mathematics（数学学院）；University of Edinburgh（爱丁堡大学）
本研究提出基于蛋白质Cα主链几何特征的自动可扩展方法，解释ESM-2的SAE特征，发现局部几何与多数SAE特征显著相关，可区分同数据库注释的SAE特征，为残基级SAE神经元激活蛋白质注释提供了稳健方法，搭建了机制可解释性与结构生物学的桥梁。
2026-08-28 cs.LG q-bio.QM
DiffSDS: A language diffusion model for protein backbone inpainting under geometric conditions and constraints
Westlake University（西湖大学）；Zhejiang University（浙江大学）
你是否曾经被SE（3）蛋白质结构建模的复杂性和计算成本所困扰，并对语言建模的简单性和强大功能感到惊讶？最近的工作表明，在简化蛋白质结构的蛋白质角度序列的承诺，因此，语言模型可以用于无约束的蛋白质主链的产生。不幸的是，这种简化不适合于受约束的蛋白质修复问题，其中模型需要恢复以未掩蔽结构为条件的掩蔽结构，因为它显著增加了几何约束的计算成本。为了克服这一困境，我们建议插入一个隐藏的\textbf{a}拓扑\textbf{d}方向\textbf{s}步伐（\textbf{ADS}）的语言模型，转换不变的骨干角度等价的方向向量，并保持简单性，称为Seq 2Direct编码器（$\text{Enc}_{s2d}$）。几何约束可以有效地施加在新引入的方向空间。本文还引入了一种具有数学保证的Direct 2Seq解码器（$\text{Dec}_{d2s}$），建立了一个\textbf{SDS}（$\text{Enc}_{s2d}$ + $\text{Dec}_{d2s}$）模型。在条件扩散过程中，我们应用SDS模型作为去噪神经网络，从而得到一个约束生成模型-- \textbf{DiffSDS}。大量的实验表明，即插即用的ADS可以将语言模型转换成一个强大的结构模型，而不损失简单性。更重要的是，所提出的DiffSDS在蛋白质修复任务上远远优于以前的强基线。
2023-01-22 cs.AI cs.LG q-bio.QM
ChemBoost: A chemical language based approach for protein-ligand binding affinity prediction
Boğaziçi University（博阿齐奇大学）；F. Hoffmann-La Roche AG（F.霍夫曼-拉罗切股份公司）
高亲和力药物-靶标相互作用的鉴定是药物发现中的主要研究问题。蛋白质通常由其结构或序列表示。然而，结构仅适用于一小部分生物分子，并且序列相似性并不总是与功能相似性相关。我们提出了ChemBoost，一种基于化学语言的方法，使用SMILES语法进行亲和力预测。我们假设SMILES是一种编码语言，配体是由化学词组成的文档。这些文档可用于学习化学词向量，这些化学词向量表示具有相似向量的相似上下文中的词。在ChemBoost中，配体通过化学词嵌入表示，而蛋白质通过其配体的基于序列的特征和/或化学词表示。我们的目标是将SMILES中的模式作为一种语言来处理，以预测蛋白质-配体亲和力，即使我们无法从序列中推断出功能。我们使用eXtreme梯度提升来预测KIBA和BindingDB数据集中的蛋白质-配体亲和力。ChemBoost能够预测药物-靶标结合亲和力，以及或优于最先进的机器学习系统。当使用以配体为中心的表示时，ChemBoost对蛋白质序列相似性的变化更鲁棒，并成功捕获了蛋白质和配体之间的相互作用，即使蛋白质与配体的已知靶点具有较低的序列相似性。
2020-12-18 cs.LG q-bio.QM stat.ML
PoET: A generative model of protein families as sequences-of-sequences
提出蛋白质进化Transformer（PoET），一种将蛋白质家族作为序列的序列进行建模的自回归生成模型，通过独特的Transformer层实现跨家族迁移学习与长上下文外推，在变体功能预测和新蛋白质生成上优于现有模型。
2023-11-01 cs.LG q-bio.QM
RXNRECer Enables Fine-grained Enzymatic Function Annotation through Active Learning and Protein Language Models
RXNRECer利用主动学习和蛋白质语言模型直接预测酶促反应，克服传统EC编号方法的局限，提升预测精度和应用灵活性。
2026-03-13 cs.LG q-bio.QM
Generative power of a protein language model trained on multiple sequence alignments
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Institute of Bioengineering（生物工程研究所）；School of Life Sciences（生命科学学院）；SIB Swiss Institute of Bioinformatics（瑞士生物信息学研究所）
本文提出并验证了一种基于 MSA Transformer 掩码语言建模目标的迭代序列生成方法，证明其在同源性、共进化、结构度量及高阶统计分布上优于或媲美 Potts 模型，展示了该模型在蛋白质序列生成与设计中的强大能力。
2022-11-20 cs.LG q-bio.BM q-bio.QM
xTrimoPGLM: Unified 100B-Scale Pre-trained Transformer for Deciphering the Language of Protein
BioMap Research（博研生物研究院）；Tsinghua University（清华大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
针对现有蛋白质语言模型无法同时兼顾理解与生成任务的问题，提出统一预训练框架xTrimoPGLM，以1000亿参数规模训练，在多项基准上性能领先，还支持蛋白质从头与可编程生成，推动蛋白质基础模型发展。
2024-12-09 cs.AI cs.LG q-bio.QM
How to make the most of your masked language model for protein engineering
BigHat Biosciences（BigHat生物科学公司）
本文提出一种灵活有效的掩码语言模型采样方法，通过系统评估模型和方法在抗体工程中的实际应用，揭示采样方法对生物性质优化的重要性。
2026-11-03 cs.LG q-bio.QM
Language models can generate molecules, materials, and protein binding sites directly in three dimensions as XYZ, CIF, and PDB files
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究所）；Canadian Institute for Advanced Research（加拿大高等研究院）
本研究证明，无需架构修改，仅通过下一标记预测在化学文件格式（XYZ、CIF、PDB）上训练的语言模型，能直接生成三维分子、晶体和蛋白质结合位点，性能媲美最先进的图基及领域特定模型。
2023-05-09 cs.LG q-bio.QM
A Comprehensive Review of Transformer-based language models for Protein Sequence Analysis and Design
Department of Computer Science and Engineering, Shiv Nadar University（计算机科学与工程系，Shiv Nadar大学）；Department of Computer Science and Engineering, Adamas University（计算机科学与工程系，Adamas大学）
本文系统综述了基于Transformer的语言模型在蛋白质序列分析与设计中的应用，涵盖功能识别、结构预测、从头生成和结合预测等任务，并总结现有方法的优缺点及未来研究方向。
2025-07-18 cs.AI cs.LG q-bio.QM
Fine-tuning the ESM2 protein language model to understand the functional impact of missense variants
本研究通过微调ESM2蛋白质语言模型，在氨基酸分辨率下分类20种蛋白质特征，揭示了错义变异对蛋白质功能的影响，并证明该模型能重新分类意义不明的变异。
2025-03-14 q-bio.GN q-bio.QM
Protein binding affinity prediction under multiple substitutions applying eGNNs on Residue and Atomic graphs combined with Language model information: eGRAL
InstaDeep Ltd（InstaDeep公司）
本文提出eGRAL，一种SE(3)等变图神经网络，结合残基、原子尺度特征与蛋白质语言模型信息，并在约50万模拟数据点上预训练后于实验数据微调，用于预测多重氨基酸替换引起的蛋白质结合亲和力变化。
2024-05-03 cs.AI cs.LG q-bio.QM
Ankh: Optimized Protein Language Model Unlocks General-Purpose Modelling
Technical University of Munich (TUM)（慕尼黑工业大学）；Proteinea, Inc.（Proteinea公司）；Columbia University（哥伦比亚大学）
与放大蛋白质语言模型（PLM）相反，我们寻求通过蛋白质特定的优化来提高性能。虽然语言模型的大小和它的学习表示的丰富性之间的比例是有效的，我们优先考虑可访问性，并追求数据效率，降低成本，知识指导的优化路径。通过二十多个实验，从掩蔽，架构和预训练数据，我们从蛋白质特定的实验中获得见解，以建立一个模型，最佳地解释生命的语言。我们介绍了Ankh，这是第一个在Google的TPU-v4上训练的通用PLM，它以更少的参数超越了最先进的性能（预训练<10%，推理<7%，嵌入维度<30%）。我们提供了Ankh擅长的一系列具有代表性的结构和功能基准。我们进一步提供了一个高N和一个N输入数据规模的蛋白质变体生成分析，其中Ankh成功地学习蛋白质进化保守突变趋势，并引入功能多样性，同时保留关键的结构-功能特征。我们致力于通过可获得的资源促进研究创新的可及性。
2023-01-16 cs.CL cs.DC cs.LG
Automated Protein Motif Localization using Concept Activation Vectors in Protein Language Model Embedding Space
University of Arizona（亚利桑那大学）
本文提出利用蛋白质语言模型嵌入空间中的概念激活向量实现蛋白质motif的自动化定位，通过训练线性分类器和计算内积实现高效准确的motif识别。
2025-11-26 q-bio.QM
Protein language models trained on multiple sequence alignments learn phylogenetic relationships
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；SIB Swiss Institute of Bioinformatics（瑞士生物信息学研究所）
具有注意力的自监督神经语言模型最近被应用于生物序列数据，推进结构，功能和突变效应预测。一些蛋白质语言模型，包括MSA Transformer和AlphaFold的EvoFormer，将进化相关蛋白质的多个序列比对（MSA）作为输入。MSA Transformer的行注意力的简单组合导致了最先进的无监督结构接触预测。我们表明，同样简单，通用的，MSA Transformer的列关注的组合强烈相关的序列之间的汉明距离在MSA。因此，基于MSA的语言模型编码详细的系统发育关系。我们进一步表明，这些模型可以分离的共同进化信号编码的功能和结构的限制，反映历史偶然性的系统发育相关性。为了评估这一点，我们生成合成的MSA，无论是没有或有同源性，从天然MSA训练的波茨模型。我们发现，无监督的接触预测时，使用MSA Transformer与推断Potts模型的系统发育噪声更有弹性。
2022-09-21 cs.LG q-bio.BM q-bio.QM
Exploring Post-Training Quantization of Protein Language Models
Zhejiang Lab（之江实验室）；Nankai University（南开大学）
本文首次系统研究蛋白质语言模型的训练后量化，针对 ESMFold 激活值高度不对称问题提出分段线性量化方法，实现低位宽下无损蛋白质结构预测。
2023-10-30 cs.AI cs.LG q-bio.QM
Design Proteins Using Large Language Models: Enhancements and Comparative Analyses
University of Siena（锡耶纳大学）
本研究利用42000条人类蛋白质序列微调四款公开预训练LLM，在有限数据下实现了与百万级数据训练的专用蛋白质生成模型相当的性能，并公开模型以推动计算生物学发展。
2024-08-12 cs.AI cs.LG q-bio.QM
Layer Probing Improves Kinase Functional Prediction with Protein Language Models
Adobe（Adobe公司）；IIIT Delhi（德里印度理工学院）
通过评估ESM-2模型各层，发现中后期Transformer层能显著提升激酶功能预测的准确率和可靠性。
2025-11-29 cs.AI cs.LG q-bio.QM
Exploring Latent Space for Generating Peptide Analogs Using Protein Language Models
University of Cincinnati（辛辛那提大学）；University of Connecticut（康涅狄格大学）
针对传统肽生成方法依赖大量数据集的问题，提出利用自编码器结构模型探索蛋白质嵌入空间、结合蛋白质语言模型生成肽类似物的新方法，仅需单条目标序列，在多项相似性指标上优于基线，经TIGIT抑制剂验证可提升肽筛选效率。
2024-08-15 cs.AI cs.LG q-bio.QM
TemPL: A Novel Deep Learning Model for Zero-Shot Prediction of Protein Stability and Activity Based on Temperature-Guided Language Modeling
本文提出 TemPL 深度学习模型，利用温度引导语言建模及大规模 OGT、ΔTm 数据实现蛋白质稳定性与活性的零样本预测，并通过对比和消融实验验证其性能优势。
2024-05-13 q-bio.QM
Learning immune receptor representations with protein language models
本文综述了蛋白质语言模型在免疫受体研究中的应用，涵盖其学习表征、预测抗原特异性及工程化抗体等任务，并指出了数据不足与模型架构等挑战。
2024-02-06 q-bio.QM
Exploring evolution-aware & -free protein language models as protein function predictors
Westlake University（西湖大学）；Microsoft Research New England（微软新英格兰研究院）；Microsoft Research Asia（微软亚洲研究院）；Zhejiang Lab（之江实验室）
大规模蛋白质语言模型（PLM）在蛋白质预测任务中提高了性能，从3D结构预测到各种功能预测。特别是AlphaFold，一个突破性的人工智能系统，可能会重塑结构生物学。然而，在AlphaFold，Evoformer中的PLM模块的效用还没有被探索到结构预测之外。在本文中，我们研究了三个流行的PLM的表示能力：ESM-1b（单序列），MSA-变压器（多序列比对）和Evoforer（结构），特别是对Evoforer。具体来说，我们的目标是回答以下关键问题：（i）作为AlphaFold的一部分训练的Evoformer是否产生适合预测蛋白质功能的表示？(ii)如果是，Evoformer可以取代ESM-1b和MSA-Transformer吗？(ii)这些PLM在多大程度上依赖于进化相关的蛋白质数据？在这方面，它们是否相互补充？我们比较这些模型的实证研究，随着新的见解和结论。可在https://github.com/elttaes/Revisiting-PLMs上获得用于再现性的所有代码和数据集。
2022-10-16 cs.AI q-bio.QM
A Categorical Compositional Distributional Modelling for the Language of Life
范畴成分分布模型（DiscoCat）是一种用于自然语言句子意义构成的强大数学模型。由于我们可以将生物序列视为“生命语言”，因此它试图将DisCoCat模型应用于生命语言，看看我们是否可以获得新的见解并更好地理解后者。在这项工作中，我们朝着这个方向迈出了第一步。特别地，我们选择关注蛋白质，因为与其他大分子如DNA或RNA相比，蛋白质的语言特征是最突出的。具体地说，我们把每个蛋白质看作一个句子，把它的组成域看作单词。一个词或句子的意义就是它的生物学功能，蛋白质中结构域的排列与句法相对应。将所有这些放入DisCoCat框架中，我们可以根据蛋白质结构域的功能以及将它们组合在一起的语法规则来“计算”蛋白质的功能。由于蛋白质及其结构域的功能在向量空间中表示，我们提供了一种新的方法来形式化的蛋白质的功能表示。
2019-08-13 q-bio.QM
Training Compute-Optimal Protein Language Models
BioMap Research（BioMap研究院）；Tsinghua University（清华大学）；MBZUAI（穆罕默德·本·扎耶德人工智能大学）
本研究通过大规模实验揭示了蛋白质语言模型的计算最优训练策略，提出CLM与MLM的缩放定律，并验证了迁移缩放现象，为高效训练提供了指导。
2024-11-04 cs.AI cs.LG q-bio.QM
Leveraging Retrieval-Augmented Generation and Large Language Models to Predict SERCA-Binding Protein Fragments from Cardiac Proteomics Data
本研究利用有限的心脏蛋白质组数据，通过检索增强生成和微调大语言模型，仅基于序列和生物物理特性预测蛋白质片段能否结合SERCA，并成功识别出多个候选蛋白，展示了LLM在有限数据下发现新蛋白质交互的潜力。
2025-02-26 q-bio.QM
VibeProteinBench: An Evaluation Benchmark for Language-interfaced Vibe Protein Design
Trillion Labs；KAIST（韩国科学技术院）；Seoul National University（首尔大学）；SK Biopharmaceuticals Co., Ltd.（SK生物制药有限公司）；Stanford University（斯坦福大学）；FutureHouse；California Institute of Technology（加州理工学院）；University of Toronto（多伦多大学）；Harvard Medical School（哈佛医学院）；MIT（麻省理工学院）；Harvard University（哈佛大学）
本文提出VibeProteinBench，一种用于评估语言接口蛋白质设计能力的基准，通过三个互补阶段验证模型在蛋白质设计中的通用能力，揭示当前LLM在蛋白质设计方面的挑战。
2026-09-29 q-bio.QM
AutoProteinEngine: A Large Language Model Driven Agent Framework for Multimodal AutoML in Protein Engineering
Toursun Synbio（拓臻生物科技）；City University of Hong Kong（香港城市大学）；Shanghai Jiao Tong University（上海交通大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
研究针对生物学家缺乏计算知识难以应用深度学习开展蛋白质工程的问题，提出AutoProteinEngine框架，集成LLMs与AutoML，经两项任务验证其性能优于传统方法，降低了深度学习应用门槛。
2026-08-06 cs.AI q-bio.QM
Scaling and Data Saturation in Protein Language Models
该研究探究蛋白质语言模型随预训练数据增加的规模扩展效应，通过不同年份UniRef100快照训练的模型验证蛋白质功能预测性能未饱和，且无监督与监督实验趋势有差异，强调需针对性数据采集与更深入研究。
2025-07-29 q-bio.QM
Seq2Bind Webserver for Decoding Binding Hotspots directly from Sequences using Fine-Tuned Protein Language Models
本研究推出Seq2Bind Webserver框架，通过微调四种蛋白质语言模型，直接从序列预测蛋白质结合亲和力与结合残基，无需结构信息，速度更快且准确率优于部分结构对接方法。
2025-06-16 q-bio.QM
Protein-DNA binding sites prediction based on pre-trained protein language model and contrastive learning
该研究提出结合预训练蛋白质语言模型和对比学习的方法CLAPE预测蛋白质-DNA结合残基，实验证明其性能优于现有模型，且可作为结合位点预测的通用框架。
2023-06-28 q-bio.BM q-bio.QM
Deciphering the Language of Nature: A transformer-based language model for deleterious mutations in proteins
Raymond G. Perelman Center for Cellular and Molecular Therapeutics, Children’s Hospital of Philadelphia（费城儿童医院雷蒙德·G·佩雷尔曼细胞与分子治疗中心）；Palisades Charter High School（帕利塞德特许高中）；Massachusetts Institute of Technology（麻省理工学院）；Perelman School of Medicine, University of Pennsylvania（宾夕法尼亚大学佩雷尔曼医学院）
本文提出MutFormer，一种基于transformer的模型，用于预测蛋白质错义突变的致病性，通过结合自注意力和卷积层，提升对氨基酸突变依赖性的建模能力。
2023-02-10 cs.LG q-bio.GN q-bio.QM
