Atom-by-atom protein generation and beyond with language models
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（矢量人工智能研究院）；Canadian Institute for Advanced Research（加拿大高等研究院）
本文提出用化学语言模型逐原子表示并生成蛋白质，使其突破标准氨基酸与遗传密码限制，可生成非天然氨基酸及新型蛋白质-药物偶联物。
2023-08-16 cs.LG q-bio.BM
Leveraging generative hallucination and biophysics-informed modeling for unified biomolecular sequence-structure co-design
University of Florida（佛罗里达大学）；University of Chicago（芝加哥大学）；Data Science Institute, University of Chicago（芝加哥大学数据科学研究所）；Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）；Mayo Clinic（梅奥诊所）；Argonne National Laboratory（阿贡国家实验室）
研究针对DNA/RNA等生物分子设计难题，提出MCTH框架，通过蒙特卡洛树搜索实现序列-结构协同设计，在多模态设计任务中性能优于基线，且可跨模态泛化。
2026-08-19 cs.AI cs.LG q-bio.BM
Machine-learning Analysis of Opioid Use Disorder Informed by MOR, DOR, KOR, NOR and ZOR-Based Interactome Networks
阿片类药物使用障碍（OUD）在全球范围内持续构成重大的公共卫生挑战和社会影响，阿片类药物依赖性急剧上升，导致潜在的滥用。尽管已经批准了一些药理学试剂用于OUD治疗，但是所述试剂用于OUD的功效需要进一步改进，以提供更安全和更有效的药理学和心理社会治疗。OUD的可行治疗依赖于对阿片依赖神经生物学机制的理解。包括μ、δ、κ、伤害感受素和ζ阿片受体的蛋白质是阿片类药物的直接靶点。每种受体都有一个大的蛋白质相互作用（PPI）网络，当进行各种治疗时表现不同，从而增加了有效阿片类药物成瘾治疗的药物开发过程的复杂性。下面的报告分析了工作，提出了一个PPI网络知情的机器学习研究OUD。我们研究了五种阿片受体网络中的500多种蛋白质，随后收集了74个抑制剂数据集。将梯度提升决策树（GBDT）算法与两种基于高级自然语言处理（NLP）的分子指纹图配对，构建机器学习模型。利用这些模型，我们系统地对四种阿片受体的候选药物的筛选和再利用潜力进行了评估。此外，在筛选潜在候选药物时还考虑了吸收、分布、代谢、排泄和毒性（ADMET）特性。我们的研究可能是一个有价值的和有前途的工具，药物开发的OUD治疗。
2023-01-12 q-bio.BM
Growing ecosystem of deep learning methods for modeling protein$\unicode{x2013}$protein interactions
Columbia University（哥伦比亚大学）
本文综述了基于生物物理信息的深度学习方法在蛋白质相互作用预测、结构建模和从头组装设计中的进展、权衡及未来方向。
2023-12-06 cs.LG q-bio.BM
Energy Efficient Protein Language Models: Leveraging Small Language Models with LoRA for Controllable Protein Generation
Esperanto Technologies（埃斯佩兰托科技公司）
本研究提出两个基于Llama-3-8B和Phi-3-mini的小型蛋白质语言模型，利用LoRA技术实现可控与不可控蛋白质生成，在保持性能的同时大幅降低计算成本，并成功部署于节能芯片。
2024-11-08 cs.LG q-bio.BM
Steering Protein Language Models
Tencent AI Lab（腾讯人工智能实验室）
研究将Activation Steering技术应用于蛋白质语言模型，提出基于激活编辑的方法及编辑位点识别模块，无需额外训练即可引导PLMs生成和优化具有目标特性的蛋白质序列。
2025-09-12 cs.LG q-bio.BM
SPIN: SE(3)-Invariant Physics Informed Network for Binding Affinity Prediction
Yonsei University（延世大学）
SPIN通过引入几何和物理化学归纳偏置，在蛋白质-配体结合亲和力预测中实现卓越泛化，并在基准集上优于对比模型。
2024-07-10 cs.AI cs.LG q-bio.BM
Function-Guided Conditional Generation Using Protein Language Models with Adapters
California Institute of Technology（加州理工学院）；Profluent Bio
针对现有蛋白质语言模型条件生成方法泛化性弱的问题，提出带适配器的ProCALM模型，通过微调ProGen2支持多样化功能条件生成，性能优异且能泛化到罕见、未见过的功能。
2025-06-11 cs.LG q-bio.BM
Open-Source Protein Language Models for Function Prediction and Protein Design
Deep Forest Sciences（深林科学公司）；Stony Brook University（石溪大学）
本研究将蛋白质语言模型集成到开源框架DeepChem中，评估了其在蛋白质预测任务上的性能，并探索了生成降解塑料酶候选物的方法，为资源有限的研究者提供了便利。
2024-12-18 cs.LG q-bio.BM
Exploring the Protein Sequence Space with Global Generative Models
University of Bayreuth（拜罗伊特大学）；University of Heidelberg（海德堡大学）；Molecular Biology Institute of Barcelona（巴塞罗那分子生物学研究所）
该研究为书籍章节，概述了蛋白质生成模型的应用，综述了新型人工蛋白质设计的语言模型、非Transformer架构相关工作及定向进化应用三方面内容。
2023-05-03 cs.LG q-bio.BM
ProtFIM: Fill-in-Middle Protein Sequence Design via Protein Language Models
Kakao Brain Corp（Kakao Brain公司）
蛋白质语言模型（pLM），通过因果语言模型对蛋白质序列进行预训练，已成为蛋白质序列设计的一个有前途的工具。在现实世界的蛋白质工程中，有许多情况下，蛋白质序列中间的氨基酸被优化，同时保留其他残基。不幸的是，由于pLM的从左到右的性质，现有的pLM通过提示前缀残基来修饰后缀残基，这对于考虑整个周围环境的填充任务是不够的。为了找到更有效的pLM蛋白质工程，我们设计了一个新的基准，二级结构E填充rEcoveRy，SEIFER，它近似于填充序列设计方案。通过对现有模型的评估，我们揭示了现有语言模型的弱点，并指出通过中间填充变换训练的语言模型（Protestant）更适合于蛋白质工程。此外，我们证明了Protectin通过详尽的实验和可视化生成具有体面的蛋白质表示的蛋白质序列。
2023-03-29 cs.AI cs.LG q-bio.BM
Long-context Protein Language Modeling Using Bidirectional Mamba with Shared Projection Layers
Cornell University（康奈尔大学）；Amazon（亚马逊）；George Mason University（乔治梅森大学）
提出基于BiMamba-S的蛋白质语言模型LC-PLM及其图上下文变体LC-PLM-G，通过增加上下文长度学习通用蛋白质表示，在下游任务上显著优于Transformer模型。
2025-04-01 cs.LG q-bio.BM
A Co-Design Approach to Physically-Informed Molecular Docking for Quantum Annealers
Politecnico di Milano（米兰理工大学）；Department of Physical and Chemical Sciences, University of L’Aquila（拉奎拉大学物理与化学科学系）；Istituto Italiano di Tecnologia（意大利理工学院）；E4 Computer Engineering（E4计算机工程公司）；CINECA；Dompé farmaceutici S.p.A.（Dompé制药股份公司）
本文提出一种结合物理化学相互作用的量子退火器分子对接方法，通过改进QUBO模型提升对接精度，引入库仑力、范德华力及氢键和疏水相互作用。
2026-10-30 cs.ET q-bio.BM
MutaPLM: Protein Language Modeling for Mutation Explanation and Engineering
Institute of AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））；Department of Computer Science and Technology, Tsinghua University（清华大学计算机科学与技术系）；Pharmolix Inc.（Pharmolix公司）
针对现有蛋白质语言模型对突变隐式建模、缺乏可解释性与工程性的问题，提出统一框架MutaPLM，通过蛋白质delta网络、CoT迁移学习及自建数据集MutaDescribe，实现突变效应的可解释分析与优质突变筛选，相关资源已开源。
2024-10-30 cs.LG q-bio.BM
Interpreting and Steering Protein Language Models through Sparse Autoencoders
Area Science Park（区域科学园）
本文针对蛋白质语言模型内部机制理解难题，通过稀疏自编码器（SAE）解释ESM-2 8M参数模型的内部表示并识别蛋白质特征相关潜在成分，进而利用该见解引导序列生成，为生物序列模型可解释性与引导提供新方法。
2025-02-13 cs.LG q-bio.BM
Diffusion Language Models Are Versatile Protein Learners
ByteDance Research（字节跳动研究院）；Nanjing University（南京大学）
本文提出扩散蛋白质语言模型DPLM，通过生成式自监督离散扩散框架预训练，在蛋白质序列的无条件生成、预测任务及多种条件生成任务中均展现出卓越性能。
2024-10-16 cs.LG q-bio.BM
Profile Prediction: An Alignment-Based Pre-Training Task for Protein Sequence Models
University of Washington（华盛顿大学）；Salesforce Research（赛富时研究院）
对于蛋白质序列数据集，由于湿实验室表征的高成本，未标记的数据大大超过了标记的数据。最近的蛋白质预测深度学习方法表明，对未标记数据进行预训练可以为下游任务产生有用的表示。然而，最佳的预训练策略仍然是一个悬而未决的问题。我们引入了一个新的预训练任务：直接预测来自多序列比对的蛋白质谱，而不是严格借鉴自然语言处理（NLP）的掩蔽或自回归语言建模的形式。使用一组五个蛋白质模型的标准化下游任务，我们证明了我们的预训练任务以及多任务目标在所有五个任务上都优于单独的掩蔽语言建模。我们的研究结果表明，蛋白质序列模型可能会受益于利用生物启发的归纳偏见，超越了NLP中现有的语言建模技术。
2020-12-01 cs.LG q-bio.BM
GPCR-BERT: Interpreting Sequential Design of G Protein Coupled Receptors Using Protein Language Models
Carnegie Mellon University（卡内基梅隆大学）
本文提出GPCR-BERT模型，利用Prot-Bert预训练语言模型对GPCR序列基序变异进行微调，通过注意力权重和隐藏状态解析结合口袋残基与保守基序的关系，并结合三维结构嵌入分析揭示受体构象中的高阶相互作用。
2023-10-30 cs.LG q-bio.BM
Pairing interacting protein sequences using masked language modeling
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；SIB Swiss Institute of Bioinformatics（瑞士生物信息学研究所）
本文提出 DiffPALM，利用 MSA Transformer 的掩码语言建模能力捕获链间协同进化，在不微调的情况下实现蛋白质相互作用序列配对，并在浅层 MSA 基准和 AlphaFold-Multimer 复合物结构预测中优于现有方法。
2023-08-14 cs.LG q-bio.BM
Endowing Protein Language Models with Structural Knowledge
Max Planck Institute of Biochemistry（马克斯·普朗克生物化学研究所）
该研究提出Protein Structure Transformer框架，通过结构提取器模块将结构信息整合进蛋白质语言模型的自注意力机制，在仅含54.2万结构的小数据集上预训练后，参数效率更优且性能超越ESM-2，刷新蛋白质功能预测基准。
2024-01-26 cs.LG q-bio.BM q-bio.QM
ProtLLM: An Interleaved Protein-Language LLM with Protein-as-Word Pre-Training
Beihang University（北京航空航天大学）；School of Computer Science and Technology, Beijing Institute of Technology（北京理工大学计算机科学与技术学院）；Center for Machine Learning Research, Peking University（北京大学机器学习研究中心）；State Grid Smart Grid Research Institute Co., Ltd.（国网智能电网研究院有限公司）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
ProtLLM提出动态蛋白质挂载机制和以蛋白质为词的语言建模，利用大规模交错蛋白质-文本数据集InterPT预训练，在蛋白质中心任务上超越专用基线，并具备蛋白质-语言任务的零样本与上下文学习能力。
2024-02-28 cs.AI cs.CL cs.LG
Induction Meets Biology: Mechanisms of Repeat Detection in Protein Language Models
Weizmann Institute of Science（魏茨曼科学研究院）
通过分析蛋白质语言模型在掩码预测中的行为，揭示了其检测精确和近似重复序列的两阶段机制：先构建特征表示，再利用归纳头关注重复片段中的对齐标记。
2026-07-21 cs.LG q-bio.BM
FoldToken: Learning Protein Language via Vector Quantization and Beyond
Westlake University（西湖大学）
本文提出FoldToken，通过软条件向量量化将蛋白质序列与结构统一表示为离散符号，形成新蛋白质语言，并构建首个GPT风格模型FoldGPT，在骨架修复和抗体设计任务中取得良好效果。
2024-03-19 cs.AI cs.LG q-bio.BM
ProGen: Language Modeling for Protein Generation
Salesforce Research（赛富时研究院）；Stanford University（斯坦福大学）
蛋白质工程的生成建模是解决合成生物学、医学和材料科学中基本问题的关键。我们提出蛋白质工程作为一个无监督的序列生成问题，以利用指数增长的蛋白质，缺乏昂贵的，结构注释。我们训练了一个1. 2B参数的语言模型ProGen，在大约280 M的蛋白质序列上，以分类和关键词标签为条件，如分子功能和细胞成分。这为ProGen提供了前所未有的进化序列多样性范围，并使其能够产生细粒度的控制，如基于一级序列相似性，二级结构准确性和构象能量的度量所示。
2020-03-08 cs.LG q-bio.BM stat.ML
Modeling Protein Using Large-scale Pretrain Language Model
Tsinghua University（清华大学）；Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）；Tencent Quantum Lab（腾讯量子实验室）
蛋白质与几乎所有的生命过程都有联系。因此，分析蛋白质序列的生物学结构和性质对于探索生命、疾病检测和药物发现至关重要。传统的蛋白质分析方法往往是劳动密集型和耗时的。深度学习模型的出现使得在大量数据中建模数据模式成为可能。跨学科研究人员已经开始利用深度学习方法来建模大型生物数据集，例如使用长短期记忆和卷积神经网络进行蛋白质序列分类。经过数百万年的进化，进化信息被编码在蛋白质序列中。受自然语言与蛋白质序列相似性的启发，本文采用大规模语言模型对进化尺度的蛋白质序列进行建模，将蛋白质生物学信息进行编码表示。在标记级和序列级任务中都观察到了显著的改进，这表明我们的大规模模型可以准确地从进化规模的个体序列的预训练中捕获进化信息。我们的代码和模型可以在https://github.com/THUDM/ProteinLM上找到。
2021-12-07 cs.CL cs.LG q-bio.BM
Automated Neuron Labelling Enables Generative Steering and Interpretability in Protein Language Models
Department of Electrical Engineering and Computer Science, University of California, Berkeley, Berkeley, California（电气工程与计算机科学系，加州大学伯克利分校）
本文提出首个自动化神经元标记框架，为蛋白质语言模型中的每个神经元赋予生物学描述，并开发激活引导的生成调控方法，实现目标生化与结构特性的蛋白质生成，同时揭示模型缩放规律。
2025-07-08 cs.LG q-bio.BM
Learning Latent Protein Languages for Autoregressive Generation
University of Missouri（密苏里大学）；University of Southern California（南加州大学）
本文提出两种潜在蛋白质语言（PLL和SLL），通过自回归Transformer预训练，在序列生成、结构预测和骨架生成上显著优于氨基酸模型，并支持快速采样。
2026-10-06 cs.LG q-bio.BM
PIGNet: A physics-informed deep learning model toward generalized drug-target interaction predictions
KAIST（韩国科学技术院）；HITS incorporation（HITS 公司）；KI for Artificial Intelligence, KAIST（韩国科学技术院人工智能研究院）
最近，基于深度神经网络（DNN）的药物-靶点相互作用（DTI）模型因其高精度和可负担的计算成本而备受关注。然而，在计算机药物发现的实践中，模型的泛化不足仍然是一个具有挑战性的问题。我们提出了两个关键的策略，以提高泛化的DTI模型。第一种是通过神经网络参数化的物理学方程预测原子-原子成对相互作用，并提供蛋白质-配体复合物的总结合亲和力作为它们的总和。我们通过将更广泛的绑定姿势和配体扩展到训练数据来进一步改进模型泛化。我们在2016年的评分函数比较评估（CASF）中验证了我们的模型PIGNet，证明了比以前的方法更好的对接和筛选能力。我们的物理信息策略还可以通过可视化配体亚结构的贡献来解释预测的亲和力，为进一步的配体优化提供见解。
2021-12-13 cs.LG q-bio.BM
ProtFlow: Fast Protein Sequence Design via Flow Matching on Compressed Protein Language Model Embeddings
Zhejiang University（浙江大学）
针对蛋白质序列设计中现有深度生成方法存在的推理效率低、建模空间大等问题，提出基于流匹配的ProtFlow框架，通过压缩蛋白质语言模型嵌入的潜空间实现快速设计，在多任务中优于特定方法。
2025-04-15 cs.AI cs.LG q-bio.BM
ESM All-Atom: Multi-scale Protein Language Model for Unified Molecular Modeling
Department of Computer Science, Tsinghua University（清华大学计算机系）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院）；PharMolix Inc（PharMolix公司）
本文提出多尺度蛋白质语言模型 ESM-AA，通过语码转换序列预训练和多尺度位置编码统一原子与残基建模，在蛋白质-分子任务上优于既有方法。
2024-06-13 cs.CE cs.LG q-bio.BM
Protein Language Models Diverge from Natural Language: Comparative Analysis and Improved Inference
Siebel School of Data Science and Computing（数据科学与计算系）；University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；DOE Center for Advanced Bioenergy and Bioproducts Innovation（能源与生物产品创新部门）；Chemical and Biomolecular Engineering（化学与生物分子工程系）
本研究通过比较蛋白质与自然语言领域中信息分布差异，改进蛋白质非结构性质预测的准确性和效率。
2026-02-24 cs.AI cs.CL cs.LG
Prot42: a Novel Family of Protein Language Models for Target-aware Protein Binder Generation
Inception Institute of Artificial Intelligence（Inception人工智能研究所）；Cerebras Systems（Cerebras系统）
本研究针对传统蛋白工程的局限与现有生成模型依赖靶标三维结构的问题，提出基于海量无标注序列预训练的新型蛋白语言模型家族Prot42，可处理长序列并高效生成高亲和力结合剂，已公开供科研使用。
2025-05-18 cs.AI cs.CL cs.LG
Artificial intelligence-aided protein engineering: from topological data analysis to deep protein language models
本综述系统总结了拓扑数据分析与深度蛋白质语言模型等人工智能方法在加速蛋白质工程中的应用，为该领域的未来发展提供了全面的方法论组件。
2023-07-27 q-bio.BM
Protein as a Second Language for LLMs
Wuhan University（武汉大学）；Hong Kong Polytechnic University（香港理工大学）；Stanford University（斯坦福大学）；Topify AI
提出“Protein-as-Second-Language”框架，将氨基酸序列重构为符号语言句子，使通用LLMs在零样本下通过序列-问题-答案三元组理解蛋白质功能，实验显示其超越微调的蛋白质专用模型。
2025-10-13 cs.AI cs.LG q-bio.BM
Reprogramming Pretrained Language Models for Protein Sequence Representation Learning
Brown University（布朗大学）；IBM Research（IBM研究院）
近年来，蛋白质学习任务的机器学习指导解决方案取得了重大进展。然而，在科学发现任务的成功是有限的定义和标记的域内数据的可访问性。为了解决低数据约束，最近对数百万个蛋白质序列进行预训练的深度学习模型的适应已经显示出了希望;然而，构建这种特定领域的大规模模型在计算上是昂贵的。在这里，我们提出了通过字典学习（R2 DL）的表示学习，这是一个端到端的表示学习框架，在这个框架中，我们为交替域任务重新编程了深度模型，这些任务可以在蛋白质属性预测上表现良好，并且训练样本显著减少。R2 DL重新编程一个预先训练的英语语言模型，通过学习英语和蛋白质序列词汇嵌入之间的稀疏线性映射来学习蛋白质序列的嵌入。我们的模型可以获得更好的准确性，并显着提高数据效率高达$10^5$倍的基线设置的预训练和标准的监督方法。为此，我们重新编程了一个现成的预先训练的英语语言Transformer，并在一组蛋白质理化预测任务（二级结构，稳定性，同源性，稳定性）以及一组生物医学相关的蛋白质功能预测任务（抗菌，毒性，抗体亲和力）上对其进行基准测试。
2023-01-05 cs.CL cs.LG q-bio.BM
Enhancing the efficiency of protein language models with minimal wet-lab data through few-shot learning
本文提出FSFP训练策略，结合元迁移学习、学习排序和参数高效微调，在仅需数十个标记突变体的极端数据稀缺条件下显著提升蛋白质语言模型的适应度预测性能，并在87个数据集上验证其优越性。
2024-02-03 q-bio.BM
Diffusion on language model encodings for protein sequence generation
Constructor University, Bremen, Germany（Constructor大学，不来梅，德国）
DiMA提出一种基于蛋白质语言模型表示的潜在连续扩散框架，统一处理多种编码器，生成高质量、多样且新颖的蛋白质序列，并支持条件生成任务。
2025-09-06 cs.AI cs.LG q-bio.BM
Generative power of a protein language model trained on multiple sequence alignments
École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Institute of Bioengineering（生物工程研究所）；School of Life Sciences（生命科学学院）；SIB Swiss Institute of Bioinformatics（瑞士生物信息学研究所）
本文提出并验证了一种基于 MSA Transformer 掩码语言建模目标的迭代序列生成方法，证明其在同源性、共进化、结构度量及高阶统计分布上优于或媲美 Potts 模型，展示了该模型在蛋白质序列生成与设计中的强大能力。
2022-11-20 cs.LG q-bio.BM q-bio.QM
BERTology Meets Biology: Interpreting Attention in Protein Language Models
Salesforce Research（Salesforce研究院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Transformer架构已被证明可以学习用于蛋白质分类和生成任务的有用表示。然而，这些表示在可解释性方面提出了挑战。在这项工作中，我们展示了一套方法来分析蛋白质Transformer模型，通过镜头的注意。我们表示关注：（1）捕获蛋白质的折叠结构，连接在基础序列中相距较远但在三维结构中空间上接近的氨基酸，（2）靶向结合位点，蛋白质的关键功能组分，以及（3）随着层深度的增加，关注逐渐更复杂的生物物理特性。我们发现这种行为在三种Transformer架构（BERT，AL BERT，XLNet）和两种不同的蛋白质数据集上是一致的。我们还提出了一个三维可视化的注意力和蛋白质结构之间的相互作用。可视化和分析代码可在https://github.com/salesforce/provis上获得。
2021-03-28 cs.CL cs.LG q-bio.BM
Training self-supervised peptide sequence models on artificially chopped proteins
Amazon Devices（亚马逊设备部门）；Amazon Machine Learning Solutions Lab（亚马逊机器学习解决方案实验室）；AWS Professional Services（亚马逊云科技专业服务部门）
蛋白质的表征学习主要集中在对蛋白质序列的整体理解上，而不管它们的长度如何。然而，较短的蛋白质（称为肽）与较长的蛋白质相比具有不同的结构和功能。不幸的是，没有那么多天然存在的肽可用于测序，因此用于训练的肽特异性数据较少。在本文中，我们提出了一个新的肽数据增强计划，我们训练肽语言模型人工构建的肽，是小的连续子集的较长的野生型蛋白质，我们称之为“切碎的蛋白质”的训练肽。我们评估了用切碎的蛋白质与天然肽训练的模型的代表性潜力，发现用切碎的蛋白质训练语言模型会导致短蛋白质序列的更一般化的嵌入。这些肽特异性模型也比在全长蛋白质上训练的语言模型更好地保留了它们所来源的原始蛋白质的信息。我们将掩蔽语言模型的训练目标与三种新的肽特定训练目标进行了比较：下一个肽预测，对比肽选择和进化加权MLM。我们证明了深度突变扫描肽基准的改进的zero-shot学习性能。
2022-11-09 cs.LG q-bio.BM q-bio.QM
SaltyMeta: a curated benchmark and protein language model-informed web tool for salty peptide prediction
Institute of Edible Fungi, Shanghai Academy of Agricultural Sciences（上海市农业科学院食用菌研究所）
SaltyMeta构建了含580条肽的咸味肽基准，评估描述符与ESM2嵌入融合模型，最佳模型测试ROC-AUC达0.715，提供网络筛选工具。
2026-09-16 q-bio.BM
CCPL: Cross-modal Contrastive Protein Learning
Zhejiang University（浙江大学）；AI Lab, Westlake University（西湖大学人工智能实验室）
本文提出无监督跨模态对比蛋白质学习方法CCPL，利用蛋白质语言模型和对比对齐增强结构表示学习，并通过自监督结构约束保持结构信息，在多个基准上取得优越性能。
2024-09-04 cs.AI cs.LG q-bio.BM
CFP-Gen: Combinatorial Functional Protein Generation via Diffusion Language Models
针对现有蛋白质语言模型难以同时满足跨模态多约束的问题，提出扩散语言模型CFP-Gen，通过AGFM和RCFE模块及3D结构编码器整合多模态条件，实现了高成功率的多功能蛋白质高通量生成。
2025-05-28 cs.CV cs.LG q-bio.BM
ProLLaMA: A Protein Large Language Model for Multi-Task Protein Language Processing
提出多任务蛋白质语言模型ProLLaMA及进化蛋白质生成框架EPGF，通过构建大规模指令数据集与两阶段训练，实现蛋白质理解与生成能力的统一，在生成质量与理解精度上均取得显著提升。
2025-09-14 cs.CE q-bio.BM
TourSynbio: A Multi-Modal Large Model and Agent Framework to Bridge Text and Protein Sequences for Protein Engineering
Toursun Synbio（拓荪合成生物）；Johns Hopkins University（约翰斯·霍普金斯大学）；University of Cambridge（剑桥大学）；Shanghai AI Laboratory（上海人工智能实验室）；Shanghai Jiao Tong University（上海交通大学）；City University of Hong Kong（香港城市大学）
针对大语言模型在蛋白质工程中依赖外部编码器导致性能次优的问题，提出无外部编码器的多模态大模型TourSynbio-7B及智能体框架，在多项任务上超越GPT-4，并通过湿实验验证了其有效性。
2024-08-27 cs.AI cs.LG q-bio.BM
FoldToken2: Learning compact, invariant and generative protein structure language
Westlake University（西湖大学）；Research Center for Industries of the Future（未来产业研究中心）；AI Lab（人工智能实验室）
FoldToken2 通过改进不变编码器、向量量化压缩器和等价解码器，将蛋白质结构转换为紧凑且可恢复的离散 token，在单链和多链结构量化上显著优于 FoldToken1。
2024-06-11 cs.AI cs.LG q-bio.BM
Encoding protein dynamic information in graph representation for functional residue identification
National Taiwan University（台湾大学）
蛋白质功能预测的最新进展利用基于图的深度学习方法将蛋白质的结构和拓扑特征与其分子功能相关联。然而，蛋白质在体内不是静态的，而是动态的分子，它们为了功能目的而改变构象。在这里，我们应用正常模式分析天然蛋白质的构象和增强蛋白质图之间的动态相关的残基对连接边缘。在多标签函数分类任务中，我们的方法基于这种动态信息表示展示了显着的性能增益。建议的图神经网络，ProDAR，增加了残基水平的注释的可解释性和概括性，并鲁棒地反映了蛋白质的结构细微差别。我们阐明了动态信息的重要性，在图形表示通过比较类激活图的hMTH 1，nitrophorin，和SARS-CoV-2受体结合域。我们的模型成功地学习了蛋白质的动态指纹，并精确定位了功能影响的残留物，具有广泛的生物技术和制药应用的巨大潜力。
2022-06-10 cond-mat.soft cs.LG physics.atm-clus
ProLLM: Protein Chain-of-Thoughts Enhanced LLM for Protein-Protein Interaction Prediction
Rutgers University（罗格斯大学）；University of Liverpool（利物浦大学）；Peking University（北京大学）；Massachusetts Institute of Technology（麻省理工学院）；New Jersey Institute of Technology（新泽西理工学院）
针对现有PPI预测方法忽略间接非物理连接的局限，提出融合蛋白质思维链ProCoT的ProLLM框架，借助LLM和信号通路推理机制，结合嵌入替换与指令微调，在基准数据集上实现了预测准确率和泛化性的显著提升。
2024-07-12 cs.LG q-bio.BM q-bio.MN
InstructProtein: Aligning Human and Protein Language via Knowledge Instruction
Zhejiang University（浙江大学）；ZJU-Hangzhou Global Scientific and Technological Innovation Center（浙江大学杭州国际科创中心）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）
针对大语言模型难以理解蛋白质序列的问题，研究提出InstructProtein模型，通过知识图谱构建指令数据集并经预训练与指令微调实现蛋白质与人类语言的双向生成，性能显著优于现有模型，为相关研究开辟新方向。
2023-10-05 cs.CL q-bio.BM
Protein language models trained on multiple sequence alignments learn phylogenetic relationships
École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；SIB Swiss Institute of Bioinformatics（瑞士生物信息学研究所）
具有注意力的自监督神经语言模型最近被应用于生物序列数据，推进结构，功能和突变效应预测。一些蛋白质语言模型，包括MSA Transformer和AlphaFold的EvoFormer，将进化相关蛋白质的多个序列比对（MSA）作为输入。MSA Transformer的行注意力的简单组合导致了最先进的无监督结构接触预测。我们表明，同样简单，通用的，MSA Transformer的列关注的组合强烈相关的序列之间的汉明距离在MSA。因此，基于MSA的语言模型编码详细的系统发育关系。我们进一步表明，这些模型可以分离的共同进化信号编码的功能和结构的限制，反映历史偶然性的系统发育相关性。为了评估这一点，我们生成合成的MSA，无论是没有或有同源性，从天然MSA训练的波茨模型。我们发现，无监督的接触预测时，使用MSA Transformer与推断Potts模型的系统发育噪声更有弹性。
2022-09-21 cs.LG q-bio.BM q-bio.QM
ForceGen: End-to-end de novo protein generation based on nonlinear mechanical unfolding responses using a protein language diffusion model
Massachusetts Institute of Technology（麻省理工学院）；Tufts University（塔夫茨大学）
本研究提出ForceGen生成模型，结合预训练蛋白质语言模型与扩散机制，基于非线性力学解折叠响应从头设计蛋白质，经全原子模拟验证可满足目标力学性能，为力学生物学蛋白质材料发现提供新路径。
2023-12-16 cond-mat.mes-hall cond-mat.mtrl-sci cs.CL
Structural Interpretations of Protein Language Model Representations via Differentiable Graph Partitioning
Nanyang Technological University（南洋理工大学）
本文提出一种插件式框架，通过将ESM-2表示投影到蛋白质接触图并应用SoftBlobGIN网络，实现结构感知的消息传递和学习功能子结构，提升下游任务性能。
2026-05-09 cs.AI cs.LG q-bio.BM
Protein Large Language Models: A Comprehensive Survey
UCLA（加利福尼亚大学洛杉矶分校）；Stanford（斯坦福大学）；Georgia Tech（佐治亚理工学院）；Texas A&M（得克萨斯农工大学）
本文首次全面综述了蛋白质大语言模型，涵盖架构、数据集、评估及应用，并提出分类法，探讨其在蛋白质工程与生物医学研究中的潜力及未来挑战。
2025-03-06 cs.AI cs.CE cs.CL
IDP-Bert: Predicting Properties of Intrinsically Disordered Proteins (IDP) Using Large Language Models
本文提出IDP-Bert深度学习模型，利用Transformer和蛋白质语言模型仅从氨基酸序列预测固有无序蛋白的回转半径、去相关时间和热容等性质，避免了昂贵的实验与模拟。
2024-11-23 q-bio.BM
