Synthesizable Molecular Generation via Soft-constrained GFlowNets with Rich Chemical Priors
University of Toronto(多伦多大学);DeepMind(深度思维);University of Montreal(蒙特利尔大学)
提出S3-GFN方法,通过软正则化序列GFlowNet,利用大规模SMILES语料库的化学先验,生成高奖励且可合成的分子,实验表明可合成率≥95%。
2026-06-08 cs.LG q-bio.QM
SELFormer: Molecular Representation Learning via SELFIES Language Models
Hacettepe University(哈斯特帕大学)
本文提出SELFormer,一种基于Transformer架构并使用SELFIES符号的化学语言模型,通过预训练和微调在分子性质预测任务上优于基于图学习和SMILES的方法,展示了SELFIES在化学语言建模中的优势。
2023-05-25 cs.LG q-bio.QM
Dual-Modality Representation Learning for Molecular Property Prediction
Case Western Reserve University(凯斯西储大学)
提出双模态交叉注意力(DMCA)方法,结合图与SMILES两种分子表示,在八个数据集上取得最佳性能,用于分子性质预测。
2025-01-11 cs.LG q-bio.QM
ChemBERTa-2: Towards Chemical Foundation Models
Reverie Labs(遐想实验室);UC Berkeley(加州大学伯克利分校);MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);Deep Forest Sciences(深林科学公司)
GPT-3等大型预训练模型通过利用自监督学习来学习可用于轻松微调各种下游任务的突出表示,对现代自然语言处理产生了巨大影响。我们研究了将这些进展转移到分子机器学习的可能性,通过使用SMILES语言构建化学基础模型ChemBERTA-2。虽然用于分子预测任务的标记数据通常是稀缺的,但SMILES字符串的库是容易获得的。在这项工作中,我们通过优化预训练过程来构建ChemBERTA。我们通过不同的超参数和预训练数据集大小来比较多任务和自我监督预训练,PubChem的化合物多达77 M。据我们所知,77 M集构成了迄今为止用于分子预训练的最大数据集之一。我们发现,通过这些预训练改进,我们在MoleculeNet基准测试套件上与现有的最先进的架构竞争。我们分析了预训练的改进转化为下游任务改进的程度。
2022-09-05 cs.AI cs.LG q-bio.BM
Chemical-Reaction-Aware Molecule Representation Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);New York University(纽约大学);Genentech(基因泰克公司)
分子表示学习(MRL)方法旨在将分子嵌入实向量空间。然而,现有的基于SMILES(Simplified Molecular-Input Line-Entry System)或基于GNN(图神经网络)的MRL方法要么以SMILES字符串作为输入,难以编码分子结构信息,要么过分强调GNN结构的重要性而忽视其泛化能力。在这里,我们建议使用化学反应来帮助学习分子表征。我们方法的关键思想是保持分子在嵌入空间中化学反应的等价性,即,迫使反应物嵌入的总和和产物嵌入的总和对于每个化学方程式相等。该约束被证明是有效的,1)保持嵌入空间的良好组织和2)提高分子嵌入的泛化能力。此外,我们的模型可以使用任何GNN作为分子编码器,因此对GNN架构是不可知的。实验结果表明,我们的方法在各种下游任务中实现了最先进的性能,例如,与最佳基线方法相比,化学反应预测的绝对Hit@1增益为17.4%,分子性质预测的绝对AUC增益为2.3%,图形编辑距离预测的相对RMSE增益为18.5%。该代码可在https://github.com/hwwang55/MolR上获得。
2021-09-22 cs.LG physics.chem-ph q-bio.QM
Improving Chemical Understanding of LLMs via SMILES Parsing
KAIST(韩国科学技术院);Yonsei University(延世大学)
针对大语言模型难以理解SMILES分子结构的问题,提出CLEANMOL框架,将解析转化为确定性任务并预训练开源模型,增强结构理解,在Mol-Instructions基准上达到最优或相当性能。
2025-05-22 cs.LG
DeepGS: Deep Representation Learning of Graphs and Sequences for Drug-Target Binding Affinity Prediction
College of Computer Science and Technology, Hunan University(湖南大学信息科学与工程学院)
在计算机上准确预测药物-靶标结合亲和力(DTA)是药物发现的关键任务。传统的差热分析预测方法大多是基于仿真的,这在很大程度上依赖于领域知识或具有目标的3D结构的假设,这往往是很难获得的。同时,传统的基于机器学习的方法应用各种特征和描述符,并且简单地依赖于药物-靶标对之间的相似性。最近,随着可用的亲和数据量的增加以及深度表示学习模型在各个领域的成功,深度学习技术已经被应用于DTA预测。然而,这些方法考虑标签/独热编码或分子的拓扑结构,而不考虑氨基酸和SMILES序列的局部化学背景。受此启发,我们提出了一种新的端到端学习框架,称为DeepGS,它使用深度神经网络从氨基酸和SMILES序列中提取局部化学背景,以及药物的分子结构。为了辅助对符号数据的操作,我们建议使用高级嵌入技术(即,Smi 2 Vec和Prot 2 Vec)编码氨基酸和SMILES序列以分布表示。同时,我们提出了一种新的分子结构建模方法,在我们的框架下工作得很好。我们已经进行了大量的实验,将我们提出的方法与最先进的模型进行了比较,包括KronRLS,SimBoost,DeepDTA和DeepCPI。大量的实验结果证明了DeepGS的优越性和竞争力。
2020-04-03 cs.LG q-bio.QM
RTMol: Rethinking Molecule-text Alignment in a Round-trip View
RTMol通过自监督环形学习统一分子描述与文本生成,提升双向对齐性能47%,建立联合分子-文本理解生成范式。
2025-11-21 cs.AI cs.LG q-bio.BM
CheMixNet: Mixed DNN Architectures for Predicting Chemical Properties using Multiple Molecular Representations
Northwestern University(西北大学)
SMILES是化学结构的线性表示,其编码连接表,并且分子的立体化学作为具有表示原子、键、环和链的语法结构的文本行,并且该信息可用于预测化学性质。分子指纹是化学结构的表示,成功地用于相似性搜索、聚类、分类、药物发现和虚拟筛选,并且是标准且计算高效的抽象表示,其中结构特征表示为位串。SMILES和分子指纹是描述分子结构的不同表示。存在几种基于SMILES或分子指纹的用于学习化学性质的预测模型。在这里,我们的目标是建立可以利用这两种分子表征的预测模型。在这项工作中,我们提出了CheMixNet --一组神经网络,用于从两种分子表示-- SMILES作为序列和分子指纹作为矢量输入的混合特征中预测化学性质。我们通过在六个不同的数据集上进行评估来证明CheMixNet架构的有效性。所提出的CheMixNet模型不仅优于候选神经架构,例如使用分子指纹和1-D CNN和RNN模型训练SMILES序列的当代全连接网络,而且还优于其他最先进的架构,例如Chemception和Molecular Graph Convolutions。
2018-11-30 cs.LG
Local-Global Multimodal Contrastive Learning for Molecular Property Prediction
School of Mathematical Sciences(数学科学学院);University of Electronic Science and Technology of China(电子科技大学);Department of Computer Science and Engineer(计算机科学与工程系);Oakland University(奥克兰大学);Department of Electrical and Computer Engineering(电气与计算机工程系);College of Management Science(管理科学学院);Chengdu University of Technology(成都理工大学)
LGM-CL通过局部-全局多模态对比学习框架,整合分子结构和化学语义信息,提升分子性质预测的准确性与性能。
2026-01-30 cs.AI cs.LG
SMILES2Vec: An Interpretable General-Purpose Deep Neural Network for Predicting Chemical Properties
PNNL(太平洋西北国家实验室)
化学数据库以文本形式存储信息,SMILES格式是许多化学信息学软件中使用的通用标准。每个SMILES字符串中编码的是可用于预测复杂化学性质的结构信息。在这项工作中,我们开发了SMILES2vec,这是一种深度RNN,可以自动从SMILES中学习特征来预测化学性质,而不需要额外的显式特征工程。使用贝叶斯优化方法来调整网络架构,我们表明,优化的SMILES2vec模型可以作为一个通用的神经网络,用于预测不同的化学性质,包括毒性,活性,溶解度和溶剂化能,同时也优于当代MLP神经网络,使用工程功能。此外,我们展示了概念证明的可解释性,通过开发一个解释面具,本地化的最重要的字符用于作出预测。当在溶解度数据集上进行测试时,它识别出了化学品的特定部分,与已建立的第一原理知识一致,准确率为88%。我们的工作表明,神经网络可以学习技术上准确的化学概念,并提供最先进的准确性,使可解释的深度神经网络成为与化学工业相关的有用工具。
2018-03-18 cs.AI cs.CL cs.LG
Root-aligned SMILES: A Tight Representation for Chemical Reaction Prediction
Zhejiang University(浙江大学);Hangzhou Huadong Medicine Group Pharmaceutical Research Institute(杭州华东医药集团医药研究院)
化学反应预测是有机合成中的一个基本问题,包括正合成和逆合成预测。一种流行的计算范式将合成预测公式化为序列到序列的翻译问题,其中典型的SMILES被用于分子表示。然而,通用的SMILES忽略了化学反应的特征,其中分子图拓扑结构从反应物到产物在很大程度上没有改变,如果直接应用,则导致SMILES的次优性能。在这篇文章中,我们提出了根对齐的SMILES(R-SMILES),它指定了一个紧密对齐的一对一的映射之间的产品和反应物SMILES更有效的合成预测。由于严格的一对一映射和减少的编辑距离,计算模型在很大程度上从学习复杂的语法中解脱出来,并致力于学习反应的化学知识。我们将所提出的R-SMILES与各种最先进的基线进行了比较,结果表明它的性能明显优于所有基线,证明了所提出的方法的优越性。
2022-08-12 cs.LG physics.chem-ph q-bio.BM
FARM: Enhancing Molecular Representations with Functional Group Awareness
Siebel School of Computing and Data Science, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校Siebel计算与数据科学学院);Department of Computer Science, Texas A&M University(德克萨斯大学计算机科学系);Department of Chemistry, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校化学系);Department of Chemical & Biomolecular Engineering, University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校化学与生物分子工程系)
FARM通过整合功能团注释提升分子表示,结合SMILES与分子图,改进Transformer模型的分子表示能力,实现功能团与结构信息的联合编码。
2026-04-28 cs.LG q-bio.QM
Molecular Joint Representation Learning via Multi-modal Information
East China University of Science and Technology(华东理工大学)
近年来,人工智能在加速药物发现的整个过程中发挥了重要作用。发展了不同模态(如文本序列或图形)的各种分子表示方案。通过对它们进行数字编码,可以通过相应的网络结构学习不同的化学信息。分子图和简化分子输入行输入系统(SMILES)是当前流行的分子表示学习方法。以前的工作已经做了尝试,通过结合两者来解决特定的信息丢失的问题,在各种任务的单模态表示。为了进一步融合这种多模态信息,应该考虑从不同表征中学习到的化学特征之间的对应关系。为了实现这一点,我们提出了一个新的框架,分子联合表示学习通过多模态信息的SMILES和分子图,称为MMSG。我们通过在Transformer中引入键级图表示作为注意偏置来改进自注意机制,以增强多模态信息之间的特征对应。我们进一步提出了一个双向消息通信图神经网络(BMC GNN),以加强从图聚集的信息流,以进一步组合。在公共属性预测数据集上的大量实验证明了该模型的有效性。
2022-11-25 cs.AI cs.LG q-bio.BM
TRIDENT: Tri-Modal Molecular Representation Learning with Taxonomic Annotations and Local Correspondence
University of Texas at Arlington(德克萨斯大学阿灵顿分校);Johnson & Johnson Innovative Medicine(强生创新医学)
TRIDENT通过整合SMILES、文本和分类功能注释,学习丰富的分子表示,从而在多个下游任务中取得最佳性能。
2026-02-26 cs.LG
Multilingual Molecular Representation Learning via Contrastive Pre-training
Microsoft Corporation(微软公司)
分子表示学习在化学信息学中起着重要的作用。最近,基于语言模型的方法作为传统的专家设计的特征来编码分子的替代方案已经得到普及。然而,这些方法仅利用单个分子语言进行表示学习。一个给定的分子可以使用不同的语言,如简化的分子线输入系统(SMILES),国际纯粹与应用化学联合会(IUPAC),和国际化学标识符(InChI)的动机,我们提出了一种多语言的分子嵌入生成方法,称为MM-Deacon(通过对比学习的多语言分子结构域嵌入分析)。MM-Deacon使用SMILES和IUPAC作为大规模分子的两种不同语言进行预训练。我们评估了我们的方法对MoleculeNet基准的七个分子性质预测任务,zero-shot跨语言检索和药物相互作用预测任务的鲁棒性。
2022-04-18 cs.CL cs.LG physics.chem-ph
Beyond Chemical 1D knowledge using Transformers
Firmenich International SA(芬美意国际公司);Helmholtz Zentrum München - Research Center for Environmental Health (GmbH)(慕尼黑亥姆霍兹中心——环境健康研究中心(有限责任公司));BigChem GmbH(比格化学有限责任公司)
在本文中,我们评估了最近的transformer-CNN模型的效率,以预测目标的性质的基础上增强立体化学SMILES。我们选择了一个著名的Cliff活性数据集以及一个偶极子矩数据集,并比较了三种表示的R/S立体化学在SMILES的效果。所考虑的表示是没有立体化学的SMILES(noChiSMI)、经典的相对立体化学编码(RelChiSMI)和具有绝对立体化学编码的替代版本(AbsChiSMI)。在SMILES表示中包含R/S允许简化基于SMILES表示的相应信息的分配,但在回归或分类任务上并不总是显示出优势。有趣的是,当SMILES中不存在立体化学信息时,我们没有看到Transformer-CNN模型的性能下降。此外,这些模型显示出更高或类似的性能相比,基于3D结构的模型。这些观察结果是3D化学任务的NLP建模的重要一步。一个开放的挑战仍然是Transformer-CNN是否可以有效地从SMILES输入中嵌入3D知识,以及更好的表示是否可以进一步提高这种方法的准确性。
2020-10-07 cs.LG q-bio.QM
Insuring Smiles: Predicting routine dental coverage using Spark ML
California State University Los Angeles(加州州立大学洛杉矶分校)
本文利用Spark ML和多种机器学习算法分析保险计划特征,预测健康保险是否覆盖成人常规牙科服务,为个人和家庭提供基于收入和支出的保险选择策略。
2023-10-13 cs.DC cs.LG
A smile is all you need: Predicting limiting activity coefficients from SMILES with natural language processing
ETH Zürich(苏黎世联邦理工学院);OpenAI(开放人工智能研究中心)
本文提出SMILES-to-Properties-Transformer(SPT),先用COSMO-RS合成的大规模数据预训练,再用实验数据微调,从SMILES准确预测未知分子的极限活度系数,误差较现有模型降低一半。
2022-06-15 cs.CL cs.LG physics.chem-ph
Learning Latent Space Energy-Based Prior Model for Molecule Generation
University of California, Los Angeles(加州大学洛杉矶分校);Stevens Institute of Technology(史蒂文斯理工学院)
深度生成模型最近已被应用于分子设计。如果分子以线性SMILES字符串编码,建模变得方便。然而,依赖于字符串表示的模型往往会生成无效的样本和副本。以前的工作解决了这些问题,建立模型的化学有效的片段或明确执行化学规则的生成过程。我们认为,一个表达模型是足够的隐式和自动学习复杂的化学规则的数据,即使分子编码在简单的字符级SMILES字符串。我们建议使用SMILES表示来学习基于潜在空间能量的先验模型,用于分子建模。我们的实验表明,我们的方法是能够产生的分子的有效性和唯一性与国家的最先进的模型竞争。有趣的是,生成的分子具有结构和化学特征,其分布几乎与真实分子完全匹配。
2020-10-19 cs.LG
KITE-DDI: A Knowledge graph Integrated Transformer Model for accurately predicting Drug-Drug Interaction Events from Drug SMILES and Biomedical Knowledge Graph
University of Central Florida(中佛罗里达大学)
针对药物-药物相互作用预测难题,提出融合药物SMILES与生物医学知识图谱的KITE-DDI Transformer模型,实现端到端高精度预测,泛化性强、超参数少,低数据场景表现优异。
2024-12-08 cs.LG q-bio.BM
DeepCCI: End-to-end Deep Learning for Chemical-Chemical Interaction Prediction
Seoul National University(首尔大学)
化学-化学相互作用(CCI)在预测候选药物、毒性、治疗效果和生物学功能方面起着关键作用。在各种类型的化学分析中,由于需要处理的数据量,通常需要计算方法。最近深度学习的显著增长和出色表现吸引了相当多的研究关注。然而,即使在最先进的药物分析方法中,深度学习仍然仅用作分类器,尽管深度学习不仅能够进行简单的分类,还能够进行自动化的特征提取。在本文中,我们提出了CCI的第一个端到端学习方法,名为DeepCCI。隐藏的特征来自简化的分子输入行输入系统(SMILES),这是一个表示化学结构的字符串符号,而不是从精心制作的特征中学习。为了发现SMILES字符串的隐藏表示,我们使用卷积神经网络(CNN)。为了保证同质交互的交换性,我们采用模型共享和隐藏表示合并技术。DeepCCI的性能与普通的深度分类器和传统的机器学习方法进行了比较。提出的DeepCCI在所有七个评估指标中表现最好。此外,交换性质的实验验证。通过端到端的SMILES学习自动提取的特征简化了手动特征工程所需的大量工作。它有望提高药物分析中的预测性能。
2017-12-14 cs.LG
MolTRES: Improving Chemical Language Representation Learning for Molecular Property Prediction
BK21 FOUR R&E Center for Artificial Intelligence, Korea University(韩国大学BK21 FOUR人工智能研究教育中心);Korea University(韩国大学)
提出 MolTRES 化学语言表示学习框架,通过生成器-判别器训练和外部材料文献知识嵌入缓解过拟合与过早收敛,并在分子性质预测任务上超过现有最先进模型。
2024-07-09 cond-mat.mtrl-sci cs.LG physics.chem-ph
Improving Chemical Autoencoder Latent Space and Molecular De novo Generation Diversity with Heteroencoders
Wildcard Pharmaceutical Consulting(万卡医药咨询公司);Science Data Software LLC(科学数据软件有限责任公司)
化学自动编码器是有吸引力的模型,因为它们将化学空间导航与感兴趣领域的从头分子生成的可能性相结合。这使他们能够围绕单个先导化合物产生集中的化学库,以便在药物发现项目的早期使用。在这里,它表明,选择的化学表示,如SMILES字符串,有很大的影响的潜在空间的属性。进一步探讨了不同化学表征之间的翻译在多大程度上影响了SMILES字符串或圆形指纹的潜在空间相似性。采用SMILES枚举的编码器或解码器,它被发现,解码器具有最大的潜在空间的属性的影响。训练基于具有长短期记忆细胞(LSTM)的递归神经网络(RNN)的序列到序列异源编码器以从相同的规范SMILES串预测不同的枚举SMILES串,给出了潜在空间距离和测量为圆形指纹相似性的分子相似性之间的最大相似性。使用五个分子数据集的QSAR建模中的瓶颈的输出表明,heteroencoder衍生的向量显着优于autoencoder衍生的向量以及使用ECFP 4指纹构建的模型,强调潜在空间的化学相关性增加。然而,在解码器的训练期间使用枚举导致解码到与编码不同的分子的速率显著增加,这一趋势可以用更复杂的网络架构来抵消。
2018-09-17 cs.LG stat.ML
DMAGT: Unveiling miRNA-Drug Associations by Integrating SMILES and RNA Sequence Structures through Graph Transformer Models
Brown University(布朗大学)
DMAGT通过整合SMILES和RNA序列结构,利用图变压器模型预测药物与miRNA的关联,实现了高准确率的关联预测。
2025-12-04 cs.LG
A Large Encoder-Decoder Family of Foundation Models For Chemical Language
IBM Research Brazil(IBM巴西研究所以及IBM Research Brazil);IBM Research Almaden(IBM阿马登研究所)
本文提出在9100万SMILES样本上预训练的大型编码器-解码器化学基础模型,支持量子性质预测等多种任务,在多个基准上取得最优结果,并验证了嵌入空间的可分离性与少样本学习能力。
2024-07-24 cs.AI cs.LG physics.chem-ph
MultiModal-Learning for Predicting Molecular Properties: A Framework Based on Image and Graph Structures
Nanjing Fenghuo Tiandi Communication Technology Co., Ltd(南京烽火天地通信科技有限公司)
提出MolIG多模态预训练框架,结合分子图像与图结构进行自监督学习,以预测分子性质,在MoleculeNet和ADMET基准上优于先进基线模型。
2024-04-19 cs.AI cs.LG physics.chem-ph
Accelerating Drug Safety Assessment using Bidirectional-LSTM for SMILES Data
Andhra University College of Engineering(安得拉大学工程学院);Chaitanya Engineering College(柴塔尼亚工程学院)
本文提出基于双向LSTM的序列模型处理SMILES分子数据,用于预测先导化合物的毒性和溶解度,在ClinTox和FreeSolv数据集上分别取得0.96 ROC精度和1.22 RMSE,优于Trimnet和预训练GNN等方法。
2024-07-08 cs.LG q-bio.QM
TSSR: Two-Stage Swap-Reward-Driven Reinforcement Learning for Character-Level SMILES Generation
Department of Computer Science, California State Polytechnic University, Pomona, CA, USA(计算机科学系,加州州立理工大学庞纳分校);Department of Biotechnology and Pharmaceutical Sciences, Western University of Health Sciences, Pomona, CA, USA(生物技术与药学科学系,西部健康科学大学)
TSSR通过两阶段交换-奖励驱动强化学习提升字符级SMILES生成的语法和化学有效性,同时保持多样性。
2026-01-15 cs.AI cs.LG
DiffER: Categorical Diffusion for Chemical Retrosynthesis
Computer Science and Engineering(计算机科学与工程);College of Pharmacy(药学院);Translational Data Analytics Institute(转化数据分析研究所);Biomedical Informatics(生物医学信息学)
本文提出DiffER,一种基于类别扩散的无模板化学逆合成方法,可一次性预测整个SMILES序列,并通过模型集成与长度预测组件在top-k准确率上取得领先性能。
2025-06-03 cs.LG
Accelerating the inference of string generation-based chemical reaction models for industrial applications
IDSIA(IDSIA研究所);USI(瑞士意大利语区大学);SUPSI(瑞士应用科学大学南部);Machine Learning Research, Pfizer Research and Development(辉瑞研发部机器学习研究部门);Institute for Digital Technologies for Personalized Healthcare, SUPSI(瑞士应用科学大学南部个性化医疗数字技术研究所);AI Initiative, KAUST(阿卜杜拉国王科技大学人工智能倡议)
针对无模板SMILES翻译模型推理慢的问题,提出基于投机解码的加速方法,在分子变换器上实现超3倍加速且精度不变。
2024-07-17 cs.AI cs.LG q-bio.QM
UAlign: Pushing the Limit of Template-free Retrosynthesis Prediction with Unsupervised SMILES Alignment
Shanghai Jiao Tong University(上海交通大学)
UAlign通过无监督SMILES对齐技术,提升无模板反合成预测的准确性,超越现有模板化方法。
2024-04-19 cs.AI cs.LG physics.chem-ph
Empirical Evidence for the Fragment level Understanding on Drug Molecular Structure of LLMs
Tsinghua University(清华大学);Microsoft Research AI4Science(微软研究院AI4Science)
本文通过预训练并微调基于SMILES的transformer模型,实证发现语言模型能从分子片段角度理解化学结构,且微调所得结构知识体现在生成的高频SMILES子串中。
2024-01-15 cs.CE cs.LG q-bio.BM
Synergy Effect between Convolutional Neural Networks and the Multiplicity of SMILES for Improvement of Molecular Prediction
University of Geneva(日内瓦大学);BIGCHEM GmbH(BIGCHEM有限公司);Helmholtz Zentrum Muenchen - German Research Center for Environmental Health (GmbH)(亥姆霍兹慕尼黑中心——德国环境健康研究中心(有限公司));Firmenich SA(芬美意公司)
在我们的研究中,我们证明了卷积神经网络和SMILES的多重性之间的协同效应。我们提出的模型,即所谓的卷积神经指纹(CNF)模型,达到了传统描述符的准确性,如Dragon(Mauri等人。[22]),RDKit(Landrum [18]),CDK2(Willighagen等人。[43])和PyDescriptor(Masand和Rastija [20])。此外,CNF模型通常比高度微调的传统描述符表现得更好,特别是在小数据集上,这对于数据集通常由于实验成本、分子的可用性或对私有数据库的可访问性而较小的化学领域来说是非常感兴趣的。我们在训练和测试期间评估CNF模型以及SMILES增强。据我们所知,这是第一次提出这种方法。我们证明了在训练过程中使用SMILES的多重性作为正则化器,因此避免了过拟合,并且在考虑进行测试时可以被视为集成学习。
2018-12-11 cs.LG stat.ML
Multimodal Molecular Representation Learning with Graph Neural Networks, Deep & Cross Networks, and SMILES Embeddings
Duke University(杜克大学);Georgia Institute of Technology(佐治亚理工学院)
研究针对分子性质预测难题,提出三分支模块化融合神经网络,综合三种模态数据,经后期融合架构建立多模态潜在空间,在QM9基准测试中表现出色,降低误差,为高通量虚拟筛选提供高效模型。
2026-07-08 cs.LG
ChemBART: Pre-training a Reaction Language Model for Comprehensive Synthesis Planning
Nanjing University(南京大学);Peking University(北京大学)
ChemBART是一种基于SMILES的预训练模型,通过反应导向的预训练解决多种化学任务,提升合成规划效率。
2026-11-10 cs.CL cs.LG
Permutation invariant graph-to-sequence model for template-free retrosynthesis and reaction prediction
MIT(麻省理工学院)
合成计划和反应结果预测是计算机辅助有机化学中的两个基本问题,针对这两个问题出现了各种数据驱动的方法。将每个问题建模为SMILES到SMILES翻译的自然语言方法可实现简单的端到端公式化,减少对数据预处理的需求,并支持使用优化良好的机器翻译模型架构。然而,SMILES表示不是一个有效的表示捕捉分子结构的信息,证明了成功的SMILES增强,以提高经验的表现。在这里,我们描述了一种新的Graph 2SMILES模型,结合了Transformer模型的文本生成与分子图编码器的置换不变性,减轻了输入数据扩增的需要。作为一个端到端的架构,Graph 2SMILES可以在任何涉及分子到分子转换的任务中用作Transformer的直接替代品。在我们的编码器中,注意力增强的定向消息传递神经网络(D-MPNN)捕获局部化学环境,全局注意力编码器允许长距离和分子间相互作用,通过图形感知位置嵌入增强。Graph 2SMILES通过$1.7\%$和$1.9\%$分别在USPTO_480 k和USPTO_STEREO数据集上进行反应结果预测,以及通过$9.8\%$在USPTO_50 k数据集上进行一步逆合成,提高了Transformer基线的前1精度。
2021-10-19 cs.LG
When SMILES have Language: Drug Classification using Text Classification Methods on Drug SMILES Strings
Shahjalal University of Science and Technology(沙贾拉尔科技大学);University of Cambridge(剑桥大学);BRAC University(BRAC大学);Hanyang University(汉阳大学)
本文将药物SMILES字符串视为普通句子,用基础NLP文本分类方法进行药物分类,实验取得有竞争力的结果,证明简单视角也能解决复杂问题。
2024-03-27 cs.CL cs.IR cs.LG
Investigation of chemical structure recognition by encoder-decoder models in learning progress
Graduate School of Pharmaceutical Sciences, The University of Tokyo(东京大学药学研究科)
本文通过构建不同学习进度的编码器-解码器模型,发现子结构学习较早而结构恢复耗时且不充分学习会高估结构大小,揭示了现有评估方法对SMILES描述符生成模型不够敏感的问题。
2023-03-07 cs.LG physics.chem-ph q-bio.BM
What Does a Chemical Language Model Know About Molecules?
Department of Systems Biology, Columbia University(哥伦比亚大学系统生物学系);Computational Drug Discovery (CDD), Division of Medicinal Chemistry, Leiden University(莱顿大学药物化学系计算药物发现(CDD))
通过稀疏自编码器分析MolFormer模型,发现早期层追踪位置以解析分子语法,后期层编码子结构及药理特征,非规范SMILES比无效SMILES引起更大表示偏移。
2026-06-23 cs.AI cs.LG physics.chem-ph
Dual-view Molecule Pre-training
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院)
受其在自然语言处理和计算机视觉方面的成功启发,预训练在化学信息学和生物信息学中引起了极大的关注,特别是对于基于分子的任务。一个分子可以用一个图(其中原子通过键连接)或一个SMILES序列(其中深度优先搜索应用于具有特定规则的分子图)来表示。现有的分子预训练工作仅使用图形表示或仅使用SMILES表示。在这项工作中,我们建议利用这两种表示,并设计一种新的预训练算法,双视图分子预训练(简称为dual-view molecule pre-training),可以有效地结合两种类型的分子表示的优势。该模型由两个分支组成:一个Transformer分支,以分子的SMILES序列作为输入,一个GNN分支,以分子图作为输入。该算法的训练包含三个任务:(1)通过Transformer分支预测SMILES序列中的掩码标记;(2)通过GNN分支预测分子图中的掩码原子;(3)最大化分别由Transformer和GNN分支输出的两个高级表示之间的一致性。在预训练之后,我们可以使用Transformer分支(根据经验结果推荐使用此分支)、GNN分支或两者用于下游任务。在9个分子性质预测任务上测试了该算法,并在其中7个任务上实现了最先进的性能。此外,我们测试了三个逆合成任务,并取得了国家的最先进的结果。
2021-10-13 cs.LG q-bio.QM
OLEDLM: A Unified Language Model for OLED Molecular Design
Tsinghua University(清华大学);Beijing Institute of Mathematical Sciences and Applications(北京应用数学科学研究院);Wuhan University(武汉大学);Shenzhen MSU-BIT University(深圳莫斯科国立大学与北京理工大学联合大学);MathonAI Team(MathonAI团队)
研究针对OLED分子设计面临的挑战,提出基于因果语言模型的逆分子设计框架,采用多阶段策略,经基础模型建立、属性预测器微调、强化学习等,最终能有效探索OLED化学空间,生成新候选物。
2026-07-23 cs.LG
Fine-Tuning ChemBERTa for Predicting Inhibitory Activity Against TDP1 Using Deep Learning
The Chinese University of Hong Kong(香港中文大学)
利用深度学习微调ChemBERTa模型,实现从SMILES字符串准确预测TDP1抑制活性,提升药物发现效率。
2025-12-03 cs.AI cs.LG
SIGMA: Semantic Identifier Grouping for Molecular Autoregression
School of Computing, University of Connecticut(康涅狄格大学计算学院);Institute for Artificial Intelligence, University of Georgia(佐治亚大学人工智能研究所);Institute of Hydrobiology, Chinese Academy of Sciences(中国科学院水生生物研究所)
本文提出SIGMA方法,通过自回归对比学习解决分子序列生成中的结构不一致问题,提升生成效率与结构多样性。
2026-08-04 cs.LG
Probing Chemical Language Models: Effects of Pre-training and Fine-tuning
Saarland University(萨尔大学)
通过探测78种分子子结构,系统研究了预训练和微调对化学语言模型分子结构感知能力的影响,发现预训练提升上层结构意识,微调增强任务相关子结构表征。
2026-09-09 cs.LG
SMolLM: Small Language Models Learn Small Molecular Grammar
Carey Business School Johns Hopkins University(约翰霍普金斯大学Carey商学院)
本文提出SMolLM,一个53K参数的小型权重共享Transformer,通过固定层次结构学习SMILES语法,在ZINC-250K数据集上以95%的有效性生成分子,优于参数多10倍的GPT模型。
2026-05-27 cs.LG
Can Large Language Models Understand Molecules?
本研究对比了GPT、LLaMA与SMILES预训练模型在分子性质预测、药物-药物相互作用预测任务中的SMILES嵌入性能,发现LLaMA表现更优,为LLM在分子表示领域的应用提供了研究支撑。
2024-05-21 cs.AI cs.CL cs.LG
Gotta be SAFE: A New Framework for Molecular Design
Valence Labs(瓦伦斯实验室);Mila(米拉研究所)
针对传统SMILES分子表示不利于AI分子设计的问题,提出新型线性表示SAFE,兼容现有解析器且简化多类生成任务,训练的8700万参数SAFE-GPT模型优化性能稳健,为约束下化学空间探索开辟新路径。
2023-12-10 cs.LG q-bio.BM
Large-Scale Chemical Language Representations Capture Molecular Structure and Properties
IBM Research(IBM研究院)
基于机器学习的模型可以实现准确和快速的分子性质预测,这在药物发现和材料设计中是令人感兴趣的。各种监督机器学习模型已经表现出有希望的性能,但是巨大的化学空间和有限的属性标签使得监督学习具有挑战性。最近,在大型未标记语料库上预训练的基于无监督transformer的语言模型在许多下游自然语言处理任务中产生了最先进的结果。受此发展的启发,我们提出了通过训练一个有效的Transformer编码器模型MoLFormer获得的分子嵌入,该模型使用旋转位置嵌入。该模型采用了线性注意力机制,加上高度分布式的训练,对来自PubChem和ZINC数据集的11亿个未标记分子的SMILES序列。我们表明,学习的分子表示优于现有的基线,包括监督和自我监督的图神经网络和语言模型,从十个基准数据集的几个下游任务。他们在其他两个方面表现得很有竞争力。进一步的分析,特别是通过注意力的镜头,表明接受化学SMILES训练的MoLFormer确实学会了分子内原子之间的空间关系。这些结果提供了令人鼓舞的证据,大规模分子语言模型可以捕获足够的化学和结构信息,以预测各种不同的分子性质,包括量子化学性质。
2022-12-14 cs.CL cs.LG q-bio.BM
Difficulty in chirality recognition for Transformer architectures learning chemical structures from string
The University of Tokyo(东京大学)
本研究使用Transformer模型探究NLP模型对SMILES化学结构的学习机制,发现其学习整体结构和手性较慢且易误解对映体,为化学领域的NLP模型提供了新理解。
2024-01-14 cs.CL cs.LG physics.chem-ph
Copy-Augmented Representation for Structure Invariant Template-Free Retrosynthesis
School of Computer Science and Technology, East China Normal University(东华大学计算机科学与技术学院);Shanghai Institute of Artificial Intelligence for Education, East China Normal University(东华大学上海人工智能教育研究所)
针对无模板逆合成难以利用反应结构不变性的问题,提出 C-SMILES 表示与复制增强、SMILES 对齐机制,在 USPTO-50K 和 USPTO-FULL 上显著提升准确率与分子有效性。
2025-10-18 cs.CL cs.LG
GraphT5: Unified Molecular Graph-Language Modeling via Multi-Modal Cross-Token Attention
Seoul National University(首尔大学);AIGENDRUG Co., Ltd.(AIGENDRUG公司)
本文提出多模态框架GraphT5,通过跨令牌注意力模块融合一维SMILES文本与二维分子图,在分子描述生成和IUPAC名称预测等任务上优于最新基线方法。
2025-03-07 cs.AI cs.LG
Smiles2Dock: an open large-scale multi-task dataset for ML-based molecular docking
Stanford University(斯坦福大学)
本文提出Smiles2Dock大规模多任务分子对接数据集,通过P2Rank与AutoDock Vina对接170万配体与15个AlphaFold蛋白,生成超2500万结合评分,并引入Transformer基线模型以支持机器学习对接方法的研究与评测。
2024-06-09 cs.LG q-bio.BM stat.AP
Multimodal Transformer-based Model for Buchwald-Hartwig and Suzuki-Miyaura Reaction Yield Prediction
Integrant, Inc.(Integrant公司);Cairo University(开罗大学);Newgiza University(新吉萨大学)
预测化学反应的产率百分比在许多方面是有用的,例如通过优先考虑具有高预测产率的反应来减少湿实验室实验。在这项工作中,我们研究了使用多种类型的输入来预测化学反应产率。我们使用简化的分子输入线输入系统(SMILES)以及计算的化学描述符作为模型输入。该模型由一个预训练的双向基于变换的编码器(BERT)和一个多层感知器(MLP)与回归头预测产量。我们在Buchwald-Hartwig和Suzuki-Miyaura反应的两个高通量实验(HTE)数据集上进行了实验。实验表明,与仅使用SMILES或化学描述符作为输入的系统相比,两个数据集的预测都有所改善。我们还测试了该模型在Buchwald-Hartwig的样本外数据集分割上的性能,并取得了与最先进技术相当的结果。除了预测产率外,我们还证明了该模型能够建议最佳(最高产率)反应条件。该模型能够建议达到94%的最佳报道产率的条件。这证明了该模型在湿实验室中实现最佳结果而无需昂贵的实验是有用的。
2022-04-27 cs.AI cs.LG