A max-cut approach to heterogeneity in cryo-electron microscopy
Tel Aviv University(特拉维夫大学)
冷冻电子显微镜领域在过去几年中取得了惊人的进步,主要是由于电子探测器技术的进步。然而,该领域的一个关键的开放性挑战仍然是处理异质数据集,这些数据集是由包含几种不同构象状态的粒子的样品产生的。对于这样的数据集,算法必须包括一些分类程序,以识别数据中的同质组,以便每组中的图像对应于相同的底层结构。在低温电子显微镜的异质性问题的根本重要性,吸引了许多研究工作,并导致了显着的进展,在分类算法的异质性数据集。虽然这些算法在实践中非常有用和有效,但它们缺乏严格的数学分析和性能保证。在本文中,我们试图在冷冻电子显微镜的异质性问题进行严格的数学分析的第一步。为此,我们提出了一个算法,用于处理异构数据集,并证明其准确性和稳定性bounds.We还提出了该算法的扩展相结合的分类和重建步骤。我们在模拟数据上证明了它,并将其性能与RELION中最先进的算法进行了比较。
2019-10-03 cs.CV math.OC q-bio.BM
A deep convolutional neural network approach to single-particle recognition in cryo-electron microscopy
Peking University(北京大学);Dana-Farber Cancer Institute(丹娜-法伯癌症研究所);Harvard Medical School(哈佛医学院)
背景资料:单粒子冷冻电子显微镜(cryo-EM)已成为生物大分子复合物结构测定的流行工具。高分辨率冷冻EM重建通常需要数十万个单粒子图像。因此,从实验显微照片中提取颗粒可能是费力的,并且在冷冻EM结构测定中呈现出主要的实际瓶颈。现有的粒子拾取计算方法通常使用低分辨率模板作为粒子匹配的输入,这使得可能导致依赖于参考的偏差。因此,开发一种高效的无模板方法来自动识别冷冻电镜图像中的颗粒是至关重要的。结果如下:我们开发了一个基于深度学习的算法框架DeepEM,用于从嘈杂的冷冻EM显微照片中识别单粒子,从而以集成的方式实现自动化粒子拾取,选择和验证。DeepEM的内核建立在八层卷积神经网络(CNN)之上,可以递归地训练它具有高度的“知识性”。在标准KLH数据集上测试时,我们的方法表现出更好的性能和更高的精度。将DeepEM应用于几个具有挑战性的实验cryo-EM数据集,证明了它能够避免选择不需要的粒子和非粒子,即使真正的粒子包含较少的特征。结论:源自深度CNN的DeepEM方法允许在没有模板的情况下从原始cryo-EM显微照片中自动提取颗粒,这证明了改进的性能、客观性和准确性。这种新方法的应用,预计将解放劳动参与单粒子验证,从而提高低温EM数据处理的效率。
2016-12-31 cs.CV physics.data-an
Learning to automate cryo-electron microscopy data collection with Ptolemy
Simons Machine Learning Center, Simons Electron Microscopy Center, New York Structural Biology Center(西蒙斯机器学习中心、西蒙斯电子显微镜中心、纽约结构生物学中心)
在过去的十年中,低温电子显微镜(cryo-EM)已成为确定生物大分子的近天然,近原子分辨率3D结构的主要方法。为了满足对冷冻EM的日益增长的需求,需要提高通量和效率同时降低成本的自动化方法。目前,所有高放大率冷冻EM数据收集软件都需要人工输入和手动调整参数。专家操作员必须导航低和中等放大率的图像,以找到良好的高放大率收集位置。自动化这是不平凡的:图像受到低信噪比的影响,并受到一系列实验参数的影响,这些参数在每个收集阶段都可能不同。在这里,我们使用各种计算机视觉算法,包括混合模型,卷积神经网络和U-Nets来开发第一个自动化低放大率和中等放大率目标的管道。该管道中的学习模型在来自真实世界cryo-EM数据收集会话的大型内部图像数据集上进行训练,标记有操作员选择的位置。使用这些模型,我们表明,我们可以有效地检测和分类的低,中放大率的图像感兴趣的区域,并可以概括为看不见的会议,以及使用不同的显微镜从外部设施捕获的图像。我们预计我们的开源管道Ptolemy将立即用作冷冻EM数据收集自动化的工具,并作为未来高效自动冷冻EM显微镜先进方法的基础。
2022-01-14 cs.CV eess.IV q-bio.QM
Representation Theoretic Patterns in Multi-Frequency Class Averaging for Three-Dimensional Cryo-Electron Microscopy
University of Illinois at Urbana–Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Chicago(芝加哥大学)
我们在本文中开发了一种新的内在分类算法-多频类平均(MFCA)-分类噪声投影图像从三维冷冻电子显微镜(cryo-EM)之间的相似性,他们的观察方向。这种新算法利用酉群的多个不可约表示将额外的冗余引入到最优平面内旋转对准的表示中,扩展并优于仅使用单个表示的现有类平均算法。所提出的MFCA算法的形式代数模型和表示理论模式将Hadani和Singer的框架扩展到酉群的任意不可约表示。通过Wigner $D$ -矩阵的透镜,考察了广义局域平行输运算子的谱性质,在概念上建立了MFCA的一致性和稳定性.我们证明了所提出的算法的有效性与数值实验。
2021-07-05 cs.CV eess.IV math.FA
Review of Deep Learning Applications to Structural Proteomics Enabled by Cryogenic Electron Microscopy and Tomography
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);University of California, Berkeley(加利福尼亚大学伯克利分校);Stanford University(斯坦福大学)
本文综述深度学习贯穿cryoEM/cryoET结构蛋白质组学全流程的应用,涵盖颗粒挑选、取向偏差校正、去噪、缺失楔修复及原子模型构建,并展望LLM与ViT带来的自动化前景。
2025-07-25 cs.CV cs.LG q-bio.QM
Estimation of Orientation and Camera Parameters from Cryo-Electron Microscopy Images with Variational Autoencoders and Generative Adversarial Networks
Stanford University(斯坦福大学);SLAC National Accelerator(SLAC国家加速器实验室)
冷冻电子显微镜(cryo-EM)能够以近原子分辨率产生生物分子的重建3D图像。因此,它代表了结构生物学中最有前途的成像技术之一。然而,原始冷冻EM图像仅高度损坏-噪声和带通滤波-目标3D生物分子的2D投影。重建3D分子形状从去除图像异常值、估计产生给定2D图像的生物分子的取向以及估计相机参数以校正强度缺陷开始。当前执行这些任务的技术通常在计算上是昂贵的,而数据集的大小不断增长。需要下一代算法在保持准确性的同时提高速度和可扩展性。在本文中,我们结合变分自编码器(VAE)和生成对抗网络(GANs)来学习低温EM图像的低维潜在表示。我们进行了探索性的分析所获得的潜在空间,这是示出有一个结构的“轨道”,在李群理论的意义上,与采集程序的冷冻EM图像。这种分析导致我们设计的单粒子冷冻EM图像的方向和相机参数的估计方法,连同离群值检测程序。因此,它为无监督估计方向和相机参数的几何方法打开了大门,使快速冷冻EM生物分子重建成为可能。
2021-05-23 cs.CV eess.IV q-bio.QM
Deep Generative Modeling for Volume Reconstruction in Cryo-Electron Microscopy
Stanford University(斯坦福大学);SLAC National Accelerator Laboratory(SLAC国家加速器实验室);Massachusetts Institute of Technology(麻省理工学院);University of Chicago(芝加哥大学);University of California Santa Barbara(加州大学圣巴巴拉分校)
近年来,低温电子显微镜(cryo-EM)对溶液中生物分子的高分辨率成像技术取得了突破性进展,为分子体积的重建打开了新的大门,从而有望在生物学、化学和药理学研究方面取得进一步进展。最近的下一代体积重建算法将生成建模与端到端无监督深度学习技术相结合,已经显示出有希望的初步结果,但在应用于实验冷冻EM图像时仍然面临相当大的技术和理论障碍。鉴于这种方法的扩散,我们在这里提出了一个批判性的审查,在该领域的最新进展的深生成建模冷冻EM体积重建。本综述旨在(i)使用一致的统计框架统一和比较这些新方法,(ii)使用机器学习研究人员和计算生物学家熟悉的术语介绍它们,这些研究人员和计算生物学家在cryo-EM中没有特定的背景,以及(iii)提供对当前进展的必要视角,以突出其相对优势和弱点,以及该领域的突出瓶颈和改进途径。这篇综述也可能会引起计算机视觉从业者的兴趣,因为它强调了深度生成模型在低信噪比条件下的重大局限性,因此强调了新的理论和方法发展的必要性。
2022-05-26 cs.CV cs.LG eess.IV
Applications of deep generative models to DNA reaction kinetics and to cryogenic electron microscopy
The University Of British Columbia(不列颠哥伦比亚大学)
本文探讨了深度生成模型在DNA反应动力学和低温电子显微镜分析中的应用,提出ViDa和Struc2mapGAN等方法,提升生物过程的可解释性和结构建模的准确性。
2026-04-18 cs.AI cs.CV cs.LG
The Computational Complexity of Orientation Search Problems in Cryo-Electron Microscopy
在这份报告中,我们研究的问题,确定随机取向的相同粒子的噪声投影的三维取向。这个问题在从电子显微镜图像层析重建大分子复合物的密度图中具有核心重要性,并且已经被深入研究了30多年。我们分析了计算复杂性性的方向问题,并表明,虽然几个变种的问题是$NP$ -硬,不可逼近和固定参数棘手,一些限制是多项式时间内的一个常数因子近似,甚至在对数空间中可解。方向搜索问题被形式化为一个约束的线安排问题,是独立的利益。负的复杂性结果为定向搜索中使用的探试法提供了部分理由,而关于定向搜索的正复杂性结果也对寻找功能相似基因的问题具有一些积极的意义。“低温电子显微镜中方向搜索的计算复杂性”的初步版本出现在Proc. ICCS 2004,LNCS 3036,pp. 231--238. Springer-Verlag 2004.
2004-06-28 cs.CG cs.CV cs.DS
Two-stage dimension reduction for noisy high-dimensional images and application to Cryogenic Electron Microscopy
Institute of Statistical Science, Academia Sinica(中央研究院統計科學研究所);Institute of Chemistry, Academia Sinica(中央研究院化學研究所)
主成分分析(PCA)可以说是最广泛使用的矢量型数据的降维方法。当应用于图像样本时,PCA需要对图像数据进行矢量化,这反过来又需要解决样本协方差矩阵的特征值问题。本文提出了一种两阶段降维(2SDR)方法,用于从高维噪声图像数据中重建图像重建。第一阶段将图像视为一个矩阵,这是一个2阶张量,并使用多线性主成分分析(MPCA)的矩阵降秩和图像去噪。第二阶段对降秩矩阵进行向量化,进一步降维降噪。仿真研究表明,2SDR的优良性能,为此,我们还开发了一个渐近理论,建立其秩选择的一致性。cryo-EM(低温电子显微镜),这已经彻底改变了结构生物学,有机和医学化学,细胞和分子生理学在过去的十年中,应用程序也提供和说明基准cryo-EM数据集。连接到其他同期的发展,图像重建和高维统计推断进行了讨论。
2021-02-27 cs.CV eess.IV stat.AP
CryoHype: Reconstructing a thousand cryo-EM structures with transformer-based hypernetworks
Princeton University(普林斯顿大学);Stanford University(斯坦福大学)
CryoHype通过变换器超网络实现高通量冷冻电镜结构重建,解决混合分子物种的组分异质性问题,实现1000个结构的高精度重建。
2026-03-19 cs.CV
Robust single-particle cryo-EM image denoising and restoration
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Science and Technology Beijing(北京科技大学)
针对 cryo-EM 图像信噪比极低且噪声复杂导致重建分辨率下降的问题,提出一种带后处理框架的扩散模型,有效去除结构噪声并提升三维重建的准确性与分辨率。
2024-01-02 cs.CV
CryoAlign: feature-based method for global and local 3D alignment of EM density maps
Shandong University(山东大学);Beijing Institute of Technology(北京理工大学);Ningxia Medical University(宁夏医科大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出CryoAlign,一种基于局部密度特征描述符的冷冻电镜密度图全局与局部对齐方法,通过特征架构快速建立点对对应并稳健估计参数,实验证明其在精度和速度上优于现有方法。
2023-09-17 cs.CV
CryoFastAR: Fast Cryo-EM Ab Initio Reconstruction Made Easy
ShanghaiTech University(上海科技大學);Cellverse, Co., Ltd(Cellverse公司);HKUST(香港科技大学);UT Austin(德克萨斯大学奥斯汀分校)
CryoFastAR是首个直接从冷冻电镜噪声图像预测姿态的几何基础模型,通过多视图特征和渐进训练,在保证重建质量的同时显著加速从头重建。
2025-10-14 cs.CV
A new solution to the curved Ewald sphere problem for 3D image reconstruction in electron microscopy
Arizona State University(亚利桑那州立大学)
我们开发了一种算法,能够成像的三维对象给定的集合的二维图像的对象,显着影响的埃瓦尔德球的曲率。这些二维图像不能近似为对象的投影。这样的算法在冷冻电子显微镜中是有用的,其中需要更大的样品、更高的分辨率或更低能量的电子束,所有这些都有助于埃瓦尔德曲率的显著性。
2021-02-07 cs.CV physics.ins-det
Recovering a Molecule's 3D Dynamics from Liquid-phase Electron Microscopy Movies
National Biomedical Imaging Center, Peking University(北京大学国家生物医学成像中心);College of Future Technology, Peking University(北京大学未来技术学院);College of Chemistry and Molecular Engineering, Peking University(北京大学化学与分子工程学院);DP Technology, Ltd.(深度势能科技有限公司)
针对冷冻电镜无法实时观测分子构象变化的问题,提出基于INR和DVAE的TEMPOR算法,首次从液相电镜视频中直接恢复时变粒子三维结构,为结构生物学研究分子三维动力学提供新方法。
2023-08-23 cs.CV eess.IV q-bio.QM
CryoChains: Heterogeneous Reconstruction of Molecular Assembly of Semi-flexible Chains from Cryo-EM Images
UC Santa Barbara(加州大学圣巴巴拉分校);Stanford University(斯坦福大学);SLAC(SLAC国家加速器实验室)
本文提出 CryoChains,结合链刚体变换与简正模式分析,从低信噪比冷冻电镜图像中建模半柔性生物分子的大形变与细微异构变化,并在合成数据上实现更高分辨率重建。
2023-07-15 cs.CV q-bio.BM
Boosted ab initio Cryo-EM 3D Reconstruction with ACE-EM
DP Technology, Ltd.(深势科技有限公司);Peking University(北京大学)
冷冻电子显微镜(cryo-EM)的核心问题是从噪声2D投影图像中恢复3D结构,这需要估计丢失的投影角度(姿态)。最近的方法试图用自动编码器架构来解决3D重建问题,该架构遭受潜在向量空间采样问题,并且经常产生次优姿态推断和劣质3D重建。在这里,我们提出了一种改进的自动编码器架构称为ACE(非对称互补autoEncoder),在此基础上,我们设计了ACE-EM方法的冷冻EM三维重建。与以前的方法相比,ACE-EM在相同的训练时间内达到了更高的姿态空间覆盖率,并且无论解码器的选择如何,都提高了重建性能。用这种方法,模拟和实验cryo-EM数据集的3D重建达到奈奎斯特分辨率(最高可能的分辨率)。此外,ACE-EM是唯一达到奈奎斯特分辨率的摊销推理方法。
2023-02-14 cs.AI cs.CV cs.LG
Reconstructing continuous distributions of 3D protein structure from cryo-EM images
MIT(麻省理工学院)
冷冻电子显微镜(冷冻电子显微镜)是一种以近原子分辨率测定蛋白质和其他大分子复合物结构的强大技术。在单粒子冷冻电子显微镜中,核心问题是从$10^{4-7}$噪声和随机取向的二维投影重建大分子的三维结构。然而,成像的蛋白质复合物可能表现出结构变异性,这使得重建复杂化,并且通常使用离散聚类方法来解决,该方法无法捕获蛋白质动力学的全部范围。在这里,我们介绍了一种新的方法,冷冻电子显微镜重建,自然延伸到建模连续生成因素的结构异质性。该方法使用基于坐标的深度神经网络对傅立叶空间中的结构进行编码,并通过将图像方向的精确推断与结构异质性的变分推断相结合,从未标记的2D冷冻电子显微镜图像训练这些网络。我们表明,所提出的方法,称为cryoDRGN,可以执行从头开始重建的三维蛋白质复合物从模拟和真实的二维冷冻电子显微镜图像数据。据我们所知,cryoDRGN是用于冷冻电子显微镜重建的第一种基于神经网络的方法,也是用于从冷冻电子显微镜图像直接重建蛋白质结构的连续集合的第一种端到端方法。
2020-02-15 cs.CV cs.LG eess.IV
Non-unique games over compact groups and orientation estimation in cryo-EM
Princeton University(普林斯顿大学)
设$\mathcal{G}$是一个紧群,令$f_{ij} \in L^2(\mathcal{G})$ .我们将非唯一博弈(NUG)问题定义为寻找$g_1,\dots,g_n \in \mathcal{G}$以最小化$\sum_{i,j=1}^n f_{ij} \left( g_i g_j^{-1}\right)$。通过对$f_{ij}$在$\mathcal{G}$上进行傅立叶变换,将NUG问题松弛为半定规划(SDP),从而有效地求解。NUG框架可以被看作是正交群上的小Grothendieck问题和唯一博弈问题的推广,并且包括许多实际相关的问题,例如在$d$ -维和低温电子显微镜中的方向估计中在单位球上配准带限函数的最大似然估计。
2015-05-14 cs.CV cs.DS math.OC
CryoAI: Amortized Inference of Poses for Ab Initio Reconstruction of 3D Molecular Volumes from Real Cryo-EM Images
Stanford University(斯坦福大学);SLAC National Accelerator Laboratory(SLAC国家加速器实验室);University of California Santa Barbara(加州大学圣巴巴拉分校)
冷冻电子显微镜(cryo-EM)已成为结构生物学中至关重要的工具,帮助我们了解生命的基本组成部分。cryo-EM的算法挑战是从数百万个噪声极大的2D图像中联合估计未知的3D姿态和生物分子的3D电子散射势。然而,现有的重建算法,不能很容易地跟上快速增长的冷冻EM数据集的大小,由于其高的计算和内存成本。我们介绍cryoAI,一种从头计算的均匀构象重建算法,使用直接基于梯度的优化粒子姿态和电子散射势从单粒子cryo-EM数据。CryoAI将预测每个粒子图像姿态的学习编码器与基于物理的解码器相结合,将每个粒子图像聚合为散射势体积的隐式表示。该体积存储在傅立叶域中以提高计算效率,并利用现代坐标网络架构以提高内存效率。结合对称化的损失函数,该框架实现了与模拟和实验数据的最先进的冷冻EM求解器同等质量的结果,对于大型数据集快一个数量级,并且比现有方法的内存需求显著降低。
2022-08-30 cs.CV cs.LG q-bio.BM
Mahalanobis Distance for Class Averaging of Cryo-EM Images
Princeton University(普林斯顿大学);UIUC(伊利诺伊大学厄巴纳-香槟分校)
来自冷冻电子显微镜(EM)的单粒子重建(SPR)是一种技术,其中分子的3D结构需要从其对比度传递函数(CTF)确定,在未知的观察方向上拍摄的噪声2D投影图像。冷冻EM中的主要挑战之一是所获取图像的典型低信噪比(SNR)。图像的2D分类,然后进行类平均,提高了所得平均值的SNR,并用于从显微照片中选择颗粒和检查颗粒图像。我们引入了一个新的亲和性措施,类似于马氏距离,比较属于不同散焦组的冷冻EM图像。采用新的相似性度量来检测相似图像,从而导致类平均的改进算法。我们评估了所提出的类平均程序在合成数据集上的性能,获得了最先进的分类。
2017-01-25 cs.CV q-bio.BM stat.AP
Positive-unlabeled convolutional neural networks for particle picking in cryo-electron micrographs
Columbia University(哥伦比亚大学);New York Structural Biology Center(纽约结构生物学中心)
冷冻电子显微镜(cryoEM)是一种越来越流行的蛋白质结构测定方法。然而,识别足够数量的颗粒用于分析(通常> 100,000)可能需要数月的人工努力。目前的计算方法受到高假阳性率的限制,需要大量的特设后处理,特别是对于形状异常的颗粒。为了解决这一缺点,我们开发了Topaz,这是一种高效准确的粒子拾取管道,使用神经网络进行训练,通过正向未标记(PU)学习的框架重新利用剩余的未标记粒子。值得注意的是,尽管使用最少的标记颗粒,Topaz允许我们在三个公共cryoEM数据集上将重建分辨率提高高达0.15 μ m,而无需任何后处理。此外,我们表明,我们的新的广义期望标准方法PU学习优于现有的一般PU学习方法时,应用于粒子检测,特别是具有挑战性的非球状蛋白质数据集。我们预计托帕石将成为cryoEM分析的重要组成部分。
2018-10-08 cs.CV q-bio.QM stat.ML
CryoSplat: Gaussian Splatting for Cryo-EM Homogeneous Reconstruction
Department of Computer Science(计算机科学系);Stony Brook University(石溪大学);Department of Artificial Intelligence(人工智能系);Westlake University(西湖大学)
本文提出CryoSplat,一种基于高斯点散的冷冻电镜均匀重建方法,通过整合高斯点散与冷冻电镜成像物理,实现从原始冷冻电镜粒子图像直接稳定高效地进行均匀重建。
2026-10-16 cs.CV eess.IV
Image recovery from rotational and translational invariants
Princeton University(普林斯顿大学);Tel Aviv University(特拉维夫大学)
我们介绍了一个框架,用于恢复图像的旋转和旋转不变的特征的基础上自相关分析。这项工作是多目标检测统计模型的一个实例,该模型主要用于研究在低信噪比下使用冷冻电子显微镜(cryo-EM)进行单粒子重建的数学和计算特性。我们证明与合成的数值实验,图像可以重建旋转和旋转不变的功能,并表明重建是鲁棒的噪声。这些结果构成了一个重要的一步,使用冷冻EM的生物小分子的结构测定的目标。
2019-10-22 cs.CV eess.IV
CryoBench: Diverse and challenging datasets for the heterogeneity problem in cryo-EM
Princeton University(普林斯顿大学);Flatiron Institute(弗莱堡研究所);University of British Columbia(不列颠哥伦比亚大学)
针对冷冻电镜异质重构领域缺乏标准化基准的问题,研究团队推出包含5个不同难度异质性数据集、评估指标的CryoBench套件,分析了现有主流方法的噪声敏感性并提出新评估指标,为相关算法研发提供基础资源。
2025-01-16 cs.AI cs.CE cs.CV
DRACO: A Denoising-Reconstruction Autoencoder for Cryo-EM
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Cellverse Co, Ltd.(Cellverse公司);iHuman Institute, ShanghaiTech University(上海科技大学iHuman研究所)
本文提出 DRACO,一种结合 Noise2Noise 思想与掩码去噪-重建训练的冷冻电镜自监督基础模型,并利用超 27 万部电影或显微图像构建数据集,在去噪、图像筛选和颗粒挑选上达到最优。
2024-10-28 cs.CV eess.IV
Cryo-ZSSR: multiple-image super-resolution based on deep internal learning
Duke University(杜克大学);Duke University School of Medicine(杜克大学医学院)
单粒子冷冻电子显微镜(cryo-EM)是一种新兴的成像方式,能够以近原子分辨率可视化蛋白质和大分子复合物。用于防止样品辐射损伤的低电子剂量导致噪声功率比信号功率大100倍的图像。为了克服低SNR,在几天的数据收集中获得的数十万个粒子投影在3D中进行平均,以确定感兴趣的结构。与此同时,最近的图像超分辨率(SR)技术的基础上,神经网络已经显示出最先进的自然图像的性能。在这些进展的基础上,我们提出了一种基于深度内部学习的多图像SR算法,专门用于低SNR条件下。我们的方法利用了cryo-EM电影的内部图像统计数据,并且不需要对地面真实数据进行训练。当应用到一个单粒子数据集的脱铁蛋白,我们表明,从SR显微照片获得的三维结构的分辨率可以超过成像系统所施加的限制。我们的研究结果表明,低放大率成像与图像SR相结合,有可能加快冷冻EM数据收集,而不牺牲分辨率。
2020-11-22 cs.CV cs.LG eess.IV