3D CNN中的时空融合：概率观点

用于视频中色情内容检测的时空CNN

Spatiotemporal CNNs for Pornography Detection in Videos

UFSCar - Federal University of Sao Carlos（圣卡洛斯联邦大学）；IFSP - Federal Institute of Education of Sao Paulo（圣保罗联邦教育学院）；UNESP - Sao Paulo State University（圣保罗州立大学）

随着越来越多地使用社交网络和移动设备，发布在互联网上的视频数量呈指数级增长。在互联网上发布的不适当内容中，色情是最令人担忧的内容之一，因为青少年和儿童可以访问。在本研究中，评估了两种时空CNN，VGG-C3 D CNN和ResNet R（2+1）D CNN，用于视频中的色情检测。使用Pornography-800数据集的实验结果表明，这些时空CNN的性能优于一些基于视觉词袋的最先进方法，并且与其他基于CNN的方法相比具有竞争力，准确率达到95.1%。

2018-10-24cs.CV

超大规模数据集会进一步增强时空3D CNN吗？

Would Mega-scale Datasets Further Enhance Spatiotemporal 3D CNNs?

National Institute of Advanced Industrial Science and Technology (AIST)（产业技术综合研究所（AIST））

我们如何收集和使用视频数据集来进一步改进时空3D卷积神经网络（3D CNN）？为了积极回答视频识别中的这个开放性问题，我们使用几个大规模视频数据集和3D CNN进行了探索性研究。在深度神经网络的早期时代，在视频识别的背景下，2D CNN比3D CNN更好。最近的研究表明，3D CNN可以胜过在大规模视频数据集上训练的2D CNN。然而，我们严重依赖于架构探索而不是数据集考虑。因此，在本文中，我们进行探索性研究，以改善时空3D CNN如下：（i）最近提出的大规模视频数据集有助于提高时空3D CNN在视频分类准确性方面。我们揭示了一个仔细注释的数据集（例如，Kinetics-700）有效地为视频分类任务预训练视频表示。(ii)我们确认#category/#instance和视频分类准确率之间的关系。结果表明，在构建数据集时，首先应固定#category，然后增加视频数据集上的#instance。(iii)为了实际扩展视频数据集，我们简单地连接公开可用的数据集，例如Kinetics-700和Moments in Time（MiT）数据集。与Kinetics-700预训练相比，我们使用合并的数据集进一步增强了时空3D CNN，例如，在微调方面，UCF-101、HMDB-51和ActivityNet数据集分别为+0.9、+3.4和+1.1。(iv)在识别架构方面，Kinetics-700和合…

2020-04-10cs.CV

KGS-GCN: 基于运动学驱动的高斯泼溅与概率拓扑的骨架动作识别

KGS-GCN: Kinematics-Driven Gaussian Splatting and Probabilistic Topology for Skeleton-Based Action Recognition

提出KGS-GCN，通过运动学驱动的高斯泼溅模块将稀疏骨架序列渲染为多视角连续热图，并利用概率拓扑策略构建自适应先验邻接矩阵，以轻量级参数实现高效动作识别。

2026-07-02cs.AIcs.CV

基于深度学习的智能3D多媒体数据分类网络协议

Intelligent 3D Network Protocol for Multimedia Data Classification using Deep Learning

University of Engineering and Technology, Taxila（塔克西拉工程技术大学）；University of Jeddah（吉达大学）；Peoples' Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（卢蒙巴大学））；The Bonch-Bruevich Saint-Petersburg State University of Telecommunications（圣彼得堡国立电信大学（邦奇-布鲁耶维奇））；Jeju National University（济州国立大学）

在视频中，人的动作是三维（3D）信号。这些视频调查人类行为的时空知识。使用三维卷积神经网络（CNN）的有前途的能力进行了研究。3D CNN还没有实现高输出，因为它们在静态照片中的二维（2D）等价物已经建立。板3D卷积记忆和时空融合面对训练困难，阻止3D CNN完成显着的评价。在本文中，我们实现了混合深度学习架构，该架构结合了STIP和3D CNN特征，以有效提高3D视频的性能。实施后，更详细和更深入的图表训练在每一圈的时空融合。训练模型在处理复杂的模型评估后进一步增强了结果。在这个实现的模型中使用的视频分类模型。介绍了使用深度学习进行多媒体数据分类的智能3D网络协议，以进一步了解人类努力中的时空关联。在结果的实现中，众所周知的数据集，即，UCF101，评估所提出的混合技术的性能。结果击败了所提出的混合技术，该技术基本上击败了初始的3D CNN。结果进行了比较，从文献中的最先进的框架，在UCF 101上的动作识别的准确性为95%。

2022-07-23cs.AIcs.CV

深度时空网络的迁移学习对癫痫发作的长视频建模

Transfer Learning of Deep Spatiotemporal Networks to Model Arbitrarily Long Videos of Seizures

Department of Medical Physics and Biomedical Engineering, University College London（伦敦大学学院医学物理与生物医学工程系）；Wellcome / EPSRC Centre for Interventional and Surgical Sciences (WEISS), University College London（伦敦大学学院韦尔科姆/工程与物理科学研究委员会介入与外科科学中心（WEISS））；School of Biomedical Engineering & Imaging Sciences (BMEIS), King’s College London（伦敦国王学院生物医学工程与成像科学学院（BMEIS））；UCL Queen Square Institute of Neurology, Department of Clinical and Experimental Epilepsy, London（伦敦大学学院女王广场神经学研究所临床与实验癫痫系）；UCL Queen Square Institute of Neurology, Department of Clinical and Experimental（伦敦大学学院女王广场神经学研究所临床与实验（此处原文不完整，按现有内容提取））

详细分析癫痫发作时的症状和体征，对于癫痫患者的管理至关重要。使用定性视觉分析的评分员间信度往往是穷人的符号特征。因此，需要对录像记录的癫痫发作进行自动和定量分析，以便进行客观评估。我们提出了一种新的架构Gestures，它结合了卷积神经网络（CNN）和递归神经网络（RNN）来学习癫痫发作的任意长视频的深度表示。我们使用时空CNN（ST CNN）在大型人类动作识别（HAR）数据集上进行预训练，以从短片段（约100个）中提取特征。0.5 s）从扣押录像中取样。然后，我们训练一个RNN来从特征序列中学习特征级表示。我们整理了来自68名患者的癫痫发作视频数据集，并评估了Gestures将癫痫发作分为局灶性发作（FOS）（N = 106）与局灶性至双侧强直阵挛性发作（TCS）（N = 77）的能力，使用双向长短期记忆（BLSTM）单位获得了98.9%的准确性。我们证明了在HAR数据集上训练的STCNN可以与RNN结合使用，以准确地表示任意长的癫痫发作视频。手势可以通过对符号序列进行建模来提供准确的癫痫发作分类。

2021-08-05cs.CV

利用嵌入在CNN层中的隐性信息进行视觉跟踪

Leveraging Tacit Information Embedded in CNN Layers for Visual Tracking

RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）；Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）

CNN中的不同层不仅提供了用于描述输入中的对象的不同抽象级别，而且还编码了关于它们的各种隐式信息。不同功能的激活模式包含有关传入图像流的有价值的信息：空间关系、时间模式以及空间和时空（ST）功能的共现。到目前为止，视觉跟踪文献中的研究仅使用了CNN层中的一个，它们的预先固定组合，或建立在各个层上的跟踪器的集合。在这项研究中，我们采用了一个自适应组合的几个CNN层在一个单一的DCF跟踪器，以解决目标外观的变化，并提出使用风格统计的空间和时间属性的目标，直接从CNN层提取的视觉跟踪。实验表明，使用额外的CNN隐式数据显着提高了跟踪器的性能。实验结果表明，使用风格相似性和激活一致性正则化在提高其定位和缩放精度的有效性。

2020-10-02cs.CV

DVFL-Net：一种用于时空动作识别的轻量级蒸馏视频焦点调制网络

DVFL-Net: A Lightweight Distilled Video Focal Modulation Network for Spatio-Temporal Action Recognition

Intelligent Systems, Computer Architecture, Analytics, and Security Laboratory (ISCAAS Lab), Department of Electrical Engineering and Computer Science, Florida Atlantic University（智能系统、计算机架构、分析与安全实验室（ISCAAS实验室），电气工程与计算机科学系，佛罗里达 Atlantic 大学）；Intelligent Systems, Computer Architecture, Analytics, and Security Laboratory (ISCAAS Lab), Department of Electrical and Computer Engineering, Kansas State University（智能系统、计算机架构、分析与安全实验室（ISCAAS实验室），电气与计算机工程系，堪萨斯州立大学）

本文提出轻量级视频焦点调制网络DVFL-Net，通过知识蒸馏和时空焦点调制将大型教师模型知识迁移到纳米级学生模型，在多个动作识别基准上以更低计算成本实现高性能。

2025-07-18cs.CV

时空识别中的图像预训练

In Defense of Image Pre-Training for Spatiotemporal Recognition

University of California, Santa Cruz（加州大学圣克鲁兹分校）；Johns Hopkins University（约翰斯·霍普金斯大学）

图像预训练是目前广泛的视觉任务的实际范例，在视频识别领域通常不太受欢迎。相比之下，一种常见的策略是直接用时空卷积神经网络（CNN）从头开始进行训练。尽管如此，有趣的是，通过仔细研究这些从头开始学习的CNN，我们注意到存在某些3D内核，它们表现出比其他内核更强的外观建模能力，可以说这表明外观信息已经在学习中很好地解决了。受此观察的启发，我们假设有效利用图像预训练的关键在于分解学习空间和时间特征，并在初始化3D内核之前重新访问图像预训练作为外观。此外，我们提出了时空可分离（STS）卷积，它明确地将特征通道分成空间和时间组，以进一步实现时空特征的更彻底分解，从而微调3D CNN。我们的实验表明，简单地用STS替换3D卷积可以显着改善各种3D CNN，而不会增加Kinetics-400和Something-Something V2上的参数和计算。此外，这种新的训练管道在视频识别方面始终取得更好的结果，并具有显着的加速效果。例如，我们在Kinetics-400上实现了超过256个epoch 128-GPU基线的+0.6%的最快速度，而在4个GPU上仅进行了50个epoch的微调。代码和模型可在https://github.com/UCSC-VLAA/Image-Pretraining-for-Video上获得。

2022-08-01cs.CV

PADDIT：使用同构图像变换的数据概率增强

PADDIT: Probabilistic Augmentation of Data using Diffeomorphic Image Transformation

DIKU University of Copenhagen（哥本哈根大学DIKU）；Biomediq A/S（Biomediq公司）；Cerebriu A/S（Cerebriu公司）；King’s College London（伦敦国王学院）；University College London（伦敦大学学院）

为了使卷积神经网络（CNN）在医学图像分割中具有良好的泛化性能，学习的特征在输入的特定非线性形状变化下应该是不变的。为了在CNN中引入这种变换的不变性，我们提出了使用非纯图像变换（PADDIT）的数据概率增强-这是一个系统框架，用于生成可用于增强训练CNN的数据的现实变换。我们发现，在分割T1和FLAIR脑MRI扫描的白质高信号时，使用PADDIT训练的CNN优于未经增强和使用通用增强训练的CNN。

2020-03-09cs.CV

重新思考时空特征学习：视频分类中的速度-精度权衡

Rethinking Spatiotemporal Feature Learning: Speed-Accuracy Trade-offs in Video Classification

Google Research（谷歌研究院）；University of California San Diego（加州大学圣地亚哥分校）

尽管卷积神经网络（CNN）的采用导致了视频分析的稳步进展，但相对改善不如2D静态图像分类中的改善那么剧烈。存在三个主要的挑战，包括空间（图像）特征表示，时间信息表示和模型/计算复杂性。Carreira和Zisserman最近表明，从2D网络膨胀并在ImageNet上预训练的3D CNN可能是空间和时间表示学习的一种有前途的方法。然而，就模型/计算复杂度而言，3D CNN比2D CNN昂贵得多，并且容易过拟合。我们通过系统地探索关键的网络设计选择，建立一个有效和高效的视频分类系统，寻求速度和准确性之间的平衡。特别是，我们表明可以用低成本的2D卷积来取代许多3D卷积。令人惊讶的是，当替换网络底部的3D卷积时，实现了最佳结果（速度和准确性），这表明对高级语义特征的时间表示学习更有用。我们的结论推广到具有非常不同属性的数据集。当与其他几个具有成本效益的设计，包括可分离的空间/时间卷积和功能门控相结合时，我们的系统会产生一个有效的视频分类系统，该系统在几个动作分类基准（Kinetics，Something-something，UCF 101和HMDB）以及两个动作检测（本地化）基准（JHMDB和UCF 101 -24）上产生非常有竞争力的结果。

2018-07-27cs.CV

STEAM-EEG：基于马尔可夫迁移场与注意力CNN的时空脑电图分析

STEAM-EEG: Spatiotemporal EEG Analysis with Markov Transfer Fields and Attentive CNNs

Xi’an Jiaotong-Liverpool University（西交利物浦大学）；Shanghai Jiao Tong University（上海交通大学）

本文提出STEAM-EEG框架，利用马尔可夫迁移场将EEG时间序列转换为时空图像，并结合注意力CNN与计算机图形学技术进行可视化和建模，以提升脑电信号的模式识别与临床决策支持。

2024-12-07cs.AIcs.CEcs.CV

PROPEL：卷积神经网络的概率参数回归损失

PROPEL: Probabilistic Parametric Regression Loss for Convolutional Neural Networks

Imagination Technologies；Onaria Technologies；ASML；City, University of London（伦敦大学城市学院）

近年来，卷积神经网络（CNN）在计算机视觉领域取得了重大进展。对于分类任务，CNN广泛采用概率输出，并显示出为预测提供额外置信度的重要性。然而，这种概率方法并不广泛适用于使用CNN解决回归问题，因为回归涉及学习无约束连续变量，并且在许多情况下，多变量目标变量。我们提出了一个PROobbital参数回归损失（PROPEL），便于CNN学习概率分布的参数，以解决概率回归问题。PROPEL是完全可微的，因此可以使用现有的优化算法轻松地将其用于现有CNN回归架构的端到端训练。所提出的方法是灵活的，因为它可以学习复杂的无约束概率，同时可推广到高维多变量回归问题。我们利用基于PROPEL的CNN来解决从未校准的彩色图像中学习手和头方向的问题。我们的实验验证和与现有CNN回归损失函数的比较表明，PROPEL通过启用概率回归提高了CNN的准确性，同时通过$10 \times$显着减少了所需的模型参数，从而与现有的最新技术相比提高了泛化能力。

2020-08-08cs.CV

VMRNN：融合 Vision Mamba 与 LSTM 以实现高效准确的时空预测

VMRNN: Integrating Vision Mamba and LSTM for Efficient and Accurate Spatiotemporal Forecasting

The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Hong Kong Baptist University（香港浸会大学）；The Hong Kong University of Science and Technology（香港科技大学）

本文提出 VMRNN 单元，将 Vision Mamba 与 LSTM 结合用于时空预测，在多种任务上以较小模型规模取得有竞争力的结果。

2024-06-29cs.CV

SwinLSTM：利用Swin Transformer和LSTM提升时空预测精度

SwinLSTM:Improving Spatiotemporal Prediction Accuracy using Swin Transformer and LSTM

Hainan University（海南大学）

本文提出SwinLSTM，一种结合Swin Transformer和简化LSTM的循环单元，以自注意力替代卷积，在多个数据集上超越现有方法，验证了全局空间依赖学习对时空预测的优势。

2023-12-23cs.AIcs.CV

基于像素约束CNN的概率语义修复

Probabilistic Semantic Inpainting with Pixel Constrained CNNs

Schlumberger Software Technology Innovation Center（斯伦贝谢软件技术创新中心）

语义修复是在给定周围像素和高级图像语义的情况下推断图像中丢失像素的任务。大多数语义修复算法都是确定性的：给定一个缺失区域的图像，生成一个单一的修复图像。然而，对于一个给定的缺失区域，通常有几个合理的修复。在本文中，我们提出了一种方法，通过建立一个基于PixelCNN的模型来执行概率语义修复，该模型学习以可见像素子集为条件的图像分布。MNIST和CelebA数据集上的实验表明，我们的方法产生多样和逼真的修复。

2019-02-23cs.CVcs.LGstat.ML

基于时空卷积神经网络的连续情感识别

Continuous Emotion Recognition with Spatiotemporal Convolutional Neural Networks

École de Technologie Supérieure, Université du Québec（魁北克大学高等技术学院）

面部表情是描述人类行为的特定模式和描述人类情绪状态的最有力的方式之一。尽管情感计算在过去十年中取得了令人印象深刻的进步，但用于面部表情识别的自动基于视频的系统仍然不能正确处理个体之间以及跨文化和人口统计方面的面部表情变化。然而，即使对于人类来说，识别面部表情也是一项艰巨的任务。在本文中，我们研究了基于卷积神经网络（CNN）的最先进深度学习架构对于使用野外捕获的长视频序列进行连续情感识别的适用性。这项研究的重点是深度学习模型，允许编码时空关系的视频考虑一个复杂的和多维的情感空间，其中的价值观和唤醒必须预测。我们开发并评估了卷积递归神经网络，它结合了2D-CNN和长短期记忆单元，以及膨胀的3D-CNN模型，这些模型是通过使用特定于应用的视频在微调期间膨胀预训练的2D-CNN模型的权重来构建的。在具有挑战性的SEWA-DB数据集上的实验结果表明，这些架构可以有效地进行微调，以编码来自连续原始像素图像的时空信息，并在这样的数据集上实现最先进的结果。

2021-01-15cs.CVcs.LG

基于时空上下文聚合网络的天气预报简单基线

Simple Baseline for Weather Forecasting Using Spatiotemporal Context Aggregation Network

SI Analytics

传统的天气预报依赖于专业知识和计算密集型数值模拟系统。最近，随着数据驱动方法的发展，基于深度学习的天气预报受到关注。基于深度学习的天气预报取得了惊人的进展，从使用CNN、RNN和Transformer的各种骨干研究，到使用带有辅助输入的天气观测数据集的训练策略。所有这些进展都为天气预报领域做出了贡献;然而，深度学习模型的许多元素和复杂结构阻止了我们达到物理解释。本文提出了一个简单的基线与时空上下文聚合网络（SIANet），达到了最先进的W 4C 22的5个基准测试的4个部分。这种简单但有效的结构仅以端到端的方式使用卫星图像和CNN，而不使用多模型集成或微调。SIANet的这种简单性可以作为一个坚实的基线，可以很容易地应用于使用深度学习的天气预报。

2022-12-10cs.CV

银河动物园：通过贝叶斯CNN和主动学习的概率形态学

Galaxy Zoo: Probabilistic Morphology through Bayesian CNNs and Active Learning

University of Oxford（牛津大学）；University of Nottingham（诺丁汉大学）；University of Minnesota（明尼苏达大学）；European Space Agency（欧洲空间局）；Haverford College（哈弗福德学院）；University of Portsmouth（朴茨茅斯大学）

我们使用贝叶斯卷积神经网络和银河动物园志愿者反应的新生成模型来推断星系视觉形态的后验。贝叶斯CNN可以从具有不确定标签的星系图像中学习，然后对于先前未标记的星系，预测每个可能标签的概率。我们的后验是经过良好校准的（例如，对于预测酒吧，我们在0.2的投票分数偏差内实现了11.8%的覆盖率误差），因此对于实际使用是可靠的。此外，使用我们的后验，我们应用主动学习策略BALD，要求志愿者对星系的子集的反应，如果标记，将是最翔实的训练我们的网络。我们表明，使用主动学习训练贝叶斯CNN需要少35-60%的标记星系，这取决于被分类的形态特征。通过结合人类和机器智能，Galaxy Zoo将能够在数周的时间尺度上对任何可想象规模的调查进行分类，提供大量详细的形态目录，以支持对星系演化的研究。

2019-10-04astro-ph.GAcs.CV

基于视觉壳嵌入的单视图三维物体深度重建

Deep Single-View 3D Object Reconstruction with Visual Hull Embedding

Beijing Institute of Technology（北京理工大学）；Microsoft Research（微软研究院）

三维物体重建是许多机器人和人工智能问题的基本任务。在深度卷积神经网络（CNN）的辅助下，三维物体重建在近年来取得了显著的进展。然而，可能由于3D对象空间的维度过高，深度CNN的结果往往容易丢失一些形状细节。在本文中，我们提出了一种方法，旨在保留更多的形状细节，提高重建质量。我们方法的关键思想是利用CNN的对象掩码和姿态估计，通过在网络内部构建概率单视图视觉外壳来辅助3D形状学习。我们的方法首先使用CNN预测粗略的形状以及对象的姿势和轮廓，然后是一种新的3D细化CNN，它使用构建的概率视觉外壳细化粗略的形状。在合成数据和真实图像上的实验结果表明，嵌入单视图视觉壳进行形状细化，可以恢复更多的形状细节，提高与输入图像的形状一致性，从而显著提高重建质量。

2018-09-10cs.CV

概率Noise2Void：无监督的内容感知去噪

Probabilistic Noise2Void: Unsupervised Content-Aware Denoising

MPI-CBG/PKS (CSBD)（马克斯·普朗克分子细胞生物学与遗传学研究所/普朗克计算生物学中心（德累斯顿系统生物学中心））；Brno University of Technology（布尔诺理工大学）

如今，卷积神经网络（CNN）是图像去噪的主要方法。传统上，它们是在成对的图像上训练的，这通常很难在实际应用中获得。这激发了自我监督的训练方法，如Noise 2 Void ~（N2 V），它们对单个噪声图像进行操作。不幸的是，自监督方法与在图像对上训练的模型没有竞争力。在这里，我们提出了“ProbabilityNoise 2 Void”（PN 2 V），这是一种训练CNN来预测每像素强度分布的方法。结合这些与适当的描述的噪声，我们得到一个完整的概率模型的噪声观测和真实的信号在每个像素。我们评估PN 2 V上公开可用的显微镜数据集，在广泛的噪声制度，并实现有竞争力的结果与监督的最先进的方法。

2019-06-04cs.CVeess.IV

TFCNet：用于静态无偏时态推理的时态全连接网络

TFCNet: Temporal Fully Connected Networks for Static Unbiased Temporal Reasoning

时间推理是视觉智能的重要功能之一。在计算机视觉研究领域，时间推理通常以视频分类的形式进行研究，近年来提出了许多最先进的神经网络结构和数据集基准，特别是3D CNN和Kinetics。然而，最近的一些工作发现，目前的视频分类基准包含对静态特征的强烈偏见，从而不能准确地反映时间建模能力。提出了旨在消除静态偏差的新视频分类基准，在这些新基准上的实验表明，RNN结构和最近的视频Transformers优于当前基于剪辑的3D CNN。在本文中，我们发现，当使用视频级采样策略时，3D CNN及其有效的dependency变体实际上能够在静态无偏时间推理基准上以显著的幅度击败RNN和最近的视觉Transformer。此外，我们提出了时间全连接块（TFC块），一个高效和有效的组件，它近似沿时间维度的全连接层，以获得视频级的感受野，增强时空推理能力。通过将TFC块插入到视频级3D CNN（V3D）中，我们提出的TFCNet在合成时间推理基准CATER和真实世界的静态无偏数据集Diving48上建立了新的最先进的结果，超越了所有以前的方法。

2022-03-11cs.CV

3D CNN的时间随机Softmax：在面部表情识别中的应用

Temporal Stochastic Softmax for 3D CNNs: An Application in Facial Expression Recognition

École de technologie supérieure（高等技术学院）；Concordia University（康考迪亚大学）

训练深度学习模型以准确地时空识别视频中的面部表情需要大量的计算资源。出于实际原因，3D卷积神经网络（3D CNN）通常使用从视频中随机提取的相对较短的剪辑进行训练。然而，这样的均匀采样通常是次优的，因为相等的重要性被分配给每个时间剪辑。在本文中，我们提出了一种基于视频的3D CNN有效训练策略。它依赖于softmax时间池和加权采样机制来选择最相关的训练片段。所提出的softmax策略提供了几个优点：由于有效的剪辑采样而降低了计算复杂性，并且由于时间加权在训练和推理期间都集中于更相关的剪辑而提高了准确性。在几个面部表情识别基准上使用所提出的方法获得的实验结果显示了在训练视频中关注更多信息片段的好处。特别是，我们的方法提高了性能和计算成本，减少不准确的修剪和粗略的视频注释的影响，以及视觉信息在不同时间的异构分布。

2020-11-10cs.CVcs.LG

深度学习在遥感时空融合中的十年：进展、挑战与机遇

A Decade of Deep Learning for Remote Sensing Spatiotemporal Fusion: Advances, Challenges, and Opportunities

School of Computer Science, China University of Geosciences (Wuhan)（中国地质大学（武汉）计算机科学学院）；Aerospace Information Research Institute, Chinese Academy of Sciences（中国科学院航空航天信息研究所）；School of Electronic, Electrical and Communication Engineering, University of Chinese Academy of Sciences（中国科学院大学电子电气与通信工程学院）

本文首次全面综述了十年来深度学习在遥感时空融合中的进展，建立了涵盖CNNs、Transformers、GANs等架构的分类法，通过实验验证了各方法的性能权衡，并指出了五大关键挑战与未来机遇。

2025-07-11cs.CV

解剖3D CNN：用于高效在线视频处理的时间跳过连接

Dissected 3D CNNs: Temporal Skip Connections for Efficient Online Video Processing

Technical University of Munich（慕尼黑工业大学）；Eskisehir Osmangazi University（埃斯基谢希尔奥桑加齐大学）

具有3D内核的卷积神经网络（3D-CNN）由于其在提取视频帧内的时空特征方面的优势，目前在视频识别任务中实现了最先进的结果。已经有许多成功的3D-CNN架构相继超越了最先进的结果。然而，几乎所有这些都被设计为离线操作，在在线操作过程中产生了一些严重的障碍。首先，传统的3D-CNN不是动态的，因为它们的输出特征表示完整的输入剪辑，而不是剪辑中的最近帧。其次，由于其固有的时间下采样，它们不是时间分辨率保持的。最后，3D-CNN被限制为与固定的时间输入大小一起使用，限制了它们的灵活性。为了解决这些缺点，我们提出了解剖3D-CNN，其中网络的中间体积被解剖并在深度（时间）维度上传播，以供未来计算，从而大大减少在线操作的计算数量。对于动作分类，ResNet模型的解剖版本在在线操作时的计算量减少了77-90%，同时在Kinetics-600数据集上的分类精度比传统的3D-ResNet模型高出约5%。此外，通过将我们的方法部署到几个视觉任务中，证明了解剖的3D-CNN的优势，这不断提高了性能。

2021-10-18cs.CVcs.LGeess.IV

贝叶斯图像质量传递与CNN：探索dMRI超分辨率的不确定性

Bayesian Image Quality Transfer with CNNs: Exploring Uncertainty in dMRI Super-Resolution

University College London（伦敦大学学院）；Microsoft Research Cambridge（微软剑桥研究院）；University of Oxford（牛津大学）

在这项工作中，我们调查的价值不确定性建模的三维超分辨率与卷积神经网络（CNN）。深度学习已经在大量的医学图像变换问题中取得了成功，例如超分辨率（SR）和图像合成。然而，这些问题的高度不适定性导致了网络学习中不可避免的模糊性。我们建议通过每补丁异方差噪声模型和参数的不确定性，通过近似贝叶斯推理的形式变辍学的内在不确定性。我们表明，两者的综合优势导致扩散MR脑图像的最先进的性能SR的错误相比，地面真理。我们进一步表明，减少的错误分数在下游纤维束成像中产生了实实在在的好处。此外，该方法的概率性质自然赋予了一种机制来量化超分辨输出的不确定性。我们通过对健康和病理大脑的实验证明了这种不确定性措施在随后临床使用的超分辨图像的风险评估中的潜在效用。

2017-05-30cs.CV

利用自由移动的人进行时空多相机标定

Spatiotemporal Multi-Camera Calibration using Freely Moving People

Graduate School of Informatics, Kyoto University（京都大学信息学研究生院）；Information and Human Sciences, Kyoto Institute of Technology（京都科技大学信息与人类科学）

针对多相机标定与跨视角匹配相互依赖的问题，本文利用自由移动人体的三维姿态，在单位球面上以概率软分配联合求解时空对齐与对应关系，并通过共面约束和非线性优化实现无标记多相机标定。

2025-07-26cs.CV

因果3D CNN的递归卷积

Recurrent Convolutions for Causal 3D CNNs

Visual Artificial Intelligence Laboratory (VAIL), Oxford Brookes University（视觉人工智能实验室（VAIL），牛津布鲁克斯大学）

最近，三维（3D）卷积神经网络（CNN）已经成为通过向预先存在的2D CNN添加第三时间维度来捕获视频中的时空表示的主导方法。然而，这种3D CNN是反因果的（即，它们利用来自过去和未来帧的信息来产生特征表示，从而防止它们在在线设置中的使用），将时间推理范围约束到时间卷积核的大小，并且对于视频序列到序列建模（例如在动作检测中）不是时间分辨率保持的。为了解决这些严重的限制，在这里，我们提出了一个新的3D CNN架构的因果/在线处理的视频。也就是说，我们提出了一种新的递归卷积网络（RCN），它依赖于递归来捕获跨帧的时间上下文在每个网络级别。我们的网络将3D卷积分解为（1）2D空间卷积分量，以及（2）跨时间应用的附加隐藏状态$1\times 1$卷积。假设在任何时间$t$的隐藏状态取决于在$t-1$的隐藏状态和空间卷积分量的当前输出。因此，所提出的网络：（i）产生因果输出，（ii）提供灵活的时间推理，（iii）保持时间分辨率。我们在大规模大型Kinetics和MultiThumos数据集上的实验表明，所提出的方法可以执行反因果3D CNN，同时具有因果性并使用较少的参数。

2019-08-31cs.CVcs.LG

使用LSTM-DeepLabv3+与贝叶斯优化结合时空特征融合改进城市洪水预测

Improving Urban Flood Prediction using LSTM-DeepLabv3+ and Bayesian Optimization with Spatiotemporal feature fusion

Guangdong University of Technology（广东工业大学）；University of Exeter（埃克塞特大学）

本研究提出一种结合CNN与RNN优势的LSTM-DeepLabv3+混合特征融合模型，利用贝叶斯优化筛选关键因素，实现了高精度、高效率的城市洪水预测。

2023-04-19cs.AIcs.CVcs.LG

即插即用的 Deepfake 视频检测泛化：视频级混合与时空适配器微调

Generalizing Deepfake Video Detection with Plug-and-Play: Video-Level Blending and Spatiotemporal Adapter Tuning

School of Electronic Computer Engineering Peking University（北京大学电子计算机工程学院）；Tencent Youtu Lab（腾讯优图实验室）

针对 deepfake 视频检测的泛化、时空均衡与效率问题，提出视频级混合数据 VB 和轻量级时空适配器 StA，提升对未知及最新伪造视频的检测泛化能力。

2024-11-30cs.CV

基于深度学习的实时手语到文本翻译：LSTM与3D CNN的对比研究

Real-Time Sign Language to text Translation using Deep Learning: A Comparative study of LSTM and 3D CNN

Vishwakarma Institute of Technology, Pune（浦那维什瓦卡玛理工学院）

本研究对比3D CNN和LSTM在实时美国手语识别中的性能，在含50类1200个手势的数据集上评估其准确率、效率和延迟，发现3D CNN准确率更高但耗时多，LSTM资源消耗低，为辅助技术提供基准。

2025-11-18cs.CV

基于特征增强模块和时空相似性相关单元的结肠镜息肉实时的自动检测

Real-time automatic polyp detection in colonoscopy using feature enhancement module and spatiotemporal similarity correlation unit

Shanghai Jiao Tong University（上海交通大学）；Renji Hospital, School of Medicine, Shanghai Jiao Tong University（上海交通大学医学院附属仁济医院）；Deepwise Artificial Intelligence Laboratory（深睿人工智能实验室）

息肉的自动检测具有挑战性，因为不同的息肉差异很大，而息肉及其类似物之间的变化很小。现有技术的方法基于卷积神经网络（CNN）。然而，它们可能由于缺乏训练数据而失败，从而导致高的漏检率和误报率（FP）。为了解决这些问题，我们的方法结合了二维（2-D）基于CNN的实时的【形】目标检测器网络与时空信息。首先，我们使用一个二维检测器网络检测静态图像和帧，并基于检测器网络，我们提出了两个特征增强模块FP再学习模块（FPRM），使检测器网络学习更多的FP的特征，以提高精度，和图像风格转换模块（ISTM），以提高敏感性的息肉的特征。在视频检测中，我们结合时空信息，使用结构相似度（SSIM）来衡量视频帧之间的相似性。最后，我们提出了帧间相似性相关单元（ISCU），结合检测器网络和帧相似性得到的结果，做出最终的决定。我们验证我们的方法在私人数据库和公开数据库。实验结果表明，这些模块和单元提供了一个基线方法相比，性能的改善。与现有方法的比较表明，该方法在满足实时的【形】性要求的前提下，性能优于现有方法。实验结果表明，该方法在灵敏度、精确度和特异性方面都有较大的提高，在临床结肠镜检查中有很大的应用潜力。

2022-01-25cs.CV

基于概率属性树的卷积神经网络人脸表情识别

Probabilistic Attribute Tree in Convolutional Neural Networks for Facial Expression Recognition

University of South Carolina（南卡罗来纳大学）；Innopeak Technology Inc.（Innopeak科技公司）

在本文中，我们提出了一种新的概率属性树CNN（PAT-CNN）来显式处理由身份相关属性引起的大的类内变化，例如，年龄种族和性别具体地说，提出了一种新的PAT模块与相关的PAT损失学习功能的层次树结构组织根据属性，其中最终的功能是受属性的影响较小。然后，从叶节点中提取与表情相关的特征。样本被概率性地分配到不同级别的树节点，使得可以从按概率加权的所有样本中学习与表达相关的特征。我们进一步提出了一种半监督策略，从有限的属性注释样本中学习PAT-CNN，以充分利用可用数据。在五个人脸表情数据集上的实验结果表明，所提出的PAT-CNN通过显式地建模属性，性能优于基线模型。更令人印象深刻的是，与使用数百个CNN的集成的最先进方法相比，使用单个模型的PAT-CNN在SFEW数据集上实现了野外人脸的最佳性能。

2018-12-17cs.CV

基于视频Shuffle网络的高效视频表示

Learning Efficient Video Representation with Video Shuffle Networks

MIT（麻省理工学院）；Tencent YouTu Lab（腾讯优图实验室）；SenseTime Research（商汤科技研究院）

3D CNN在最近的视频识别任务中显示了其强大的时空表示学习能力。然而，将2D卷积膨胀到3D不可避免地会引入额外的计算成本，使其在实际部署中变得繁琐。我们考虑是否有一种方法来装备传统的2D卷积与时间视觉，而不需要扩展其内核。为此，我们提出了视频洗牌，一个无参数的插件组件，有效地重新分配2D卷积的输入，使其感受野可以扩展到时间维度。在实际应用中，视频混洗首先将每一帧的特征分成多个组，然后通过时间混洗操作聚合成组的特征。这允许以下2D卷积聚合全局时空特征。提出的视频洗牌可以灵活地插入到流行的2D CNN中，形成视频洗牌网络（VSN）。通过简单而有效的实现，VSN在时态建模基准测试中表现得令人惊讶。在实验中，VSN不仅在Kinetics和Moments in Time上获得了非平凡的改进，而且在Something-Something-V1，Something-Something-V2数据集上也获得了最先进的性能。

2019-11-26cs.CV

基于三维卷积神经网络时空特征的视频手术手势自动识别

Using 3D Convolutional Neural Networks to Learn Spatiotemporal Features for Automatic Surgical Gesture Recognition in Video

National Center for Tumor Diseases (NCT)（国家肿瘤疾病中心）；University Hospital Carl Gustav Carus（卡尔·古斯塔夫·卡鲁斯大学医院）；TU Dresden（德累斯顿工业大学）；Centre for Tactile Internet with Human-in-the-Loop (CeTI)（人在环触觉互联网中心）

自动识别手术手势是彻底了解手术技能的关键一步。可能的应用领域包括自动技能评估、关键手术步骤的术中监测和手术任务的半自动化。仅依赖腹腔镜视频且不需要额外传感器硬件的解决方案尤其具有吸引力，因为它们可以在许多情况下以低成本实现。然而，仅基于视频的手术手势识别是一个具有挑战性的问题，需要有效的手段从视频中提取视觉和时间信息。以前的方法主要依赖于逐帧特征提取器，无论是手工制作的还是学习的，都无法捕获手术视频中的动态。为了解决这个问题，我们建议使用3D卷积神经网络（CNN）从连续的视频帧中学习时空特征。我们评估我们的方法上记录的机器人辅助的bench-top模型，这是从公开的JIGSAWS数据集。我们的方法实现了超过84%的高帧式手术手势识别准确率，优于仅提取空间特征或单独建模空间和低级别时间信息的可比模型。这些结果首次证明了时空CNN在基于视频的手术手势识别中的优势。

2019-07-26cs.CVcs.LG

W2WNet：一种内嵌数据清洗功能的双模块概率卷积神经网络

W2WNet: a two-module probabilistic Convolutional Neural Network with embedded data cleansing functionality

Politecnico di Torino（都灵理工大学）

针对图像退化与错误标注损害 CNN 性能的问题，提出双模块概率网络 W2WNet，利用贝叶斯推理清洗训练数据并在推理时输出置信度，提升多基准与组织学分类准确率。

2021-03-24cs.AIcs.CV

多任务CNN的随机滤波器组：学习专家和通用卷积核

Stochastic Filter Groups for Multi-Task CNNs: Learning Specialist and Generalist Convolution Kernels

University College London（伦敦大学学院）；Kings College London（伦敦国王学院）

卷积神经网络（CNN）中多任务学习的性能取决于架构内任务之间特征共享的设计。可能的共享模式的数量在网络的深度和任务的数量上是组合的，因此纯粹基于人类对任务关系的直觉来手工制作架构可能是耗时且次优的。在本文中，我们提出了一种概率方法来学习CNN中用于多任务学习的任务特定和共享表示。具体来说，我们提出了“随机滤波器组”（SFG），这是一种将每层中的卷积内核分配给“专家”或“一般”组的机制，这些组分别特定于不同的任务或在不同的任务之间共享。SFG模块确定层之间的连接以及网络中特定于任务和共享表示的结构。我们采用变分推理来学习核和网络参数的可能分组的后验分布。实验表明，该方法概括了多个任务，并显示出改进的性能基线方法。

2019-08-26cs.CVcs.LG

使用少样本学习自动检测眼底照片中的罕见病变

Automatic detection of rare pathologies in fundus photographs using few-shot learning

Inserm（法国国家健康与医学研究院）；Univ Bretagne Occidentale（布列塔尼西部大学）；IMT Atlantique（大西洋矿业与电信学院）；APHP（巴黎公立医院集团）

在过去的几十年中，眼底照片的大数据集已被收集在糖尿病视网膜病变（DR）筛查网络。通过深度学习，这些数据集被用于训练DR和其他一些常见病理的自动检测器，目标是自动筛选。到目前为止，一个挑战限制了这种系统的采用：自动检测器忽略了眼科医生目前检测到的罕见疾病，如视乳头水肿或前部缺血性视神经病变。原因是标准的深度学习需要太多这些条件的例子。然而，这种限制可以通过少样本学习来解决，这是一种机器学习范例，其中分类器必须泛化到训练中看不到的新类别，仅给出该类别的几个示例。本文提出了一种新的少样本学习框架，该框架扩展了针对频繁条件进行训练的卷积神经网络（CNN），并使用无监督概率模型进行罕见条件检测。这是基于这样的观察，即CNN经常将包含相同异常的照片视为相似，即使这些CNN被训练来检测不相关的条件。这一观察是基于t-SNE可视化工具，我们决定将其纳入我们的概率模型。对来自OPHDIAT筛查网络的164，660次筛查检查的数据集进行的实验表明，41种疾病中有37种可以检测到ROC曲线下面积（AUC）大于0.8（平均AUC：0.938）。特别是，这个框架在检测罕见条件方面明显优于其他框架，包括多任务学习、迁移学习和连体网络，这是另一种少样本学习解决方案。我们希望这些更丰富的预测能够引发自动眼部病理筛查的采用，这将彻底改变眼科的临床实践。

2020-02-10cs.CV

UST-Hand: 一种面向3D自监督手姿态估计的不确定性感知时空点云交互网络

UST-Hand: An Uncertainty-aware Spatiotemporal Point Cloud Interaction Network for 3D Self-supervised Hand Pose Estimation

School of Computer Science, Shanghai Jiao Tong University（上海交通大学计算机科学学院）；Beijing University of Posts and Telecommunications（北京邮电大学）；Sun Yat-sen University（中山大学）；Peking University（北京大学）；Defense Innovation Institute, Academy of Military Sciences（国防科技创新院，军事科学学院）；Tianjin Artificial Intelligence Innovation Center（天津人工智能创新中心）

本文提出UST-Hand，一种通过估计手姿态不确定性分布并构建概率点云特征空间的自监督学习框架，以更稳定地建模复杂的时空关系，从而在三个具有挑战性的数据集上实现了最先进的性能，比现有自监督方法在均位点误差（MPVPE）上高出37.8%。

2026-05-18cs.CVcs.HC

融合卷积网络学习网约车服务时空特征

Learning Spatiotemporal Features of Ride-sourcing Services with Fusion Convolutional Network

Southwestern University of Finance and Economics（西南财经大学）；Sichuan University（四川大学）

为了共同预测一个城市所有区域对网约车服务的需求，深度学习方法已经得到了应用，并取得了令人称道的结果。然而，城市地理布局中的局部统计差异使得卷积的空间平稳性假设无效，这限制了CNN在需求预测任务中的性能。在本文中，我们提出了一种名为LC-ST-FCN（局部连接时空全卷积神经网络）的新型深度学习框架，以解决端到端架构（E2 E）中区域级需求预测问题的独特挑战。我们首先采用3D卷积层来融合输入中存在的时空信息，然后将3D卷积层提取的时空特征馈送到后续的2D卷积层。然后，通过局部连接的卷积层来获得每个区域的预测值，这些卷积层放松了参数共享方案。我们在一个叫车服务平台（滴滴出行）的真实数据集上评估了所提出的模型，并观察到与一系列基线模型相比有显著的改进。此外，我们还通过可视化不同类型的卷积层如何转换其输入并捕获有用的特征来说明我们提出的模型的有效性。可视化结果表明，全卷积架构使模型能够更好地定位相关区域。局部连通层在处理局部统计差异和激活有用区域方面起着重要作用。

2020-04-24cs.CVcs.LGstat.ML

模拟与受控环境中植物生长的预测建模、模式识别与时空表示：全面综述

Predictive Modeling, Pattern Recognition, and Spatiotemporal Representations of Plant Growth in Simulated and Controlled Environments: A Comprehensive Review

McGill University（麦吉尔大学）

本综述全面回顾了模拟与受控环境中植物生长的预测建模、模式识别与时空表示技术，涵盖确定性、概率性和生成性方法，并指出了整合领域知识、改进数据集及推动实际应用的未来方向。

2025-06-25cs.CVq-bio.QM

条件随机场作为循环神经网络

Conditional Random Fields as Recurrent Neural Networks

University of Oxford（牛津大学）；Stanford University（斯坦福大学）；Baidu Institute of Deep Learning（百度深度学习研究院）

像素级标记任务，如语义分割，在图像理解中起着核心作用。最近的方法试图利用深度学习技术的能力进行图像识别，以解决像素级标记任务。这种方法的一个核心问题是深度学习技术描绘视觉对象的能力有限。为了解决这个问题，我们引入了一种新形式的卷积神经网络，它结合了卷积神经网络（CNN）和基于条件随机场（CRF）的概率图形建模的优势。为此，我们将具有高斯两两势的条件随机场的平均场近似推理表示为循环神经网络。然后将这个称为CRF-RNN的网络作为CNN的一部分插入，以获得具有CNN和CRF两者的理想属性的深度网络。重要的是，我们的系统将CRF建模与CNN完全集成，使得使用通常的反向传播算法对整个深度网络进行端到端的训练成为可能，避免了用于对象描绘的离线后处理方法。我们将所提出的方法应用于语义图像分割问题，在具有挑战性的Pascal VOC 2012分割基准上获得了最佳结果。

2016-04-13cs.CV

时空建模与3D医学图像分析的相遇：Slice-Shift UNet与多视角融合

Spatiotemporal Modeling Encounters 3D Medical Image Analysis: Slice-Shift UNet with Multi-View Fusion

Free University of Bozen-Bolzano（博尔扎诺自由大学）

提出SSH-UNet，一种基于2D CNN的3D医学图像分割模型，通过多视角融合与切片移位编码三维特征，在AMOS和BTCV数据集上实现与最先进方法相当的性能且更高效。

2023-07-25cs.CVeess.IV

深度补全的不确定性感知CNN：从开始到结束的不确定性

Uncertainty-Aware CNNs for Depth Completion: Uncertainty from Beginning to End

Linköping University（林雪平大学）

深度学习研究的重点主要是推动预测精度的极限。然而，这通常是以增加复杂性为代价的，引起了人们对深度网络的可解释性和可靠性的担忧。最近，人们越来越关注解开深度网络的复杂性，并量化它们在不同计算机视觉任务中的不确定性。因此，尽管深度传感器具有固有的噪声性质，但深度完成的任务尚未得到足够的关注。因此，在这项工作中，我们专注于从稀疏噪声输入一直到最终预测的深度完成中深度数据的不确定性建模。我们提出了一种新的方法来识别干扰测量的输入学习的输入置信度估计在一个自我监督的方式的基础上归一化卷积神经网络（NCNN）。此外，我们提出了一个概率版本的NCNN，产生一个统计上有意义的不确定性措施的最终预测。当我们在KITTI数据集上评估我们的深度完成方法时，我们在预测准确性，不确定性度量的质量和计算效率方面优于所有现有的贝叶斯深度学习方法。此外，我们的小型网络具有670k个参数，与具有数百万个参数的传统方法相当。这些结果提供了强有力的证据，证明将网络分离为并行的不确定性和预测流可以获得最先进的性能，并具有准确的不确定性估计。

2020-06-05cs.CVcs.LG

VADv2：通过概率规划实现端到端向量自主驾驶

VADv2: End-to-End Vectorized Autonomous Driving via Probabilistic Planning

Huazhong University of Science and Technology（华中科技大学）；Horizon Robotics

本文提出VADv2，一种基于概率规划的端到端自主驾驶模型，通过概率场函数建模动作空间到概率分布的映射，利用大规模驾驶演示提升闭合回路性能，优于现有方法。

2026-04-17cs.CVcs.RO

基于解卷积生成模型的卷积神经网络的贝叶斯观点

A Bayesian Perspective of Convolutional Neural Networks through a Deconvolutional Generative Model

Rice University（莱斯大学）；University of California at Berkeley（加州大学伯克利分校）；Baylor College of Medicine（贝勒医学院）；California Institute of Technology（加州理工学院）；NVIDIA（英伟达）

受卷积神经网络（CNN）在图像监督预测方面的成功启发，我们设计了解卷积生成模型（DGM），这是一种新的概率生成模型，其推理计算对应于给定CNN架构中的推理计算。DGM使用CNN来设计概率模型中的先验分布。此外，DGM生成从粗到细尺度的图像。它在每个尺度上引入了一小组潜变量，并通过共轭先验分布来加强所有潜变量之间的依赖关系。这种共轭先验产生了一个新的正则化器，该正则化器基于生成模型中渲染的路径来训练CNN-渲染路径归一化（RPN）。我们证明，这个正则化提高泛化，在理论和实践中。此外，DGM中的似然估计会产生CNN的训练损失，受此启发，我们设计了一种称为Max-Min交叉熵的新损失，它优于传统的交叉熵损失。Max-Min交叉熵提出了一种新的深度网络架构，即Max-Min网络，它可以从较少的标记数据中学习，同时保持良好的预测性能。我们的实验表明，DGM与RPN和Max-Min架构超过或匹配的最先进的基准，包括SVHN，CIFAR 10，和CIFAR 100的半监督和监督学习任务。

2019-12-09cs.AIcs.CVcs.LG

深度广义卷积和积网络

Deep Generalized Convolutional Sum-Product Networks

KTH Royal Institute of Technology（瑞典皇家理工学院）；MessageBird（MessageBird公司）；University of Washington（华盛顿大学）

和积网络（SPN）是一种分层的图形模型，结合了深度学习和概率建模的优点。SPN为需要对高维噪声输入进行精确概率推理的应用提供了独特的优势。然而，与卷积神经网络相比，它们难以捕捉图像数据中复杂的空间关系。为了缓解这个问题，我们引入了深度广义卷积和积网络（DGC-SPN），它以类似于CNN的方式对空间特征进行编码，同时保留了概率SPN模型的有效性。与现有的基于SPN的图像表示相反，DGC-SPN允许通过膨胀和步幅的新参数化来重叠卷积补丁，从而显著提高特征覆盖率和特征分辨率。DGC-SPN在多个视觉数据集上以及在生成和区分任务（包括图像修补和分类）上都大大优于其他SPN架构。这些贡献通过第一个简单，可扩展和GPU优化的SPN实现得到了加强，并与广泛使用的Keras/TensorFlow框架集成。由此产生的模型是完全概率和通用的，但有效和直接应用于实际应用中，代替传统的深度网络。

2020-09-22cs.CVcs.LGstat.ML

眼科中的生成式人工智能：基于卷积神经网络的多模态视网膜图像用于阿尔茨海默病诊断

Generative artificial intelligence in ophthalmology: multimodal retinal images for the diagnosis of Alzheimer's disease with convolutional neural networks

本研究利用生成式AI（DDPM）合成多模态视网膜图像，预训练CNN以预测阿尔茨海默病相关AmyloidPET状态，结合元数据将AUPR提升至0.634。

2024-06-26cs.CVcs.LGeess.IV