Lifelong Domain Adaptive 3D Human Pose Estimation
本文提出了一种终身领域自适应3D人体姿态估计方法，通过生成对抗网络框架解决领域偏移和灾难性遗忘问题，提升跨域姿态估计性能。
2026-01-15 cs.AI cs.CV cs.LG
Generative Memory for Lifelong Reinforcement Learning
SRI International（SRI国际研究所）
我们的研究重点是理解和应用生物记忆转移到新的人工智能系统，可以从根本上提高他们的性能，在他们的现场生活经验。我们利用目前对生物记忆转移的理解来达到记忆巩固和重放的AI算法。在本文中，我们提出了使用的生成记忆，可以召回批量样本训练的多任务代理的伪排练方式。我们的结果激励需要任务不可知的潜在空间分离的生成记忆，以解决终身学习中的灾难性遗忘的问题。
2019-02-22 cs.AI cs.LG stat.ML
Supplemental Material: Lifelong Generative Modelling Using Dynamic Expansion Graph Model
University of York（约克大学）
在这篇文章中，我们提供了使用动态扩展图模型的终身生成建模的附录。本附录包括其他视觉结果以及挑战性数据集的数值结果。此外，我们还提供了详细的证明所提出的理论分析框架。源代码可以在https://github.com/dtuzi123/Expansion-Graph-Model上找到。
2022-03-25 cs.LG
Prompt Conditioned VAE: Enhancing Generative Replay for Lifelong Learning in Task-Oriented Dialogue
The Hong Kong University of Science and Technology（香港科技大学）；Alibaba Group（阿里巴巴集团）；The Chinese University of Hong Kong（香港中文大学）
终身学习（LL）对于高级任务导向对话（ToD）系统至关重要。为了解决LL的灾难性遗忘问题，生成重放方法被广泛采用，以巩固过去的知识与生成的伪样本。然而，大多数现有的生成重放方法仅使用单个特定于任务的令牌来控制其模型。由于所涉及的信息不足，该方案通常不足以约束生成模型。在本文中，我们提出了一种新的方法，即时条件VAE终身学习（PCLL），以提高生成重放纳入任务的统计。PCLL使用条件变分自编码器捕获特定于任务的分布，条件是自然语言提示以指导伪样本生成。此外，它利用蒸馏过程通过减轻伪样本中的噪声来进一步巩固过去的知识。在ToD系统的自然语言理解任务上的实验表明，PCLL在构建LL模型方面明显优于竞争基线。
2022-11-24 cs.AI cs.CL cs.LG
Conditional deep generative models as surrogates for spatial field solution reconstruction with quantified uncertainty in Structural Health Monitoring applications
National Technical University of Athens（雅典国立技术大学）；School of Naval Architecture and Marine Engineering（船舶与海洋工程学院）
本文提出一种基于CNN的条件变分自编码器作为代理模型，用于结构健康监测中高维随机结构模拟的空间场重建，在保证重建精度的同时有效量化荷载不确定性。
2023-02-14 cs.AI cs.LG
MyGO: Memory Yielding Generative Offline-consolidation for Lifelong Learning Systems
MyGO通过生成式离线巩固方法，有效缓解终身学习中的灾难性遗忘问题，提升隐私和存储效率。
2026-01-07 cs.AI cs.LG
Model-Free Generative Replay for Lifelong Reinforcement Learning: Application to Starcraft-2
SRI International（斯坦福国际研究院）
应对深度终身强化学习（LRL）挑战的一种方法是仔细管理智能体的学习经验，学习（不忘记）并构建内部元模型（任务，环境，智能体和世界）。生成重放（GR）是一种生物启发的重放机制，它通过从随时间更新的内部生成模型中提取的自标记示例来增强学习体验。我们提出了一个用于LRL的GR版本，它满足了两个必要条件：（a）使用深度RL学习的策略潜在表示的内省密度建模，以及（b）无模型端到端学习。在本文中，我们研究了无模型GR的三种深度学习架构，从一个简单的GR开始，添加成分以实现（a）和（b）。我们评估我们提出的算法在三个不同的情况下，包括任务的星际争霸2和Minigrid域。我们报告了几个关键的研究结果，显示了设计选择对定量指标的影响，包括迁移学习，对看不见的任务的概括，任务改变后的快速适应，任务专家的表现，以及灾难性遗忘。我们观察到，我们的GR防止了深度RL代理的潜在向量空间的特征到动作映射的漂移。我们还显示了在建立终身学习指标的改进。我们发现，一个小的随机重放缓冲区显着提高了训练的稳定性。总的来说，我们发现“隐藏重放”（一种众所周知的类增量分类架构）是最有前途的方法，它推动了GR中最先进的LRL，并观察到睡眠模型的架构对于提高性能可能比使用的重放类型更重要。我们的实验只需要6%的训练样本，就可以在大多数星际争霸2场景中达到80-90%的专家性能。
2022-08-16 cs.AI cs.LG
Generative Adversarial Network with Soft-Dynamic Time Warping and Parallel Reconstruction for Energy Time Series Anomaly Detection
Indian Institute of Science（印度科学研究所）；FLAME University（FLAME大学）
本文提出一种结合一维DCGAN与Soft-DTW的能源时间序列异常检测方法，通过并行重建加速检测并提升建筑能耗异常识别能力。
2024-02-22 cs.LG
Lifelong Learning using Eigentasks: Task Separation, Skill Acquisition, and Selective Transfer
SRI International（SRI国际）
我们介绍了终身学习的特征任务框架。特征任务是解决一组相关任务的技能配对，与可以从技能的输入空间中采样的生成模型配对。该框架扩展了生成重放方法，主要用于避免灾难性遗忘，也可以解决其他终身学习目标，如向前知识转移。在我们的框架中，我们提出了一个交替任务学习和知识巩固学习的唤醒-睡眠周期，并将其实例化为终身监督学习和终身RL。我们在监督持续学习中实现了最先进的性能改进，并在游戏星际争霸2中的终身RL应用中显示了向前知识转移的证据。
2020-07-14 cs.AI cs.CV cs.LG
Reconstruction Bottlenecks in Object-Centric Generative Models
University of Oxford（牛津大学）
存在一系列具有适当归纳偏差的方法来在没有监督的情况下学习可解释的以对象为中心的图像表示。然而，这些在很大程度上仅限于视觉上简单的图像;在现实世界的感官数据集中，鲁棒的对象发现仍然是难以捉摸的。为了增加对这种归纳偏差的理解，我们实证研究了GENESIS（一个最近的基于VAE的模型）中场景分解的“重建瓶颈”的作用。我们表明，这样的瓶颈决定重建和分割质量和严重影响模型的行为。
2020-11-24 cs.LG stat.ML
DensePANet: An improved generative adversarial network for photoacoustic tomography image reconstruction from sparse data
Shiraz University（设拉子大学）
针对光声层析成像稀疏数据重建易产生伪影的问题，提出基于FD-UNet++生成器的端到端生成对抗网络DensePANet，在体内与模拟数据集上表现优于其他主流深度学习技术。
2024-04-19 cs.AI cs.CV cs.LG
Unsupervised MRI Reconstruction with Generative Adversarial Networks
Stanford University（斯坦福大学）
基于深度学习的图像重建方法在多种MRI应用中取得了令人鼓舞的结果。然而，大多数方法需要大规模的完全采样的地面真实数据进行监督训练。获取完全采样的数据通常是困难的或不可能的，特别是对于动态对比增强（DCE）、3D心脏电影和4D血流。我们提出了一个深度学习框架，用于MRI重建，而无需使用生成对抗网络的任何完全采样数据。我们在两种情况下测试所提出的方法：回顾性欠采样快速自旋回波膝关节检查和前瞻性欠采样腹部DCE。与传统方法相比，该方法恢复更多的解剖结构。
2020-08-29 cs.LG eess.IV stat.ML
Novel Blood Pressure Waveform Reconstruction from Photoplethysmography using Cycle Generative Adversarial Networks
University of California Irvine（加利福尼亚大学尔湾分校）；Department of Electrical Engineering and Computer Science, University of California Irvine（加利福尼亚大学尔湾分校电气工程与计算机科学系）；Department of Computer Science, University of California, Irvine（加利福尼亚大学尔湾分校计算机科学系）；Institute for Future Health, University of California, Irvine（加利福尼亚大学尔湾分校未来健康研究所）
血压（BP）的连续监测可以帮助个人管理他们的慢性疾病，如高血压，需要在自由生活条件下的非侵入性测量方法。最近的方法使用不同的机器和深度学习方法来融合光电容积描记器（PPG）和心电图（ECG）信号，以非侵入性地估计BP;然而，它们无法重建完整的信号，导致模型不太准确。在本文中，我们提出了一种基于循环生成对抗网络（CycleGAN）的方法，从干净的PPG信号中提取BP信号，称为动态血压（ABP）。我们的方法使用了一个循环生成对抗网络，扩展了GAN架构的域转换，并在BP估计中超过了最先进的方法高达2倍。
2022-01-24 cs.LG
Learning Interpretable PDE Representations for Generative Reconstructions with Structured Sparsity
Department of Civil \& Environmental Engineering, Duke University, NC, USA
本文提出LatentPDE框架，通过构建可解释的潜在空间，解决稀疏观测重建和超分辨率问题，实现高保真恢复与不确定性跟踪。
2026-04-26 cs.LG
Occluded object reconstruction for first responders with augmented reality glasses using conditional generative adversarial networks
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
消防员遭受各种危及生命的风险，包括执勤死亡，受伤和暴露于危险物质。支持减少这些风险是重要的。我们建立了一个部分闭塞的对象重建方法的增强现实眼镜的第一反应。我们使用基于条件生成对抗网络的深度学习来训练易燃和危险物体的各种图像与其部分遮挡的对应物之间的关联。然后，我们的系统重建了新易燃物体的图像。最后，将重建图像叠加在输入图像上以提供“透明度”。该系统通过学习易燃物体的形状和火焰特性，模仿人类通过经验学习物理定律。
2018-04-20 cs.CV cs.LG
Medical image reconstruction with image-adaptive priors learned by use of generative adversarial networks
Department of Computer Science and Engineering, Washington University in St. Louis（圣路易斯华盛顿大学计算机科学与工程系）；Department of Electrical and Systems Engineering, Washington University in St. Louis（圣路易斯华盛顿大学电气与系统工程系）；Department of Bioengineering, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校生物工程系）
医学图像重建是一个典型的不适定逆问题。为了解决这种不适定问题，通常通过一些稀疏促进正则化来合并所寻求的对象属性的先验分布。最近，使用生成对抗网络（GANs）估计的图像的先验分布在正则化这些图像重建问题中的一些方面显示出很大的希望。在这项工作中，我们应用一种基于图像自适应GAN的重建方法（IAGAN）从不完整的医学成像数据中重建高保真图像。据观察，IAGAN方法可以潜在地恢复与医学诊断相关的对象中的精细结构，但在使用传统的稀疏促进正则化的重建中可能会过度平滑。
2020-01-27 cs.LG eess.IV stat.ML
Generative adversarial network-based approach to signal reconstruction from magnitude spectrograms
University of Tsukuba（筑波大学）；NTT Communication Science Laboratories, NTT Corporation（日本电报电话公司NTT通信科学实验室）
在本文中，我们解决的问题，重建时域信号（或相位谱图）单独从幅度谱图。由于幅度谱图不包含相位信息，我们必须恢复或推断相位信息来重建时域信号。Griffin和Lim提出了一种用于处理信号重构问题的广泛使用的方法。这种方法通常需要多次迭代来进行信号重建过程，并且根据输入，它并不总是产生高质量的音频信号。为了克服这些缺点，我们将基于学习的方法应用于信号重建问题，方法是使用深度神经网络对信号重建过程进行建模，并使用生成对抗网络的思想对其进行训练。实验结果表明，我们的方法能够更快地重建信号，具有更高的质量比Griffin-Lim方法。
2018-04-06 cs.LG eess.SP stat.ML
Structure Preserving Compressive Sensing MRI Reconstruction using Generative Adversarial Networks
IIT Roorkee（印度理工学院鲁尔基分校）；IIT Kharagpur（印度理工学院克勒格布尔分校）
压缩感知磁共振成像（CS-MRI）通过突破奈奎斯特采样限制来加速MR图像的采集。在这项工作中，提出了一种新的生成对抗网络（GAN）为基础的框架CS-MRI重建。我们的模型结合了基于块的重构和基于结构相似性指数的损失，专注于保留重构图像中的高频内容和精细纹理细节。密集和剩余的连接已被纳入一个U型网络为基础的发电机架构，以允许更容易的信息传输以及可变的网络长度。我们表明，我们的算法优于国家的最先进的方法在重建的质量和鲁棒性噪声。此外，毫秒级的重建时间使其非常适合实时临床使用。
2020-04-26 cs.CV cs.LG eess.IV
Learning latent representations across multiple data domains using Lifelong VAEGAN
University of York（约克大学）
灾难性遗忘问题发生在以顺序方式在多个数据库上训练的深度学习模型中。最近，生成重放机制（GRM），已被提出来再现先前学习的知识，旨在减少遗忘。然而，这样的方法缺乏适当的推理模型，因此不能提供数据的潜在表示。在本文中，我们提出了一种新的终身学习方法，即终身VAEGAN（L-VAEGAN），它不仅诱导一个强大的生成重放网络，而且还学习有意义的潜在表示，有利于表示学习。L-VAEGAN可以允许将与不同域相关联的信息自动嵌入到潜在空间中的几个集群中，同时还可以跨不同的数据域捕获语义上有意义的共享潜在变量。该模型支持许多传统生成式重放方法无法完成的下游任务，包括跨不同数据域的插值和推理。
2020-07-20 cs.CV cs.LG
Missing Features Reconstruction Using a Wasserstein Generative Adversarial Imputation Network
Czech Technical University in Prague（布拉格捷克理工大学）
缺失数据是最常见的预处理问题之一。在本文中，我们实验研究使用生成和非生成模型的特征重建。变分任意条件自动编码器（VAEAC）和生成对抗插补网络（GAIN）作为生成模型的代表进行了研究，而去噪自动编码器（DAE）则代表了非生成模型。该模型的性能进行了比较，传统的方法k-最近邻（k-NN）和多重插补链式方程（MICE）。此外，我们引入WGAIN作为GAIN的Wasserstein修正，当缺失度小于或等于30%时，WGAIN是最佳的插补模型。在真实世界和人工数据集上进行了实验，这些数据集具有连续特征，其中不同百分比的特征（从10%到50%不等）缺失。通过测量先前在未损坏的数据集上训练的分类模型的准确性来进行算法的评估。结果表明，GAIN，特别是WGAIN是最好的插补，无论条件。一般来说，它们的表现优于MICE，k-NN，DAE和VAEAC。
2020-06-21 cs.LG stat.ML
Reconstruction and Membership Inference Attacks against Generative Models
TU Darmstadt（达姆施塔特工业大学）；SAP SE（思爱普公司）
我们提出了两个信息泄漏攻击，优于以前的工作对生成模型的成员推理。第一种攻击允许成员推断，而无需对生成模型的类型进行假设。与以前的生成模型评估指标（如核密度估计）相反，它只考虑接近训练数据记录的模型样本。第二种攻击专门针对变分自编码器，以实现较高的隶属推理精度。此外，以前的工作主要考虑成员推理对手谁执行单记录成员推理。我们主张考虑执行集成员推理的监管参与者，以确定使用特定数据集进行训练。攻击在两种生成模型架构上进行评估，生成对抗网络（GANs）和变分自编码器（VAE），在标准图像数据集上训练。我们的研究结果表明，这两种攻击产生的成功率优于以前的工作在大多数数据集，而在同一时间只有非常温和的假设。我们设想这两种攻击与成员推断攻击类型的形式化相结合，特别有用。例如，在机器学习即服务设置中强制执行数据隐私标准和自动评估模型质量。在实践中，我们的工作激励了GANs的使用，因为它们在产生详细样本的同时，被证明不太容易受到信息泄漏攻击。
2019-06-07 cs.CR cs.LG
Anomaly scores for generative models
Czech Technical University in Prague（布拉格捷克理工大学）；Cisco Systems, Inc.（思科系统公司）
重建误差是一种普遍的分数，用于在数据由生成模型（例如（变分）自动编码器或生成对抗网络）建模时识别异常样本。该分数依赖于正常样本位于流形上并且所有异常样本位于流形外的假设。由于流形只能在训练数据所在的地方学习，因此无法保证重建误差在其他地方的表现，因此得分似乎是不明确的。这项工作定义了一个理论上与生成模型兼容的异常分数，并且对于（变分）自动编码器来说非常自然，因为它们似乎很普遍。新的分数还可以用于选择超参数和模型。最后，我们解释了为什么重建误差提供了良好的实验结果，尽管薄弱的理论依据。
2019-05-28 cs.LG stat.ML
Multi-task Generative Adversarial Learning on Geometrical Shape Reconstruction from EEG Brain Signals
University of New South Wales（新南威尔士大学）；Xi’an Jiaotong University（西安交通大学）
从人脑活动中合成几何图形是一个有趣而有意义但又极具挑战性的课题。最近，生成对抗网络（GANs）等深度生成模型的进步支持了从神经信号生成对象。然而，基于脑电信号的形状生成仍然存在真实感不高的问题。特别是，生成的几何形状缺乏清晰的边缘，并且无法包含必要的细节。鉴于此，我们提出了一种新的多任务生成对抗网络，将个体的EEG信号由几何形状诱发到原始几何形状。首先，我们采用一个卷积神经网络（CNN）学习高信息量的原始EEG信号的潜在表示，这是至关重要的后续形状重建。接下来，我们构建了基于多任务学习的神经网络来同时区分和分类假样本，其中不同任务之间的相互促进提高了恢复形状的质量。然后，我们提出了一个语义对齐约束，以迫使合成的样本，以接近真正的像素级，从而产生更引人注目的形状。在本地数据集上对所提出的方法进行了评估，结果表明，我们的模型优于竞争对手的最先进的基线。
2020-02-28 cs.LG eess.SP
GrainPaint: A multi-scale diffusion-based generative model for microstructure reconstruction of large-scale objects
University of Maryland（马里兰大学）；ETH Zürich（苏黎世联邦理工学院）；State University of New York at Binghamton（纽约州立大学宾汉姆顿分校）；Sandia National Laboratories（桑迪亚国家实验室）
本文提出GrainPaint方法，利用去噪扩散模型的图像修复能力突破固定生成区域限制，实现大尺度物体微观结构重建，并验证其生成结果与SPPARKS动力学蒙特卡洛模拟的晶粒结构在统计上相似。
2025-02-18 cond-mat.mtrl-sci cs.CV cs.GR
SCATGAN for Reconstruction of Ultrasound Scatterers Using Generative Adversarial Networks
ETH Zurich（苏黎世联邦理工学院）
超声（US）回波描记术的计算机模拟是培训超声医师的必要条件。US与微观组织结构的相互作用的真实模拟通常由点散射体形式的组织表示建模，与空间变化的点扩散函数卷积。这产生了一个现实的美国B模式斑点纹理，给定的散射体表示为一个特定的组织类型是现成的。这通常不是这种情况，散射体是不平凡的确定。在这项工作中，我们建议从组织的样本US B模式图像中估计散射体映射，通过将此逆映射问题制定为图像平移，其中我们使用US模拟软件进行训练，使用生成对抗网络学习映射。我们展示了强大的重建结果，不变的US查看和成像设置，如成像方向和中心频率。我们的方法被证明是泛化超出了训练的成像设置，在体内US数据证明。我们的推理比基于优化的技术快了几个数量级，使未来的扩展能够仅以线性计算复杂度重建3D B模式体积。
2019-02-01 cs.CV cs.LG eess.IV
Subsurface Depths Structure Maps Reconstruction with Generative Adversarial Networks
Petroleum Overseas ME JSC（海外石油ME合资公司）
本文提出利用StyleGAN2-ADA和Pixel2Style2Pixel编码器两种生成对抗网络算法，从二维地震深度图重建精细三维构造图，并通过概率深度空间实现知识迁移，重建质量可与三维地震图相媲美。
2022-06-15 cs.CV cs.LG physics.geo-ph
Co-VeGAN: Complex-Valued Generative Adversarial Network for Compressive Sensing MR Image Reconstruction
IIT Roorkee（印度理工学院鲁尔基分校）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
压缩感知（CS）被广泛用于减少磁共振成像（MRI）的采集时间。尽管基于深度学习的方法已经能够获得快速、高质量的CS-MR图像重建，但它们的主要缺点是将复值MRI数据视为实值实体。大多数方法要么从复值实体中提取幅度，要么将它们连接为两个实值通道。在这两种情况下，相位内容，其中链接的实部和虚部的复值实体，被丢弃。为了解决实值深度网络的基本问题，即它们无法处理复值数据，我们提出了一种基于复值生成对抗网络（Co-Vegan）的新框架。我们的模型可以处理复值输入，这使它能够执行高质量的重建CS-MR图像。此外，考虑到相位是复值实体的重要组成部分，我们提出了一种新的复值激活函数，它对输入的相位敏感。广泛的评估所提出的方法在不同的数据集上使用各种采样掩码表明，所提出的模型显着优于现有的CS-MRI重建技术的峰值信噪比以及结构相似性指数。此外，与基于实值深度学习的方法相比，它使用的可训练参数要少得多。
2020-09-24 cs.CV cs.LG eess.IV
Generative Modeling and Inverse Imaging of Cardiac Transmembrane Potential
Rochester Institute of Technology（罗切斯特理工学院）；Dalhouse University（达尔豪斯大学）
从体表心电图（ECG）无创重建心脏跨膜电位（TMP）涉及不适定逆问题。模型约束正则化是强大的，将丰富的生理知识的时空TMP动态。这些模型是由高维物理参数控制的，如果固定的话，可能会引入模型误差并降低TMP重建的精度。然而，由于这些参数的高维性，在TMP重建期间同时适应这些参数是困难的。我们引入了一种新的模型约束推理框架，该框架用经过训练的深度生成模型取代了传统的生理模型，以从低维生成因子生成TMP序列。使用具有长短期记忆（LSTM）网络的变分自动编码器（VAE），我们训练VAE解码器来学习TMP的条件似然，而编码器学习生成因子的先验分布。这两个组件使我们能够开发一种有效的算法，同时推断生成因子和TMP信号从ECG数据。仿真实验和真实数据实验表明，与传统生理模型约束或无生理约束的方法相比，该方法显著提高了TMP重建的精度。
2019-05-12 cs.LG eess.IV eess.SP
Neural Topic Modeling with Continual Lifelong Learning
Siemens AG（西门子股份公司）；University of Munich (LMU)（慕尼黑大学（LMU））
针对短文档数据稀疏导致主题建模效果不佳的问题，提出终身神经主题建模（LNTM）框架，通过共享生成同源和选择性数据增强等方法持续积累主题并减少灾难性遗忘，在困惑度、主题连贯性和信息检索上取得显著提升。
2023-06-27 cs.CL cs.IR cs.LG
Compressed Sensing of Generative Sparse-latent (GSL) Signals
KTH Royal Institute of Technology（KTH皇家理工学院）
研究基于神经网络的生成式稀疏潜在（GSL）信号的压缩感知重建问题，提出一种非凸的稀疏诱导重建算法，并利用基于梯度的搜索在模拟数据上实现了良好的重建性能。
2023-10-16 cs.AI cs.LG
From Deterministic to Generative Deep Learning for Urban Air Quality Reconstruction from Sparse Observations
针对城市空气质量重建难题，应用深度学习技术，从四种关键污染物的稀疏观测出发，引入基于扩散的生成框架并对比确定性模型，通过数据增强实现泛化，凸显机器学习模型在空气污染重建中可靠实际部署的潜力。
2026-10-28 cs.AI cs.LG
Well2Flow: Reconstruction of reservoir states from sparse wells using score-based generative models
Georgia Institute of Technology（佐治亚理工学院）
本文提出Well2Flow框架，利用基于分数的生成模型结合稀疏测井数据重建油藏渗透率与饱和度场，通过引入物理约束提升重建精度与泛化能力。
2025-04-07 cs.AI cs.LG
Generative Tomography Reconstruction
University of Pisa（比萨大学）
我们提出了一个端到端的可微分架构的断层扫描重建，直接映射到一个去噪重建的噪声正弦图。与现有的方法相比，我们的端到端架构可以在使用更少的参数和时间的同时产生更准确的重建。我们还提出了一个生成模型，给出了一个嘈杂的正弦图，可以采样现实的重建。该生成模型可以在迭代过程中用作先验，通过考虑物理模型，可以减少重建中的伪影和错误。
2020-11-25 cs.CV cs.LG cs.NA
Score-Based Generative Models for PET Image Reconstruction
University College London（伦敦大学学院）；University of Bremen（不来梅大学）；The Chinese University of Hong Kong（香港中文大学）
本文针对PET图像重建中的泊松噪声和宽动态范围问题，提出适用于2D和3D的基于分数的生成模型适配方法，并通过仿真实验验证其在无病灶及含病灶数据上的鲁棒性和重建潜力。
2024-01-23 cs.AI cs.CV cs.LG
Learning Turbulent Flows with Generative Models: Super-resolution, Forecasting, and Sparse Flow Reconstruction
School of Engineering（工程学院）；Division of Applied Mathematics（应用数学系）
本文提出将算子学习与生成模型结合，解决传统神经算子在湍流超分辨率、预测和稀疏重建中的过度平滑问题，显著降低误差并实现近实时推理。
2025-09-10 cs.AI cs.LG physics.flu-dyn
Reducing Catastrophic Forgetting in Self Organizing Maps with Internally-Induced Generative Replay
Rochester Institute of Technology（罗切斯特理工学院）
终身学习代理能够从潜在的无限模式感知数据流中不断学习。构建以这种方式适应的智能体的一个主要历史困难是，神经系统在从新样本中学习时很难保留先前获得的知识。这个问题被称为灾难性遗忘（干扰），至今仍是机器学习领域中未解决的问题。虽然在前馈网络的背景下，遗忘在过去几十年中得到了广泛的研究，但在替代架构的背景下，如古老的自组织映射（SOM），一种无监督的神经模型，经常用于聚类和降维等任务。虽然其内部神经元之间的竞争可能具有改善记忆保持的潜力，但我们观察到，在任务增量数据上训练的固定大小的SOM，即，它以一定的时间增量接收与特定类相关的数据点，经历显著的遗忘。在这项研究中，我们提出了连续SOM（c-SOM），一个模型，能够减少自己的遗忘时，处理信息。
2021-12-09 cs.LG
Limiting the Reconstruction Capability of Generative Neural Network using Negative Learning
IBM Research - Tokyo（IBM研究院-东京）
生成模型广泛用于具有各种应用的无监督学习，包括数据压缩和信号恢复。这种系统的训练方法集中在给定有限数量的训练数据的网络的通用性上。较少研究的技术类型涉及仅生成单一类型的输入。这对于诸如约束处理、降噪和异常检测等应用是有用的。在本文中，我们提出了一种技术来限制网络的生成能力，使用负学习。所提出的方法搜索的解决方案在梯度方向上的期望的输入和在相反的方向上的不期望的输入。应用之一可以是异常检测，其中不期望的输入是异常数据。在结果部分中，我们使用MNIST手写数字数据集展示了该算法的功能，并将该技术应用于现实世界的障碍物检测问题。结果清楚地表明，所提出的学习技术可以显着提高异常检测的性能。
2017-08-16 cs.AI cs.CV cs.LG
Evaluating the Interpretability of Generative Models by Interactive Reconstruction
Harvard University（哈佛大学）
为了使机器学习模型在众多社会技术系统中发挥最大作用，许多人认为它们必须是人类可解释的。然而，尽管人们对可解释性的兴趣越来越大，但在如何衡量它的问题上仍然没有达成一致意见，尤其是在表示学习中，可解释性研究的重点是只适用于合成数据集的“解纠缠”措施，而不是基于人为因素。我们引入了一个任务来量化生成模型表示的人类可解释性，其中用户交互式地修改表示以重建目标实例。在合成数据集上，我们发现这项任务的性能比基线方法更可靠地区分纠缠和解纠缠模型。在一个真实的数据集上，我们发现它区分了表示学习方法，这些方法被广泛认为但从未显示出产生或多或少的可解释模型。在这两种情况下，我们在亚马逊土耳其机器人上进行了小规模的有声思维研究和大规模的实验，以确认我们的定性和定量结果是一致的。
2021-02-02 cs.AI cs.HC cs.LG
Taming Feed-forward Reconstruction Models as Latent Encoders for 3D Generative Models
University of Michigan（密歇根大学）；Vidyasirimedhi Institute of Science and Technology（维迪亚西梅迪科学技术学院）
本文将预训练前馈图像到3D重建模型复用为潜在编码器，并通过特征标准化、空间加权、感知渲染损失及多流transformer rectified flow架构，实现高效可扩展的文本到3D生成。
2025-01-04 cs.CV cs.LG
Generative Convolutional Networks for Latent Fingerprint Reconstruction
USI Lugano（卢加诺大学）；Intel（英特尔）
指纹识别的性能在很大程度上取决于细节点的提取。因此，指纹脊图案的增强是显著降低假阳性和假阴性检测率的必要预处理步骤。一个特别具有挑战性的设置是当指纹图像损坏或部分丢失时。在这项工作中，我们应用生成卷积网络来去除可见细节点的噪声，并预测脊线图案的缺失部分。所提出的增强方法进行测试，作为一个预处理步骤，结合几个标准的特征提取方法，如MINDTCT，其次是生物特征比较使用MCC和BOZORTH3。我们评估我们的方法上使用不同的传感器捕获的几个公开可用的潜在指纹数据集。
2017-05-04 cs.CV cs.LG
Frequency-Aware Reconstruction of Fluid Simulations with Generative Networks
ETH Zürich（苏黎世联邦理工学院）
卷积神经网络最近被用来从一组简化的参数完全重建流体模拟数据。然而，由于传统上用监督的L1-损失函数训练的（去）卷积不能区分数据中的低频和高频，因此对于较高的频带，误差不能有效地最小化。这与感知结果的质量直接相关，因为丢失的高频细节很容易被注意到。在本文中，我们分析了生成网络的重建质量，并提出了一种频率感知的损失函数，该函数能够在训练期间关注数据集的特定频带。我们表明，我们的方法提高了中频段流体模拟数据的重建质量，在需要相当的训练时间的同时，获得了更好的感知结果。
2019-12-18 cs.GR cs.LG physics.comp-ph
Bayesian ECG reconstruction using denoising diffusion generative models
本文提出用健康心电图数据训练的去噪扩散生成模型（DDGM）进行贝叶斯心电图重建，实现逼真心电信号生成，并应用于QTc计算、噪声抑制、缺失导联恢复和异常识别等临床任务。
2023-12-18 cs.LG eess.SP stat.ML
AtomBench: A Benchmarking Framework for Generative Crystal Reconstruction Models in Conventional Superconductors
Department of Physics and Astronomy, West Virginia University（物理与天文学系，西弗吉尼亚大学）；Department of Materials Science and Engineering, Whiting School of Engineering, The Johns Hopkins University（材料科学与工程系，韦廷工程学院，约翰霍普金斯大学）
研究针对生成晶体重建模型，提出可扩展、模型无关的AtomBench框架，在传统超导体晶体重建任务中比较四个模型，用多种指标衡量重建保真度，得出各模型表现及相关结论，还开源该框架供社区使用。
2026-07-08 cond-mat.supr-con cs.LG
Stable Deep MRI Reconstruction using Generative Priors
本文提出一种基于生成式图像先验的统一深度MRI重建框架，通过训练深度神经网络正则化器并结合经典变分方法，在保持对欠采样模式灵活性和不确定性量化的同时，实现了与端到端深度学习方法相当的高质量稳定重建。
2023-06-15 cs.CV cs.LG eess.IV
Federated Learning of Generative Image Priors for MRI Reconstruction
Bilkent University（比尔肯特大学）；University of Southern California（南加州大学）
多机构的努力可以促进深度MRI重建模型的训练，尽管在跨站点共享成像数据期间会出现隐私风险。最近引入了联邦学习（FL），通过在不传输成像数据的情况下实现分布式训练来解决隐私问题。用于MRI重建的现有FL方法采用条件模型来经由成像算子的显式知识从欠采样采集映射到全采样采集。由于条件模型在不同的加速率或采样密度下泛化能力较差，因此成像算子在训练和测试之间必须是固定的，并且它们通常在不同的站点之间匹配。为了提高多机构合作的通用性和灵活性，在这里，我们介绍了一种新的方法，用于MRI重建的基础上联邦学习的生成图像先验（FedGIMP）。FedGIMP利用了两个阶段的方法：生成MRI先验的跨站点学习，以及成像操作员的受试者特定注入。全局MRI先验是通过无条件对抗模型学习的，该模型基于潜在变量合成高质量的MR图像。通过产生特定于站点的潜伏期的映射子网络来保留先前的特异性。在推理过程中，先验知识与特定于对象的成像算子相结合，以实现重建，并通过最小化数据一致性损失来进一步适应各个测试样本。多机构数据集上的综合实验清楚地表明，FedGIMP对基于条件模型的特定站点和联邦方法以及传统重建方法的泛化性能有所增强。
2022-04-06 cs.CV cs.LG eess.IV
Computed Tomography Reconstruction using Generative Energy-Based Priors
Graz University of Technology（格拉茨技术大学）；Johannes Kepler University Linz（约翰内斯·开普勒林茨大学）
在过去的几十年里，计算机断层扫描（CT）已经成为医学中最重要的成像技术之一。今天，CT的适用性仅受沉积辐射剂量的限制，其减少表现在噪声或不完整的测量中。因此，需要强大的重建算法。在这项工作中，我们学习了一个参数正则化与全球的感受野最大化它的参考CT数据的可能性。由于这种无监督学习策略，我们训练的正则化器真正代表了更高级别的域统计，我们通过合成CT图像来实证。此外，该正则化器可以通过将其嵌入到变分框架中来轻松应用于不同的CT重建问题，与基于前馈学习的方法相比，这增加了灵活性和可解释性。此外，伴随的概率视角使专家能够探索完整的后验分布，并可以量化重建方法的不确定性。我们将正则化器应用于有限角度和少视图CT重建问题，在那里它比传统的重建算法有很大的优势。
2022-03-23 cs.CV cs.LG eess.IV
Full-Model Optimality for Tunable Linear Generative Priors in Compressed Sensing
Northeastern University（东北大学）；Khoury College of Computer Sciences（卡尔计算机科学学院）
本文针对压缩感知中可调线性生成先验建立理论，证明无噪高斯场景下全维线性先验达最小期望重建误差，该可调性优势源于神经网络先验的非线性。
2026-09-03 cs.LG stat.ML
Likelihood-Scheduled Score-Based Generative Modeling for Fully 3D PET Image Reconstruction
IEEE Transactions on Medical Imaging（IEEE医学影像期刊）
本文提出一种似然调度的基于分数的生成模型方法，通过匹配反向扩散似然与最大似然期望最大化迭代值，加速全三维PET重建并减少超参数调优，在模拟和真实[¹⁸F]DPA-714数据上验证了其性能。
2025-06-03 cs.CV cs.LG physics.med-ph
Deep Generative Modeling for Volume Reconstruction in Cryo-Electron Microscopy
Stanford University（斯坦福大学）；SLAC National Accelerator Laboratory（SLAC国家加速器实验室）；Massachusetts Institute of Technology（麻省理工学院）；University of Chicago（芝加哥大学）；University of California Santa Barbara（加州大学圣巴巴拉分校）
近年来，低温电子显微镜（cryo-EM）对溶液中生物分子的高分辨率成像技术取得了突破性进展，为分子体积的重建打开了新的大门，从而有望在生物学、化学和药理学研究方面取得进一步进展。最近的下一代体积重建算法将生成建模与端到端无监督深度学习技术相结合，已经显示出有希望的初步结果，但在应用于实验冷冻EM图像时仍然面临相当大的技术和理论障碍。鉴于这种方法的扩散，我们在这里提出了一个批判性的审查，在该领域的最新进展的深生成建模冷冻EM体积重建。本综述旨在（i）使用一致的统计框架统一和比较这些新方法，（ii）使用机器学习研究人员和计算生物学家熟悉的术语介绍它们，这些研究人员和计算生物学家在cryo-EM中没有特定的背景，以及（iii）提供对当前进展的必要视角，以突出其相对优势和弱点，以及该领域的突出瓶颈和改进途径。这篇综述也可能会引起计算机视觉从业者的兴趣，因为它强调了深度生成模型在低信噪比条件下的重大局限性，因此强调了新的理论和方法发展的必要性。
2022-05-26 cs.CV cs.LG eess.IV
Generative Locally Linear Embedding
University of Waterloo（滑铁卢大学）
局部线性嵌入（LLE）是一种非线性谱降维和流形学习方法。它有两个主要步骤，分别是输入空间和嵌入空间中的点的线性重构和线性嵌入。在这项工作中，我们提出了两个新的生成版本的LLE，命名为生成LLE（GLLE），其线性重建步骤是随机的，而不是确定性的。GLLE假设每个数据点都是由其线性重建权重作为潜在因素引起的。所提出的GLLE算法可以随机生成各种LLE嵌入，而所有生成的嵌入都与原始LLE嵌入相关。我们提出了两个随机线性重建版本，一个使用期望最大化，另一个通过优化从衍生分布直接采样。建议GLLE方法是密切相关的变分推断，因子分析，概率主成分分析和启发。我们的模拟结果表明，所提出的GLLE方法有效地展开和生成子流形的数据。
2021-04-04 cs.CV cs.LG stat.ML
Generative-Model-Based Fully 3D PET Image Reconstruction by Conditional Diffusion Sampling
School of Biomedical Engineering and Imaging Sciences, King’s College London（伦敦国王学院生物医学工程与影像科学学院）；Institute of Psychiatry, Psychology and Neuroscience, King’s College London（伦敦国王学院精神病学、心理学与神经科学研究所）；King’s College London & Guy’s and St Thomas’ PET Centre（伦敦国王学院与盖伊和圣托马斯 PET 中心）
本文提出基于条件扩散采样的SGM全3D PET重建方法，在真实低至1%计数数据上实现重建，并在偏差—方差权衡上优于OSEM和MAP-EM。
2024-12-05 cs.CV cs.LG physics.med-ph
BrainBits: How Much of the Brain are Generative Reconstruction Methods Using?
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；CBMM（多学科、大脑与机器中心）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）；Google DeepMind（谷歌DeepMind）
本文提出BrainBits方法，通过瓶颈量化重建所需神经信号量，发现高保真重建仅需极少大脑信息，并建议报告随机基线与重建上限以促进更充分利用神经记录。
2024-11-05 cs.LG eess.SP q-bio.NC
One-bit Compressed Sensing using Generative Models
ANDRO Computational Solutions（安卓计算解决方案公司）；Syracuse University（雪城大学）；Delft University of Technology（代尔夫特理工大学）
本文提出利用预训练生成模型在其值域内搜索的一比特压缩感知重建算法，给出精度与样本复杂度理论保证，并在 MNIST、Fashion-MNIST 和 Omniglot 上验证其优越性能。
2025-02-18 cs.LG eess.SP
PtyGenography: using generative models for regularization of the phase retrieval problem
Koç University（科克大学）；Centrum Wiskunde & Informatica (CWI)（数学与计算机科学中心）；Utrecht University（乌得勒支大学）；Mathematical Institute Utrecht University（乌得勒支大学数学研究所）
本文针对相位恢复等逆问题，提出一种新的统一重建方法，通过使用生成模型作为信号先验进行正则化，有效减轻了不同噪声水平下对生成模型的过拟合并缓解重建偏差。
2025-02-03 cs.IT cs.LG math.FA
