Designing nanophotonic structures using conditional-deep convolutional generative adversarial networks
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
基于深度学习的数据驱动设计方法已被引入纳米光子学,以减少耗时的迭代模拟,这一直是一个重大挑战。在这里,我们报告了第一次使用条件深度卷积生成对抗网络来设计不受预定义形状约束的纳米光子天线。对于给定的输入反射光谱,网络生成图像形式的理想设计;这种形式允许建议不能由结构参数表示的新结构。从生成的设计得到的仿真结果与输入反射谱吻合得很好。这种方法通过提供一种快速方便的方法来设计具有所需光学特性的复杂纳米光子结构,为纳米光子学的发展开辟了新的途径。
2019-03-20 cs.LG physics.optics
Hybrid VAE: Improving Deep Generative Models using Partial Observations
Snap Research(Snap 研究院);Microsoft Research(微软研究院)
在大型标记数据集上训练的深度神经网络模型是各种计算机视觉任务的最新技术。然而,在许多应用中,标记数据的获取成本很高,或者需要耗时的手动注释过程。相比之下,未标记的数据通常是丰富的,并且可以大量获得。我们提出了一个原则性的框架,通过在标记和未标记数据上训练深度生成模型来利用未标记数据。我们证明了这样的组合是有益的,因为未标记的数据作为一种数据驱动的正则化形式,允许在很少的标记样本上训练的生成模型达到在更大的数据集上训练的全监督生成模型的性能。我们称我们的方法为混合VAE(H-VAE),因为它包含生成和判别部分。我们在三个不同模态的大规模数据集上验证了H-VAE:两个人脸数据集:(MultiPIE,CelebA)和一个手部姿势数据集(NYU Hand Pose)。我们的定性可视化进一步支持通过使用部分观测实现的改进。
2017-11-30 cs.CV cs.LG
Towards Understanding the Interplay of Generative Artificial Intelligence and the Internet
Universidad Carlos III de Madrid(马德里卡洛斯三世大学);University of Edinburgh(爱丁堡大学);Universidad Politécnica de Madrid(马德里理工大学)
本研究针对生成式AI与互联网公共数据间的反馈循环问题,通过简单扩散模型在多图像数据集的实验发现,AI生成数据混入训练集会导致生成图像质量与多样性退化,揭示该反馈的潜在负面影响。
2023-06-08 cs.AI cs.CV cs.LG
HoechstGAN: Virtual Lymphocyte Staining Using Generative Adversarial Networks
University of St Andrews(圣安德鲁斯大学);Lothian NHS University Hospitals(洛锡安NHS大学医院)
特定类型免疫细胞的存在和密度对于了解患者对癌症的免疫反应非常重要。然而,识别T细胞亚型所需的免疫荧光染色是昂贵的,耗时的,并且很少在临床环境中进行。我们提出了一个框架,虚拟染色Hoechst图像(这是廉价和广泛的)与CD3和CD8,以确定T细胞亚型在透明细胞肾细胞癌使用生成对抗网络。我们提出的方法联合学习两个染色任务,激励网络从每个任务中整合互利的信息。我们设计了一种新的度量来量化虚拟染色质量,并使用它来评估我们的方法。
2022-10-17 cs.CV cs.LG q-bio.QM
Efficiently Generating Multidimensional Calorimeter Data with Tensor Decomposition Parameterization
University of California, Riverside(加州大学河滨分校)
本文提出在生成模型中引入内部张量分解,通过生成较小的张量因子而非完整张量来降低多维模拟数据的生成成本,实验证明生成数据仍保持有效性。
2025-08-26 cs.LG
Label-Removed Generative Adversarial Networks Incorporating with K-Means
Nankai University(南开大学);Tianjin University(天津大学);Hunan University(湖南大学)
生成对抗网络(GANs)在生成逼真图像方面取得了巨大成功。其中大多数是条件模型,尽管在实践中获取类标签是昂贵和耗时的。为了减少对标记数据的依赖,我们提出了一种无条件生成对抗模型,称为K-Means-GAN(KM-GAN),它将K-Means中更新中心的思想融入到GANs中。具体来说,我们通过对从网络中提取的特征应用K-Means来重新设计GANs的框架。利用从K-Means获得的标签,我们从深度度量学习(DML)的角度提出了新的目标函数。与以往的工作不同,在KM-GAN中,将样本作为特征提取器而不是分类器,同时利用K-Means使样本的特征更具代表性。在MNIST,Fashion-10,CIFAR-10和CelebA等数据集上进行了实验,结果表明KM-GAN生成的样本质量与一些条件生成对抗模型相当。
2019-02-19 cs.LG stat.ML
Understanding Deep Generative Models with Generalized Empirical Likelihoods
DeepMind(深度思维);University College London(伦敦大学学院)
本文提出用广义经验似然方法诊断深度生成模型的模式丢弃、模式不平衡和类内多样性不足等问题,并结合最大均值差异构建可解释检验,预测效果比改进精确率/召回率最多提升60%。
2023-08-07 cs.CV cs.LG
GAN Lab: Understanding Complex Deep Generative Models using Interactive Visual Experimentation
Georgia Institute of Technology(佐治亚理工学院);Google Brain(谷歌大脑)
最近在深度学习方面取得的成功引起了从业者和学生的极大兴趣,激发了许多人学习这项新技术。虽然已经成功开发了可视化和交互式方法来帮助人们更轻松地学习深度学习,但大多数现有工具都专注于更简单的模型。在这项工作中,我们提出了GAN Lab,这是第一个交互式可视化工具,专为非专家学习和实验生成对抗网络(GANs),这是一类流行的复杂深度学习模型。通过GAN Lab,用户可以交互式地训练生成模型,并可视化动态训练过程的中间结果。GAN Lab紧密集成了一个模型概览图,它总结了GAN的结构,以及一个分层分布视图,帮助用户解释子模型之间的相互作用。GAN实验室引入了新的交互式实验功能,用于学习复杂的深度学习模型,例如在多个抽象级别上进行分步训练,以了解复杂的训练动态。GAN Lab使用TensorFlow.js实现,任何人都可以通过现代Web浏览器访问,无需安装或专用硬件,克服了部署深度学习交互式工具的重大实际挑战。
2018-09-05 cs.AI cs.HC cs.LG
Let us Build Bridges: Understanding and Extending Diffusion Generative Models
University of Texas at Austin(德克萨斯大学奥斯汀分校)
基于扩散的生成模型最近取得了可喜的成果,但提出了一系列的开放性问题,在概念理解,理论分析,算法改进和扩展到离散的,结构化的,非欧几里德域。这项工作试图重新检查的整体框架,以获得更好的理论理解和开发算法扩展的数据从任意域。通过将扩散模型看作是具有不可观测扩散轨迹的隐变量模型,并应用隐轨迹由辅助分布估算的极大似然估计(MLE),我们证明了无论是模型的构造还是隐轨迹的估算,都相当于构造了在终点具有确定性值和约束的扩散桥过程,并为此提供了系统的研究和一套工具.利用我们的框架,我们提出了1)学习扩散生成模型的第一个理论误差分析,以及2)一个简单而统一的方法来学习来自不同离散和约束域的数据。实验表明,我们的方法在生成图像,语义段和三维点云上表现出色。
2022-08-31 cs.CV cs.LG
Sequential IoT Data Augmentation using Generative Adversarial Networks
University of Applied Sciences(应用科学大学);Information Technologies Institute(信息技术研究所)
工业应用中的顺序数据可用于训练和评估机器学习模型(例如分类器)。由于收集有代表性的数据量是困难和耗时的,因此有动机从一个小的地面事实中生成它。数据增强是一种通过先验知识生成更多数据的常用方法,其中一种特定方法称为生成对抗网络(GANs),可以从噪声中生成数据。本文研究了使用GANs来增强连续物联网(IoT)数据的可能性,并通过一个示例实现来生成有游泳池和没有游泳池的家庭能耗数据。示例实现的结果在主观上似乎与原始数据相似。除了这种主观评价之外,如果提供标签,本文还介绍了GANs的定量评价技术。评估的积极结果支持了最初的假设,即从小的地面实况生成连续数据是可能的。这意味着可以缩短连续数据的繁琐的数据采集。在未来,本文的结果可能会作为机器学习的工具,解决小数据的挑战。
2021-01-13 cs.LG
Self-Consuming Generative Models Go MAD
Rice University(莱斯大学);Stanford University(斯坦福大学)
本文研究用合成数据反复训练生成模型的自吞噬循环,发现缺乏足够新鲜真实数据会导致模型质量或多样性持续下降,并将该现象命名为模型自吞噬障碍(MAD)。
2023-07-04 cs.AI cs.CV cs.LG
A Unified Contrastive Energy-based Model for Understanding the Generative Ability of Adversarial Training
Peking University(北京大学);Peng Cheng Laboratory(鹏城实验室)
对抗训练(AT)被认为是增强深度神经网络鲁棒性的有效方法。近年来,研究者们注意到具有AT的鲁棒模型具有良好的生成能力,并且能够合成真实感图像,但其背后的原因尚未得到充分的研究。在本文中,我们通过开发一个统一的概率框架,称为基于对比能量的模型(CEM)来揭开这一现象的神秘面纱。一方面,我们通过对鲁棒性和生成能力的统一理解,提供了AT的第一个概率表征。另一方面,我们的统一框架可以扩展到无监督的情况下,解释无监督对比学习作为一个重要的抽样CEM。在此基础上,我们提出了一种原则性的方法来开发对抗性学习和采样方法。实验结果表明,从我们的框架派生的采样方法提高了样本质量的监督和无监督学习。值得注意的是,我们的无监督对抗采样方法在CIFAR-10上的初始得分为9.61,优于以前的基于能量的模型,并与最先进的生成模型相当。
2022-03-25 cs.CV cs.LG stat.ML
Quantum Generative Adversarial Networks in a Continuous-Variable Architecture to Simulate High Energy Physics Detectors
University of Oviedo(奥维耶多大学)
深度神经网络(DNN)在高能物理(HEP)中备受关注,以处理下一代加速器中遇到的越来越多的数据。最近,HEP社区建议使用生成对抗网络(GANs)来取代传统的基于蒙特卡罗方法的耗时Geant 4模拟。在深度学习取得进展的同时,在过去十年中,人们对量子计算进行了有趣的研究,包括IBM提出的量子GAN模型。然而,该模型在学习离散变量的概率分布方面受到限制,而我们最初的目标是在HEP中再现连续变量的分布。介绍并分析了一种新的用于连续变量量子计算的量子GAN(qGAN)原型,它将量子信息编码在一个连续的物理可观测量中。两个CV qGAN模型与量子和经典的量子阱已被测试,以再现量热计输出在一个减小的尺寸,并讨论了它们的优点和局限性。
2021-01-26 cs.LG quant-ph
Understanding the (un)interpretability of natural image distributions using generative models
概率密度估计是一个经典的和研究的问题,但标准的密度估计方法历来缺乏建模复杂和高维图像分布的能力。最近的生成模型利用神经网络的能力来隐式地学习和表示复杂图像上的概率模型。我们描述了从GANs中提取显式概率密度估计的方法,并探索了这些图像密度函数的属性。我们进行健全检查实验,以提供证据,这些概率是合理的。然而,我们也表明,自然图像的密度函数是难以解释的,因此在使用中受到限制。我们研究这种缺乏可解释性的原因,并表明,我们可以得到可解释性回来做密度估计的图像的潜在表示。
2019-02-25 cs.CV cs.LG stat.ML
Self-Correcting Self-Consuming Loops for Generative Model Training
Brown University(布朗大学);Google DeepMind(谷歌DeepMind)
本文针对生成模型训练中合成数据引发的自消耗循环不稳定问题,提出基于专家知识的自校正函数以逼近理想校正器,并在人体运动合成任务上验证其可在合成数据占比高达100%时避免模型崩溃。
2024-06-10 cs.AI cs.CV cs.LG
Self-Consuming Generative Models with Adversarially Curated Data
本文研究噪声与对抗性筛选数据下生成模型自消耗再训练的演化,理论刻画鲁棒性条件,并提出预算受限竞争场景中的攻击算法。
2025-05-14 cs.LG
CreativeGAN: Editing Generative Adversarial Networks for Creative Design Synthesis
Massachusetts Institute of Technology(麻省理工学院);Universiti Teknologi PETRONAS(马来西亚石油科技大学)
现代机器学习技术,如深度神经网络,通过发现大数据中的模式并做出准确的预测,正在改变从图像识别到语言理解的许多学科。它们在合成新设计方面也取得了可喜的成果,这对于创造产品和实现创新至关重要。生成模型,包括生成对抗网络(GANs),已被证明是有效的设计综合与应用范围从产品设计到超材料设计。这些自动化计算设计方法可以支持人类设计师,他们通常通过使用经验和知识反复探索想法的耗时过程来创建设计。然而,在自动合成“创意”设计方面仍然存在挑战。然而,GAN模型无法生成独特的设计,这是创新的关键,也是基于AI的设计自动化应用的主要差距。本文提出了一种自动化的方法,命名为CreativeGAN,用于生成新颖的设计。它通过识别使设计独特的组件并修改GAN模型来实现这一点,以便更有可能生成具有识别出的独特组件的设计。该方法结合了最先进的新颖性检测,分割,新颖性本地化,重写和生成模型的创意设计合成。使用自行车设计的数据集,我们证明了该方法可以创建新的自行车设计与独特的框架和处理,并推广到广泛的设计罕见的新奇。我们的自动化方法不需要人为干预,并展示了一种重新思考创意设计合成和探索的方法。
2021-03-10 cs.LG
Convergence and Stability Analysis of Self-Consuming Generative Models with Heterogeneous Human Curation
School of Statistics, University of Minnesota(明尼苏达大学统计学系);Department of Statistics and Data Sciences, UT Austin(德克萨斯大学奥斯汀分校统计学与数据科学系)
本文针对Ferbach等人(2024)提出的自消耗生成模型,研究其异构偏好推广模型的收敛性与稳定性,采用非线性Perron-Frobenius理论等技术,在Banach压缩映射不适用的场景下获得了新的收敛结果。
2026-08-06 cs.LG stat.ML
On the Stability of Iterative Retraining of Generative Models on their own Data
Université de Montréal(蒙特利尔大学);Mila(米拉研究所);McGill(麦吉尔大学);ENS, PSL(巴黎高等师范学院、PSL大学)
本文构建理论框架研究生成模型在混合真实与合成数据上迭代训练的影响,证明了在初始模型近似足够好且干净数据比例足够大时迭代训练具有稳定性,并在 CIFAR10 和 FFHQ 上通过归一化流与扩散模型进行了实验验证。
2024-04-02 cs.LG stat.ML
Disentangling Interpretable Generative Parameters of Random and Real-World Graphs
University College London(伦敦大学学院);Microsoft Research Cambridge(微软剑桥研究院)
虽然存在各种各样的可解释的图形生成程序,匹配观察到的图形拓扑结构与这些程序和选择其参数仍然是一个悬而未决的问题。设计生成模型,密切再现现实世界的图形需要领域知识和耗时的模拟。虽然现有的深度学习方法依赖于较少的手动建模,但它们几乎没有提供可解释性。这项工作的方法图生成(解码)的逆图压缩(编码)。我们表明,在一个以解纠缠为重点的深度自动编码框架中,特别是Beta-变分自编码器(Beta-VAE),生成过程及其参数的选择自然出现在潜在空间中。我们的模型能够学习解纠缠的,可解释的潜变量,这些潜变量代表程序生成的随机图和真实世界的图的生成参数。解纠缠的程度是使用互信息间隙(Mutual Information Gap,简称ISI)来定量测量的。当在ER随机图上训练我们的Beta-VAE模型时,它的潜变量与ER随机图参数n和p有一个接近一对一的映射。我们部署该模型来分析图拓扑和节点属性之间的相关性,测量它们的相互依赖性,而无需手工挑选拓扑属性。
2019-11-06 cs.LG cs.SI nlin.CD
Magnetic Field Prediction Using Generative Adversarial Networks
Technical University of Denmark(丹麦技术大学)
许多科学和现实世界的应用都建立在磁场及其特性的基础上。为了以高分辨率检索有价值的磁场信息,需要进行大量的场测量,这要么是耗时的,要么由于物理约束甚至是不可行的。为了缓解这个问题,我们预测磁场值在空间中的一个随机点从几个点的测量,通过使用生成对抗网络(GAN)结构。深度学习(DL)架构由两个神经网络组成:一个生成器,用于预测给定磁场的漏场值;一个评判器,用于计算实际磁场分布和生成磁场分布之间的统计距离。通过最小化该统计距离、重建损失以及物理损失,我们训练的生成器已经学会预测丢失的场值,当场点的单个相干区域丢失时,中值重建测试误差为5.14%,当空间中只有几个点测量可用并且预测周围的场测量时,中值重建测试误差为5.86%。我们验证了实验验证的字段上的结果。
2022-03-14 cs.LG physics.comp-ph
Understanding Flatness in Generative Models: Its Role and Benefits
Graduate School of Artificial Intelligence, Ulsan National Institute of Science and Technology(人工智能研究生院,全南国立科学与技术研究所);Department of Electrical Engineering, Ulsan National Institute of Science and Technology(电气工程系,全南国立科学与技术研究所)
本研究系统探究生成模型(尤其扩散模型)中损失曲面平坦性的作用,理论上证明平坦极小值提升对先验扰动的鲁棒性并减少暴露偏差,实验表明SAM优于其他方法,并在多个数据集上验证了性能与鲁棒性的提升。
2025-08-06 cs.CV cs.LG
Generative Adversarial Networks for Brain Images Synthesis: A Review
University of Washington(华盛顿大学);Institute of Systems Biology(系统生物学研究所);Islamic Azad University(伊斯兰阿扎德大学)
本文综述了生成对抗网络(GAN)在脑图像跨模态合成中的最新进展,涵盖CT、PET和MRI之间的相互转换,以解决多模态影像获取成本高、耗时的问题。
2023-05-16 cs.CV cs.LG eess.IV
Convergence Problems with Generative Adversarial Networks (GANs)
University of Oxford(牛津大学)
生成对抗网络(GANs)是生成建模的一种新方法,其目标是学习真实数据点的分布。它们通常被证明很难训练:GANs与机器学习中的许多技术不同,因为它们最好被描述为机器人和发电机之间的双人游戏。这导致了训练过程的不可靠性,以及对GANs如何收敛以及收敛到什么的普遍缺乏了解。本论文的目的是提供一个适合数学家的GANs理论,突出正面和负面的结果。这涉及到识别训练GANs时的问题,以及GANs的拓扑和博弈论观点如何有助于我们的理解并改善我们近年来的技术。
2018-06-29 cs.LG stat.ML
Understanding (Un)Intended Memorization in Text-to-Image Generative Models
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文针对文本到图像生成模型缺乏明确记忆定义的问题,提出了基于用户预期的三类记忆分类,区分了预期与非预期记忆,强调平衡隐私与生成质量,并以Stable Diffusion验证了定义的适用性。
2023-12-06 cs.CL cs.CR cs.CV
Critical heat flux diagnosis using conditional generative adversarial networks
Pohang University of Science and Technology (POSTECH)(浦项科技大学(POSTECH));Seoul National University(首尔大学)
针对临界热流密度(CHF)识别难、高分辨率热数据获取成本高的问题,本研究提出基于条件生成对抗网络(cGANs)的图像转换方法,利用流动沸腾实验的配对图像重构CHF工况热数据,为CHF诊断提供高效方案。
2023-05-04 cs.LG physics.flu-dyn
Generative Adversarial Network for Medical Images (MI-GAN)
COMSATS University Islamabad(伊斯兰堡COMSATS大学)
深度学习算法为不同的机器学习和计算机视觉任务产生最先进的结果。为了在给定的任务上表现良好,这些算法需要大量的数据集进行训练。然而,深度学习算法缺乏泛化能力,并且在小数据集上训练时会出现过度拟合,特别是在处理医学图像时。对于医学成像中的监督图像分析,具有图像数据及其对应的注释的地面实况是昂贵的并且耗时的,因为数据的注释是由医学专家手动完成的。在本文中,我们提出了一个新的生成对抗网络的医学成像(MI-GAN)。MI-GAN生成合成医学图像及其分割掩模,然后可用于医学图像的监督分析应用。特别是,我们提出了MI-GAN的视网膜图像的合成。所提出的方法产生精确的分割图像优于现有的技术。该模型在STARE数据集上实现了0.837的骰子系数,在DRIVE数据集上实现了0.832的骰子系数,这是两个数据集上最先进的性能。
2018-10-01 cs.CV cs.LG eess.IV
Simulation of an Elevator Group Control Using Generative Adversarial Networks and Related AI Tools
Technische Hochschule Köln(科隆应用技术大学)
测试新的创新技术是安全和验收的关键任务。但是,如果没有历史真实数据,如何测试新系统?模拟为这个重要问题提供了答案。经典的仿真工具,如基于事件的仿真是公认的。但这些建立的仿真模型大多需要设定许多参数。此外,模拟运行,例如,CFD模拟非常耗时。生成对抗网络(GANs)是为各种任务生成新数据的强大工具。目前,它们最常见的应用领域是图像生成。本文研究了GANs在模拟仿真中的适用性。我们正在比较技术系统的仿真输出与GAN的输出。为了验证这种方法,选择了一个著名的多轿厢电梯系统模拟器。我们的研究证明了这种方法的可行性。它还讨论了在实施过程中出现的陷阱和技术问题。虽然我们能够证明,原则上,GANs可以作为昂贵的模拟运行的替代品,但我们也证明了它们不能“开箱即用”。需要进行微调。我们提出了一个概念验证,这可以作为进一步研究的起点。
2020-09-03 cs.LG stat.ML
Full-Scale Continuous Synthetic Sonar Data Generation with Markov Conditional Generative Adversarial Networks
University of Edinburgh(爱丁堡大学);SeeByte Ltd.(SeeByte有限公司)
自主水下航行器的部署和操作既昂贵又耗时。高质量的逼真声纳数据模拟可能有利于多种应用,包括训练人类操作员进行任务后分析,以及调整和验证水下航行器的自主目标识别(ATR)系统。生成逼真的合成声纳图像是一个具有挑战性的问题,因为模型必须考虑真实声学传感器的特定伪影,车辆高度和各种环境因素。我们提出了一种新的方法,用于生成逼真的声纳侧扫描的全长任务,称为马尔可夫条件pix 2 pix(MC-pix 2 pix)。定量评估结果证实,所产生数据的质量几乎与真实数据无异。此外,我们表明,引导ATR系统与MC-pix 2 pix数据可以提高性能。合成数据的生成速度比实际采集速度快18倍,用户可完全控制生成数据的地形。
2020-02-18 cs.LG eess.IV stat.ML
Generative Deep Learning for Virtuosic Classical Music: Generative Adversarial Networks as Renowned Composers
UW - Whitewater(威斯康星大学白水分校)
目前人工智能生成的音乐缺乏良好作曲技术的基本原则。通过在编程和音乐上缩小实现问题,我们可以更好地理解生成的作品所需的参数,这些参数几乎与大师级作曲家的作品无法区分。
2021-11-13 cs.LG cs.NE cs.SD
Stability and Diversity of Networked Self-Consuming Generative Ecosystems
The Ohio State University(俄亥俄州立大学)
本文提出有向加权图理论框架,分析网络化自消费生成模型中多模型相互消费合成数据的长期行为,建立收敛条件并刻画固定点,揭示真实数据访问、跨模型消费及图结构对系统稳定性与多样性的影响。
2026-10-08 cs.CY cs.LG
Towards Histopathological Stain Invariance by Unsupervised Domain Augmentation using Generative Adversarial Networks
University of Strasbourg(斯特拉斯堡大学);University of Belgrade(贝尔格莱德大学);University of Kragujevac(克拉古耶瓦茨大学);Hannover Medical School(汉诺威医学院);University Clinic, Freiburg(弗赖堡大学诊所)
监督式深度学习方法在数字病理学中的应用受到限制,因为它们对域转移敏感。数字病理学是一个容易因许多来源而产生高度变异性的领域,包括评价使用不同染色方案染色的几个连续组织切片的常见做法。获得每个染色剂的标签是非常昂贵和耗时的,因为它需要高水平的领域知识。在这篇文章中,我们提出了一种基于对抗性图像到图像翻译的无监督增强方法,这有助于训练染色不变的监督卷积神经网络。通过在一种常用的染色模式上训练网络,并将其应用于包括相应但不同染色的组织结构的图像,所提出的方法证明了对其他方法的显着改进。这些益处在七种不同染色模式(PAS、Jones H&E、CD 68、天狼星红、CD 34、H&E和CD 3)中的肾小球分割问题中得到说明,并且对所学习的表示的分析证明了它们的染色不变性。
2020-12-22 cs.CV cs.LG eess.IV
Tensor-Generative Adversarial Network with Two-dimensional Sparse Coding: Application to Real-time Indoor Localization
University of Electronic Science and Technology of China(电子科技大学);Columbia University(哥伦比亚大学);Shanghai Jiao Tong University(上海交通大学)
定位技术是室内定位服务发展的重要环节。全球定位系统(GPS)在室内环境中由于非视距问题而失效,因此迫切需要一种实时的【形】高精度智能手机定位方法。然而,由于诸如实时的【形】响应要求、有限的指纹样本和移动终端存储等问题,精确定位是具有挑战性的。为了解决这些问题,我们提出了一种新的深度学习架构:张量-生成对抗网络(TGAN)。我们首先引入一个基于变换的3D张量来建模指纹样本。我们的模型采用人工神经网络和深度学习来训练网络分类器,然后给出估计,而不是那些构建指纹数据库作为先验知识的被动方法。然后,我们提出了一种新的基于张量的超分辨率方案,使用生成对抗网络(GAN),采用稀疏编码作为生成器网络和残差学习网络作为训练器。此外,我们分析了张量GAN的性能,并实现了基于跟踪的定位实验,取得了更好的性能。与现有的智能手机室内定位方法相比,TGAN在定位精度、响应时间和实现复杂度等方面都有较大的提高。
2017-11-07 cs.LG cs.NI eess.SP
Self-Consuming Generative Models with Co-Evolving Human Preferences
The Ohio State University(俄亥俄州立大学)
本研究揭示生成模型自消耗训练中用户偏好与模型分布共同演化的动态,证明纯合成数据导致偏差放大,而注入参考数据可实现唯一全局均衡,并提出联合优化参考分布与混合权重的控制算法。
2026-10-08 cs.LG
Self-Consuming Generative Models with Curated Data Provably Optimize Human Preferences
Mila(米拉);Université de Montréal(蒙特利尔大学);Ecole Normale Supérieure de Paris(巴黎高等师范学院);University of Oxford(牛津大学)
该研究从理论与实验层面证明,经奖励模型筛选的合成数据参与生成模型迭代再训练时,可作为隐式偏好优化机制最大化期望奖励,同时会放大奖励模型偏差。
2024-06-12 cs.AI cs.CV cs.LG
A Theoretical Perspective: How to Prevent Model Collapse in Self-consuming Training Loops
College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院);University of Science and Technology of China(中国科学技术大学)
本文提出递归稳定性概念,通过理论泛化分析揭示模型架构与真实/合成数据比例对自消耗训练循环成败的影响,并扩展到Transformer上下文学习,证明恒定比例真实数据可确保收敛。
2025-02-26 cs.AI cs.LG
Training Discrete Deep Generative Models via Gapped Straight-Through Estimator
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学)
虽然深度生成模型在图像处理、自然语言处理和强化学习方面取得了成功,但由于其梯度估计过程的高方差,涉及离散随机变量的训练仍然具有挑战性。蒙特卡罗是大多数方差缩减方法中常用的解决方案。然而,这涉及到耗时的重新编译和多个函数求值。我们提出了一个间隙直通(GST)估计,以减少方差,而不会产生rescue开销。该估计器的灵感来自直通Gumbel-Softmax的基本属性。我们确定这些属性,并通过消融研究表明,它们是必不可少的。实验表明,建议的GST估计享有更好的性能相比,强基线的两个离散的深度生成建模任务,MNIST-VAE和ListOps。
2022-06-15 cs.AI cs.LG
Modeling Heterogeneous Statistical Patterns in High-dimensional Data by Adversarial Distributions: An Unsupervised Generative Framework
Tsinghua University(清华大学);AHI Fintech(安恒信息金融科技);Youku Cognitive and Intelligent Lab, Alibaba Group(阿里巴巴集团优酷认知与智能实验室)
由于标签收集令人望而却步且耗时,因此在欺诈检测等应用中首选无监督方法。同时,这类应用通常需要对高维数据中的固有聚类进行建模,而不同聚类的模式可能出现在不同的维度上,从而表现出异构的统计模式。现有的方法建议在选定的维度上对数据聚类进行建模,但全局忽略任何维度可能会破坏某些聚类的模式。为了解决上述问题,我们提出了一种新的无监督生成框架FIRD,它利用对抗性分布来拟合和解开异质统计模式。当应用于离散空间时,FIRD有效地区分了同步欺诈者和正常用户。此外,与SOTA异常检测方法相比,FIRD在异常检测数据集上也提供了更好的性能(平均AUC提高超过5%)。在不同数据集上的实验结果表明,该方法能够更好地对高维数据中的异构统计模式进行建模,为后续应用提供了有益的借鉴。
2020-12-15 cs.AI cs.LG
Understanding Generative AI Content with Embedding Models
Pacific Northwest National Laboratory(太平洋西北国家实验室);Rutgers University(罗格斯大学);University of Washington(华盛顿大学)
本文利用嵌入模型和主成分分析等降维技术,揭示基础模型嵌入中的内在异质性,并证明真实样本与AI生成样本具有可分离性。
2025-02-22 cs.AI cs.LG
Self-supervised Learning on Graphs: Contrastive, Generative,or Predictive
图上的深度学习最近在各种任务上取得了显着的成功,而这种成功在很大程度上依赖于大量和仔细标记的数据。然而,精确的注释通常非常昂贵且耗时。为了解决这个问题,自监督学习(SSL)正在成为一种新的范式,通过精心设计的借口任务,而不依赖于人工标签提取信息的知识。在这项调查中,我们扩展了SSL的概念,它首先出现在计算机视觉和自然语言处理领域,提出了一个及时和全面的审查现有的SSL技术的图形数据。具体来说,我们将现有的图SSL方法分为三类:对比,生成和预测。更重要的是,与其他仅提供已发表研究的高层次描述的调查不同,我们在统一的框架中对现有作品进行了额外的数学总结。此外,为了便于方法的发展和实证比较,我们还总结了常用的数据集,评估指标,下游任务,开源实现和各种算法的实验研究。最后,我们讨论了改进图自监督学习的技术挑战和潜在的未来方向。图SSL的最新进展总结在GitHub存储库https://github.com/LirongWu/awesome-graph-self-supervised-learning中。
2021-09-29 cs.AI cs.LG
It Ain't That Bad: Understanding the Mysterious Performance Drop in OOD Generalization for Generative Transformer Models
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);ShanghaiTech University(上海科技大学);Fudan University(复旦大学)
该研究针对生成式Transformer模型在分布外(OOD)数学任务上的性能下降问题,通过训练小语言模型发现其OOD表现背后存在习得的代数结构与等价泛化规律,深化了对生成式模型泛化能力的理解。
2024-07-04 cs.AI cs.LG
Generative Memory for Lifelong Reinforcement Learning
SRI International(SRI国际研究所)
我们的研究重点是理解和应用生物记忆转移到新的人工智能系统,可以从根本上提高他们的性能,在他们的现场生活经验。我们利用目前对生物记忆转移的理解来达到记忆巩固和重放的AI算法。在本文中,我们提出了使用的生成记忆,可以召回批量样本训练的多任务代理的伪排练方式。我们的结果激励需要任务不可知的潜在空间分离的生成记忆,以解决终身学习中的灾难性遗忘的问题。
2019-02-22 cs.AI cs.LG stat.ML
Understanding Multimodality in Generative Behavioral Cloning
NCT-Dresden(NCT-德累斯顿)
研究行为克隆在多模态情况下失败的机制,分析不同多模态参数化在动作分块策略中的不同失效方式,并提出通过调整正则化程度和改进生成策略来提升鲁棒性的方法。
2026-10-01 cs.AI cs.LG cs.RO
Knowing Isn't Understanding: Re-grounding Generative Proactivity with Epistemic and Behavioral Insight
University of California, Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学);University of Waterloo(滑铁卢大学)
针对用户无法明确表达需求时的认知不完整问题,提出生成式主动性需要基于认知和行为双重约束来设计负责任的主动代理。
2026-05-31 cs.AI cs.CY cs.LG
Understanding Classifier Mistakes with Generative Models
Stanford University(斯坦福大学)
虽然深度神经网络在监督学习任务上是有效的,但它们被证明是脆弱的。它们容易在训练分布上过度拟合,并且很容易被小的对抗性扰动所欺骗。在本文中,我们利用生成模型来识别和表征分类器无法泛化的实例。我们提出了一个生成模型的特征提取的分类器,并显示使用严格的假设检验,错误往往会发生时,我们的模型分配的特征的概率低。从这个观察,我们开发了一个检测标准的样本上的分类器可能会失败,在测试时。特别是,我们针对三种不同的分类失败来源进行了测试:由于模型泛化能力差而在测试集上犯下的错误,对抗性样本和分布外样本。我们的方法对训练集中的类标签是不可知的,这使得它适用于以半监督方式训练的模型。
2020-10-05 cs.LG
The Generative AI Paradox: "What It Can Create, It May Not Understand"
University of Washington(华盛顿大学);Allen Institute for Artificial Intelligence(艾伦人工智能研究所)
本文提出并验证生成式人工智能悖论假说:生成模型虽能超越人类生成专家级输出,但其生成能力并不依赖于理解能力,在语言和图像实验中理解表现仍弱于人类且更脆弱。
2023-10-31 cs.AI cs.CL cs.CV
Towards Understanding the Generative Capability of Adversarially Robust Classifiers
Zhejiang University(浙江大学)
最近,一些工作发现了一个有趣的现象,对抗鲁棒分类器可以生成与生成模型相当的好图像。我们从能量的角度研究这一现象,并提供了一个新的解释。我们重新制定了对抗性示例生成,对抗性训练和图像生成的能量函数。我们发现,对抗性训练有助于获得一个平坦的能量函数,并且在真实数据周围具有较低的能量,这是生成能力的关键。基于我们的新理解,我们进一步提出了一种更好的对抗训练方法,联合能量对抗训练(JEAT),它可以生成高质量的图像,并在广泛的攻击下实现新的最先进的鲁棒性。JEAT生成的图像的初始得分(CIFAR-10)为8.80,远远优于原始的鲁棒分类器(7.50)。
2021-09-14 cs.CV cs.LG
Large-Scale Generative Data-Free Distillation
Google Research(谷歌研究院)
知识蒸馏是知识转移、模型压缩和半监督学习中最流行和最有效的技术之一。大多数现有的蒸馏方法需要访问原始或增强的训练样本。但由于隐私、专有和可用性问题,这在实践中可能会有问题。最近的工作提出了一些方法来解决这个问题,但它们要么非常耗时,要么无法扩展到大型数据集。为此,我们提出了一种新的方法来训练生成的图像模型,利用训练后的教师网络的内在规范化层的统计数据。这使得我们能够构建一个没有训练数据的生成器集合,该生成器集合可以有效地产生用于后续蒸馏的替代输入。该方法将CIFAR-10和CIFAR-100的无数据精馏性能分别提高了95.02%和77.02%。此外,我们能够将其扩展到ImageNet数据集,据我们所知,在无数据设置中使用生成模型从未完成过。
2020-12-10 cs.CV cs.LG
Understanding Failures in Out-of-Distribution Detection with Deep Generative Models
New York University(纽约大学)
深度生成模型(DGMs)似乎很适合检测分布外(OOD)输入,但此类模型已被证明为OOD图像分配的概率或密度高于来自训练分布的图像。在这项工作中,我们解释了为什么这种行为应归因于模型的错误估计。我们首先证明,没有任何方法可以保证超出随机机会的性能,而不假设外分布相关。然后,我们询问典型集假设,声称相关的外分布可以位于数据分布的高似然区域,并且OOD检测应该基于数据分布的典型集来定义。我们强调的后果,假设支持重叠之间的分布和分布,以及任意性的OOD检测的典型集合。我们的研究结果表明,估计误差是一个更合理的解释,而不是基于似然的OOD检测和感兴趣的外分布之间的不一致,我们说明了即使是最小的估计误差也会导致OOD检测失败,这对深度生成建模和OOD检测的未来工作产生了影响。
2021-07-16 cs.LG
Continual Learning with Dirichlet Generative-based Rehearsal
Hong Kong University of Science and Technology(香港科技大学);Hong Kong Institute of Science & Innovation, Chinese Academy of Sciences(中国科学院香港创新研究院)
提出Dirichlet持续学习(DCL)方法,利用Dirichlet分布建模CVAE潜变量并引入JSKD知识蒸馏,有效解决面向任务对话系统持续学习中的灾难性遗忘问题。
2023-09-13 cs.AI cs.CL cs.LG
Understanding the Limitations of Conditional Generative Models
Vector Institute(向量研究所);University of Toronto(多伦多大学)
类条件生成模型有望克服其区别性对应模型的缺点。它们是以稳健的方式解决区分性任务的自然选择,因为它们联合优化了预测性能和输入分布的准确建模。在这项工作中,我们从理论和实践的角度研究了基于似然的生成模型的鲁棒分类,以研究它们是否可以兑现承诺。我们的分析集中在一系列鲁棒性属性上:(1)以对抗性示例的形式检测最坏情况下的离群值;(2)以模糊输入的形式检测平均情况下的离群值;(3)检测错误标记的分布输入。我们的理论结果表明,它是不可能的,以保证检测的不利扰动输入,即使是近最佳的生成分类器。实验上,我们发现,虽然我们能够训练强大的模型MNIST,鲁棒性完全崩溃CIFAR 10。我们将这种失败与各种不期望的模型属性联系起来,这些属性可以追溯到最大似然训练目标。尽管在文献中是一个常见的选择,我们的研究结果表明,基于似然的条件生成模型可能是令人惊讶的鲁棒分类无效。
2020-02-17 cs.LG stat.ML
Understanding Place Identity with Generative AI
MIT Senseable City Lab(麻省理工学院可感知城市实验室);DataChat(DataChat公司);Virginia Tech(弗吉尼亚理工大学);Western University(韦仕敦大学)
本研究通过向ChatGPT和DALL-E2提问31座全球城市的地方认同问题,并与Wikipedia文本、Google图像交叉验证,探究生成式AI捕捉城市集体地方认同的潜力,为城市设计领域提供相关参考。
2023-06-07 cs.CY cs.HC cs.LG
Toward Understanding Generative Data Augmentation
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);School of Software, Shandong University(山东大学软件学院)
本文从理论上分析了生成式数据增强对分类学习的影响,建立了非独立同分布设定下的稳定性界,并在高斯混合模型和生成对抗网络上证明其在小训练集时能改善学习保证。
2023-05-27 cs.LG stat.ML
Understanding complex crowd dynamics with generative neural simulators
Eindhoven Artificial Intelligence Systems Institute(埃因霍温人工智能系统研究所)
针对现有人群动力学研究方法分别存在统计分辨率不足、参数可控性缺失的问题,本文提出数据驱动的NeCS神经人群模拟器,构建兼具可控性与统计分辨率的研究范式,可复现已知结果并揭示N体交互新特性。
2024-12-03 cs.AI cs.LG physics.data-an