Investigating GANsformer: A Replication Study of a State-of-the-Art Image Generation Model
通过生成式建模生成图像的领域现在被大量讨论。它可以用于各种应用,例如放大现有图像,创建不存在的对象,例如室内设计场景,产品甚至人脸,以及实现迁移学习过程。在这种情况下,生成对抗网络(GANs)是一类广泛研究的机器学习框架,首次出现在Goodfellow等人的论文“生成对抗网络”中,实现了上述目标。在我们的工作中,我们复制并评估了原始GAN网络的一种新变体,GANformer,由Hudson和Zitnick在“生成对抗Transformers”中提出。该项目旨在重新创建本文中提出的方法,以重现原始结果并对作者的主张进行评论。由于资源和时间的限制,我们不得不限制网络的训练时间、数据集类型和大小。我们的研究成功地重新创建了所提出的GANformer模型的两种变体,并发现了作者和我们的结果之间的差异。此外,出版方法和代码中提供的实施方法之间的差异,使我们能够研究所提出的程序的两个未公开的变化。
2023-03-15 cs.CV cs.LG
Modelling Latent Travel Behaviour Characteristics with Generative Machine Learning
Ryerson University(瑞尔森大学)
在本文中,我们实现了一个信息理论的方法,通过引入一个生成建模框架,以确定信息的潜在特征,在旅游决策的旅行行为分析。它涉及使用受限玻尔兹曼机(RBM)生成建模框架开发联合三方贝叶斯图形网络模型。我们将此框架应用于模式选择调查数据,以识别抽象潜变量,并将性能与具有特定潜偏好(安全性、舒适性和环境)的传统潜变量模型进行比较。在加拿大魁北克省的一项联合声明和显示偏好模式选择调查中收集的数据被用来校准RBM模型。结果表明,一个显着的影响模型的似然统计,并建议机器学习工具是非常适合建模复杂的网络条件独立的行为相互作用。
2018-09-15 cs.LG stat.ML
A bi-partite generative model framework for analyzing and simulating large scale multiple discrete-continuous travel behaviour data
Ryerson University(瑞尔森大学)
数据驱动的需求分析的出现导致越来越多地使用生成建模来学习随机变量之间的概率依赖关系。虽然近年来它们的明显用途主要限于图像识别和分类,但生成机器学习算法可以通过数据结构的底层属性复制旅行行为,成为旅行行为研究的强大工具。在本文中,我们研究使用生成机器学习方法来分析多个离散连续(MDC)的旅行行为数据。我们提供了一个合理的角度来看,我们如何利用机器学习技术来解释数据中的潜在异质性。我们表明,生成模型在概念上类似的选择选择行为过程中,通过信息熵和变分贝叶斯推断。不失一般性,我们认为一个限制玻尔兹曼机(RBM)的算法与多个离散连续层,制定为变分贝叶斯推断优化问题。我们系统地描述了所提出的机器学习算法,并开发了一个从生成学习的角度分析旅行行为数据的过程。我们在一个开放数据集上进行了模型分析和模拟测试,从293,330个观测的数据大小中获得了多个离散-连续维度的参数稳定性。为了便于解释,我们推导出条件概率、弹性,并对潜在变量进行统计分析。我们表明,我们的模型可以生成统计上相似的数据分布,用于旅行预测和预测,并且在验证中比纯粹的判别方法表现得更好。我们的研究结果表明,生成模型中的潜在结构可以准确地表示联合分布一致的MDC数据。
2020-05-08 cs.LG stat.ML
Investigating the Effects of Diffusion-based Conditional Generative Speech Models Used for Speech Enhancement on Dysarthric Speech
Bayer AG(拜耳公司);Idiap Research Institute(伊迪亚普研究所)
首次探索基于扩散的预训练语音增强模型对无噪声环境下帕金森病构音障碍语音的影响,发现该模型会丢失病理声学线索,但残差信号融合可提供互补线索。
2024-12-18 cs.LG cs.SD eess.AS
On Investigating the Conservative Property of Score-Based Generative Models
National Tsing Hua University(国立清华大学);NVIDIA Corporation(英伟达公司)
本文针对CSBMs架构受限与USBMs缺乏保守性的问题,提出QCSBMs,并通过Hutchinson迹估计器实现高效训练,在多个图像数据集上验证其有效性。
2023-06-04 cs.CV cs.LG
Multilevel Generative Samplers for Investigating Critical Phenomena
BIFOLD;Technische Universität Berlin(技术大学柏林);Università degli Studi di Torino(都灵大学);INFN Torino(托斯卡纳国家研究所);University of Bonn(波恩大学);Helmholtz Institute for Radiation and Nuclear Physics (HISKP)(辐射和核物理研究所);Deutsches Elektronen-Synchrotron (DESY)(德国电子同步辐射光源);RIKEN Center for AIP(理化学研究所AIP中心)
本文提出RiGCS,一种结合多层级蒙特卡洛与生成模型的重整化采样器,利用临界尺度不变性高效采样近临界系统,在128x128伊辛模型上有效样本量提升数个数量级。
2025-03-13 cs.LG hep-lat stat.ML
Right for the Right Latent Factors: Debiasing Generative Models via Disentanglement
CS Department(计算机科学系);Centre for Cognitive Science, TU Darmstadt(达姆施塔特工业大学认知科学中心)
大多数统计机器学习方法的一个关键假设是,它们可以从测试时遇到的数据分布中获得独立样本。因此,这些方法在面对有偏差的数据时往往表现不佳,这打破了这一假设。特别是,机器学习模型已被证明表现出类似Clever-Hans的行为,这意味着训练集中的虚假相关性是无意中学习的。已经提出了许多工作来修改深度分类器以学习正确的相关性。然而,到目前为止,生成模型一直被忽视。我们观察到生成模型也倾向于Clever-Hans-like行为。为了解决这个问题,我们建议通过解开生成模型的内部表示来消除偏见,这是通过人类反馈来实现的。我们的实验表明,即使人类反馈只覆盖了所需分布的一小部分,这也能有效地消除偏见。此外,我们实现了强大的解纠缠结果与最近的方法进行定量比较。
2022-02-01 cs.LG
Investigating Efficient Learning and Compositionality in Generative LSTM Networks
Neuro-Cognitive Modeling Group, Eberhard Karls University Tübingen(图宾根大学神经认知建模小组)
当将人类与人工智能进行比较时,一个主要的区别是显而易见的:人类可以从稀疏数据集进行非常广泛的概括,因为他们能够以组合方式重新组合和整合数据组件。为了研究有效学习的差异,Joshua B. Tenenbaum和他的同事们开发了字符挑战:首先,一个算法被训练生成手写字符。在下一步骤中,呈现新类型字符的一个版本。一个有效的学习算法有望能够重新生成这个新字符,识别这个字符的类似版本,生成它的新变体,并创建全新的字符类型。在过去,字符挑战只能通过提供随机原语的复杂算法来满足。在这里,我们在不提供原语的情况下解决了这个挑战。我们应用具有一个前馈层和一个LSTM层的最小递归神经网络(RNN)模型,并对其进行训练,以从一个热编码输入生成顺序手写字符轨迹。为了管理未经训练的字符的重新生成,当仅提供其中一个示例时,我们引入了一种一次性推理机制:梯度信号仅反向传播到前馈层权重,而LSTM层则保持不变。我们表明,我们的模型能够通过重组先前学习的动态子结构来应对字符挑战,这些子结构在隐藏的LSTM状态中可见。以这种方式利用RNN的组合能力可能是弥合人类和人工智能之间差距的重要一步。
2020-10-20 cs.LG stat.ML
Generative AI for learning: Investigating the potential of synthetic learning videos
UCL Knowledge Lab(伦敦大学学院知识实验室);Metropolitan State University(都会州立大学);EIT InnoEnergy(欧洲创新能源研究所)
本研究针对AI合成教育视频现实教育价值研究不足的问题,通过混合方法对比实验发现,AI合成学习视频在学习效果与体验上与传统讲师视频相当,有望成为在线教育中传统视频的可行替代品,提升优质教育内容的可及性。
2023-05-03 cs.AI cs.CV cs.LG
Investigating VLM Hallucination from a Cognitive Psychology Perspective: A First Step Toward Interpretation with Intriguing Observations
Arizona State University(亚利桑那州立大学);Intel Lab(英特尔实验室)
从认知心理学视角提出导致VLM幻觉的认知偏差分类法,设计AIpsych基准揭示模型心理倾向,发现模型规模增大时谄媚倾向增强而权威偏差降低,为理解幻觉提供新视角。
2025-10-11 cs.CL cs.CV cs.LG
Applications of Generative Adversarial Networks in Anomaly Detection: A Systematic Literature Review
University of Alberta(阿尔伯塔大学)
异常检测已成为现代社会不可或缺的工具,应用范围广泛,从检测欺诈交易到恶性脑肿瘤。随着时间的推移,已经引入了许多异常检测技术。然而,总的来说,它们都面临着同样的问题:缺乏代表异常行为的数据。由于异常行为对于系统来说通常是昂贵的(或危险的),因此很难收集足够的数据来表示这种行为。这反过来又使得开发和评估异常检测技术变得困难。最近,生成对抗网络(GANs)由于其独特的生成新数据的能力,在异常检测研究中引起了极大的关注。在本文中,我们提出了一个系统的文献综述的GANs在异常检测中的应用,涵盖128篇论文的主题。本文的目的是分析和总结:(1)哪些异常检测技术可以从某些类型的GANs中受益,以及如何受益,(2)GAN辅助异常检测技术已应用于哪些应用领域,以及(3)哪些数据集和性能指标已用于评估这些技术。我们的研究有助于研究人员和从业人员找到最适合其应用的GAN辅助异常检测技术。此外,我们提出了一个研究路线图,为未来的研究在这一领域。
2021-10-22 cs.LG
Investigating Parameter-Efficiency of Hybrid QuGANs Based on Geometric Properties of Generated Sea Route Graphs
Mobile and Distributed Systems Group, LMU Munich, Germany(慕尼黑大学移动与分布式系统小组)
本研究构建真实航运数据训练集,探究量子-经典混合QuGANs生成航线图的能力,对比经典GANs的参数效率,发现部分QuGANs以更少参数达到相近质量,验证了量子计算在生成式AI中的应用潜力。
2025-09-01 cs.LG quant-ph
DeepChrome 2.0: Investigating and Improving Architectures, Visualizations, & Experiments
University of California, Berkeley(加州大学伯克利分校)
组蛋白修饰在基因调控中起关键作用。因此,从组蛋白修饰信号预测基因表达是表观遗传学中一个非常有意义的问题。我们建立在Singh等人(2016)的DeepChrome工作的基础上,他们训练了将组蛋白修饰信号映射到基因表达的分类器。我们提出了一种新的可视化技术,用于提供洞察组蛋白修饰之间的组合关系的基因调控,使用生成对抗网络生成组蛋白修饰信号。我们还探索和比较了各种架构变化,结果表明DeepChrome的645 k参数卷积神经网络具有与12参数线性网络相同的预测能力。跨细胞预测实验的结果表明,组蛋白修饰信号和基因表达之间的关系与细胞类型无关,在跨细胞预测实验中,模型在不同大小、细胞类型和相关性的数据集上进行训练和测试。我们在GitHub \footnote{\url{github.com/ssss1029/gene_expression_294}}上发布了DeepChrome的PyTorch重新实现。\parfillskip = 0例患者
2022-09-24 cs.LG
Generative Adversarial Neuroevolution for Control Behaviour Imitation
Montreal University Geriatric Institute(蒙特利尔大学老年医学研究所)
提出协同进化对抗生成框架,利用深度神经进化在8项OpenAI Gym控制任务上模仿预训练智能体,精英演员达到相近分数并贴合其轨迹。
2023-04-03 cs.LG cs.NE
Investigating the influence of noise and distractors on the interpretation of neural networks
TU Berlin(柏林工业大学);Korea University(高丽大学)
理解神经网络变得越来越重要。在过去的几年里,不同类型的可视化和解释方法已经被提出。然而,他们中没有一个明确考虑了噪音和干扰因素存在下的行为。在这项工作中,我们将展示噪音和分散注意力的维度如何影响解释模型的结果。这提供了一个新的理论见解,以帮助选择最合适的解释模型的深度泰勒分解框架内。
2016-11-22 cs.LG stat.ML
Investigating Conversion from Mild Cognitive Impairment to Alzheimer's Disease using Latent Space Manipulation
本文提出深度学习框架,通过操纵在MCI与阿尔茨海默病患者数据上训练的变分自编码器潜在空间,识别并解读导致疾病转化的关键属性,并由MCI患者生成合成痴呆病例。
2023-08-20 cs.LG
Reward-guided Fine-Tuning of One-Step Generative Models via Wasserstein Gradient Flow
Sungkyunkwan University(成均馆大学);Korea Institute for Advanced Study(韩国高等研究院)
针对单步生成模型奖励引导微调未被充分探索的问题,本文从最优传输视角研究Wasserstein梯度流,提出无需奖励梯度的新型奖励引导微调方法,在多数据集多奖励任务上实现了更优奖励对齐效果。
2026-09-01 cs.LG
Behavioural Repertoire via Generative Adversarial Policy Networks
School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
学习算法使机器人能够解决日益具有挑战性的现实任务。这些方法通常依赖于演示并复制所示的行为。环境中的意外变化可能需要使用不同的行为来实现相同的效果,例如在不断变化的混乱中达到并抓住物体。一个新兴的范例解决这个鲁棒性问题是学习一组不同的成功的行为,为一个给定的任务,机器人可以选择最合适的政策时,面对一个新的环境。在本文中,我们探索了一种新的实现这一愿景,通过学习生成模型的政策。而不是学习一个单一的政策,或一个小的固定的剧目,我们的生成模型的政策competencies编码一个无限数量的政策,并允许新的控制器变量进行采样。利用我们的生成策略网络,机器人可以对新的行为进行采样,直到找到适合新环境的行为。我们证明了这个想法与应用程序的强大的球投掷障碍物的存在。我们表明,这种方法实现了更大的多样性的行为比现有的进化方法,同时保持良好的采样行为的功效,使巴克斯特机器人击中目标时,更经常在障碍物的存在下投球。
2020-02-18 cs.AI cs.LG cs.RO
Attacks and Defenses for Generative Diffusion Models: A Comprehensive Survey
INRS, University of Québec(魁北克大学INRS)
本文系统综述了生成扩散模型面临的主要攻击类型与防御方法,涵盖五类核心模型、对抗攻击、成员推断、后门注入及多模态威胁,并总结现有对策、开放挑战与未来研究方向。
2024-08-06 cs.AI cs.CR cs.LG
Image Hijacks: Adversarial Images can Control Generative Models at Runtime
Harvard University(哈佛大学);Cambridge University(剑桥大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
该研究发现可控制视觉语言模型推理行为的“图像劫持”对抗样本,提出行为匹配及提示匹配算法生成劫持图像,针对LLaVA的四类攻击成功率超80%,且攻击自动化、仅需微小图像扰动。
2024-09-17 cs.CL cs.CR cs.LG
A Generative Neural Network Framework for Automated Software Testing
基于搜索的软件测试(SBST)是一种流行的自动化测试技术,它使用反馈机制来搜索软件中的错误。尽管它很受欢迎,但它在设计、构建和解释反馈方面存在根本性的挑战。近年来,神经网络(NN)在广泛的任务中非常受欢迎。我们认为,它们可以解决共同的SBST方法所固有的许多问题。不幸的是,神经网络需要大量具有代表性的训练数据集。在这项工作中,我们提出了一个SBST框架的基础上,去卷积生成神经网络。它不仅保留了使NN适合SBST任务的有益品质,而且还产生了自己的训练数据,从而避免了获取限制NN使用的训练数据集的问题。我们通过一系列的实验证明,这种架构是可能的和实用的。它生成多样化的,合理的程序输入,同时探索程序行为的空间。它还创建了一个有意义的程序行为排序,并能够找到崩溃的执行。这一切都是在没有任何程序知识的情况下完成的。我们相信这个概念证明为SBST和神经网络的交叉点的未来工作开辟了新的方向。
2020-06-29 cs.LG cs.SE
Feature Aggregation with Latent Generative Replay for Federated Continual Learning of Socially Appropriate Robot Behaviours
University of Cambridge(剑桥大学);Google DeepMind(谷歌DeepMind)
针对社交机器人联邦持续学习的挑战,提出FedRoot权重聚合策略及扩展FedLGR方法,在模拟客厅环境中实现了更优性能与显著的资源消耗降低。
2025-02-21 cs.AI cs.LG cs.RO
Obtaining physical layer data of latest generation networks for investigating adversary attacks
Orenburg State University(奥伦堡国立大学)
针对5G和6G等网络物理层数据获取复杂及机器学习模型易受对抗性攻击的问题,提出一种与机器学习应用协同工作的仿真模型,以直接从处理服务信息中获取攻击数据。
2024-05-02 cs.LG cs.NI eess.SP
Novel Knowledge-Guided Generative Methods for Synthetic Transcriptomic Data
Politecnico di Milano(米兰理工大学)
该研究针对转录组数据的获取限制,提出并基准测试三种生成对抗网络变体,其中MK-TGAN模型结合图神经网络整合先验知识,生成的合成转录组数据真实性与实用性更优。
2026-08-14 cs.AI cs.LG
Augmenting Control over Exploration Space in Molecular Dynamics Simulators to Streamline De Novo Analysis through Generative Control Policies
Massachusetts Institute of Technology(麻省理工学院)
本研究提出基于强化学习的P5模型,通过调制布朗力拓展分子动力学模拟的构型探索空间,优化聚合物链构象采样,效率提升超37.1%,为先验知识有限的复杂模拟问题提供新方法。
2023-07-21 cond-mat.mtrl-sci cs.LG
Quantum-probabilistic Hamiltonian learning for generative modelling & anomaly detection
Durham University(杜伦大学);Institute for Particle Physics Phenomenology(粒子物理现象学研究所)
本研究利用量子哈密顿量模型对大型强子对撞机数据进行生成建模,并通过学习到的哈密顿量进行异常检测,展示了场论方法在机器学习中的应用潜力。
2023-11-28 cs.LG hep-ex hep-ph
Investigating the Feasibility of Patch-based Inference for Generalized Diffusion Priors in Inverse Problems for Medical Images
Siemens Healthineers(西门子医疗);Siemens Industry Software(西门子工业软件)
本文探讨了在医学图像MRI反问题中,使用图像块进行扩散先验训练与推断的可行性,分析了其性能、内存效率及伪影避免方法,并验证了整图训练对分块评估的适应性。
2025-04-26 cs.CV cs.LG eess.IV
DeepFlow: History Matching in the Space of Deep Generative Models
Imperial College London(帝国理工学院)
利用观测到的流体压力和速率的瞬态数据校准储层模型是获得地球地下的流动和输运行为的预测模型的关键任务。模型校准任务,通常被称为“历史匹配”,可以被形式化为一个不适定的逆问题,我们的目标是找到解释所观察到的动态数据的岩石物理性质的基本空间分布。我们使用在基于地质统计对象的模型上预训练的生成对抗网络来表示油气藏合成模型的岩石性质分布。油藏流体的动态行为是使用瞬态两相不可压缩达西公式建模。我们首先使用预训练的生成模型对属性分布进行建模,然后使用正问题的伴随方程对控制生成模型输出的潜变量执行梯度下降,从而反演底层储层属性。除了动态观测数据,我们包括井岩石类型的限制,通过引入一个额外的目标函数。我们的贡献表明,对于合成测试用例,我们能够通过在深层生成模型的潜变量空间中进行优化来获得反问题的解决方案,给出了一组非线性正问题的瞬态观测。
2019-06-12 cs.CV cs.LG physics.comp-ph
Consistent estimation of generative model representations in the data kernel perspective space
Johns Hopkins University(约翰斯·霍普金斯大学);Indiana University(印第安纳大学);Helivan Research(海利万研究院)
该研究针对生成式模型行为差异分析的需求,提出查询语境下模型嵌入表示的新理论,明确了查询集和模型数量增长时模型嵌入一致估计的充分条件,为生成式模型的行为分析提供理论支撑。
2025-01-17 cs.LG math.ST stat.TH
Generative Tensor Network Classification Model for Supervised Machine Learning
University of Chinese Academy of Sciences(中国科学院大学);Tianjin Polytechnic University(天津工业大学);Capital Normal University(首都师范大学)
张量网络(TN)最近在量子多体希尔伯特空间中开发机器学习模型方面引起了广泛的兴趣。在这里,我们的目的是生成TN分类(GTNC)的监督学习的方法。该策略是训练生成TN的每一类样本构建分类器。分类是通过比较多体希尔伯特空间中的距离来实现的。GTNC的数值实验在MNIST和Fashion-MNIST数据集上显示了令人印象深刻的性能。测试精度与最先进的卷积神经网络相当,但高于朴素贝叶斯分类器(一种生成式分类器)和支持向量机。此外,GTNC是更有效的比现有的TN模型,在一般的歧视。通过研究多体希尔伯特空间中的距离,我们发现:(a)样本在这样的空间中是自然聚类的;(b)将TN的键维数限制为有限值对应于去除图像识别中的冗余信息。这两个特点使GTNC成为一种适应性强、通用性好的模型。
2019-03-26 cond-mat.str-el cs.LG quant-ph
Memory Augmented Deep Generative models for Forecasting the Next Shot Location in Tennis
Queensland University of Technology(昆士兰科技大学)
本文提出了一种新的框架预测击球位置和类型在网球。受最近神经科学发现的启发,我们将神经记忆模块模型的情节和语义记忆组成部分的网球运动员。我们提出了一个半监督生成对抗网络架构,将这些记忆模型与深度神经网络的自动特征学习能力相结合,并展示了使用所提出的框架学习玩家级别行为模式的方法。我们评估所提出的模型的有效性,网球跟踪数据从2012年澳大利亚网球公开赛和展览所提出的方法,发现球员如何适应他们的风格,根据比赛的背景下的应用。
2019-01-16 cs.AI cs.LG cs.NE