A Survey on Generative AI and LLM for Video Generation, Understanding, and Streaming
本文综述了生成式AI与LLM在视频生成、理解和流媒体领域的应用,展示了其在生成逼真视频、提取视觉信息及优化流媒体体验方面的潜力与挑战。
2024-01-30 cs.AI cs.CV cs.MM
See-Saw Generative Mechanism for Scalable Recursive Code Generation with Generative AI
IBM Client Innovation Center(IBM客户创新中心)
本文提出See-Saw生成机制,通过在主代码更新与依赖生成间交替进行并动态优化token使用,解决了生成式AI在复杂大规模代码项目中的token限制与依赖管理问题,实现了可扩展且高效的递归代码生成。
2024-11-16 cs.AI cs.LG cs.SE
Procedural Content Generation via Generative Artificial Intelligence
Duke University(杜克大学);Tohoku University(东北大学)
研究如何将生成式人工智能用于过程内容生成,回顾其在创建多种内容上的应用,指出构建高性能模型面临训练数据有限问题,强调克服此问题对推动PCG研究的重要性,并关注相关应对研究。
2026-09-07 cs.AI cs.LG
Signal or Noise? Understanding Generative Models for Real-World Sensor Time Series
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Massachusetts Institute of Technology(麻省理工学院)
研究针对现实世界传感器时间序列生成模型碎片化问题,引入SensorGen大规模研究,评估五个主要家族的生成模型,发现流匹配模型性能强、信号属性重要、生成信号有实用价值。
2026-07-07 cs.AI cs.LG
Score-based Generative Modeling Through Backward Stochastic Differential Equations: Inversion and Generation
Harvard University(哈佛大学)
本研究提出一种基于BSDE的新型扩散模型,通过适配现有分数函数确定目标分布的初始条件,证明了理论保证与Lipschitz网络的优势,可应用于扩散反演等多领域,为生成学习提供新方向。
2023-04-26 cs.AI cs.LG
Procedural content generation of puzzle games using conditional generative adversarial networks
IT University of Copenhagen(哥本哈根信息技术大学)
本文提出使用参数化GANs为益智游戏Lily's Garden生成关卡,通过提取两个条件向量控制输出细节,发现GANs能较好近似地图形状但难以近似棋子分布,并建议尝试替代架构以改善此问题。
2023-06-26 cs.AI cs.LG
The Procedural Content Generation Benchmark: An Open-source Testbed for Generative Challenges in Games
Institute of Digital Games(数字游戏研究所);University of Malta(马耳他大学);Game Innovation Lab(游戏创新实验室);New York University(纽约大学)
本文提出一个包含12个游戏内容生成任务及其变体的开源基准,用于标准化评估生成算法,并通过随机、进化策略和遗传算法三种基线验证了问题难度差异及目标对生成质量、多样性和可控性的影响。
2025-03-28 cs.AI cs.LG
Generative Adversarial Networks for Labelled Vibration Data Generation
University of Central Florida(中佛罗里达大学);Iowa State University(爱荷华州立大学)
随着结构健康监测(SHM)的日益普及,土木结构的工作模态分析对于工程结构的评估和评价具有重要意义。机器学习(ML)和深度学习(DL)算法在过去几十年中已用于土木结构的结构损伤诊断。虽然从土木结构中收集振动数据对于未损坏和损坏的情况都是一项具有挑战性和昂贵的任务,但在本文中,作者引入了基于深度卷积神经网络(DCNN)的生成对抗网络(GAN),并使用Wasserstein距离生成用于结构损伤诊断目的的人工标记数据。作者将开发的模型命名为1D W-DCGAN,并成功地生成了与输入非常相似的振动数据。本文提出的方法将铺平道路的振动数据生成的许多未来的应用在SHM领域。
2021-12-07 cs.AI cs.LG
Improved Constrained Generation by Bridging Pretrained Generative Models
University of British Columbia(不列颠哥伦比亚大学);Inverted AI
本文提出了一种通过桥梁预训练生成模型实现改进的约束生成方法,通过在可行区域内生成样本并保持现实感,实现了约束满足与采样质量之间的新平衡。
2026-03-06 cs.AI cs.LG cs.RO
Handloom Design Generation Using Generative Networks
Assam Engineering College(阿萨姆工程学院);Indian Institute of Information Technology Guwahati(印度古瓦哈提信息技术学院)
针对手工织布面料服饰设计生成领域生成模型能力探索不足的问题,本研究结合多种前沿生成模型与风格迁移算法开展实验,通过用户评分评估效果,并发布了新数据集NeuralLoom。
2025-05-20 cs.AI cs.CV cs.LG
Semi-Supervised Generation with Cluster-aware Generative Models
Technical University of Denmark(丹麦理工大学)
使用大量未标记数据训练的深度生成模型已被证明在无监督学习领域非常强大。许多现实生活中的数据集包含少量标记的数据点,这些数据点通常在训练生成模型时被忽略。我们提出了一个具有感知能力的生成模型,它使用未标记的信息来推断一个潜在的表示,该表示对数据的自然聚类进行建模,并使用额外的标记数据点来细化该聚类。当利用标记信息时,模型的生成性能显着提高,在排列不变MNIST上获得-79.38 nats的对数似然,同时还实现了具有竞争力的半监督分类精度。该模型也可以完全无监督地进行训练,并且仍然可以提高相关方法的对数似然性能。
2017-04-03 cs.AI cs.LG stat.ML
A survey on text generation using generative adversarial networks
São Paulo State University(圣保罗州立大学)
本文对使用生成对抗网络进行文本生成的研究进展进行了全面的综述。使用对抗学习来生成文本是有希望的,因为它提供了生成所谓的“自然”语言的替代方案。然而,对抗性文本生成并不是一项简单的任务,因为其最重要的架构生成对抗网络被设计用于处理连续信息(图像)而不是离散数据(文本)。因此,大多数作品都基于三种可能的选择,即,Gumbel-Softmax微分,强化学习和修改的训练目标。所有的替代品在本次调查中进行审查,因为他们提出了最新的方法来生成文本使用基于对抗的技术。所选的作品来自著名的数据库,如Science Direct,IEEEEXplore,Springer,Association for Computing Machinery和arXiv,而每一个选定的工作都经过严格的分析和评估,以呈现其目标,方法和实验结果。
2022-12-20 cs.AI cs.CL cs.LG
A generative model for molecule generation based on chemical reaction trees
The University of Tokyo(东京大学)
深度生成模型在通过字符串、树或图形等表示生成具有所需化学性质的新型分子方面表现出强大的功能。然而,这些模型在实际中对所产生的分子的合成路线的推荐方面是有限的。我们提出了一个生成模型,通过多步化学反应树生成分子。具体来说,我们的模型首先提出一个化学反应树与预测的反应模板和商业上可获得的分子(起始分子),然后执行正向合成步骤,以获得产品分子。实验结果表明,该模型能够产生具有所需化学性质的化学反应。并提供了这些产物分子的完整合成路线。
2021-06-07 cs.AI cs.LG cs.NE
Towards Fine-Dining Recipe Generation with Generative Pre-trained Transformers
Athens University of Economics and Business(雅典经济与商业大学)
食物是人类生存所必需的。所以我们开发了不同的食谱来满足我们的口味需求。在这项工作中,我们提出了一种使用Transformers(特别是自回归语言模型)从头开始创建新的美食食谱的新颖方法。给定一个小的食物食谱数据集,我们尝试训练模型来识别烹饪技术,提出新的食谱,并用最少的数据测试微调的能力。
2022-09-26 cs.AI cs.CL cs.LG
From Identifiable Causal Representations to Controllable Counterfactual Generation: A Survey on Causal Generative Modeling
University of Arkansas(阿肯色大学);Clemson University(克莱姆森大学);University of Texas at Dallas(德克萨斯大学达拉斯分校)
本综述系统梳理因果生成建模,涵盖因果表征学习与可控反事实生成,并探讨其理论、方法、应用及未来方向。
2024-05-23 cs.AI cs.LG stat.ML
Logo Generation Using Regional Features: A Faster R-CNN Approach to Generative Adversarial Networks
CitAI Research Center(CitAI研究中心);University of London(伦敦大学)
在本文中,我们介绍了本地标志生成对抗网络(LL-GAN),它使用从Faster R-CNN中提取的区域特征来生成标志。我们展示了这种方法的优势,通过在一个风格丰富的小数据集上训练框架来生成新的重金属标志。LL-GAN实现了5.29的初始得分和223.94的Frechet初始距离,改进了最先进的模型StyleGAN 2和Self-Attention GAN。
2021-10-02 cs.AI cs.CV cs.GR
OptiGAN: Generative Adversarial Networks for Goal Optimized Sequence Generation
Monash University(莫纳什大学);The University of Melbourne(墨尔本大学)
序列生成任务中的一个挑战性问题是具有特定期望目标的序列的优化生成。当前的序列生成模型主要生成序列以紧密地模仿训练数据,而没有直接优化特定于任务的期望目标或属性。我们引入了OptiGAN,这是一种生成模型,它结合了生成对抗网络(GAN)和强化学习(RL),使用策略梯度来优化所需的目标得分。我们将我们的模型应用于文本和实值序列生成,其中我们的模型能够获得比GAN和RL基线更高的期望分数,同时不牺牲输出样本多样性。
2021-01-14 cs.LG stat.ML
Generative Pre-Trained Transformer for Design Concept Generation: An Exploration
Singapore University of Technology and Design(新加坡科技设计大学)
新颖的概念对于设计创新是必不可少的,并且可以在数据刺激和计算机的帮助下产生。然而,目前的生成式设计算法集中在图形或空间的概念,要么太抽象的理解或太详细的早期阶段的设计探索。本文探讨了生成预训练的Transformers(GPT)的自然语言设计概念生成的使用。我们的实验涉及使用GPT-2和GPT-3不同的创造性推理在设计任务。这两个都显示出相当好的性能口头设计概念生成。
2021-11-16 cs.CL cs.LG
A Systematic Survey on Deep Generative Models for Graph Generation
IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心);Emory University(埃默里大学)
图是描述对象及其关系的重要数据表示,这些对象及其关系出现在各种各样的现实世界场景中。图的生成是这一领域的关键问题之一,它考虑的是学习给定图的分布,从而生成更多的新图。由于其广泛的应用,图的生成模型,这有着丰富的历史,然而,传统上是手工制作的,只能建模的一些统计特性的图。用于图形生成的深度生成模型的最新进展是朝着提高生成图形的保真度迈出的重要一步,并为新类型的应用铺平了道路。本文对用于图生成的深度生成模型领域的文献进行了广泛的概述。首先,形式化地定义了用于图生成的深度生成模型,并提供了初步的知识。其次,分别对无条件图生成和有条件图生成的深度生成模型进行了分类,并对各自的已有工作进行了比较和分析。在此之后,在这个特定的领域的评估指标的概述。最后,总结了深度图生成的应用,并强调了五个有前途的未来研究方向。
2022-10-04 cs.LG stat.ML
Input-Adaptive Generative Dynamics in Diffusion Models
本研究提出了一种输入自适应的扩散模型生成方法,通过调整生成动态以适应不同输入需求,从而提升生成质量和效率。
2026-03-07 cs.AI cs.CV cs.LG
Leveraging Generative AI Models for Synthetic Data Generation in Healthcare: Balancing Research and Privacy
San Jose State University(圣何塞州立大学);University of Florida(佛罗里达大学)
本文探讨利用GAN和VAE等生成式AI模型生成合成患者数据,以平衡医疗研究中数据访问与隐私保护,并分析其应用、优势、挑战及未来方向。
2023-05-09 cs.AI cs.CR cs.LG
Conditional Image Generation with Pretrained Generative Model
Oregon State University(俄勒冈州立大学)
本文旨在减少预训练扩散模型在条件图像生成中引入引导的时间和计算开销,提出基于实证分析的方法,实现约三倍的计算时间缩减,同时保持图像质量。
2023-12-20 cs.AI cs.CV cs.LG
Improving Molecule Generation and Drug Discovery with a Knowledge-enhanced Generative Model
Institute of Cancer Research, Purdue University(普渡大学癌症研究所)
针对生成模型未充分利用生物医学知识图谱的问题,提出知识增强生成框架KARL,通过可扩展方法扩展知识图谱并结合扩散模型,在分子生成任务上性能超越现有最优模型。
2024-10-07 cs.LG q-bio.QM
Token Manipulation Generative Adversarial Network for Text Generation
MaskGAN通过填充给定标记之间的空白来打开条件语言模型的查询。在本文中,我们专注于解决必须指定要填充的空白所造成的限制。我们将条件文本生成问题分解为两个任务,使一个空白和填写空白,并扩展前者处理更复杂的操作给定的令牌。我们将这些任务作为一个分层的多代理RL问题,并引入了一个条件对抗学习,允许代理达到一个目标,在合作环境中产生现实的文本。我们表明,该模型不仅解决了局限性,但也提供了良好的结果,而不影响性能的质量和多样性。
2020-05-11 cs.AI cs.LG stat.ML
Composable Generative Models
Sarus
随着深度生成架构的出现,例如变分自动编码器(VAE)或生成对抗网络(GAN),生成建模最近出现了许多令人兴奋的发展。能够提取合成的i.i.d.具有与给定数据集相同的联合概率分布的观测具有广泛的应用,包括表示学习、压缩或填补。它似乎在隐私保护数据分析中也有许多应用,特别是当与差分隐私技术结合使用时。本文重点研究合成数据生成模型与隐私保护的应用。它介绍了一种新的架构,组合生成模型(CGM),这是国家的最先进的表格数据生成。任何条件生成模型都可以用作CGM的子组件,包括CGM本身,允许生成数值、分类数据以及图像、文本或时间序列。CGM已在13个数据集(6个标准数据集和7个模拟数据集)上进行了评估,并与14个最近的生成模型进行了比较。它以显著的优势击败了表格数据生成领域的最新技术。
2021-02-18 cs.LG
Generative Max-Mahalanobis Classifiers for Image Classification, Generation and More
Georgia State University(佐治亚州立大学)
Grathwohl等人的基于能量的联合模型(JEM)表明,标准softmax分类器可以重新解释为联合分布p(x,y)的基于能量的模型(EBM);所产生的模型可以进行优化,以提高校准,鲁棒性和分布外检测,同时生成与最近基于GAN的方法质量相媲美的样本。然而,JEM利用的softmax分类器本质上是有区别的,其潜在特征空间没有很好地表达为概率分布,这可能会阻碍其图像生成的潜力并导致训练不稳定。我们假设生成分类器,如线性判别分析(LDA),可能更适合图像生成,因为生成分类器明确地建模数据生成过程。因此,本文研究了LDA分类器的图像分类和生成。特别是,Max-Mahalanobis分类器(MMC),LDA的一个特殊情况,非常适合我们的目标。我们表明,我们的生成MMC(GMMC)可以训练判别,生成,或联合图像分类和生成。在多个数据集上的大量实验表明,GMMC实现了最先进的判别和生成性能,同时在校准,对抗鲁棒性和分布外检测方面优于JEM。我们的源代码可以在https://github.com/sndnyang/GMMC上找到。
2021-07-01 cs.CV cs.LG
TextGAIL: Generative Adversarial Imitation Learning for Text Generation
University of California, Davis(加利福尼亚大学戴维斯分校);ByteDance(字节跳动)
用于文本生成的生成对抗网络(GANs)最近受到了许多批评,因为它们的表现比MLE同行更差。我们怀疑以前的文本GANs性能较差是由于它们的判别器中缺乏可靠的指导信号。为了解决这个问题,我们提出了一个用于文本生成的生成对抗模仿学习框架,该框架使用大型预训练的语言模型来提供更可靠的奖励指导。我们的方法使用对比度优化,和近端策略优化(PPO),以稳定和提高文本生成性能。为了评估,我们进行了一组不同的无条件和有条件的文本生成任务的实验。实验结果表明,TextGAIL在质量和多样性方面都比MLE基线有更好的性能。我们还验证了我们的直觉,即TextGAIL的奖励证明了通过额外任务提供合理奖励的能力。
2021-04-26 cs.CL cs.LG
Wasserstein Generative Adversarial Networks for Online Test Generation for Cyber Physical Systems
Åbo Akademi University(奥博学术大学)
提出了一种基于Wasserstein生成对抗网络的在线测试生成算法WOGAN。WOGAN是一个通用的黑盒测试生成器,适用于任何具有用于确定失败测试的适应度函数的被测系统。作为概念证明,我们通过生成道路来评估WOGAN,使得汽车的车道辅助系统不能停留在指定车道上。我们发现,我们的算法具有竞争力的性能方面,以前公布的算法。
2022-05-23 cs.LG cs.SE
Generative Diffusion Models on Graphs: Methods and Applications
The Hong Kong Polytechnic University(香港理工大学);Michigan State University(密歇根州立大学)
本文是图生成式扩散模型的综述,梳理SMLD、DDPM、SGM三类代表性算法,总结其在分子与蛋白质建模等领域的应用,探讨未来研究方向,并搭建了相关资源的GitHub项目网站。
2023-08-25 cs.AI cs.LG cs.SI
Score-Based Generative Models for Molecule Generation
Julia Computing, Inc(Julia计算公司);Deep Forest Sciences Inc.(深林科学公司);Carnegie Mellon University(卡内基梅隆大学)
生成模型的最新进展使得探索从头分子生成的设计空间变得更加容易。然而,流行的生成模型,如GANs和规范化流,分别面临着由于对抗性训练和架构约束而导致的训练不稳定性等挑战。基于得分的生成模型通过使用分数函数近似对对数概率密度的梯度进行建模来回避这些挑战,而不是直接对密度函数进行建模,并使用退火Langevin动力学对其进行采样。我们相信,基于得分的生成模型可以开辟新的机会,在分子生成由于其架构的灵活性,如取代评分函数与SE(3)等变模型。在这项工作中,我们通过测试基于分数的分子生成模型的有效性奠定了基础。我们对来自ZINC数据集的150万个样本的自引用嵌入字符串(SELFIES)表示进行训练,并使用Moses基准测试框架来评估一套指标上生成的样本。
2022-03-07 cs.LG q-bio.QM
UNCAGE: Contrastive Attention Guidance for Masked Generative Transformers in Text-to-Image Generation
针对掩码生成Transformer在组合文本到图像生成中的属性绑定失败问题,提出无需训练的对比注意力引导方法UNCAGE,利用注意力图优先去掩码清晰对象令牌,提升组合保真度且开销极小。
2025-08-07 cs.AI cs.CV cs.LG
Utilizing Generative Adversarial Networks for Stable Structure Generation in Angry Birds
Maastricht University(马斯特里赫特大学);Flinders University(弗林德斯大学)
本文研究利用生成对抗网络为《愤怒的小鸟》生成由多个小块组成的稳定结构,通过编码解码和先进GAN架构,成功生成多样复杂且稳定的结构。
2023-09-05 cs.AI cs.LG cs.NE
Lead Sheet Generation and Arrangement by Conditional Generative Adversarial Network
Research Center for IT Innovation Academia Sinica Taipei, Taiwan
由于深度神经网络的发展,自动音乐生成的研究取得了很大进展。然而,任意流派的多乐器音乐的生成仍然是一个挑战。现有的研究要么在MIDI中发现的铅片或多轨道钢琴卷上工作,但这两种乐谱都有其局限性。在这项工作中,我们提出了一个新的任务,称为铅片安排,以避免这种限制。提出了一个新的递归卷积生成模型,以及三个新的符号域谐波特征,以促进从不成对的铅片和MIDI中学习。我们的模型可以产生铅片和他们的安排,八酒吧长。生成结果的音频样本可以在https://drive.google.com/open?上找到ID=1c0FfODTpudmLvuKBbc23VBCgQizY6-Rk
2018-07-30 cs.AI cs.LG cs.SD
Generative Models are Self-Watermarked: Declaring Model Authentication through Re-Generation
University of Melbourne(墨尔本大学);University College London(伦敦大学学院);Macquarie University(麦考瑞大学);Singapore University of Technology and Design(新加坡科技设计大学)
本文提出通过再生成检测生成模型输出中天然存在的潜在指纹,实现数据所有权归属验证,并通过迭代再生成放大指纹,在文本和图像生成模型上验证了方法的可行性与鲁棒性。
2024-02-23 cs.AI cs.CR cs.LG
Generative Adversarial Networks for text using word2vec intermediaries
University of Toronto(多伦多大学);Vector Institute(向量研究院);St Michael’s Hospital(圣迈克尔医院)
生成对抗网络(GANs)已经取得了相当大的成功,特别是在真实图像的生成方面。在这项工作中,我们采用类似的技术来生成文本。我们提出了一种新的方法来处理文本的离散性,在训练过程中,使用词嵌入。我们的方法是不可知的词汇量的大小,并取得了竞争力的结果相对于各种离散梯度估计的方法。
2019-04-04 cs.AI cs.CL cs.LG
Generative adversarial networks for generation and classification of physical rehabilitation movement episodes
University of Idaho(爱达荷大学)
本文提出了一种方法,通过使用人工神经网络的物理治疗过程中进行的患者运动情节相关的人体运动的数学建模。采用生成对抗网络结构,由此以对抗方式同时训练判别模型和生成模型。不同的网络架构进行了检查,与歧视性和生成模型结构的深层子网络的隐藏层组成的卷积或循环计算单元。该模型进行了验证的数据集上的人体运动记录与光学运动跟踪器。结果表明,新的运动实例的分类的网络的能力,并生成类似于所记录的运动序列的运动示例。
2018-12-15 cs.LG stat.ML
Generative Adversarial Networks for Synthetic Data Generation: A Comparative Study
School of Social Sciences, University of Manchester(曼彻斯特大学社会科学学院);Alliance Manchester Business School, University of Manchester(曼彻斯特大学联盟曼彻斯特商学院)
生成对抗网络(GANs)作为一种合成数据的手段越来越受到关注。到目前为止,这项工作的大部分已经应用于数据保密领域之外的用例,其中一个常见的应用是人工图像的生成。在这里,我们考虑了GANs的潜在应用,以生成合成的人口普查微观数据。我们采用了一组效用度量和披露风险度量(目标正确归因概率)来比较表格GANs产生的数据与使用传统数据合成方法产生的数据。
2021-12-03 cs.LG
Generative Deep Learning Techniques for Password Generation
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University of Bonn(波恩大学);Federal Criminal Police Office(联邦刑事警察局)
最近已经研究了通过深度学习的密码猜测方法,其在生成新颖的、现实的密码候选者的能力方面具有重大突破。在目前的工作中,我们研究了广泛的深度学习和基于概率的模型,根据密码猜测:基于注意力的深度神经网络,自动编码机制和生成对抗网络。我们在变分自编码器方面提供了新的生成式深度学习模型,表现出最先进的采样性能,产生额外的潜在空间特征,如插值和目标采样。最后,我们在一个统一的控制框架中对知名数据集(RockYou,LinkedIn,Youku,Zomato,Pwnd)进行了全面的实证分析。我们的研究结果不仅确定了由深度神经网络驱动的最有前途的方案,而且还说明了每种方法在生成变异性和样本唯一性方面的优势。
2020-12-16 cs.AI cs.CL cs.CR
Iterative Flow Matching: Path Correction and Gradual Refinement for Enhanced Generative Modeling
The University of British Columbia(不列颠哥伦比亚大学);University of Cambridge(剑桥大学)
本研究针对图像生成模型易产生幻觉的问题,提出可集成于各类生成建模技术的迭代流匹配方法,通过路径校正与渐进式优化提升图像合成的性能与鲁棒性。
2026-08-20 cs.AI cs.CV cs.LG
Privacy Evaluation of Generative Models for Trajectory Generation
School of Electrical and Computer Engineering, National Technical University of Athens(电气与计算机工程学院,国家技术大学雅典);Institute of Information Science and Technologies, National Research Council (CNR)(信息科学与技术研究所,国家研究委员会(CNR));Institute of Informatics and Teletematics, National Research Council (CNR)(信息学与电信研究所,国家研究委员会(CNR))
本文研究生成模型在轨迹生成中的隐私评估问题,揭示现有方法在隐私保护方面的不足,并通过成员推断攻击证明生成模型仍存在隐私风险。
2026-05-14 cs.LG
PAGER: Progressive Attribute-Guided Extendable Robust Image Generation
University of Southern California(南加州大学)
本文提出了一种基于连续子空间学习的生成式建模方法。与文献中的大多数生成模型不同,我们的方法不利用神经网络来分析潜在的源分布和合成图像。由此产生的方法,称为渐进属性引导的可扩展的鲁棒图像生成(PAGER)模型,具有数学透明性,渐进的内容生成,较低的训练时间,更少的训练样本的鲁棒性能,和条件图像生成的可扩展性的优势。PAGER由三个模块组成:核心生成器,分辨率增强器和质量增强器。核心生成器学习低分辨率图像的分布并执行无条件图像生成。分辨率增强器通过条件生成来增加图像分辨率。最后,质量提升器为生成的图像添加更精细的细节。在MNIST、Fashion-MNIST和CelebA数据集上进行了广泛的实验,以证明PAGER的生成性能。
2022-08-23 cs.AI cs.CV cs.LG
Objective-Reinforced Generative Adversarial Networks (ORGAN) for Sequence Generation Models
Harvard University(哈佛大学);Pagedraw(页面绘制公司);The University of Manchester(曼彻斯特大学);Canadian Institute for Advanced Research(加拿大高级研究院)
在无监督数据生成任务中,除了基于先前的观察生成样本之外,人们通常希望向模型提供提示,以便将生成偏向于期望的度量。我们提出了一种结合生成对抗网络(GANs)和强化学习(RL)的方法,以实现这一目标。虽然RL将数据生成过程偏向于任意指标,但奖励函数的GAN组件确保模型仍然记住从数据中学习到的信息。我们建立在以前的结果,结合GANs和RL,以生成序列数据,并在几种设置中测试该模型,以生成编码为文本序列(SMILES)的分子,并在音乐生成的背景下,显示对于每种情况下,我们可以有效地将生成过程偏向所需的指标。
2018-02-07 cs.LG stat.ML
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
American University of Sharjah(沙迦美国大学)
“艺术是谎言,它使我们能够认识真理。- 巴勃罗·毕加索几个世纪以来,人类一直致力于创造艺术来表达他们的想象力。技术的进步,特别是深度学习,引起了许多研究人员的注意,他们试图研究计算机和算法是否可以产生艺术。使用生成对抗网络(GANs),实现了合成逼真的人脸和从图像自动创建字幕等应用。本调查全面介绍了最近使用GANs生成视觉艺术,音乐和文学文本的作品。各种GAN架构的性能比较和描述。最后,强调了使用GANs生成艺术的一些关键挑战,并对未来的工作提出了建议。
2021-08-14 cs.AI cs.CL cs.CV
A Meta-Generation framework for Industrial System Generation
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Manufacture Française des Pneumatiques Michelin(法国米其林轮胎制造公司)
针对工业生成式设计领域深度生成模型缺乏基准、普通模型难生成受约束多组件工业系统的问题,提出工业导向基准用例与可生成多组件工业系统的Meta-VAE元生成框架。
2023-06-08 cs.LG
Generative Cooperative Networks for Natural Language Generation
ISIR - Sorbonne Université(索邦大学ISIR研究所);ReciTAL(ReciTAL公司);IRISA(IRISA研究所);IMATAG(IMATAG公司);CNRS(法国国家科学研究中心)
生成对抗网络(GANs)在许多连续生成任务中取得了巨大的成功,特别是在图像生成领域。然而,对于离散输出(如语言),优化GANs仍然是一个具有许多不稳定性的开放问题,因为没有梯度可以正确地从GAN输出反向传播到生成器参数。另一种方法是通过强化学习来学习生成器网络,使用激励信号作为奖励,但这种技术存在移动奖励和消失梯度问题。最后,与直接最大似然方法相比,它往往不足。在本文中,我们介绍了生成的合作网络,在其中协同使用的生成策略,以输出现实的文本样本手头的任务的协同架构。我们给我们的方法的收敛性的理论保证,并研究各种有效的解码方案,以经验达到国家的最先进的结果,在两个主要的NLG任务。
2022-01-28 cs.CL cs.LG
Innovative Drug-like Molecule Generation from Flow-based Generative Model
University of Pittsburgh(匹兹堡大学);Carnegie Mellon University(卡内基梅隆大学)
为了通过使用深度学习方法来设计给定生物分子的药物,最近发表了许多成功的模型。人们通常使用生成模型来设计特定蛋白质的新分子。LiGAN被认为是在卷积神经网络上开发的深度学习模型的基线。最近,GraphBP展示了其预测创新的“真实”化学品的能力,通过使用基于流的生成模型与图神经网络和多层感知,结合亲和力优于传统的分子对接方法。然而,这些方法都将蛋白质视为刚体,只包括与结合有关的蛋白质的很小一部分。然而,蛋白质的动力学对于药物结合是必不可少的。基于GraphBP,我们提出了产生更多的固体工作来自蛋白质数据库。将使用计算化学算法通过有效性和结合亲和力评价结果。
2022-11-12 cs.LG
RecipeGPT: Generative Pre-training Based Cooking Recipe Generation and Evaluation System
Singapore Management University(新加坡管理大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在过去的几年里,由于大量的在线烹饪食谱,人们对烹饪食谱自动生成的兴趣一直在稳步增长。我们提出RecipeGPT,一种新的在线配方生成和评价系统。该系统提供两种文本生成模式:(1)根据给定的食谱标题和配料生成指令;(2)根据食谱标题和烹饪指令生成配料。其后端文本生成模块包括一个生成的预训练语言模型GPT-2,该模型在大型烹饪食谱数据集上进行了微调。此外,配方评估模块允许用户方便地检查所生成的配方内容的质量并存储结果以供将来参考。RecipeGPT可以在https://recipegpt.org/上在线访问。
2020-03-05 cs.CL cs.IR cs.LG
Generative Modeling by Inclusive Neural Random Fields with Applications in Image Generation and Anomaly Detection
Tsinghua University(清华大学)
神经随机场(NRF),是指一类使用神经网络来实现随机场中的势函数的生成模型(也称为基于能源的模式)并不是新的,但由于进展缓慢而受到的关注较少。与生成对抗网络(GANs)等各种有向图模型不同,NRF为生成建模提供了一系列有趣的无向图模型。在本文中,我们提出了一种新的方法,包括NRF的方法,学习NRF连续数据(如图像),通过引入包括发散最小化辅助生成器和发展随机梯度采样在增广空间。基于新的方法,具体的包容性NRF模型的开发和深入评估两个重要的生成建模应用程序-图像生成和异常检测。所提出的模型在这两个应用程序中始终改善了最先进的结果。值得注意的是,除了卓越的样本生成之外,我们的包容性NRF方法的另一个好处是,与GANs不同,它可以直接为样本评估提供(非归一化)密度估计。这些贡献和成果,本文显着推进NRFs的学习和应用到一个新的水平,在理论和实证,这是从来没有得到过的。
2020-07-22 cs.LG stat.ML
Generative Design Ideation: A Natural Language Generation Approach
Singapore University of Technology and Design(新加坡科技设计大学)
本文旨在探索一种基于知识的设计思维生成方法,通过应用人工智能(AI)中最新的预训练语言模型。具体而言,提出了一种使用USPTO专利数据库微调生成预训练的Transformer的方法。人工智能生成的思想不仅语言简洁易懂,而且能够将目标设计与外部知识源进行综合,知识距离可控。在滚动玩具设计的案例研究中对该方法进行了测试,结果表明,该方法在利用近场和远场源知识生成各种新颖创意方面具有良好的性能。
2022-03-28 cs.CL cs.LG
Explore the Expression: Facial Expression Generation using Auxiliary Classifier Generative Adversarial Network
AZAD Research Lab(AZAD研究实验室);Sweden(瑞典(注:此处Sweden为国家,非机构,根据要求应忽略。但原HTML中“Affiliation: Sweden”可能是笔误或格式错误,若仅保留明确的机构名“AZAD Research Lab”)。修正后应为:{)
面部表情是一种非语言交流的形式,人类可以无缝地进行有意义的信息传递。大多数文献都涉及面部表情识别方面,然而,随着生成模型的出现,除了对一组表情进行分类之外,还可以探索情感空间。在这篇文章中,我们提出了一个生成模型架构,强大地生成一组面部表情的多个字符的身份,并探讨了通过结合简单的生成复杂的表情的可能性。
2022-02-08 cs.CV cs.GR cs.LG
If generative AI is the answer, what is the question?
University of Michigan(密歇根大学)
本文探讨生成式AI的基础,分析其与预测、压缩和决策的关系,并介绍生成模型家族及社会负责任生成的关键问题。
2025-12-11 cs.LG stat.ML
Is Generation Required for Data-Efficient Perception?
研究生成式与非生成式方法实现组合泛化的程度,通过理论刻画归纳偏差,表明生成范式可能更易实现组合泛化,实验发现生成式方法泛化性更好。
2026-07-07 cs.CV cs.LG
Graph-based Deep Generative Modelling for Document Layout Generation
Computer Vision Center(计算机视觉中心);Universitat Autònoma de Barcelona(巴塞罗那自治大学);Indian Statistical Institute(印度统计研究所)
任何深度学习方法的主要先决条件之一是大规模训练数据的可用性。当在现实世界中处理扫描的文档图像时,其内容的主要信息存储在布局本身中。在这项工作中,我们提出了一个自动化的深度生成模型,使用图神经网络(GNNs)来生成具有高度可变和合理的文档布局的合成数据,这些文档布局可用于训练文档解释系统,在这种情况下,特别是在数字邮件收发室应用中。这也是第一个基于图形的方法,用于在管理文档图像(在本例中为发票)上进行的文档布局生成任务。
2021-07-09 cs.CV cs.LG
Generative Restricted Kernel Machines: A Framework for Multi-view Generation and Disentangled Feature Learning
KU Leuven(鲁汶大学)
本文介绍了一种新的框架,生成模型的基础上限制核机器(RKM)与联合多视图生成和不相关的特征学习,称为Gen-RKM。为了实现联合多视图生成,该机制使用来自各种视图的数据的共享表示。此外,该模型具有原始和对偶公式,以将基于内核的模型和基于(深度卷积)神经网络的模型合并在同一设置中。当使用神经网络作为显式特征映射时,提出了一种新的训练过程,该过程联合学习特征和共享子空间表示。隐变量由核矩阵的特征分解给出,其中特征向量的相互正交性表示所学习的不相关特征。实验表明,通过对各种标准数据集上生成的样本进行定性和定量评估,该框架具有潜力。
2020-12-17 cs.LG stat.ML