Constrained Flow Optimization via Sequential Fine Tuning for Molecular Design
Department of Computer Science, ETH Zurich(苏黎世联邦理工学院计算机科学系);Institute of Chemical and Bioengineering, Department of Chemistry and Applied Biosciences, ETH Zurich(苏黎世联邦理工学院化学与生物工程研究所);ETH AI Center(苏黎世联邦理工学院人工智能中心)
提出约束流优化(CFO)算法,通过将约束生成优化问题转化为序列微调,在分子设计中平衡奖励最大化与约束满足。
2026-05-28 cs.LG
Data Generation as Sequential Decision Making
McGill University(麦吉尔大学)
我们通过对顺序决策的共同依赖,将广泛的生成模型连接起来。出于这种观点,我们开发扩展到现有的模型,然后进一步探索的想法,在数据估算的背景下-也许是最简单的设置,其中调查无条件和条件生成建模之间的关系。我们制定数据填补作为一个MDP和开发的模型能够代表有效的政策,我们使用神经网络构建的模型和训练他们使用一种形式的指导政策搜索。我们的模型通过反馈和改进的迭代过程生成预测。我们表明,这种方法可以学习不同难度和跨多个数据集的插补问题的有效政策。
2015-11-03 cs.LG stat.ML
Level Generation for Angry Birds with Sequential VAE and Latent Variable Evolution
University of Tsukuba(筑波大学);RIKEN AIP(理化学研究所革新智能统合研究中心)
基于机器学习(ML)(特别是深度生成模型)的视频游戏关卡生成作为自动化关卡生成的技术已经引起了关注。然而,现有的基于ML的级别生成的应用大多限于基于瓦片的级别表示。当ML技术应用于具有非基于瓦片的等级表示的游戏域时,例如愤怒的小鸟,其中等级中的对象由实值参数指定,ML通常无法生成可玩的等级。在这项研究中,我们为愤怒的小鸟游戏领域开发了一个基于深度生成模型的关卡生成。为了克服这些缺点,我们提出了一个顺序编码的水平和处理它作为文本数据,而现有的方法采用基于瓦片的编码和处理它作为一个图像。实验结果表明,与现有方法相比,该方法大大提高了生成层次的稳定性和多样性。我们应用潜变量进化与建议的发电机控制的功能,通过AI代理的发挥计算生成的水平,同时保持水平稳定和自然。
2021-04-13 cs.AI
Agentic Personalisation of Cross-Channel Marketing Experiences
Paris France(法国巴黎);Durham USA(美国达勒姆);Antwerp Belgium(比利时安特卫普);Mumbai India(印度孟买);Cary USA(美国卡里)
本文提出基于双重差分和汤普森采样的序贯决策策略,用于跨渠道营销的个性化编排,已在1.5亿用户中显著提升多种目标事件的增量参与度。
2025-06-19 cs.AI cs.IR cs.LG
Reinforcement Learning: From Algorithms To Foundation Models
本文从游戏算法和基础模型时代的RL两个视角展开研究,前者聚焦多智能体RL中相关概念的相互作用,后者利用生成和基础模型丰富序列决策,开发多种模型并进行相关研究,呈现RL在复杂序列域的统一视图,突出其连接多方面的作用。
2026-07-21 cs.AI
Dual-Rerank: Fusing Causality and Utility for Industrial Generative Reranking
Kuaishou Technology(快手科技);Unaffiliated(无单位)
本文提出Dual-Rerank框架,通过序列知识蒸馏解决结构矛盾,利用列表式解耦重排优化解决优化差距,提升重排效率与用户满意度。
2026-04-08 cs.IR cs.LG
GENESIS: Generative Scene Inference and Sampling with Object-Centric Latent Representations
University of Oxford(牛津大学)
生成式潜变量模型正在成为机器人和强化学习中很有前途的工具。然而,即使在这些领域的任务通常涉及不同的对象,最先进的生成模型没有明确捕捉视觉场景的组成性质。最近的两个例外,MONet和IODINE,以无监督的方式将场景分解为对象。然而,它们的基本生成过程并不考虑组件的相互作用。因此,它们都不允许对小说场景进行有原则的采样。在这里,我们提出了GENESIS,第一个以对象为中心的生成模型的3D视觉场景能够分解和生成场景捕捉场景组件之间的关系。GENESIS参数化的空间GMM的图像是从一组以对象为中心的潜在变量,要么推断顺序摊销的方式或从自回归先验采样解码。我们训练GENESIS几个公开可用的数据集,并评估其性能的场景生成,分解,和半监督学习。
2020-11-23 cs.CV cs.LG cs.NE
Conformal Generative Modeling with Improved Sample Efficiency through Sequential Greedy Filtering
Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Tübingen AI Center(图宾根人工智能中心);ELLIS Institute Tübingen(ELLIS图宾根研究所)
本文提出 SCOPE-Gen,利用顺序贪心过滤与马尔可夫式保形控制生成具有可接受性保证的预测集,显著减少专家评估次数并缩小集合规模。
2025-02-15 cs.AI cs.LG
Generative Models from the perspective of Continual Learning
ENSTA ParisTech(巴黎高等科技学院);INRIA(法国国家信息与自动化研究所);Thales(泰雷兹集团);Softbank Robotics Europe(软银机器人欧洲公司)
哪种生成模型最适合持续学习?本文旨在评估和比较不相交的序列图像生成任务的生成模型。我们研究了几个模型如何学习和忘记,考虑各种策略:排练,正则化,生成重放和微调。我们使用了两个定量指标来估计生成质量和记忆能力。我们在三个常用的持续学习基准测试(MNIST,Fashion MNIST和CIFAR10)上进行了顺序任务的实验。我们发现,在所有模型中,原始的GAN表现最好,在持续学习策略中,生成重放优于所有其他方法。即使我们在MNIST和Fashion MNIST上找到了令人满意的组合,在CIFAR10上连续训练生成模型也特别不稳定,仍然是一个挑战。我们的代码可在线获取\footnote{\url{https://github.com/TLESORT/Generative\_Continual\_Learning}}。
2018-12-21 cs.AI cs.CV cs.LG
Sequential IoT Data Augmentation using Generative Adversarial Networks
University of Applied Sciences(应用科学大学);Information Technologies Institute(信息技术研究所)
工业应用中的顺序数据可用于训练和评估机器学习模型(例如分类器)。由于收集有代表性的数据量是困难和耗时的,因此有动机从一个小的地面事实中生成它。数据增强是一种通过先验知识生成更多数据的常用方法,其中一种特定方法称为生成对抗网络(GANs),可以从噪声中生成数据。本文研究了使用GANs来增强连续物联网(IoT)数据的可能性,并通过一个示例实现来生成有游泳池和没有游泳池的家庭能耗数据。示例实现的结果在主观上似乎与原始数据相似。除了这种主观评价之外,如果提供标签,本文还介绍了GANs的定量评价技术。评估的积极结果支持了最初的假设,即从小的地面实况生成连续数据是可能的。这意味着可以缩短连续数据的繁琐的数据采集。在未来,本文的结果可能会作为机器学习的工具,解决小数据的挑战。
2021-01-13 cs.LG
GenRec: Generative Sequential Recommendation with Large Language Models
University of Michigan(密歇根大学)
将序列推荐视为序列到序列生成任务,提出基于大型语言模型的轻量级生成式模型GenRec,采用掩码物品预测目标学习双向序列模式,在多个公开数据集上取得最先进结果。
2024-08-29 cs.AI cs.CL cs.IR
Multimodal Sequential Generative Models for Semi-Supervised Language Instruction Following
The University of Tokyo(东京大学)
能够遵循语言指令的智能体预计在各种情况下都是有用的,例如导航。然而,训练基于神经网络的智能体需要大量成对的轨迹和语言。本文提出了使用多模态生成模型的半监督学习的指令遵循任务。该模型学习成对数据的共享表示,并通过该表示重构未成对数据来实现半监督学习。将模型应用于序列到序列任务(包括指令遵循)的关键挑战是学习可变长度多模态数据的共享表示并纳入注意力机制。为了解决这些问题,本文提出了一种新的网络架构,以吸收多模态数据的序列长度的差异。此外,为了进一步提高性能,本文展示了如何将基于生成模型的方法与现有的半监督方法(称为说话者跟随模型)相结合,并提出了一个正则化项,可以使用不成对的轨迹来改进推理。在BabyAI和R2 R环境下的实验结果表明,该方法利用非配对数据提高了指令遵循的性能,并将R2 R环境下说话人跟随模型的性能提高了2 ~ 4%.
2022-12-29 cs.AI cs.CL cs.LG
PRISM: Purified Representation and Integrated Semantic Modeling for Generative Sequential Recommendation
Jilin University(吉林大学);City University of Hong Kong(香港城市大学)
PRISM通过纯化表示和集成语义建模解决生成式序列推荐中的语义不纯和信息丢失问题,提升推荐性能。
2026-01-23 cs.AI cs.IR cs.LG
Generative Enriched Sequential Learning (ESL) Approach for Molecular Design via Augmented Domain Knowledge
National Research Council Canada(加拿大国家研究委员会);University of Ottawa(渥太华大学);Vector Institute for Artificial Intelligence(向量人工智能研究所);Brock University(布鲁克大学)
部署生成机器学习技术以基于分子指纹表示生成新的化学结构已经在分子设计中得到很好的建立。通常,序列学习(SL)方案,如隐马尔可夫模型(HMM),以及最近在序列深度学习背景下,递归神经网络(RNN)和长短期记忆(LSTM)被广泛用作生成模型,以发现前所未有的分子。为此,在不考虑特定化学或物理性质的情况下,原子两种状态之间的发射概率起着核心作用。缺乏监督的领域知识可能会误导学习过程,使其相对偏向于在训练数据中观察到的不一定感兴趣的流行分子。我们通过用领域知识增强训练数据来缓解这一缺点,例如药物相似性评分(QED)的定量估计。因此,我们的实验表明,通过这种称为丰富序列学习(ESL)的微妙技巧,可以更好地学习特定的感兴趣模式,从而产生具有改善的QED的从头分子。
2022-04-05 cs.LG q-bio.BM
Composite Travel Generative Adversarial Networks for Tabular and Sequential Population Synthesis
Concordia University(康考迪亚大学);Ryerson University(瑞尔森大学)
基于代理人的交通建模已成为标准,以模拟旅行行为,流动性选择和活动偏好,使用整个人口的分类旅行需求数据,这些数据通常不易获得。为此目的提出了各种方法来综合人口数据。我们提出了一种复合旅行生成对抗网络(CTGAN),这是一种新型的深度生成模型,用于估计人口的潜在联合分布,能够重建具有表格(例如年龄和性别)以及连续移动数据(例如行程轨迹和序列)的复合合成代理。CTGAN模型与其他最近提出的方法,如变分自编码器(VAE)的方法,这表明在高维表格人口合成的成功。我们根据分布相似性、多变量相关性和时空度量来评估合成输出的性能。结果表明,一致和准确的生成合成人口和他们的表格和空间顺序的属性,在不同的空间尺度和尺寸。
2020-04-15 cs.LG cs.MA stat.ML
Feature Selection as Deep Sequential Generative Learning
Arizona State University(亚利桑那州立大学);University of Kansas(堪萨斯大学);NEC Laboratories America Inc(美国NEC实验室)
本研究将特征选择重构为深度序列生成学习任务,通过深度变分Transformer模型提炼特征知识、学习嵌入空间,结合效用评估器梯度指导与自回归解码生成最优特征子集,兼具有效性与通用性。
2024-03-06 cs.LG
Generative Diffusion Models for Sequential Recommendations
University of Padua(帕多瓦大学);Technical University of Denmark(丹麦技术大学)
本文提出 DiffuRecSys,通过分布化物品嵌入、偏移噪声与交叉注意力改进扩散式序列推荐,并在三个基准上验证其优于现有基线。
2024-10-25 cs.LG
Parameter-Conditioned Sequential Generative Modeling of Fluid Flows
Stanford University(斯坦福大学);Texas A & M University(德克萨斯农工大学)
与模拟流体流动相关联的计算成本可能使得在多个流动条件下运行许多模拟是不可行的。基于生成式建模的概念,我们引入了一种新的方法来学习神经网络模型,能够对流体流动进行有效的参数化模拟。评估其模拟二维和三维流体流动的能力,训练的模型被证明可以在各种流动条件下捕获流场的局部和全局特性。此外,由训练模型生成的流动模拟被示出为比相应的计算流体动力学模拟快几个数量级。
2019-12-14 cs.LG physics.comp-ph stat.ML
Semi-supervised Sequential Generative Models
University of Oxford(牛津大学);MIT(麻省理工学院);University of British Columbia(不列颠哥伦比亚大学);Montréal Institute for Learning Algorithms (MILA)(蒙特利尔学习算法研究所)
我们引入了一个新的目标,用于训练具有离散潜变量的深度生成时间序列模型,其中监督仅稀疏可用。这种半监督学习的实例对于现有方法是具有挑战性的,因为可能的离散潜在配置的指数数量导致高方差梯度估计。我们首先通过使用重新加权的唤醒-睡眠扩展标准的半监督生成建模目标来克服这个问题。然而,我们发现,当训练序列之间可用标签的频率不同时,这种方法仍然会受到影响。最后,我们引入了一个统一的目标启发教师强迫,并表明这种方法是强大的可变长度的监督。我们称这种方法为含咖啡因的唤醒-睡眠(CWS),以强调其对真实数据的额外依赖。我们证明了它的有效性MNIST,手写,果蝇轨迹数据的实验。
2020-06-30 cs.LG stat.ML
Conditional Denoising Diffusion for Sequential Recommendation
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Salesforce(赛富时)
针对GAN和VAE在序列推荐中的优化不稳定、后验坍缩等问题,提出含序列编码器、交叉注意力去噪解码器和逐步扩散器的条件去噪扩散模型,并结合交叉散度与对比损失,在四个基准数据集上验证了优越性能。
2023-04-22 cs.AI cs.IR cs.LG
Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder
Shanghai Jiao Tong University(上海交通大学)
深度生成模型已经证明了它们在学习潜在表示和建模时间序列的复杂依赖关系方面的有效性。本文提出了一种用于多维时间序列鲁棒估计和异常检测的平滑诱导序贯变分自动编码器(SISVAE)模型。我们的模型是基于变分自动编码器(VAE),其骨干是由一个递归神经网络来捕获潜在的时间序列的生成模型和推理模型的时间结构。具体来说,我们的模型参数化的均值和方差为每个时间戳与灵活的神经网络,从而在一个非平稳模型,可以工作,而无需假设恒定的噪声通常由现有的马尔可夫模型。然而,这种灵活性可能导致模型对异常脆弱。为了实现强大的密度估计,这也可以有利于检测任务,我们提出了一个平滑诱导先验可能的估计。所提出的先验可以作为一个正则化器,在非光滑重建时进行惩罚。我们的模型是有效地学习一种新的随机梯度变分贝叶斯估计。特别地,我们研究了异常检测的两个决策准则:重建概率和重建误差。我们展示了我们的模型在合成数据集和公共真实世界基准上的有效性。
2021-02-02 cs.AI cs.LG
Solving Linear-Gaussian Bayesian Inverse Problems with Decoupled Diffusion Sequential Monte Carlo
Department of Computer and Information Science (IDA), Linköping University, Sweden(计算机与信息科学系(IDA),_linköping大学,瑞典)
本文提出了一种基于解耦扩散的序列蒙特卡洛方法(DDSMC),用于求解线性高斯贝叶斯逆问题,该方法允许对样本进行更大更新且渐近精确,并在合成、蛋白质及图像数据上验证了有效性,同时可扩展至离散数据。
2025-10-10 cs.AI cs.LG stat.ML
Stochastic WaveNet: A Generative Latent Variable Model for Sequential Data
Carnegie Mellon University(卡内基梅隆大学)
如何对包括但不限于语音和人体运动的序列数据的分布进行建模是一个重要的正在进行的研究问题。已经证明,通过在递归神经网络的隐状态中引入随机潜变量,可以显着提高模型容量。同时,WaveNet,配备了膨胀卷积,在自然语音生成任务中取得了惊人的经验表现。在本文中,我们结合了随机潜变量和扩张卷积的思想,并提出了一种新的体系结构来建模序列数据,称为随机WaveNet,其中随机潜变量被注入到WaveNet结构中。我们认为,随机WaveNet具有强大的分布建模能力和扩张卷积并行训练的优势。为了有效地推断潜变量的后验分布,基于WaveNet体系结构的特点,设计了一种新的推理网络结构。Stochastic WaveNet在自然语音建模方面获得了基准数据集上的最先进性能,并且还可以生成高质量的人类笔迹样本。
2018-06-15 cs.LG stat.ML
CALRec: Contrastive Alignment of Generative LLMs for Sequential Recommendation
University of Cambridge(剑桥大学);Google(谷歌公司)
提出CALRec两阶段LLM微调框架,结合对比损失与语言建模损失,显著提升序列推荐性能并超越基线。
2024-08-23 cs.AI cs.CL cs.IR
Stochastic Primal-Dual Decoding for Multiobjective Generative Recommender Systems
Spotify(声田公司)
研究多目标生成推荐系统,提出轻量级推理时解码层,通过随机原始对偶近似方案平衡相关性与辅助目标,经实验验证可在多目标权衡上持续改进,提升辅助目标且不影响用户满意度。
2026-07-23 cs.AI cs.LG
Sequential Attend, Infer, Repeat: Generative Modelling of Moving Objects
University of Oxford(牛津大学)
我们提出了顺序参与,推断,重复(SQAIR),这是一种可解释的深度生成模型,用于移动对象的视频。它可以在整个帧序列中可靠地发现和跟踪对象,并且还可以根据当前帧生成未来帧,从而模拟对象的预期运动。这是通过在模型的潜变量中显式编码对象的存在、位置和外观来实现的。SQAIR保留了其前身的所有优势,参加,推断,重复(AIR,Eslami等。例如,2016),包括以无监督的方式学习,并解决其缺点。我们使用一个移动的多MNIST数据集来显示AIR在检测重叠或部分遮挡对象时的局限性,并展示SQAIR如何通过利用对象的时间一致性来克服这些局限性。最后,我们还将SQAIR应用于现实世界的行人CCTV数据,在那里它学会了在没有监督的情况下可靠地检测、跟踪和生成步行行人。
2018-11-21 cs.CV cs.LG stat.ML
PANTHER: Generative Pretraining Beyond Language for Sequential User Behavior Modeling
Shanghai Jiao Tong University(上海交通大学);WeChat Pay, Tencent(微信支付,腾讯);Shanghai Innovation Institute(上海创新研究院);City University of Hong Kong(香港城市大学);Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
PANTHER通过生成预训练方法,结合生成与判别模型,实现用户行为序列的高效建模,提升交易预测和欺诈检测性能。
2026-03-30 cs.LG
Beyond Sequential Prediction: Learning Financial Market Dynamics in Volatile and Non-Stationary Environments through Sentiment-Conditioned Generative Modelling
Department of Mechanical Engineering and Aeronautics, University of Patras(帕特拉斯大学机械工程与航空系);FICC Market Risk, BNP Paribas CIB(BNP巴黎银行投行部市场风险部)
本文提出一种集成上下文对抗学习模型,结合生成对抗网络与自然语言处理获取的文本情感信息,提升股票价格预测的可靠性,实验证明其优于传统ARIMA和LSTM模型。
2026-05-04 cs.LG q-fin.ST
Interactive Optimization of Generative Image Modeling using Sequential Subspace Search and Content-based Guidance
The University of Tokyo(东京大学);National Taiwan University(台湾大学)
生成式图像建模技术,如GAN,展示了高度令人信服的图像生成结果。然而,用户交互往往是必要的,以获得所需的结果。现有的尝试增加了交互性,但需要定制的架构或额外的数据。我们提出了一个人的优化方法,允许用户直接探索和搜索生成图像建模的潜在向量空间。我们的系统通过对潜在向量空间进行采样来提供多个候选项,并且用户使用多个滑块来选择子空间内的最佳混合权重。此外,用户可以通过图像编辑工具表达自己的意图。系统基于输入对潜在向量进行采样,并迭代地向用户呈现新的候选。我们的公式的一个优点是,人们可以将我们的方法应用于任意的预训练模型,而无需开发专门的架构或数据。我们用各种生成图像建模应用程序演示了我们的方法,并在与现有技术iGAN的比较用户研究中显示出优异的性能。
2020-08-29 cs.CV cs.GR cs.HC
Sequential Flow Straightening for Generative Modeling
Kim Jaechul Graduate School of AI(金在哲人工智能研究生院)
针对连续时间生成模型中ODE轨迹高曲率导致的截断误差与采样慢问题,提出SeqRF方法拉直概率流,有效降低全局截断误差,在CIFAR-10等数据集上实现采样加速并提升合成质量。
2024-02-15 cs.CV cs.LG stat.ML
Generative Archetype-Grounded Item Representations for Sequential Recommendation
The Chinese University of Hong Kong(香港中文大学);McGill University(麦吉尔大学);Tongji University(同济大学)
提出GenAIR框架,利用大语言模型生成物品原型描述并提取嵌入,结合行为校准目标弥合语义与行为差距,显著提升序列推荐性能。
2026-06-09 cs.CL cs.IR cs.LG
Scaling Generative Recommendations with Context Parallelism on Hierarchical Sequential Transducers
Meta Platforms(Meta平台)
本文为HSTU注意力引入支持锯齿状张量的上下文并行技术,解决生成式推荐中扩展用户历史序列长度时的激活内存瓶颈,使序列长度提升5.3倍,并结合DDP实现1.55倍扩展因子。
2025-08-16 cs.IR cs.LG
Generative Path-Law Jump-Diffusion: Sequential MMD-Gradient Flows and Generalisation Bounds in Marcus-Signature RKHS
College of Engineering and Computer Science, VinUniversity(VinUniversity工程与计算机科学学院);University of Paris 6(巴黎第六大学);Quant Finance Ltd(Quant Finance有限公司)
本文提出了一种生成框架,通过序列匹配问题生成与时间演变路径-律代理一致的连续路径,结合预期结构断裂、制度转换和非自主动力学。核心方法是Anticipatory Neural Jump-Diffusion流,通过动态谱白化确保在波动制度转换和离散随机冲击中保持收缩性。
2026-04-06 cs.LG q-fin.MF q-fin.ST
Sequential Models in the Synthetic Data Vault
MIT(麻省理工学院);The Synthetic Data Vault team(合成数据库团队)
本文的目标是描述一个系统,用于生成合成序列数据内的合成数据保险库。为了实现这一点,我们提出了SDV中的Sequential模型,这是一个端到端框架,可以为多序列的真实世界数据构建生成模型。这包括一种新的基于神经网络的机器学习模型,条件概率自回归(CPAR)模型。整个系统和模型可在开源合成数据库(SDV)库{https://github.com/sdv-dev/SDV}中找到,同时还有各种其他模型可满足不同的合成数据需求。在构建了Sequential SDV之后,我们使用它来生成合成数据,并将其质量与现有的基于非顺序生成对抗网络的模型CTGAN进行比较。为了将序列合成数据与其真实对应物进行比较,我们发明了一种称为多序列聚合相似性(MSAS)的新度量。我们使用它来得出结论,我们的顺序SDV模型比非顺序模型学习更高级别的模式,而无需在合成数据质量方面进行任何权衡。
2022-07-28 cs.LG cs.MS
Actions Speak Louder than Words: Trillion-Parameter Sequential Transducers for Generative Recommendations
Meta AI
本文提出生成式推荐框架及 HSTU 架构,将推荐重构为序列转导任务,在 NDCG 和速度上显著超越基线,并展示万亿参数模型随计算量幂律扩展,已在线部署并提升指标 12.4%。
2024-05-06 cs.IR cs.LG
Powering Hidden Markov Model by Neural Network based Generative Models
KTH Royal Institute of Technology(KTH皇家理工学院);Karolinska Institute(卡罗林斯卡学院)
隐马尔可夫模型(HMM)已成功地用于序列数据建模问题。在这项工作中,我们提出了权力的建模能力的HMM引入神经网络为基础的生成模型。该模型被称为GenHMM。在建议的GenHMM中,每个HMM隐藏状态与基于神经网络的生成模型相关联,该生成模型具有精确似然的可处理性,并提供有效的似然计算。GenHMM中的生成模型由流模型实现的生成器的混合组成。在期望最大化框架下提出了一种GenHMM的学习算法。分析了学习后的GenHMM的收敛性。我们证明了GenHMM的有效性,通过实际的序列数据的分类任务。代码可在https://github.com/FirstHandScientist/genhmm获得。
2020-05-24 cs.LG stat.ML
Generative Adversarial Network for Handwritten Text
Zhejiang University(浙江大学);Microsoft Cloud & AI(微软云与AI)
生成对抗网络(GANs)在图像处理的各种应用中已经证明是非常成功的。然而,由于卷积神经网络(CNN)难以处理连续的手写数据,手写生成对抗网络相对较少。在本文中,我们提出了一个手写生成对抗网络框架(HWGANs)合成手写笔画数据。新框架的主要特征包括:(i)一个由集成的CNN-长短期记忆(LSTM)为基础的特征提取与路径签名特征(PSF)作为输入和前馈神经网络(FNN)为基础的二进制分类器组成的分类器;(ii)一个循环潜在变量模型作为生成器,用于合成顺序手写数据。数值试验表明了新模型的有效性。与单一手写体生成器相比,HWGAN生成的手写体文本更加自然逼真。
2020-02-27 cs.CV cs.LG
DimeRec: A Unified Framework for Enhanced Sequential Recommendation via Generative Diffusion Models
University of Science and Technology of China(中国科学技术大学);Kuaishou Inc.(快手公司);Sun Yat-Sen University(中山大学)
针对序列推荐中物品表示与多样性难以同时优化的挑战,提出DimeRec框架,结合指导提取模块与生成式扩散聚合模块,在三个公开数据集及大规模短视频平台上显著提升了推荐效果与多样性。
2024-08-22 cs.IR cs.LG
MuseGAN: Multi-track Sequential Generative Adversarial Networks for Symbolic Music Generation and Accompaniment
Research Center for Information Technology Innovation, Academia Sinica(中央研究院信息技术创新研究中心);Department of Computer Science, National Tsing Hua University(国立清华大学计算机科学系)
生成音乐与生成图像和视频有一些显著的不同。首先,音乐是时间的艺术,需要时间模型。第二,音乐通常由多种乐器/曲目组成,它们具有各自的时间动态,但它们随着时间的推移相互依赖地共同展开。最后,在复调音乐中,音符通常被分为和弦、琶音或旋律,因此引入音符的时间顺序自然不合适。在本文中,我们提出了三个模型下的生成对抗网络(GANs)的框架下的符号多轨音乐生成。这三种模型在基本假设和相应的网络架构上有所不同,它们被称为干扰模型、合成器模型和混合模型。我们在超过10万条摇滚音乐的数据集上训练了所提出的模型,并将其应用于生成五个曲目的钢琴卷:低音,鼓,吉他,钢琴和弦乐。除了主观用户研究之外,还提出了一些轨道内和轨道间的客观指标来评估生成结果。我们证明了我们的模型可以从头开始生成四个小节的连贯音乐(即没有人类输入)。我们还将我们的模型扩展到人类-AI合作音乐生成:给定人类创作的特定曲目,我们可以生成四个额外的曲目来陪伴它。所有代码,数据集和渲染的音频样本都可以在www.example.com上获得。
2017-11-24 cs.AI cs.LG cs.SD
Ctrl-GenAug: Controllable Generative Augmentation for Medical Sequence Classification
National-Regional Key Technology Engineering Laboratory for Medical Ultrasound(国家级区域医疗超声关键技术工程实验室);School of Biomedical Engineering(生物医学工程学院);Medical School(医学院);Shenzhen University(深圳大学);Medical UltraSound Image Computing (MUSIC) Lab(医学超声图像计算(MUSIC)实验室);School of Artificial Intelligence(人工智能学院);The Hong Kong University of Science and Technology(香港科学与技术大学);Department of Electronic and Computer Engineering(电子与计算机工程系);The University of Manchester(曼彻斯特大学);The Third Affiliated Hospital of Sun Yat-sen University(中山大学第三附属医院);Longgang District People’s Hospital of Shenzhen(深圳龙岗区人民医院);The Second Affiliated Hospital of The Chinese University of Hong Kong(香港中文大学第二附属医院);School of Biomedical Engineering and Informatics(生物医学工程与信息学学院);NIHR Manchester Biomedical Research Centre(NIHR曼彻斯特生物医学研究中心)
Ctrl-GenAug通过可控生成增强方法提升医学序列分类性能,解决语义和序列可控性不足及噪声样本问题。
2026-02-18 cs.AI cs.CV cs.LG
Sequential Data Augmentation for Generative Recommendation
Snap Inc.(Snap公司)
本文研究了生成推荐中数据增强的影响,提出了一种系统化的框架GenPAS,通过三种受偏步骤统一了多种增强策略,提升了模型的准确率、数据效率和参数效率。
2026-05-20 cs.IR cs.LG
Generative Adversarial Networks for Annotated Data Augmentation in Data Sparse NLU
Amazon(亚马逊)
数据稀疏性是会话代理的自然语言理解(NLU)中与模型开发相关的关键挑战之一。对监督学习通常需要的高质量注释话语的需求使挑战变得更加复杂,通常导致数周的手工劳动和高成本。在本文中,我们提出了我们的结果,通过训练数据增强使用顺序生成对抗网络(GAN)提高NLU模型的性能。我们探讨数据生成的上下文中的两个任务,一个新的语言的引导和低资源功能的处理。对于这两个任务,我们探索了三个顺序的GAN架构,一个具有令牌级奖励功能,另一个具有我们自己实现的令牌级Monte Carlo推出奖励,第三个具有令牌级奖励。我们评估了这些反馈模型在几种采样方法中的性能,并将我们的结果与将原始数据上采样到相同规模的结果进行了比较。我们通过预训练嵌入的迁移学习进一步提高了GAN模型的性能。我们的实验表明,使用顺序生成对抗网络生成的合成数据在多个指标上提供了显着的性能提升,并且可以成为NLU任务的主要优势。
2020-12-09 cs.CL cs.LG
CoT: Cooperative Training for Generative Modeling of Discrete Data
Shanghai Jiao Tong University(上海交通大学);Stanford University(斯坦福大学)
本文研究了序列离散数据的生成模型。为了解决最大似然估计(MLE)中固有的暴露偏差问题,引入生成对抗网络(GANs)来惩罚不切实际的生成样本。为了充分利用来自数据库的监督信号,大多数以前的模型利用REINFORCE来解决连续离散数据的不可微问题。然而,由于在对抗训练的动态过程中训练信号的不稳定性,在这种情况下,REINFORCE的有效性很难得到保证。为了解决这样的问题,我们提出了一种名为协作训练(CoT)的新方法来改进序列生成模型的训练。CoT将GANs的最小-最大博弈转换为联合最大化框架,并设法显式估计和优化Jensen-Shannon散度。此外,CoT的工作不需要通过MLE进行预训练,这对以前的方法的成功至关重要。在实验中,与现有的最先进的方法相比,CoT在样本质量,多样性以及训练稳定性方面表现出优越或至少具有竞争力的性能。
2019-05-13 cs.AI cs.CL cs.LG
Massive Memorization with Hundreds of Trillions of Parameters for Sequential Transducer Generative Recommenders
Meta;Yale University(耶鲁大学)
本文提出VISTA框架,通过将传统目标注意力分解为两个阶段,实现对超长用户历史的记忆压缩,从而在保持训练和推理成本不变的情况下,支持数百万项的长期用户历史。
2026-03-26 cs.IR cs.LG
IDNP: Interest Dynamics Modeling using Generative Neural Processes for Sequential Recommendation
The University of New South Wales(新南威尔士大学);CSIRO’s Data 61(澳大利亚联邦科学与工业研究组织Data 61);Northwestern Polytechnical University(西北工业大学)
最近的顺序推荐模型越来越多地依赖于连续的短期用户-项目交互序列来建模用户兴趣。然而,这些做法引起了对短期和长期利益的关切。(1){ \it短期}:相互作用序列可能不是由单一的兴趣引起的,而是由几个相互交织的兴趣引起的,即使在很短的时间内,也会导致它们无法对跳跃行为进行建模;(2){ \it长期}:相互作用序列主要以离散的间隔稀疏地观察,而不是在长期内连续观察。这使得难以推断长期利益,因为只能得出离散的利益表示,而不考虑跨序列的利益动态。在这项研究中,我们通过学习(1)短期利益的多尺度表征;(2)长期利益的动态感知表征来解决这些问题。为此,我们提出了一个\textbf{I} interest \textbf{D}模型框架,使用生成式\textbf{N}神经\textbf{P}过程,创造IDNP,从功能的角度来模拟用户的兴趣。IDNP学习一个全局兴趣函数族,将每个用户的长期兴趣定义为一个函数实例,通过函数连续性体现兴趣动态。具体来说,IDNP首先将每个用户的短期交互编码为多尺度表示,然后将其概括为用户上下文。通过结合潜在的全局兴趣与用户上下文,IDNP然后重建长期用户兴趣函数和预测在即将到来的查询时步的交互。此外,IDNP可以模拟这样的兴趣函数,即使当相互作用序列是有限的和非连续的。在四个真实世界数据集上的广泛实验表明,我们的模型在各种评估指标上都优于最先进的模型。
2022-08-09 cs.IR cs.LG
T-RoPE: Time-Aware Rotary Position Embedding for Sequential Recommendation
Shopify;Massachusetts Institute of Technology(麻省理工学院);Liquid AI
提出T-RoPE,用时间戳角度、多尺度频率等替代索引旋转,打破时间平移不变性,在多个基准和工业数据上显著提升序列推荐性能。
2026-09-28 cs.AI cs.IR cs.LG
Lifelong Generative Modeling
University of Geneva(日内瓦大学);Haute école de gestion de Genève, HES-SO(日内瓦高等管理学院, 瑞士西部应用科学与艺术大学)
终身学习是以顺序方式学习多个连续任务的问题,其中从先前任务中获得的知识被保留并用于帮助学习者一生中的未来学习。这对于开发能够适应环境的智能机器至关重要。在这项工作中,我们专注于无监督生成建模的终身学习方法,我们不断将新观察到的分布纳入学习模型。我们通过一个学生-教师变分自动编码器架构来做到这一点,该架构允许我们学习和保存迄今为止看到的所有分布,而无需保留过去的数据或过去的模型。通过引入一种新的跨模型正则化器,灵感来自贝叶斯更新规则,学生模型利用教师学习的信息,作为概率知识库。正则化器减少了我们在学习分布序列时出现的灾难性干扰的影响。我们验证了我们的模型的MNIST,FashionMNIST,PermutedMNIST,SVHN和Celeb-A的顺序变体的性能,并证明我们的模型减轻了神经网络在顺序学习场景中所面临的灾难性干扰的影响。
2020-09-08 cs.LG stat.ML
Interpretable epistemic uncertainty decomposition in sequential generative models via polynomial chaos surrogates
Mathematical Institute, University of Oxford, United Kingdom(牛津大学数学研究所,英国);IBM Research, Thomas J. Watson Research Center, USA(IBM研究院,托马斯·J·沃森研究中心,美国);IBM Research Europe, Daresbury, United Kingdom(IBM欧洲研究院,达尔斯伯里,英国);MIT–IBM Watson AI Lab, Massachusetts, USA(麻省理工–IBM沃森人工智能实验室,马萨诸塞州,美国);Université de Montréal, Mila–Quebec AI Institute, Montreal, Quebec, Canada(蒙特利尔大学,魁北克人工智能研究所,蒙特利尔,魁北克,加拿大)
本文提出通过多项式混沌展开分析序列生成模型中epistemic不确定性的来源,揭示奖励组件对生成决策的影响,优于深度集合、贝叶斯神经网络等方法,且在多个真实任务中展现高效性和鲁棒性。
2026-05-15 cs.LG stat.ML
SGVAE: Sequential Graph Variational Autoencoder
Stanford University(斯坦福大学)
图的生成模型是众所周知的,但是许多现有的模型在可扩展性和表达性方面受到限制。我们提出了一种新的顺序图形变分自编码器直接操作的图形表示的数据。在我们的模型中,图的编码和解码分别被构建为顺序的解构和构建过程,从而能够学习潜在空间。循环数据集上的实验显示出希望,但强调需要放松节点排列的分布。
2019-12-17 cs.LG stat.ML
ScaffoldM3C: A Multimodal Sequential Monte Carlo Framework for Generative Stable Construction Planning
Stanford University(斯坦福大学);National University of Singapore(新加坡国立大学);Universidad de Zaragoza(萨拉戈萨大学)
ScaffoldM3C提出多模态序贯蒙特卡洛框架,通过脚手架标记和候选块采样实现稳定施工规划,模型小4倍、推理快5-20倍,质量相当且稳定性更高。
2026-10-02 cs.LG cs.RO
Edge-based sequential graph generation with recurrent neural networks
Università di Pisa(比萨大学)
基于机器学习的图生成是一个开放性的问题,在各个研究领域都有应用。在这项工作中,我们建议铸造成一个连续的一个图的生成过程,依赖于节点排序过程。我们使用这个顺序的过程来设计一个新的生成模型,由两个循环神经网络组成,学习预测图的边:第一个网络生成每个边的一个端点,而第二个网络生成另一个端点的状态的第一个。我们在五个不同的数据集上广泛地测试了我们的方法,与来自图形文献的两个众所周知的基线和两个经常性的方法进行了比较,其中一个方法具有最先进的性能。考虑生成样品的定量和定性特征进行评价。结果表明,我们的方法是能够产生新颖的,独特的图形来自非常不同的分布,同时保留结构特性非常相似的训练样本。根据建议的评估框架,我们的方法是能够达到性能相媲美的图形生成任务的当前最先进的。
2020-01-31 cs.LG stat.ML
GAMMT: Generative Ambiguity Modeling Using Multiple Transformers
Shanghai AI Laboratory(上海人工智能实验室)
提出GAMMT模型,通过选择机制连接多个并行Transformer来捕捉序列数据生成过程中的模糊性,以近似模糊概率并支持多种表示,旨在提升不确定序列建模的质量与多样性。
2023-04-04 cs.AI cs.LG math.PR
Sequential Recommendation with Self-Attentive Multi-Adversarial Network
Renmin University of China(中国人民大学);Alibaba Group(阿里巴巴集团)
最近,深度学习在顺序推荐任务上取得了重大进展。现有的神经序列预测器通常采用最大似然估计(MLE)训练的生成方式。当涉及到上下文信息(称为因素)时,很难分析每个单独的因素何时以及如何影响最终的推荐性能。为此,我们采取了一个新的视角,将对抗学习引入序列推荐。在本文中,我们提出了一个多因素生成对抗网络(MFGAN)显式建模上下文信息的顺序推荐的效果。具体来说,我们提出的MFGAN有两种模块:一个基于transformer的生成器,以用户行为序列为输入,推荐可能的下一个项目,和多个特定因素的判别器,从不同因素的角度来评估生成的子序列。在参数学习方面,采用经典的策略梯度方法,并利用鉴别器的奖励信号指导生成器的学习。我们的框架是灵活的,将多种因素的信息,并能够跟踪每个因素如何有助于随着时间的推移的建议决策。在三个真实世界的数据集上进行的大量实验表明,我们提出的模型在有效性和可解释性方面优于最先进的方法。
2020-05-21 cs.IR cs.LG
The Monte Carlo Transformer: a stochastic self-attention model for sequence prediction
Télécom SudParis(南巴黎电信学院);Institut Polytechnique de Paris(巴黎理工学院);École Polytechnique(巴黎综合理工学院);Google Research(谷歌研究院);DeepMind
本文介绍了序贯蒙特卡罗Transformer,原始的方法,自然捕捉观测分布在一个Transformer架构。网络的关键字、查询、值和注意力向量被认为是其隐藏结构的不可观测的随机状态。这种生成模型是这样的,在每个时间步接收到的观察是一个随机函数的过去的状态在一个给定的注意力窗口。在这个一般的状态空间设置中,我们使用顺序蒙特卡罗方法来近似状态的后验分布,并估计对数似然的梯度。因此,我们提出了一个生成模型,给出了一个预测分布,而不是一个单点估计。
2020-12-15 cs.AI cs.LG stat.ML