Kernelized Bayesian Softmax for Text Generation
ByteDance AI Lab（字节跳动人工智能实验室）
用于文本生成的神经模型在解码阶段需要一个具有适当令牌嵌入的softmax层。大多数现有的方法采用单点嵌入每个令牌。然而，根据不同的上下文，一个词可能有多种含义，其中一些可能是不同的。在本文中，我们提出了KerBS，这是一种学习更好的文本生成嵌入的新方法。KerBS体现了两个优势：（a）它采用贝叶斯组合嵌入具有多个意义的单词;（b）它是自适应的单词的语义变化和鲁棒性罕见的句子上下文通过施加学习的内核捕捉嵌入空间中的单词（意义）的接近度。实证研究表明，KerBS显着提高了几个文本生成任务的性能。
2019-11-01 cs.CL cs.LG
Learning Implicit Text Generation via Feature Matching
IBM Research（IBM研究院）；Duke University（杜克大学）；Amazon AWS AI（亚马逊AWS人工智能）
生成式特征匹配网络（GFMN）是一种通过对来自预先训练好的神经网络的特征进行矩匹配来训练图像隐式生成模型的方法。在本文中，我们提出了新的GFMN配方，是有效的序列数据。我们的实验结果表明，所提出的方法，SeqGFMN，在英语中的三个不同的生成任务的有效性：无条件的文本生成，类条件的文本生成，和无监督的文本风格转移。SeqGFMN对于训练是稳定的，并且优于用于文本生成和文本样式传输的各种对抗方法。
2020-05-09 cs.CL cs.LG
Perception Score, A Learned Metric for Open-ended Text Generation Evaluation
University of California, Davis（加利福尼亚大学戴维斯分校）
开放式自然语言生成任务的自动评估仍然是一个挑战。BLEU等现有指标与人类判断的相关性较低。我们提出了一种新颖而强大的基于学习的评估指标：感知分数。该方法从整体上衡量生成的整体质量并进行评分，而不是只关注一个评估标准，例如单词重叠。此外，它还显示了其评估结果的不确定性。感知评分通过将不确定性联系起来，对发电系统给出了更准确的评价。Perception Score提供了两个条件生成任务和两个无条件生成任务的最新结果。
2020-08-18 cs.CL cs.LG
Conditional Simulation Using Diffusion Schrödinger Bridges
University of Oxford（牛津大学）；PSL University（巴黎文理研究大学）；ENS（巴黎高等师范学院）
去噪扩散模型最近已经成为一类强大的生成模型。它们提供了最先进的结果，不仅用于无条件模拟，而且用于解决各种逆问题中出现的条件模拟问题。这些模型的局限性在于，它们在生成时是计算密集型的，因为它们需要在长时间范围内模拟扩散过程。当执行无条件模拟时，生成建模的薛定谔桥公式导致理论上接地的算法缩短生成时间，这是对其他建议的加速技术的补充。我们将薛定谔桥框架扩展到条件模拟。我们在各种应用中展示了这种新方法，包括图像超分辨率，状态空间模型的最佳滤波和预训练网络的改进。我们的代码可以在https://github.com/vdeborto/cdsb上找到。
2022-06-26 cs.LG stat.ML
Sequence-to-Sequence Models for Data-to-Text Natural Language Generation: Word- vs. Character-based Processing and Output Diversity
Institute for Natural Language Processing (IMS)（自然语言处理研究所）；Universität Stuttgart（斯图加特大学）
我们提出了一个基于单词和基于字符的序列到序列模型的数据到文本的自然语言生成，生成结构化输入的自然语言描述的比较。在最近两代挑战的数据集上，我们的模型实现了与最佳挑战提交相比相当或更好的自动评估结果。随后的详细统计和人工分析揭示了两种输入表示之间的差异以及生成文本的多样性。在一个由模板生成的合成训练数据的对照实验中，我们展示了神经模型学习模板的新组合的能力，从而超越了它们所训练的语言结构。
2018-10-11 cs.CL
It's Raw! Audio Generation with State-Space Models
Stanford University（斯坦福大学）
由于音频波形的高采样率，开发适合于对原始音频进行建模的架构是一个具有挑战性的问题。像RNN和CNN这样的标准序列建模方法以前已经被定制以适应音频的需求，但由此产生的架构会产生不期望的计算权衡，并且难以有效地对波形进行建模。我们提出了SaShiMi，一个新的多尺度架构的波形建模建立在最近推出的S4模型的长序列建模。我们确定，S4可以是不稳定的自回归生成过程中，并提供了一个简单的改进，其参数化通过绘制连接到赫尔维茨矩阵。SaShiMi在自回归设置中为无条件波形生成提供了最先进的性能。此外，当用作扩散模型的骨干架构时，SaShiMi提高了非自回归生成性能。与自回归生成设置中的现有架构相比，SaShiMi生成钢琴和语音波形，人类分别发现这些波形更具音乐性和连贯性，例如，在无条件语音生成任务中，平均意见分数比WaveNet高出2倍。在音乐生成任务中，SaShiMi在密度估计和训练和推理速度方面优于WaveNet，即使使用的参数少3倍。代码可以在https://github.com/HazyResearch/state-spaces上找到，样本可以在https://hazyresearch.stanford.edu/sashimi-examples上找到。
2022-02-20 cs.AI cs.LG cs.SD
Approximate N-Gram Markov Model for Natural Language Generation
本文提出了一个近似的n-gram马尔可夫模型的袋子生成。使用具有距离的有向词关联对来近似（n-1）-gram和n-gram训练表。该模型具有词关联模型的参数，又兼有词关联模型和马尔可夫模型的优点。生成包的训练知识也可以应用于机器翻译设计中的词汇选择。
1994-08-24 cmp-lg cs.CL
Probabilistically Masked Language Model Capable of Autoregressive Generation in Arbitrary Word Order
Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
掩蔽语言模型和自回归语言模型是语言模型的两种类型。虽然预训练的掩蔽语言模型（如BERT）压倒了自然语言理解（NLU）任务，但自回归语言模型（如GPT）在自然语言生成（NLG）中特别有能力。在本文中，我们提出了一个概率掩蔽计划的掩蔽语言模型，我们称之为概率掩蔽语言模型（PMLM）。我们实现了一个特定的PMLM，其掩蔽比具有均匀先验分布，名为u-PMLM。我们证明了u-PMLM等价于一个自回归置换语言模型。该模型的一个主要优点是，它支持以任意顺序生成文本，并且具有令人惊讶的良好质量，这可能会使新的应用程序超过传统的单向生成。此外，预训练的u-PMLM在一组下游NLU任务上的性能也优于BERT。
2020-04-24 cs.CL
Unconditional Image-Text Pair Generation with Multimodal Cross Quantizer
KAIST（韩国科学技术院）；Google Research（谷歌研究院）；Seoul National University（首尔国立大学）
虽然深度生成模型已经获得了很多关注，但大多数现有的作品都是为单峰生成而设计的。在本文中，我们探索了一种新的方法，无条件的图像-文本对生成。我们设计了多模态交叉量化VAE（MXQ-VAE），一种新的联合图像-文本表示的矢量量化器，我们发现，一个联合图像-文本表示空间是有效的语义一致的图像-文本对生成。为了在量化空间中学习多模态语义相关性，我们将VQ-VAE与Transformer编码器相结合，并应用输入掩蔽策略。具体地说，MXQ-VAE接受一个掩码的图像-文本对作为输入，并学习一个量化的联合表示空间，从而将输入转换为一个统一的代码序列，然后利用该代码序列进行无条件的图像-文本对生成。大量的实验表明，量化的联合空间和多模态生成能力的合成和真实世界的数据集之间的相关性。此外，我们证明了我们的方法在这两个方面的优越性超过几个基线。源代码可在https://github.com/ttumyche/MXQ-VAE上公开获取。
2022-10-14 cs.CV cs.LG
Latent Constraints: Learning to Generate Conditionally from Unconditional Generative Models
Google Brain（谷歌大脑）；Google Inc.（谷歌公司）
深度生成神经网络已被证明在复杂数据分布的条件和无条件建模方面都是有效的。条件生成支持交互式控件，但创建新控件通常需要昂贵的再培训。在本文中，我们开发了一种方法，条件生成无需重新训练的模型。通过事后学习潜在约束，即识别潜在空间中生成具有所需属性的输出的区域的价值函数，我们可以使用基于梯度的优化或摊销的演员函数从这些区域中有条件地采样。结合属性约束与一个普遍的“现实主义”的约束，这强制相似的数据分布，我们产生现实的条件图像从一个无条件的变分自编码器。此外，使用基于梯度的优化，我们展示了保持身份的变换，使潜在空间中的最小调整，以修改图像的属性。最后，与离散序列的音符，我们展示了zero-shot条件生成，学习潜在的约束条件下的标记数据或可微的奖励函数。具有专用云实例的代码已公开提供（https：//goo.gl/STGMGx）。
2017-12-21 cs.LG cs.NE stat.ML
Permutation-Symmetrized Diffusion for Unconditional Molecular Generation
Korea Advanced Institute of Science and Technology（韩国科学技术院）
本文提出在商流形上直接建模扩散，以实现分子点云生成的排列不变性，通过MCMC近似难以计算的排列后验，提升生成效率与质量。
2026-03-24 cs.LG
Score-based Conditional Generation with Fewer Labeled Data by Self-calibrating Classifier Guidance
National Taiwan University（台湾大学）
针对少标注数据下分类器引导的得分生成模型条件生成不准确的问题，提出利用能量模型原理将分类器转化为无条件得分视图并自校准正则化，显著提升条件生成质量。
2024-02-07 cs.CV cs.LG
DiffWave: A Versatile Diffusion Model for Audio Synthesis
UCSD（加州大学圣迭戈分校）；Baidu Research（百度研究院）；NVIDIA（英伟达）
在这项工作中，我们提出了DiffWave，一个通用的扩散概率模型的条件和无条件的波形生成。该模型是非自回归的，通过马尔可夫链将白噪声信号转换为结构化波形，合成时具有恒定的步数。它是通过优化数据似然的变分界限的变体来有效训练的。DiffWave在不同的波形生成任务中生成高保真音频，包括基于mel频谱图的神经声编码，类条件生成和无条件生成。我们证明了DiffWave在语音质量方面与强大的WaveNet声码器相匹配（MOS：4.44与4.43），同时合成速度更快。特别是，在具有挑战性的无条件生成任务中，它在音频质量和来自各种自动和人工评估的样本多样性方面明显优于自回归和基于GAN的波形模型。
2021-03-30 cs.CL cs.LG cs.SD
Unconditional Audio Generation with Generative Adversarial Networks and Cycle Regularization
Taiwan AI Labs（台湾人工智能实验室）；Academia Sinica（中央研究院）
在最近的一篇论文中，我们提出了一种基于生成对抗网络（GAN）的模型，用于无条件生成歌声的梅尔谱图。由于该模型的生成器被设计为以可变长度的噪声向量序列作为输入，因此它可以生成可变长度的梅尔谱图。然而，我们之前的听力测试表明，生成的音频质量还有改进的空间。本论文在以下几个方面对前人的工作进行了扩展。首先，我们在生成器中采用了一个层次结构来诱导时间维度中的一些结构。其次，我们引入了一个周期正则化机制的发生器，以避免模式崩溃。第三，我们评估的新模型的性能，不仅为产生歌声，但也为产生语音。评价结果表明，新模型在客观和主观方面均优于原模型。我们还采用该模型来无条件地生成钢琴和小提琴音乐序列，并发现结果很有希望。音频示例以及实现我们模型的代码将在纸质出版物上在线公开。
2020-05-18 cs.LG cs.SD eess.AS
Contrastive Conditional-Unconditional Alignment for Long-tailed Diffusion Model
University of California Merced（加州大学默塞德分校）；Oregon State University（俄勒冈州立大学）；University of Florida（佛罗里达大学）
针对长尾分布下条件扩散模型的模式坍塌问题，提出对比条件-无条件对齐方法，通过对齐损失和对比损失提升尾部类别的多样性与保真度。
2026-06-25 cs.CV cs.LG
Unconditional flow-based time series generation with equivariance-regularised latent spaces
Imperial College London（伦敦帝国学院）
本文提出了一种基于流的无条件时间序列生成方法，通过等变性正则化潜在空间提升生成质量，同时在计算效率上优于现有扩散基线方法。
2026-01-30 cs.LG
LumiGAN: Unconditional Generation of Relightable 3D Human Faces
Stanford University（斯坦福大学）
本文提出无条件三维人脸 GAN——LumiGAN，通过基于物理的光照模块和自监督可见性表达，在无真值条件下生成可重光照资产，并提升几何质量与真实感。
2023-04-25 cs.CV cs.GR cs.LG
Semantic Bottleneck Scene Generation
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
将标签条件图像合成方法的高保真生成能力与无条件生成模型的灵活性相结合，提出了一种用于复杂场景无条件合成的语义瓶颈GAN模型。我们假设在训练过程中可以使用逐像素分割标签，并使用它们来学习场景结构。在推理过程中，我们的模型首先从头开始合成一个逼真的分割布局，然后合成一个逼真的场景，该布局的条件。对于前者，我们使用一个无条件的渐进分割生成网络，捕捉现实的语义场景布局的分布。对于后者，我们使用了一个条件分割到图像合成网络，捕捉分布的照片级逼真的图像的语义布局的条件。当进行端到端训练时，所产生的模型在Frechet Inception Distance和用户学习评估方面，在两个具有挑战性的领域的无监督图像合成中优于最先进的生成模型。此外，我们证明了生成的分割图可以用作额外的训练数据，以大大提高最近的分割到图像合成网络。
2019-11-26 cs.CV cs.LG stat.ML
Autoregressive latent diffusion for 3D molecule generation
研究3D分子生成问题，提出KRONOS潜自回归扩散框架，联合建模分子图拓扑和几何，引入混合训练策略。实验表明其在自回归方法中无条件生成性能领先，与扩散模型竞争，单一架构可支持两种生成范式。
2026-10-05 cs.LG
Cross Domain Image Generation through Latent Space Exploration with Adversarial Loss
Carnegie Mellon University（卡内基梅隆大学）
条件域生成是交互控制深度生成模型样本生成过程的一种好方法。然而，一旦创建了条件生成模型，允许它适应新的条件控制通常是昂贵的，特别是网络结构相对较深。我们提出了一个条件的潜在域转移框架的潜在空间的无条件变分自编码器（VAE）。有了这个框架，我们可以允许无条件训练的VAE在它的域中生成图像，条件由另一个域的潜在表示提供。这个框架并不假设两个领域之间的共性。我们证明了我们的模型在广泛使用的图像数据集下的有效性和鲁棒性。
2018-05-24 cs.CV cs.LG stat.ML
Neutralizing Gender Bias in Word Embedding with Latent Disentanglement and Counterfactual Generation
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）
最近的研究表明，在人工生成的语料库上训练的词嵌入在嵌入空间中具有很强的性别偏见，这些偏见可能导致各种下游任务的区分结果。鉴于以前的方法项目的词嵌入到一个线性子空间去偏置，我们介绍了一个\textit{Latent Disentanglement}方法与连体自动编码器结构与自适应梯度反转层。我们的结构使语义潜在信息和性别潜在信息的给定的词分离到不相交的潜在维度。然后，引入一个\textit{Counterfactual Generation}对词的性别信息进行转换，使得原嵌入和修改后的嵌入在几何对齐正则化后，能够产生一个性别中立的词嵌入，而不会丢失语义信息。从各种定量和定性的去偏置实验，我们的方法比现有的去偏置方法在去偏置词嵌入。此外，我们的方法显示了在去偏置过程中通过最小化外部NLP下游任务的语义信息损失来保留语义信息的能力。
2020-11-03 cs.CL cs.LG stat.ML
SONA: Learning Conditional, Unconditional, and Mismatching-Aware Discriminator
Sony AI（索尼人工智能）；Sony Group Corporation（索尼集团）；The University of Tokyo（东京大学）
针对条件生成对抗网络判别器难以平衡真实性评估与条件对齐的问题，提出整合非条件判别、匹配感知监督与自适应加权的SONA判别器，在多任务上实现更优效果与鲁棒性。
2025-10-06 cs.AI cs.CV cs.LG
Evaluation Metrics for Conditional Image Generation
Tel-Aviv University（特拉维夫大学）；Facebook AI Research（脸书人工智能研究院）
我们提出了两个新的指标，用于评估类条件图像生成设置中的生成模型。这些指标是通过概括两个最流行的无条件指标获得的：初始分数（IS）和弗雷切特初始距离（FID）。理论分析表明，背后的动机每个建议的度量和链接的新指标，他们的无条件的同行。在IS的情况下，该链接采用乘积的形式，在FID的情况下，该链接采用上界的形式。我们提供了一个广泛的实证评估，比较的指标，其无条件的变体和其他指标，并利用它们来分析现有的生成模型，从而提供额外的见解，他们的性能，从未学习的类模式坍塌。
2021-02-08 cs.CV cs.LG eess.IV
TimeMar: Multi-Scale Autoregressive Modeling for Unconditional Time Series Generation
Engineering Research Center of Blockchain Data Management (ECNU), Ministry of Education（区块链数据管理工程研究中心（ECNU），教育部）
TimeMar通过多尺度自回归建模生成高质量时间序列，有效解决结构异质性问题，实现参数高效且长序列生成能力。
2026-01-16 cs.LG
Inference-Time Attribute Distribution Alignment for Unconditional Diffusion
School of Computing, National University of Singapore（新加坡国立大学计算机学院）；Institute of Data Science, National University of Singapore（新加坡国立大学数据科学研究所）
本文提出在推理时对齐属性分布的方法，通过最优控制问题优化扩散过程，实现更灵活的属性分布对齐，无需重新训练模型。
2026-05-08 cs.LG
TimeLDM: Latent Diffusion Model for Unconditional Time Series Generation
Fudan University（复旦大学）；Carnegie Mellon University（卡内基梅隆大学）；Nanyang Technological University（南洋理工大学）
针对时间序列生成中数据空间观测有限、特征含噪的问题，提出由变分自编码器与潜在扩散模型构成的TimeLDM，在多基准上实现显著性能提升，且对不同长度序列生成更鲁棒。
2024-09-13 cs.LG
BladeSDF : Unconditional and Conditional Generative Modeling of Representative Blade Geometries Using Signed Distance Functions
GE Aerospace Research（通用电气航空航天研究）；University of Notre Dame（北达科他大学）；Northwestern University（西北大学）
BladeSDF通过符号距离函数实现涡轮叶片几何的无条件和条件生成，结合潜在空间与工程描述符，提升设计的可行性和性能表现。
2026-01-19 cs.LG physics.comp-ph
Adversarial Attacks on Image Generation With Made-Up Words
Columbia University（哥伦比亚大学）
文本引导的图像生成模型可以被提示使用逆向设计的随机词来生成图像，以鲁棒地唤起特定的视觉概念。这种生成的两种方法介绍：macaronic提示，它涉及到通过连接来自不同语言的子字单元来设计神秘的混合词;和唤起提示，它涉及到设计其广泛的形态特征与现有单词足够相似的临时词，以触发强大的视觉联想。这两种方法也可以结合起来生成与更具体的视觉概念相关联的图像。这些技术的影响，为规避现有的方法，内容审核，特别是生成攻击性或有害的图像，进行了讨论。
2022-08-04 cs.CL cs.CR cs.CV
Molecular representation shapes the balance between target fidelity and exploration in flow based polymer generation
University of Delaware（特拉华大学）
本文提出PolyLatentFlow和LlamaUni，通过潜空间流匹配实现聚合物生成，在保持高有效性和低重放的同时，实现目标性能控制，并揭示分子表示对探索与保真度平衡的关键作用。
2026-09-16 cond-mat.mtrl-sci cs.LG physics.chem-ph
Towards Improving the Generation Quality of Autoregressive Slot VAEs
National Renewable Energy Lab（国家可再生能源实验室）；Auburn University（奥本大学）；University of Florida（佛罗里达大学）
本文针对基于槽的自回归模型难以学习对象间相关性和缺乏规范顺序的问题，提出以全局场景变量条件化槽并学习一致生成顺序，显著提升了无条件场景生成质量。
2023-11-28 cs.CV cs.LG
LongWriter: Unleashing 10,000+ Word Generation from Long Context LLMs
Zhipu AI（智谱AI）；Tsinghua University（清华大学）
针对长上下文大语言模型输出长度受限的问题，提出AgentWrite智能体流水线构建长输出数据集LongWriter-6k，训练后模型可生成超10000词内容，还推出评测基准LongBench-Write，9B模型经DPO优化后性能超越更大的专有模型。
2024-08-13 cs.CL cs.LG
Tractable Transformers for Flexible Conditional Generation
Department of Computer Science, University of California, Los Angeles（加州大学洛杉矶分校计算机科学系）；Institute for Artificial Intelligence, Peking University（北京大学人工智能研究院）；Yuanpei College, Peking University（北京大学元培学院）；Institute for Artificial Intelligence, University of Stuttgart（斯图加特大学人工智能研究院）；School of Intelligence Science and Technology, Peking University（北京大学智能科学与技术学校）
本文提出Tracformer，一种结合稀疏编码器捕获局部与全局上下文的Transformer生成模型，以解决非自回归模型在条件生成中泛化不足的问题，并在文本建模上达到最先进性能。
2025-07-07 cs.CL cs.LG
A Novel Document Generation Process for Topic Detection based on Hierarchical Latent Tree Models
The Hong Kong University of Science and Technology（香港科技大学）
我们提出了一种新的文档生成过程的基础上，层次潜在树模型（HLTM）从数据中学习。HLTM在底部有一层观察到的单词变量，在顶部有多层潜变量。对于每一个文档，我们首先通过逻辑采样逐层采样潜变量的值，然后根据潜变量的值绘制单词的相对频率，最后使用相对单词频率为文档生成单词。这项工作的动机是考虑到与HLTM的字数。与基于LDA的分层文档生成过程相比，新的过程以更少的参数实现了更好的模型拟合。它还生成更有意义的主题和主题层次结构。这是新的国家的最先进的分层主题检测。
2019-06-28 cs.CL cs.IR cs.LG
Automatic Generation of Socratic Subquestions for Teaching Math Word Problems
ETH Zurich（苏黎世联邦理工学院）；ETH AI Center（苏黎世联邦理工学院人工智能中心）
苏格拉底式提问是一种教育方法，通过向学生提出一系列深思熟虑的问题，让他们发现复杂问题的答案。生成教学合理的问题是具有挑战性的，需要理解的推理过程中涉及的问题。我们假设，这种提问策略不仅可以提高人类的表现，但也有助于数学应用题（MWP）解决者。在这项工作中，我们探索的能力，大语言模型（LM）在生成序列的问题，指导数学应用题解决。我们提出了各种基于输入条件和强化学习的引导问题生成方案。在自动和人类的质量评价，我们发现，LM约束与理想的问题属性生成优越的问题，提高了数学应用题求解器的整体性能。我们进行了初步的用户研究，以探讨这种问题生成模型在教育领域的潜在价值。结果表明，问题的难度水平起着重要的作用，在确定是否提问提高或阻碍人类的表现。我们讨论了在教育中使用这种提问策略的未来。
2022-11-23 cs.CL cs.CY cs.LG
Backward and Forward Language Modeling for Constrained Sentence Generation
Peking University（北京大学）；Baidu Inc.（百度公司）
最近的语言模型，特别是那些基于递归神经网络（RNN），使得有可能从学习的概率生成自然语言。语言生成具有广泛的应用，包括机器翻译、摘要、问答、会话系统等。现有方法通常学习以附加信息为条件的单词的联合概率，该附加信息（静态或动态地）被馈送到RNN的隐藏层。在许多应用中，我们可能会对生成的文本施加硬约束，即，一个特定的词必须出现在句子中。不幸的是，现有的方法不能解决这个问题。在本文中，我们提出了一种新的向后和向前语言模型。提供一个特定的单词，我们使用RNN同时或异步地生成以前的单词和将来的单词，从而产生两个模型变体。这样，给定的单词可以出现在句子中的任何位置。实验结果表明，生成的文本质量与序列LM相当。
2016-01-03 cs.CL cs.LG cs.NE
Towards the Synthesis of Non-speech Vocalizations
University at Buffalo（布法罗大学）
本研究使用 DiffWave 框架在 Baby Chillanto 和 deBarbaro 数据集上实现无条件生成婴儿啼哭声，验证了其生成高保真、高多样性音频的能力。
2024-10-12 cs.LG cs.SD eess.AS
Program Induction by Rationale Generation : Learning to Solve and Explain Algebraic Word Problems
DeepMind；University of Oxford（牛津大学）
解决代数应用题需要执行一系列算术运算-一个程序-以获得最终答案。然而，由于程序可以是任意复杂的，直接从问答对中归纳它们是一个巨大的挑战。为了使这项任务更加可行，我们通过生成答案推理、自然语言序列和人类可读的数学表达式来解决这些问题，这些表达式通过一系列小步骤得出最终答案。虽然基本原理没有明确地指定程序，但它们通过中间里程碑为它们的结构提供了一个脚手架。为了评估我们的方法，我们创建了一个新的100，000个样本的问题，答案和理由数据集。实验结果表明，间接监督程序学习的答案理据是一个很有前途的战略，诱导算术程序。
2017-10-23 cs.AI cs.CL cs.LG
A New Perspective on Stabilizing GANs training: Direct Adversarial Training
University of Science and Technology of China（中国科学技术大学）
生成对抗网络（GANs）是最流行的图像生成模型，在各种计算机视觉任务上取得了显着进展。然而，训练不稳定性仍然是所有基于GAN算法的开放问题之一。目前已经提出了许多方法来稳定GANs的训练，其重点分别放在损失函数，正则化和归一化技术，训练算法和模型结构。与上述方法不同，本文提出了一种新的稳定GANs训练的视角。研究发现，有时生成器产生的图像在训练过程中表现得像是训练器的对抗样本，这可能是导致GANs训练不稳定的部分原因。有了这一发现，我们提出了直接对抗训练（DAT）方法来稳定GANs的训练过程。此外，我们证明了DAT方法是能够最小化的Lipschitz常数的自适应。DAT的先进性能在多个损失函数、网络架构、超参数和数据集上得到了验证。具体而言，DAT基于SSGAN在CIFAR-100无条件生成上实现了11.5%的FID，基于SSGAN在STL-10无条件生成上实现了10.5%的FID，基于SSGAN在LSUN-Bedroom无条件生成上实现了13.2%的FID。代码将在https://github.com/iceli1007/DAT-GAN上提供
2022-07-19 cs.CV cs.LG eess.IV
Inline Detection of Domain Generation Algorithms with Context-Sensitive Word Embeddings
Optfit LLC（Optfit有限责任公司）；Georgia Institute of Technology（佐治亚理工学院）
域生成算法（DGAs）经常被恶意软件用来生成用于连接到命令和控制（C2）服务器的域。最近在DGA检测方面的工作利用了深度学习架构，如卷积神经网络（CNN）和字符级长短期记忆网络（LSTM）来对域进行分类。然而，这些分类器与基于单词列表的DGA家族一起表现不佳，DGA家族通过伪随机连接字典单词来生成域。我们提出了一种新的方法，结合上下文敏感的词嵌入与一个简单的全连接分类器进行分类的领域的基础上，词级信息。词嵌入在大型无关语料库上进行预训练，并在领域数据的训练期间保持冻结。由此产生的少量可训练参数使训练持续时间极短，而存储在表示中的语言知识的转移允许使用小训练数据集的高性能模型。我们表明，这种架构可靠地优于现有的技术，基于单词表的DGA家庭，只有30 DGA训练样本，并实现了最先进的性能与约100 DGA训练样本，同时需要一个数量级更少的时间来训练相比，目前的技术。特别值得注意的是该技术在matsnu DGA上的性能：该分类器在仅30个DGA域示例的训练后达到了89.5%的检测率和1：1，000的假阳性率（FPR），并且在90个示例后达到了91.2%的检测率和1：10，000的FPR。考虑到这些DGA中的一些具有数百个单词的单词列表，我们的研究结果表明，这种技术不依赖于分类器学习DGA单词列表。相反，分类器能够学习基于单词列表的DGA家族的语义签名。
2018-11-21 cs.CL cs.CR cs.LG
CRASH: Raw Audio Score-based Generative Modeling for Controllable High-resolution Drum Sound Synthesis
Sony CSL（索尼计算机科学实验室）；CentraleSupélec（巴黎中央理工-高等电力学院）
在本文中，我们提出了一种新的无条件原始音频合成的分数为基础的生成模型。我们的建议建立在扩散过程建模与随机微分方程的最新发展，这已经证明了有前途的结果图像生成。我们激励新的扩散过程更适合音频生成的选择，并考虑使用一个有条件的U-网近似的分数函数。虽然以前的方法对音频的扩散模型主要是设计为语音声码器在中等分辨率，我们的方法被称为CRASH（可控的原始音频合成与高分辨率）允许我们以可控的方式产生短的44.1kHz的混响声音。通过大量的实验，我们展示了鼓的声音生成任务的众多采样方案提供了我们的方法（无条件生成，确定性生成，修复，插值，变化，类条件采样），并提出了类混合采样，一种新的方式来生成“混合”的声音。我们提出的方法缩小了与基于GAN的方法在原始音频上的差距，同时提供了更灵活的生成功能，具有更轻和更小的训练模型。
2021-06-14 cs.LG cs.SD eess.AS
An Image is Worth One Word: Personalizing Text-to-Image Generation using Textual Inversion
Tel-Aviv University（特拉维夫大学）；NVIDIA（英伟达）
文本到图像模型提供了前所未有的自由，通过自然语言指导创作。然而，目前还不清楚如何行使这种自由，以产生特定的独特概念的图像，修改其外观，或组成新的角色和新的场景。换句话说，我们会问：我们如何使用语言引导的模型来把我们的猫变成一幅画，或者根据我们最喜欢的玩具来想象一个新产品？在这里，我们提出了一个简单的方法，允许这种创造性的自由。只使用用户提供的概念的3-5个图像，如对象或样式，我们学习通过冻结的文本到图像模型的嵌入空间中的新“单词”来表示它。这些“话”可以组成自然语言句子，以直观的方式指导个性化创作。值得注意的是，我们发现的证据表明，一个单一的词嵌入是足够的捕捉独特的和不同的概念。我们将我们的方法与广泛的基线进行比较，并证明它可以更忠实地描绘各种应用程序和任务的概念。我们的代码、数据和新词将在以下网址提供：https://textual-inversion.github.io
2022-08-02 cs.CL cs.CV cs.GR
Generating High Fidelity Images with Subscale Pixel Networks and Multidimensional Upscaling
DeepMind（深度思维）；Google Brain（谷歌大脑）
无条件生成高保真图像是测试图像解码器性能的长期基准。自回归图像模型已经能够无条件地生成小图像，但是将这些方法扩展到可以更容易地评估保真度的大图像仍然是一个开放的问题。主要的挑战之一是对大量先前上下文进行编码的能力，以及学习既保持全局语义一致性又保持细节准确性的分布的绝对困难。为了解决前一个挑战，我们提出了子尺度像素网络（SPN），一个条件解码器架构，生成一个图像作为一个序列的子图像的大小相等。SPN compensation捕获图像范围的空间依赖性，并且需要其他完全自回归模型所需的一小部分内存和计算。为了解决后一个挑战，我们建议使用多维升级来通过使用不同的SPN的中间阶段在大小和深度上增加图像。我们评估了大小为256的CelebAHQ和大小为32到256的ImageNet的无条件生成的SPN。我们在多个设置中实现了最先进的可能性结果，在以前未探索的设置中建立了新的基准结果，并且能够在两个数据集的基础上生成非常高保真的大规模样本。
2018-12-04 cs.CV cs.GR cs.LG
JGAN: A Joint Formulation of GAN for Synthesizing Images and Labels
Intel Corporation（英特尔公司）
使用显式条件或标签的图像生成通常比无条件方法更好。在现代的GAN框架中，生成器和卷积器都被公式化来对给定标签的图像的条件分布进行建模。在本文中，我们提供了一个替代配方的GAN模型的图像和标签的联合分布。与条件方法相比，这种联合公式有两个优点。第一个优点是，联合制定是更强大的标签噪声，如果它的正确建模。这减轻了制作无噪声标签的负担，并允许在图像生成中使用弱监督标签。第二，我们可以使用与原始图像数据相关的任何类型的弱标签或图像特征来增强无条件图像生成。我们将展示我们的联合制定CIFAR10，CIFAR100和STL数据集与最先进的GAN架构的有效性。
2020-10-21 cs.CV cs.LG
SemlaFlow -- Efficient 3D Molecular Generation with Latent Attention and Equivariant Flow Matching
AstraZeneca（阿斯利康）；Chalmers University of Technology（查尔姆斯理工大学）；University of Gothenburg（哥德堡大学）
针对现有三维分子生成方法采样慢、化学有效性低的问题，提出基于等变流匹配的SemlaFlow模型，以20步采样实现两个数量级加速，并引入新基准指标验证其高性能。
2025-02-28 cs.AI cs.LG cs.NE
StyleGAN-Human: A Data-Centric Odyssey of Human Generation
Nanyang Technological University（南洋理工大学）；SenseTime Research（商汤科技研究院）；Shanghai AI Laboratory（上海人工智能实验室）
无条件人体图像生成是视觉和图形学中的一项重要任务，它使创意产业中的各种应用成为可能。现有的研究主要集中在“网络工程”，如设计新的组件和目标函数。这项工作采取以数据为中心的观点，并调查了“数据工程”中的多个关键方面，我们相信这将补充目前的做法。为了便于全面的研究，我们收集并注释了一个大规模的人类图像数据集，其中包含超过230K的样本，这些样本捕获了不同的姿势和纹理。配备了这个大型数据集，我们严格研究了基于StyleGAN的人类生成数据工程中的三个基本因素，即数据大小，数据分布和数据对齐。广泛的实验揭示了几个有价值的意见w.r.t.这些方面：1）需要大规模数据，超过40K的图像，用vanilla StyleGAN训练高保真的无条件人生成模型。2)与长尾对应物相比，平衡的训练集有助于提高具有罕见面部姿势的生成质量，而简单地平衡服装纹理分布并不能有效地带来改善。3)具有用于对齐的身体中心的人类GAN模型优于使用面部中心或骨盆点作为对齐锚点训练的模型。此外，还展示了一个动物园模型和人类编辑应用程序，以促进社区未来的研究。
2022-04-25 cs.CV cs.LG
Dance Generation by Sound Symbolic Words
University of Tsukuba（筑波大学）；The University of Electro-Communications（电气通信大学）
提出以拟声词为输入、改编 AI Choreographer 并结合 Sakamoto system 特征提取的舞蹈生成方法，构建40对配对数据集，实现跨语言、直观且多样化的舞蹈创作。
2023-06-06 cs.HC cs.LG cs.SD
