Multi-Attributed and Structured Text-to-Face Synthesis
Netaji Subhas Institute of Technology(内塔吉·苏巴斯理工学院);Netaji Subhas University of Technology(内塔吉·苏巴斯科技大学)
生成对抗网络(GANs)通过人脸生成、照片编辑和图像超分辨率等许多应用彻底改变了图像合成。使用GANs的图像合成主要是单峰的,很少有方法可以从文本或其他数据模式合成图像。文本到图像的合成,特别是文本到人脸的合成,具有从目击者账户生成强大的人脸和用视觉线索增强阅读体验的前景。然而,只有几个数据集提供了统一的人脸数据和文本描述的文本到人脸合成。此外,这些文本注释的广泛性和描述性较低,这降低了从中生成的人脸的多样性。本文通过经验证明,增加每个文本描述中的人脸属性数量有助于GANs生成更多样化和更真实的人脸。为了证明这一点,我们提出了一种新的方法,重点是使用结构化的文本描述。我们还整合了一个多属性和结构化文本到人脸(MAST)数据集,该数据集由具有结构化文本注释的高质量图像组成,并可供研究人员进行实验和构建。最后,我们报告了基准Frechet的初始距离(FID),面部语义相似度(FSS)和面部语义距离(FSD)得分的MAST数据集。
2021-08-25 cs.CV cs.LG eess.IV
An Empirical Study on End-to-End Singing Voice Synthesis with Encoder-Decoder Architectures
Beijing Language and Culture University(北京语言大学);Soochow University(苏州大学);Beijing Forestry University(北京林业大学);the University of Auckland(奥克兰大学)
随着神经网络体系结构和语音处理模型的迅速发展,基于神经网络的歌唱声合成技术正成为数字音乐制作的前沿技术。本工作为了探索如何提高歌唱声合成的质量和效率,采用编解码器神经模型和多个声码器来实现歌唱声合成。我们进行了实验,以证明该模型可以使用语音数据与音高信息,歌词和节拍信息进行训练,训练后的模型可以产生平滑,清晰和自然的歌声,接近真实的人的声音。由于这些模型以端到端的方式工作,它们允许非领域专家的用户通过安排音高、歌词和节拍直接产生歌声。
2021-08-06 cs.LG cs.SD eess.AS
Utterance-level Sequential Modeling For Deep Gaussian Process Based Speech Synthesis Using Simple Recurrent Unit
The University of Tokyo(东京大学)
本文提出了一种递归结构的深度高斯过程(DGP)模型,用于语音序列建模。DGP是一种贝叶斯深度模型,可以在考虑模型复杂性的情况下进行有效训练,并且是一种可以具有高表达性的核回归模型。在以前的研究中,它表明,基于DGP的语音合成优于基于神经网络的,其中两个模型使用前馈结构。为了提高合成语音的自然度,在本文中,我们表明,DGP可以应用于话语级建模使用循环架构模型。我们采用了一个简单的递归单元(SRU)的建议模型,以实现一个循环的架构,在其中,我们可以执行快速的语音参数生成,通过使用SRU的高度并行化的性质。客观和主观评价结果表明,所提出的基于SRU-DGP的语音合成不仅优于前馈DGP,而且还优于基于自动调谐SRU和长短期记忆(LSTM)的神经网络。
2020-04-22 cs.LG cs.SD eess.AS
STAR: Synthesis of Tailored Architectures
Liquid AI
针对架构优化的挑战,提出STAR方法,结合线性输入变化系统理论的搜索空间与无梯度进化算法,优化架构种群,在自回归语言建模任务上超越Transformer和条纹混合模型。
2024-11-26 cs.AI cs.LG cs.NE
AutoTTS: End-to-End Text-to-Speech Synthesis through Differentiable Duration Modeling
Sony Europe B.V.(索尼欧洲有限公司)
并行文本到语音(TTS)模型最近使得能够实现快速且高度自然的语音合成。然而,它们通常需要外部对齐模型,这些模型不一定针对解码器进行优化,因为它们不是联合训练的。在本文中,我们提出了一个可微的持续时间的方法来学习单调的输入和输出序列之间的对齐。我们的方法是基于一个软持续时间机制,优化随机过程的期望。使用这种可微分的持续时间的方法,我们介绍了AutoTTS,一个直接的文本到波形的语音合成模型。AutoTTS通过对抗训练和匹配总地面实况持续时间的组合,实现高保真语音合成。实验结果表明,我们的模型获得了有竞争力的结果,同时享受一个更简单的训练管道。音频样本可在线获取。
2023-03-07 cs.LG cs.SD eess.AS
Factor Decomposed Generative Adversarial Networks for Text-to-Image Synthesis
Fudan University(复旦大学)
关于文本到图像合成的现有工作通常将句子嵌入与噪声向量连接在一起,而句子嵌入和噪声向量是两个不同的因素,它们控制生成的不同方面。简单地将它们连接起来会使潜在因素纠缠在一起,阻碍生成模型。在本文中,我们尝试分解这两个因素,并提出了因素分解生成对抗网络~(FDGAN)。为了实现这一点,我们首先从噪声向量生成图像,然后在生成器和鉴别器的归一化层中应用句子嵌入。我们还设计了一个附加的范数层来对齐和融合文本图像特征。实验结果表明,噪声分解和句子嵌入能有效地消除文本到图像合成中的潜在因素,提高生成模型的效率。与基线相比,FDGAN可以获得更好的性能,而使用的参数较少。
2023-03-24 cs.LG cs.MM
A knowledge-driven AutoML architecture
Vrije Universiteit Brussel(布鲁塞尔自由大学)
本文提出一种知识驱动的AutoML架构,统一处理流水线与深度特征合成,通过共享知识系统交互式指导操作与特征选择,并结合运行时部分解结果进行决策,以提升AutoML的可解释性与领域知识利用能力。
2023-11-28 cs.AI cs.LG cs.SE
Using VAEs and Normalizing Flows for One-shot Text-To-Speech Synthesis of Expressive Speech
Amazon(亚马逊)
我们提出了一个文本到语音的方法来创建一个看不见的表达风格,使用一个表达性的讲话约一秒的话语。具体而言,我们增强了一个国家的最先进的序列到序列的系统与变分自编码器(VAE)和Householder流的解纠缠能力。所提出的系统提供了一个22%的KL发散减少,同时共同提高感知指标超过国家的最先进的。在合成时,我们使用一个例子的表达风格作为参考输入的编码器生成所需的风格的任何文本。感知MUSHRA评估表明,我们可以创建一个比标准神经文本到语音相对自然度提高9%的声音,同时还提高了感知的情感强度(59与中性语音的55相比)。
2020-02-17 cs.CL cs.LG cs.SD
Unsupervised Text Embedding Space Generation Using Generative Adversarial Networks for Text Synthesis
Korea Advanced Institute of Science Technology(韩国科学技术院);I-BRICKS
本文提出TESGAN,通过GAN生成连续文本嵌入空间并进行无监督学习,解决文本生成中的梯度反向传播与训练数据记忆问题。
2023-10-17 cs.CL cs.LG
Deep Geometric Texture Synthesis
Tel Aviv University(特拉维夫大学)
最近,用于图像生成的深度生成对抗网络发展迅速;然而,只有少量的研究集中在不规则结构的生成模型上,特别是网格。尽管如此,网格生成和合成仍然是计算机图形学中的一个基本课题。在这项工作中,我们提出了一个新的框架合成几何纹理。它从局部邻域(即,局部三角形片)。它学习输入三角剖分面上的深层特征,用于细分和生成跨多个尺度的偏移,而无需参数化参考或目标网格。我们的网络在任何方向上移动网格顶点(即,在法向和切向方向上),从而能够合成几何纹理,这不能由简单的2D位移图来表示。在局部几何面片上进行学习和合成,实现了一个类无关的框架,便于不同类的形状之间的纹理转移。
2020-06-30 cs.CV cs.GR cs.LG
NIFTY: a Non-Local Image Flow Matching for Texture Synthesis
Normandie Univ, UNICAEN, ENSICAEN, CNRS, GREYC(诺曼底大学、UNICAEN、ENSICAEN、CNRS、GREYC)
本文提出NIFTY,一种结合扩散模型思想与经典图像块优化的非参数流匹配纹理合成框架,无需神经网络训练,有效缓解初始化差和视觉伪影问题,实验证明其优于代表性方法。
2025-09-26 cs.CV cs.LG
Neural Synthesis of Footsteps Sound Effects with Generative Adversarial Networks
Queen Mary University of London(伦敦玛丽女王大学)
脚步声是多媒体应用中最普遍的声音效果之一。有大量的研究了解的声学特性和发展的合成模型的脚步声效果。在本文中,我们提出了第一次尝试采用神经合成这项任务。我们实现了两种基于GAN的架构,并将结果与真实录音以及六种传统的声音合成方法进行了比较。我们的架构达到了与记录样本一样高的真实感分数,为手头的任务显示了令人鼓舞的结果。
2021-12-10 cs.AI cs.LG cs.SD
A Survey and Taxonomy of Adversarial Neural Networks for Text-to-Image Synthesis
Florida Atlantic University(佛罗里达大西洋大学);Nanjing University of Finance and Economics(南京财经大学)
文本到图像合成是指将人类书面文本描述(以关键字或句子的形式)翻译成与文本语义相似的图像的计算方法。在早期的研究中,图像合成主要依赖于文字到图像的相关性分析,并结合监督方法来找到与文本匹配的视觉内容的最佳对齐。深度学习(DL)的最新进展带来了一组新的无监督深度学习方法,特别是深度生成模型,其能够使用适当训练的神经网络模型生成逼真的视觉图像。在本文中,我们回顾了文本到图像合成研究领域的最新进展。我们的调查首先介绍了图像合成及其挑战,然后回顾了生成对抗网络(GANs)和深度卷积编码器-解码器神经网络(DCNN)等关键概念。在此之后,我们提出了一个分类法,总结GAN为基础的文本到图像合成分为四个主要类别:语义增强GANs,分辨率增强GANs,多样性增强GANs,和运动增强GANs。我们详细阐述了每个组的主要目标,并进一步回顾了每个组中的典型GAN架构。分类和审查概述了技术和不同方法的演变,并最终提供了一个明确的路线图,以总结利用GANs和DCNN生成人脸,鸟类,花卉,室内装饰,边缘图(游戏)对象重建等类别的迷人结果的同期解决方案列表。尚未解决的挑战,以及文本到图像合成领域的未来发展。
2019-10-21 cs.CL cs.CV cs.GR
AUV-Net: Learning Aligned UV Maps for Texture Transfer and Synthesis
NVIDIA(英伟达);Simon Fraser University(西蒙弗雷泽大学);University of Toronto(多伦多大学);Vector Institute(向量研究所)
在本文中,我们解决了3D形状的纹理表示的问题,具有挑战性和未充分探索的任务,纹理传输和合成。以前的作品要么应用球形纹理映射,这可能会导致大的失真,或使用连续的纹理字段,产生光滑的输出缺乏细节。我们认为,传统的方式表示纹理的图像和链接到一个三维网格通过UV映射是更可取的,因为合成2D图像是一个很好的研究问题。我们提出了AUV-Net,它通过将不同3D形状的相应语义部分映射到UV空间中的相同位置,来学习将3D表面嵌入到2D对齐的UV空间中。因此,纹理跨对象对齐,并且因此可以通过图像的生成模型容易地合成。纹理对齐是在一个简单而有效的纹理对齐模块,从传统的线性子空间学习作品的灵感,在无监督的方式学习。学习的UV映射和对齐的纹理表示使各种应用程序,包括纹理传输,纹理合成,和纹理单视图3D重建。我们在多个数据集上进行实验,以证明我们的方法的有效性。项目页面:https://nv-tlabs.github.io/AUV-NET。
2022-04-06 cs.CV cs.GR cs.LG
Audio representations for deep learning in sound synthesis: A review
Technological University of Dublin(都柏林理工大学)
深度学习算法的兴起导致许多研究人员放弃使用经典的信号处理方法来生成声音。深度学习模型已经实现了富有表现力的语音合成、逼真的声音纹理和来自虚拟乐器的音符。然而,最合适的深度学习架构仍在研究中。架构的选择与音频表示紧密耦合。声音的原始波形可能过于密集和丰富,以至于深度学习模型无法有效处理-复杂性增加了训练时间和计算成本。此外,它并不代表声音的方式,它被认为是。因此,在许多情况下,原始音频已经使用上采样、特征提取或甚至通过采用波形的更高级别的图示而被转换为压缩且更有意义的形式。此外,有条件的形式选择,额外的条件表示,不同的模型架构,和众多的指标,用于评估重建的声音进行了研究。本文概述了使用深度学习应用于声音合成的音频表示。此外,它还介绍了使用深度学习模型开发和评估声音合成架构的最重要方法,这些方法始终取决于音频表示。
2022-01-07 cs.LG cs.SD eess.AS
Analog/Mixed-Signal Circuit Synthesis Enabled by the Advancements of Circuit Architectures and Machine Learning Algorithms
University of Southern California(南加州大学)
模拟混合信号(AMS)电路架构由于技术缩放和对更高灵活性/可重构性的需求而朝着更数字友好的方向发展。同时,由于需要优化复杂AMS电路的电路尺寸、布局和验证,AMS电路的设计复杂性和成本显著增加。另一方面,机器学习(ML)算法在过去十年中呈指数增长,并被电子设计自动化(EDA)社区积极利用。本文将确定这种趋势带来的机遇和挑战,并概述了几个新兴的AMS设计方法,使AMS电路架构和机器学习算法的最新发展。具体来说,我们将集中在使用基于神经网络的代理模型,以加快电路设计参数搜索和布局迭代。最后,我们将展示从规范到硅原型的几个AMS电路示例的快速合成,大大减少了人为干预。
2021-12-15 cs.ET cs.LG cs.SY
CLIPSonic: Text-to-Audio Synthesis with Unlabeled Videos and Pretrained Language-Vision Models
Dolby(杜比实验室)
该研究提出CLIPSonic模型,以无标注视频的视觉模态为桥梁,结合预训练CLIP模型与扩散先验模型实现文本到音频合成,有效缩小模态迁移差距,性能可媲美现有图像到音频合成的最优模型。
2023-07-23 cs.LG cs.MM cs.SD
DyNCA: Real-time Dynamic Texture Synthesis Using Neural Cellular Automata
School of Computer and Communication Sciences, EPFL(洛桑联邦理工学院计算机与通信科学学院)
提出DyNCA框架,基于NCA模型实现实时、可控的动态纹理合成,支持无限长任意尺寸视频,性能提升2-4个数量级,并提供运动速度、方向和画笔等实时控制功能。
2023-03-30 cs.CV cs.GR cs.LG
STEERAGE: Synthesis of Neural Networks Using Architecture Search and Grow-and-Prune Methods
Princeton University(普林斯顿大学)
神经网络(NN)已经成功地部署在许多应用中。然而,这些模型的体系结构设计仍然是一个具有挑战性的问题。此外,已知神经网络具有大量冗余。这增加了推理的计算成本,并对物联网传感器和边缘设备的部署构成了障碍。为了应对这些挑战,我们提出了STEERAGE合成方法。它由两种互补的方法组成:高效的体系结构搜索和生长修剪NN合成。第一步,覆盖在一个全球性的搜索模块,使用一个准确度预测器,以有效地导航架构搜索空间。预测器是使用提升决策树回归,迭代采样,高效的进化搜索。第二步是本地搜索。通过使用各种增长和修剪方法来合成卷积和前馈NN,它减少了网络冗余,同时提高了其性能。我们已经在各种数据集上评估了STEERAGE的性能,包括MNIST和CIFAR-10。在MNIST数据集上,我们的CNN架构实现了0.66%的出错率,与LeNet-5基线相比,参数减少了8.6倍。对于CIFAR-10数据集,我们使用ResNet架构作为基线。我们的STEERAGE合成的ResNet-18比原始ResNet-18提高了2.52%的精度,比ResNet-101提高了1.74%,比ResNet-1001提高了0.16%,同时具有与原始ResNet-18相当的参数和FLOP数量。这表明,除了增加层数以提高精度外,另一种选择是使用更好的NN架构,减少层数。此外,STEERAGE采用40层的ResNet架构变体,其出错率仅为3.86…
2019-12-12 cs.CV cs.LG cs.NE
Flowtron: an Autoregressive Flow-based Generative Network for Text-to-Speech Synthesis
NVIDIA(英伟达)
在本文中,我们提出了Flowtron:一个自回归流为基础的生成网络的文本到语音合成控制语音变化和风格转移。Flowtron借鉴了IAF的见解,并对Tacotron进行了改造,以提供高质量和富有表现力的熔体光谱图合成。Flowtron通过最大化训练数据的可能性进行优化,这使得训练简单而稳定。Flowtron学习数据到潜在空间的可逆映射,可以操纵该潜在空间来控制语音合成的许多方面(音高、音调、语速、节奏、口音)。我们的平均意见得分(MOS)显示,Flowtron在语音质量方面与最先进的TTS模型相匹配。此外,我们还提供了控制语音变化,样本之间的插值和训练过程中看到和看不到的扬声器之间的风格转移的结果。代码和预训练模型将在https://github.com/NVIDIA/flowtron上公开提供
2020-07-16 cs.CL cs.LG cs.SD
Self-Supervised Image-to-Text and Text-to-Image Synthesis
Indian Institute of Technology Patna(印度理工学院巴特那分校)
全面理解视觉和语言及其相互关系对于认识这些模式之间的潜在相似性和差异以及学习更普遍、更有意义的表征至关重要。近年来,大多数与文本到图像合成和图像到文本生成相关的工作都集中在有监督的生成深度架构上来解决这些问题,其中很少有兴趣学习跨模态嵌入空间之间的相似性。在本文中,我们提出了一种新的基于自监督深度学习的方法来学习跨模态嵌入空间;用于图像到文本和文本到图像生成。在我们的方法中,我们首先使用基于StackGAN的自动编码器模型获得图像的密集矢量表示,并使用基于LSTM的文本自动编码器获得图像级的密集矢量表示;然后我们使用GAN和基于最大均值差异的生成网络研究从一种模态的嵌入空间到另一种模态的嵌入空间的映射。我们还证明了我们的模型可以从图像数据中学习生成文本描述,以及从文本数据中定性和定量生成图像。
2021-12-09 cs.CL cs.CV cs.LG
Diverse Parallel Data Synthesis for Cross-Database Adaptation of Text-to-SQL Parsers
Indian Institute of Technology Bombay(印度理工学院孟买分校)
文本到SQL解析器通常在训练期间与看不见的数据库作斗争。由于新模式中缺少自然语言查询,使解析器适应新数据库是一个具有挑战性的问题。我们提出了ReFill,一个框架,用于合成高质量和文本多样的并行数据集,以适应文本到SQL解析器的目标模式。ReFill学习从现有模式中检索和编辑文本查询,并将其传输到目标模式。我们发现,检索不同的现有文本,掩盖其特定于模式的令牌,并重新填充与目标模式相关的令牌,导致更多样化的文本查询比标准的SQL到文本生成方法。通过跨多个数据库的实验,我们证明了使用ReFill合成的数据集上的微调解析器始终优于先前的数据增强方法。
2022-10-29 cs.AI cs.CL cs.LG
Adversarial Feature Learning and Unsupervised Clustering based Speech Synthesis for Found Data with Acoustic and Textual Noise
Northwestern Polytechnical University(西北工业大学);Bytedance AI Lab(字节跳动人工智能实验室)
基于注意力的序列到序列(seq2seq)语音合成已经取得了非凡的性能。但是,一个工作室质量的语料库与手工转录是必要的训练这样的seq2seq系统。在本文中,我们提出了一种方法来建立高质量和稳定的seq2seq为基础的语音合成系统使用具有挑战性的发现数据,其中训练语音包含噪声干扰(声学噪声)和文本是不完善的语音识别成绩单(文本噪声)。为了处理文本端的噪声,我们提出了一种基于VQVAE的探试法,用直接从语音中学习到的语音信息来补偿错误的语言特征。对于语音侧噪声,我们提出通过对抗训练和数据增强在自回归解码器中学习与噪声无关的特征,这不需要额外的语音增强模型。实验结果表明,该方法在处理文本和语音噪声方面是有效的。超越了基于最先进的语音增强模型的去噪方法,我们的系统建立在嘈杂的发现数据可以合成干净和高质量的语音与MOS接近的系统建立在干净的对应。
2020-04-28 cs.LG cs.SD eess.AS
Controllable neural text-to-speech synthesis using intuitive prosodic features
Apple(苹果公司)
现代神经文本转语音(TTS)合成可以生成与自然语音难以区分的语音。然而,生成的话语的韵律往往代表的平均韵律风格的数据库,而不是有广泛的韵律变化。此外,生成的韵律仅由输入文本定义,这不允许同一句子具有不同的风格。在这项工作中,我们训练一个序列到序列的神经网络的声学语音功能的条件下,学习一个潜在的韵律空间直观和有意义的尺寸。实验表明,一个模型的条件下,在韵律方面的音高,音高范围,电话持续时间,能量和频谱倾斜可以有效地控制每个韵律维度,并产生各种各样的说话风格,同时保持类似的平均意见得分(4.23),我们的Tacotron基线(4.26)。
2020-09-14 cs.CL cs.LG cs.SD
ShapeWords: Guiding Text-to-Image Synthesis with 3D Shape-Aware Prompts
UMass Amherst(马萨诸塞大学阿默斯特分校);CYENS CoE(CYENS联合学院);University of Cyprus(塞浦路斯大学);TU Crete(希腊技术大学)
ShapeWords通过融合3D形状信息与文本提示,提升文本到图像合成的准确性与3D结构感知能力。
2025-12-10 cs.AI cs.CV cs.GR
Meta Learning Text-to-Speech Synthesis in over 7000 Languages
University of Stuttgart(斯图加特大学);Fraunhofer IIS Erlangen(弗劳恩霍夫埃尔兰根应用集成电路研究所);University of Groningen(格罗宁根大学)
本文提出结合大规模多语言预训练与元学习,构建支持超过7000种语言零样本语音合成的单一TTS系统,并通过客观与人工评估验证性能。
2024-06-10 cs.CL cs.LG cs.SD