VECL-TTS: Voice identity and Emotional style controllable Cross-Lingual Text-to-Speech
Sony Research India Pvt. Ltd.(索尼印度私人有限公司研究院);Indraprastha Institute of Information Technology (IIIT)(因德拉普拉斯信息技术学院(IIIT))
本文提出VECL-TTS端到端跨语言语音合成系统,同时控制语音身份与情感风格,并通过内容与风格一致性损失提升合成质量,在英语及三种印度语言上较SOTA方法平均相对提升8.83%。
2024-06-12 cs.SD eess.AS
Spontaneous Style Text-to-Speech Synthesis with Controllable Spontaneous Behaviors Based on Language Models
Tencent(腾讯)
本文提出一种基于语言模型的自发语音合成系统,通过系统性分类统一建模自发行为并引入细粒度韵律建模,在韵律和自发行为自然度上显著优于基线。
2024-07-18 cs.CL cs.LG cs.SD
SC VALL-E: Style-Controllable Zero-Shot Text to Speech Synthesizer
School of Robotics, Kwangwoon University(光云大学机器人学院)
本研究基于VALL-E提出风格可控的SC VALL-E模型,通过风格网络控制语音属性,在零样本场景下生成多样表现力语音,性能优于现有代表性模型。
2023-07-20 cs.LG cs.SD eess.AS
CookVoice: Unified Framework for Style Controllable Multi-Modal Human Voice Generation
UNSW Sydney(新南威尔士大学悉尼分校);Dolby Laboratories(杜比实验室)
CookVoice是统一的多模态人声生成框架,分解人声为内容、韵律、风格,支持多任务,参数少、推理高效,可控性强且生成质量接近基线模型。
2026-08-14 cs.LG cs.SD
ControlSpeech: Towards Simultaneous and Independent Zero-shot Speaker Cloning and Zero-shot Language Style Control
Zhejiang University(浙江大学);Alibaba Tongyi Speech Lab(阿里云语音实验室)
ControlSpeech提出一个同时可控音色、内容与风格的零样本TTS系统,通过离散解耦编解码与SMSD模块解决风格控制中的多对多问题,并公开VccmDataset数据集,在多项指标上达到可比或SOTA性能。
2025-06-04 cs.LG cs.SD eess.AS
StableVC: Style Controllable Zero-Shot Voice Conversion with Conditional Flow Matching
Northwestern Polytechnical University(西北工业大学);Ximalaya Inc(喜马拉雅公司)
本文提出StableVC,通过分解语言内容、音色与风格,并结合条件流匹配和自适应门控双重注意力,实现对不同未见说话人音色与风格的独立可控零样本语音转换,质量更优且推理显著加速。
2024-12-10 cs.SD eess.AS
Controllable neural text-to-speech synthesis using intuitive prosodic features
Apple(苹果公司)
现代神经文本转语音(TTS)合成可以生成与自然语音难以区分的语音。然而,生成的话语的韵律往往代表的平均韵律风格的数据库,而不是有广泛的韵律变化。此外,生成的韵律仅由输入文本定义,这不允许同一句子具有不同的风格。在这项工作中,我们训练一个序列到序列的神经网络的声学语音功能的条件下,学习一个潜在的韵律空间直观和有意义的尺寸。实验表明,一个模型的条件下,在韵律方面的音高,音高范围,电话持续时间,能量和频谱倾斜可以有效地控制每个韵律维度,并产生各种各样的说话风格,同时保持类似的平均意见得分(4.23),我们的Tacotron基线(4.26)。
2020-09-14 cs.CL cs.LG cs.SD
EmoSphere-TTS: Emotional Style and Intensity Modeling via Spherical Emotion Vector for Controllable Emotional Text-to-Speech
本文提出EmoSphere-TTS,利用球面情感向量控制情感风格与强度,通过伪标签和双条件对抗网络实现高质量可控情感语音合成。
2024-11-04 cs.AI cs.SD eess.AS
DiffStyleTTS: Diffusion-based Hierarchical Prosody Modeling for Text-to-Speech with Diverse and Controllable Styles
University of Science and Technology of China(中国科学技术大学);iFLYTEK CO.LTD.(科大讯飞股份有限公司);China Mobile Research Institute(中国移动研究院)
针对文本到韵律的一对多映射问题,提出 DiffStyleTTS,利用条件扩散、改进无分类器引导和分层韵律建模实现风格可控的语音合成,并在自然度与速度上优于基线。
2024-12-04 cs.AI cs.CL cs.SD
StyleSpeech: Parameter-efficient Fine Tuning for Pre-trained Controllable Text-to-Speech
University of New South Wales(新南威尔士大学)
StyleSpeech通过Style Decorator结构和LoRA实现风格与音素特征的高效学习,并提出LLM-MOS自动评估指标,在多个基准上显著超越现有TTS方法。
2024-08-27 cs.AI cs.MM cs.SD
Hierarchical Generative Modeling for Controllable Speech Synthesis
Massachusetts Institute of Technology(麻省理工学院);Google Inc.(谷歌公司)
本文提出了一种神经序列到序列的文语转换(TTS)模型,该模型可以控制生成的语音中很少在训练数据中注释的潜在属性,如说话风格、口音、背景噪声和录音条件。该模型被制定为一个条件生成模型的基础上的变分自编码器(VAE)的框架,具有两个层次的潜变量。第一级是分类变量,表示属性组(例如干净/嘈杂)并提供可解释性。第二个层次,条件是第一个,是一个多变量高斯变量,其特征在于特定的属性配置(如噪音水平,说话速率),并使这些属性的解开细粒度控制。这相当于对潜在分布使用高斯混合模型(GMM)。广泛的评价表明其控制上述属性的能力。特别是,我们训练一个高质量的可控TTS模型的真实发现的数据,这是能够推断扬声器和风格属性从嘈杂的话语,并用它来合成干净的语音可控的说话风格。
2018-12-27 cs.CL cs.LG cs.SD
Vevo: Controllable Zero-Shot Voice Imitation with Self-Supervised Disentanglement
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Meta AI
Vevo提出一种自监督解纠缠的零样本声音模仿框架,通过两阶段建模实现音色与风格的可控生成,在口音和情感转换任务中达到或超越现有方法。
2025-02-11 cs.AI cs.SD eess.AS
Zero-Shot Lombard Speech Synthesis with Controllable Style Embeddings
KIT Campus Transfer GmbH (KCT)(KIT校园转移公司);Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院);Carnegie Mellon University (CMU)(卡内基梅隆大学)
本文提出了一种可控的 Lombard 语音合成系统,通过风格嵌入和 PCA 调整实现对任何说话者语音的可控生成。
2026-10-07 cs.CL cs.SD
Description-based Controllable Text-to-Speech with Cross-Lingual Voice Control
LY Corporation(LY公司)
提出一种基于描述的跨语言可控TTS方法,通过结合目标语言TTS模型与另一语言的描述控制模型,并利用SSL共享解耦的音色与风格表示,在缺乏目标语言配对数据时实现高自然度与可控性的跨语言语音控制。
2024-09-26 cs.CL cs.LG cs.SD
Controllable Speaking Styles Using a Large Language Model
University of Edinburgh(爱丁堡大学);Huawei(华为)
本文提出利用大型语言模型根据提示中的上下文信息直接为可控TTS模型建议韵律修改,无需参考语音或提示标注语料库,在说话风格控制和对话上下文韵律适配任务中显著优于基线模型。
2023-09-19 cs.CL cs.SD eess.AS
ZET-Speech: Zero-shot adaptive Emotion-controllable Text-to-Speech Synthesis with Diffusion and Style-based Models
AITRICS;KAIST(韩国科学技术院)
提出ZET-Speech零样本自适应情感可控TTS模型,通过在扩散模型上应用域对抗学习和引导方法,仅用短中性语音和情感标签即可为已见和未见说话人合成自然情感语音。
2023-05-23 cs.CL cs.SD eess.AS
DMP-TTS: Disentangled multi-modal Prompting for Controllable Text-to-Speech with Chained Guidance
University of Science and Technology of China(科学技术大学)
DMP-TTS通过解耦多模态提示和链式引导技术,实现了更强的文本到语音风格可控性,同时保持良好的可懂度和自然度。
2025-12-10 cs.SD
Text is All You Need: Personalizing ASR Models using Controllable Speech Synthesis
Apple(苹果公司)
由于个性化数据的稀缺性,使通用语音识别模型适应特定个体是一个具有挑战性的问题。最近的工作已经提出使用个性化的文本到语音合成来提高训练数据的量。在这里,我们提出了关于这种策略的两个基本问题:合成数据何时对个性化有效,以及为什么在这些情况下有效?为了解决第一个问题,我们采用了一个国家的最先进的自动语音识别(ASR)模型的目标扬声器从四个基准数据集代表不同的扬声器类型。我们表明,合成数据的ASR个性化在所有情况下都是有效的,但特别是当(i)目标说话人在全局数据中代表性不足,以及(ii)全局模型的容量有限时。为了解决第二个问题,为什么个性化的合成数据是有效的,我们使用可控的语音合成来生成具有不同风格和内容的语音。令人惊讶的是,我们发现,文本内容的合成数据,而不是风格,是重要的发言人适应。这些结果使我们提出了一个数据选择策略的基础上语音内容的ASR个性化。
2023-03-27 cs.LG cs.SD eess.AS
EmoSphere++: Emotion-Controllable Zero-Shot Text-to-Speech via Emotion-Adaptive Spherical Vector
Korea University(高丽大学)
针对情感TTS在数据集、泛化性等方面的挑战,提出EmoSphere++零样本模型,通过情感自适应球面向量、多级风格编码器等技术,实现情感风格与强度可控的高质量语音合成,实验验证了有效性。
2025-04-17 cs.AI cs.SD eess.AS
Controllable Singing Style Conversion with Boundary-Aware Information Bottleneck
School of Software Engineering, Xi'an Jiaotong University(西安交通大学软件工程学院);Fudan University(复旦大学);Division of Music and Audio Union Wheatland Culture and Media Ltd.(音乐与音频联合Wheatland文化传媒有限公司)
本文提出了一种新颖的歌唱风格转换系统,通过边界感知信息瓶颈、帧级技术矩阵和高频带补全策略,解决风格泄漏、动态渲染和高保真生成问题,实现高质量的风格转换。
2026-04-07 cs.AI cs.SD
Controllable Context-aware Conversational Speech Synthesis
Tencent AI Lab(腾讯人工智能实验室)
在口语会话中,经常会出现充满停顿和停顿的自发行为。会话伙伴倾向于使他们的言语特征与他们的对话者一致,这被称为夹带。为了产生类似人类的对话,我们提出了一个统一的可控自发会话语音合成框架来模拟上述两种现象。具体来说,我们使用显式标签来表示两个典型的自发行为充满了声学模型中的暂停和延长,并开发了一个基于神经网络的预测器来预测这两个行为的发生从文本。我们随后开发了一种基于预测器的算法来控制行为的出现频率,使合成的语音从不流利到更不流利。为了在声学水平上对语音夹带进行建模,我们利用上下文声学编码器从当前语音合成的先前语音条件中提取全局风格嵌入。此外,由于当前和先前的话语属于对话中的不同说话者,我们添加了一个域对抗训练模块,以消除声学编码器中的说话者相关信息,同时保持风格相关信息。实验结果表明,该方法可以合成真实的会话,并自然地控制自发行为的发生。
2021-06-21 cs.SD eess.AS
FleSpeech: Flexibly Controllable Speech Generation with Various Prompts
Hong Kong University of Science and Technology(香港科技大学);Tencent AI Lab(腾讯AI实验室)
本文提出FleSpeech多阶段语音生成框架,通过多模态提示编码器统一文本、音频和视觉提示,实现对语音属性的灵活、精确控制,克服了传统方法依赖单一提示的局限。
2025-04-30 cs.SD eess.AS
Maestro-EVC: Controllable Emotional Voice Conversion Guided by References and Explicit Prosody
Graduate School of Artificial Intelligence(人工智能研究生院);Dept. of Computer Science and Engineering(计算机科学与工程系);Pohang University of Science and Technology (POSTECH)(釜山科学技术大学)
提出Maestro-EVC框架,通过从独立参考中解耦内容、说话人身份和情感实现可控情感语音转换,并引入时间情感表示与显式韵律建模以精准捕捉情感时间动态,实现高质量且富有表现力的语音合成。
2025-08-09 cs.AI cs.CL cs.SD
MM-TTS: Multi-modal Prompt based Style Transfer for Expressive Text-to-Speech Synthesis
Xiamen University(厦门大学)
针对现有TTS风格迁移灵活性不足的问题,提出多模态可控框架MM-TTS,通过对齐多模态提示编码器、风格自适应卷积和修正流精炼器实现多模态提示风格迁移,并构建MEAD-TTS数据集,实验验证其效果良好。
2024-01-31 cs.SD eess.AS
ACE-VC: Adaptive and Controllable Voice Conversion using Explicitly Disentangled Self-supervised Speech Representations
NVIDIA(英伟达)
在这项工作中,我们提出了一种使用经过自监督学习训练的语音表示的零射击(zero-shot)语音转换方法。首先,我们开发了一个多任务模型,将语音话语分解为语言内容,说话人特征和说话风格等特征。为了理清内容和扬声器表示,我们提出了一种基于Siamese网络的训练策略,该策略鼓励原始音频和音高偏移音频的内容表示之间的相似性。接下来,我们开发了一个合成模型与音高和持续时间预测,可以有效地重建语音信号从其分解表示。我们的框架允许可控和扬声器自适应合成,以执行zero-shot任何到任何语音转换,实现最先进的结果的度量评估扬声器的相似性,可理解性和自然性。对于目标说话者,仅使用10秒的数据,我们的框架就可以执行语音交换,并实现了5.5%的说话者验证EER,对于看不见的说话者,EER为8.4%。
2023-02-16 cs.LG cs.SD eess.AS
Discl-VC: Disentangled Discrete Tokens and In-Context Learning for Controllable Zero-Shot Voice Conversion
School of Informatics(信息学院);School of Electronic Science and Engineering(电子科学与工程学院)
提出Discl-VC框架,通过解耦自监督语音表示中的内容与韵律信息,结合流匹配变换器上下文学习和掩码生成变换器预测离散韵律标记,实现了高精度的零样本语音转换与韵律控制。
2025-05-30 cs.AI cs.SD eess.AS
Rhythm Controllable and Efficient Zero-Shot Voice Conversion via Shortcut Flow Matching
Zhejiang University(浙江大学);Huawei Cloud(华为云)
本文提出R-VC模型,通过Hubert内容令牌、掩码生成式Transformer时长建模及捷径流匹配扩散Transformer,实现节奏可控且仅需两步采样的高效零样本语音转换,在自然度、可懂度和风格迁移上超越现有方法。
2025-06-01 cs.SD eess.AS
StyleFusion TTS: Multimodal Style-control and Enhanced Feature Fusion for Zero-shot Text-to-speech Synthesis
School of Communication and Information Engineering, Shanghai University(上海大学通信与信息工程学院)
本文提出StyleFusion-TTS,一种基于多模态参考的零样本TTS系统,通过通用前端编码器生成解耦的风格与说话人嵌入,并利用分层conformer结构实现特征融合,提升了合成语音的可编辑性与自然度。
2024-09-24 cs.SD eess.AS
Cross-speaker Emotion Transfer by Manipulating Speech Style Latents
Neosapience, Inc.(Neosapience公司)
近年来,情感文本到语音已经取得了相当大的进展。然而,它需要大量的标记数据,这是不容易获得的。即使可以获取情感语音数据集,在控制情感强度方面仍然存在限制。在这项工作中,我们提出了一种新的方法,跨扬声器的情感转移和操纵使用向量算法在潜在的风格空间。通过仅利用少量标记样本,我们从阅读风格的语音中生成情感语音,而不会丢失说话者身份。此外,情绪强度是容易控制的使用标量值,提供了一种直观的方式,为用户操纵语音。实验结果表明,该方法提供了优越的表现力,自然,可控性方面,保持说话人身份。
2023-03-15 cs.CL cs.SD eess.AS
A Multi-Stage Framework for Multimodal Controllable Speech Synthesis
Shenzhen International Graduate School, Tsinghua University, Shenzhen, China(深圳国际研究生院,清华大学,深圳,中国)
提出3阶段多模态可控语音合成框架,通过监督学习与知识蒸馏优化人脸编码器,并在文本-人脸与文本-语音数据上训练文本编码器,有效提升了生成语音的多样性与质量,优于单模态基线方法。
2025-06-26 cs.SD eess.AS
Towards Controllable Speech Synthesis in the Era of Large Language Models: A Systematic Survey
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));University of Surrey(萨里大学)
该系统性综述首次全面回顾可控TTS方法,从传统技术到基于自然语言提示的新兴方法,分类模型架构、控制策略等,总结挑战与数据集,为研究人员提供分类法并指明未来方向。
2025-08-25 cs.AI cs.CL cs.LG
Controllable Generation of Artificial Speaker Embeddings through Discovery of Principal Directions
University of Stuttgart(斯图加特大学)
本文提出一种无需标签即可生成不可关联到真实人类、且可直观细粒度控制声音与风格的人工说话人嵌入方法,用于语音合成并保护隐私。
2023-10-26 cs.LG cs.SD eess.AS
StylePTB: A Compositional Benchmark for Fine-grained Controllable Text Style Transfer
Carnegie Mellon University(卡内基梅隆大学)
语篇风格转换的目的是在保持源句核心意义不变的情况下,可控地生成具有目标风格变化的语篇。许多现有的风格转换基准主要集中在个人的高层次语义变化(例如,积极到消极),这使得在高层次的可控性,但不提供涉及句子结构,强调和句子的内容细粒度的控制。在本文中,我们介绍了一个大规模的基准,StylePTB,(1)成对的句子经历了21个细粒度的风格变化,跨越原子词汇,句法,语义和文本的主题转移,以及(2)多个转移的组成,允许建模细粒度的风格变化作为更复杂,更高层次的转移的构建块。通过对StylePTB上的现有方法进行基准测试,我们发现它们很难对细粒度的更改进行建模,并且更难组合多种样式。因此,StylePTB带来了新的挑战,我们希望这将鼓励未来的研究在可控的文本风格转移,组合模型,学习解开表示。解决这些挑战将是迈向可控文本生成的重要步骤。
2021-04-12 cs.AI cs.CL cs.LG
Generative Modelling for Controllable Audio Synthesis of Expressive Piano Performance
Singapore University of Technology and Design(新加坡科技设计大学);Institute of High Performance Computing, A*STAR(新加坡A*STAR高性能计算研究院)
我们提出了一种基于高斯混合变分自编码器(GM-VAE)的可控神经音频合成器,它可以在音频域中生成逼真的钢琴演奏,该钢琴演奏紧密遵循钢琴演奏的两个基本风格特征的时间条件:清晰度和动态。我们演示了该模型是如何能够在合成音频的过程中应用细粒度的风格变形。这是基于条件,这些条件是可以从先验数据中采样或从其他数据中推断出的潜在变量。设想的用例之一是激发对现有钢琴音乐作品的创造性和全新的诠释。
2020-07-13 cs.LG cs.MM cs.SD
Learning Interpretable Representation for Controllable Polyphonic Music Generation
NYU Shanghai(纽约大学上海分校)
虽然深度生成模型已成为算法合成的主要方法,但由于大多数深度学习模型的潜变量缺乏良好的可解释性,因此控制生成过程仍然是一个具有挑战性的问题。受内容风格分离思想的启发,我们设计了一个新颖的架构,在VAE框架下,有效地学习复调音乐的两个可解释的潜在因素:和弦和织体。目前的模式侧重于学习8拍长钢琴作曲片段。我们发现,这样的和弦纹理解纠缠提供了一个可控的生成途径,导致广泛的应用,包括作曲风格的转移,纹理的变化,和伴奏安排。客观和主观的评价表明,我们的方法实现了成功的解开和高质量的控制音乐生成。
2020-08-17 cs.CL cs.LG cs.SD
Few-shot Controllable Style Transfer for Low-Resource Multilingual Settings
Google Research(谷歌研究院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
风格转换是将句子改写成目标风格,同时大致保留内容的任务。虽然大多数先前的文献假设访问大型风格标记语料库,但最近的工作(Riley et al. 2021)尝试了“Few-Shot”风格迁移,仅使用3-10个句子进行风格提取的推理。在这项工作中,我们研究了一个相关的低资源设置:没有风格标记语料库的语言的风格转移。我们注意到,现有的Few-Shot方法执行此任务很差,通常逐字复制输入。我们推动了Few-Shot风格转换的最新技术,提出了一种新的方法来模拟释义之间的风格差异。与以前的工作相比,我们的模型在七种语言的正式传输和代码混合添加方面的性能提高了2- 3倍。此外,我们的方法是更好地控制风格转移幅度使用输入标量旋钮。我们报告了几个属性转移任务(情感转移,简化,性别中立化,文本匿名化)的有希望的定性结果,所有这些都没有重新训练模型。最后,我们发现模型评估是困难的,由于缺乏数据集和许多语言的指标。为了方便未来的研究,我们众包正式注释4000句对四种印度语言,并使用这些数据来设计我们的自动评估。
2022-03-11 cs.CL cs.LG
VToonify: Controllable High-Resolution Portrait Video Style Transfer
Nanyang Technological University(南洋理工大学)
生成高质量的艺术人像视频是计算机图形学和视觉中一项重要且令人向往的任务。虽然基于StyleGAN已经提出了一系列成功的人像图像卡通化模型,但这些面向图像的方法在应用于视频时具有明显的局限性,例如固定的帧大小,人脸对齐的要求,丢失非面部细节和时间不一致性。在这项工作中,我们研究了具有挑战性的可控的高分辨率人像视频风格转移通过引入一种新的VToonify框架。具体来说,VToonify利用StyleGAN的中分辨率和高分辨率层,根据编码器提取的多尺度内容特征渲染高质量的艺术肖像,以更好地保留帧细节。由此产生的全卷积架构接受可变大小视频中的非对齐面部作为输入,有助于在输出中完成具有自然运动的面部区域。我们的框架与现有的基于StyleGAN的图像toonification模型兼容,将其扩展到视频toonification,并继承了这些模型的吸引人的功能,以实现对颜色和强度的灵活风格控制。这项工作提出了两个实例化的VToonify建立在Toonify和DualStyleGAN为基础的收集和基于范例的肖像视频风格转移,分别。大量的实验结果表明,我们提出的VToonify框架在生成高质量和时间连贯的艺术肖像视频与灵活的风格控制现有的方法的有效性。
2022-09-30 cs.CV cs.GR cs.LG
Learning Calibratable Policies using Programmatic Style-Consistency
California Institute of Technology(加州理工学院);Microsoft Research(微软研究院)
我们研究的问题,可控生成的长期序列行为,其目标是校准到多种行为风格同时进行。与图像、文本和语音的可控生成的研究领域相比,在生成长期行为时,有两个问题构成了重大挑战:我们应该如何指定要控制的变化因素,以及我们如何确保生成的行为忠实地展示多种风格的组合?我们利用编程标签功能来指定可控的风格,并得出一个正式的概念,风格一致性作为学习目标,然后可以使用传统的策略学习方法来解决。我们评估我们的框架使用演示从职业篮球运动员和代理在MuJoCo物理环境,并表明,现有的方法,不明确执行风格一致性未能产生不同的行为,而我们学到的政策可以校准高达1024不同的风格组合。
2020-07-16 cs.LG stat.ML
ChatGPT vs Human-authored Text: Insights into Controllable Text Summarization and Sentence Style Transfer
Saarland University(萨尔大学)
本文系统评估 ChatGPT 在面向受众和写作风格的可控文本摘要与风格迁移中的表现,并通过与人类文本对比揭示其风格变化较弱、分布差异及幻觉问题。
2024-12-10 cs.AI cs.CL cs.LG
CA-GAN: Weakly Supervised Color Aware GAN for Controllable Makeup Transfer
L’Oréal Research and Innovation(欧莱雅研发与创新中心);LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信巴黎理工高等通信学院LTCI实验室)
虽然现有的化妆风格转移模型执行图像合成,其结果不能被显式地控制,但是连续修改化妆颜色的能力是虚拟试穿应用的期望属性。我们提出了一个新的配方的化妆风格转移的任务,目的是学习一个颜色可控的化妆风格合成。我们引入了CA-GAN,这是一种生成模型,可以学习将图像中特定对象(例如嘴唇或眼睛)的颜色修改为任意目标颜色,同时保留背景。由于颜色标签很少见,而且获取成本很高,因此我们的方法利用了条件GANs的弱监督学习。这使得能够学习复杂对象的可控合成,并且只需要我们想要修改的图像属性的弱代理。最后,我们首次提出了定量分析的化妆风格转移和色彩控制性能。
2020-08-24 cs.AI cs.CV cs.LG
StyleShield: Exposing the Fragility of AIGC Detectors through Continuous Controllable Style Transfer
National University of Singapore(新加坡国立大学)
提出StyleShield,一种基于流匹配的条件文本风格迁移框架,通过连续控制风格迁移强度,在保持语义相似度的同时实现高规避率,并引入RateAudit算法质疑基于分数的检测可靠性。
2026-06-16 cs.AI cs.LG
GANs N' Roses: Stable, Controllable, Diverse Image to Image Translation (works for videos too!)
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
我们将展示如何学习一个映射,该映射将从人脸图像派生的内容代码和随机选择的样式代码映射到动漫图像。我们从我们对风格和内容的简单而有效的定义中得出了一个对抗性的损失。这种对抗性的损失保证了地图的多样性--一个单一的内容代码可以产生非常广泛的动画。在合理的假设下,地图不仅是多样的,而且还正确地表示了动画的概率,条件是输入面。相比之下,目前的多模态生成程序不能捕捉动画中出现的复杂风格。大量的定量实验支持了这一观点。大量的定性结果表明,该方法可以产生更多样化的风格比SOTA比较。最后,我们证明了我们的内容和风格的形式化允许我们执行视频到视频的翻译,而无需对视频进行培训。
2021-06-11 cs.CV cs.GR cs.LG
Tweet to News Conversion: An Investigation into Unsupervised Controllable Text Generation
Department of Computer Science
随着最近深度学习模型(如编码器-解码器)的出现,文本生成器系统变得非常流行。在没有监督的情况下控制生成的输出的信息和风格是一项重要且具有挑战性的自然语言处理(NLP)任务。在本文中,我们定义的任务是从一组灾难域推文构建一个连贯的段落,没有任何并行数据。我们通过在管道中建立两个系统来解决这个问题。第一个系统专注于无监督的风格转换,并将个人推文转换为新闻句子。第二个系统将第一个系统的输出拼接在一起,形成一个连贯的新闻段落。我们还提出了一种新的训练机制,通过将句子分割成命题并训练第二个系统合并句子。我们创建了一个验证和测试集组成的推文集和他们的等效新闻段落进行实证评估。在完全无监督的环境中,我们的模型能够获得19.32的BLEU分数,同时成功地转换风格并连接推文以形成有意义的新闻段落。
2020-08-21 cs.CL cs.LG
DECOLLAGE: 3D Detailization by Controllable, Localized, and Learned Geometry Enhancement
Simon Fraser University(西蒙菲莎大学);Adobe Research(奥多比研究院);University of Montreal(蒙特利尔大学);Amazon(亚马逊公司)
本文提出DECOLLAGE,通过掩码感知Pyramid GAN与结构损失实现用户可控、局部化的3D几何细节化,可保留粗结构并生成更连贯的高分辨率风格细节。
2024-09-10 cs.CV cs.GR cs.LG
Unsupervised Controllable Text Formalization
IBM Research(IBM研究院)
我们提出了一个新的可控自然语言转换框架。针对可控生成任务对并行语料库的需求难以满足的问题,提出了一种无监督的训练方案。该框架的关键是一个深度神经编码器-解码器,它通过辅助模块(称为评分器)用文本转换知识来加强。评分器基于现成的语言处理工具,根据其动作决定编码器-解码器的学习方案。我们应用这个框架的文本转换任务的形式化输入文本,通过提高其可读性等级,所需的形式化程度可以由用户在运行时控制。在公共数据集上的实验证明了我们的模型的有效性:(a)将给定的文本转换为更正式的风格,以及(b)在与输入控件相关的输出文本中引入适量的形式化。我们的代码和数据集发布用于学术用途。
2019-02-20 cs.CL cs.LG
Generative Modelling of 3D in-silico Spongiosa with Controllable Micro-Structural Parameters
Consejo Nacional de Investigaciones Científicas y Técnicas(阿根廷国家科学技术研究委员会);Universidad Tecnológica Nacional, Facultad Regional Buenos Aires(阿根廷国立技术大学布宜诺斯艾利斯地区学院);Universidad Nacional del Sur(阿根廷国立南方大学)
脊椎骨微结构的研究通常需要昂贵的程序来获得具有正在研究的特定病理的真实骨的物理扫描,因为还没有方法可以在计算机上生成真实的骨结构。在这里,我们建议应用生成对抗网络(GANs)的最新进展来开发这样一种方法。我们采用了风格转移技术,这已被大量用于其他情况下,以转移图像对之间的风格,同时保留其信息内容。在第一步中,我们使用Wasserstein目标和梯度惩罚(PWGAN-GP)以渐进的方式训练了体积生成模型,以在计算机上创建逼真的骨骼结构补丁。训练集包含来自12个人椎骨(T12或L1)的7660个纯脊椎骨样本,各向同性分辨率为164 μ m,并使用高分辨率外周定量CT(ScorioXCT)扫描。在训练之后,我们通过优化学习的潜在空间中的向量z来生成具有定制的微观结构特性的新样本。为了解决这个优化问题,我们制定了一个可微分的目标函数,该函数可以在保证外观(内容)和目标3D属性(样式)的同时获得有效样本。学习的潜在空间的属性有效地匹配了数据分布。此外,我们能够仅基于微观结构参数的预期变化来模拟骨质疏松症治疗的恶化或治疗效果后产生的骨结构。我们的方法允许生成几乎无限数量的真实骨微结构的补丁,从而可能用于开发骨生物标志物并提前模拟骨治疗。
2020-09-23 cs.CV cs.LG eess.IV