Jointly Understand Your Command and Intention:Reciprocal Co-Evolution between Scene-Aware 3D Human Motion Synthesis and Analysis
该研究提出CESA协同演化流水线,结合级联三阶段生成策略,实现3D场景下人体运动合成与分析任务的相互促进,同时提升两类任务的性能。
2025-03-20 cs.CV
Vision-Language Matching for Text-to-Image Synthesis via Generative Adversarial Networks
Fudan University(复旦大学)
文本到图像合成的目标是从特定的文本描述生成具有照片般真实感和语义一致的图像。与相应的图像和文本描述相比,现成的模型合成的图像通常包含有限的组件,这降低了图像质量和文本-视觉一致性。为了解决这个问题,我们提出了一种新的视觉语言匹配策略的文本到图像的合成,命名为VLMGAN*,它引入了双重视觉语言匹配机制,以加强图像质量和语义一致性。双视觉-语言匹配机制考虑了生成图像与相应文本描述之间的文本-视觉匹配,以及合成图像与真实图像之间的视觉-视觉一致性约束。给定一个特定的文本描述,VLMGAN* 首先将其编码为文本特征,然后将其馈送到基于双重视觉语言匹配的生成模型中,以合成照片般逼真和文本语义一致的图像。此外,目前流行的文本到图像合成的评价指标是从简单的图像生成中借鉴来的,主要评价合成图像的真实性和多样性。因此,我们引入了一个名为视觉-语言匹配分数(VLMS)的度量来评估文本到图像的合成性能,它可以同时考虑图像质量和合成图像和描述之间的语义一致性。所提出的双重多层次视觉语言匹配策略可以应用于其他文本到图像的合成方法。我们在两个流行的基线上实现了这个策略,这两个基线分别标记为${\text{VLMGAN}_{+\text{AttnGAN}}}$和${\text{VLMGAN}_{+\text{DFGAN}}}$。在两个广泛使用的数据集上的实验结果表明,该模型与其他最先进的方法相比取得了显着的改…
2022-08-20 cs.CV
I2T2I: Learning Text to Image Synthesis with Textual Data Augmentation
Data Science Institute, Imperial College London(伦敦帝国理工学院数据科学研究所)
文本和图像之间的信息转换是人工智能中的一个基本问题,它连接了自然语言处理和计算机视觉。在过去的几年中,通过采用递归神经网络(RNN),图像字幕生成的性能得到了显着改善。与此同时,文本到图像生成开始使用特定类别的数据集(如鸟类和花卉)生成合理的图像。我们甚至看到了通过使用生成对抗网络(GANs)从多类别数据集(如Microsoft Common Objects in Context(MSCOCO))生成图像。然而,合成具有复杂形状的物体仍然具有挑战性。例如,动物和人类有许多自由度,这意味着它们可以呈现出许多复杂的形状。我们提出了一种新的训练方法称为图像-文本-图像(I2 T2 I),它集成了文本到图像和图像到文本(图像描述)合成,以提高文本到图像合成的性能。我们证明了我们的方法的能力,理解的句子描述,使I2 T2 I可以产生更好的多类别图像使用MSCOCO比国家的最先进的。我们还证明,I2 T2 I可以实现迁移学习通过使用一个预先训练的图像描述模块,以产生的MPII人体姿势的人的图像
2017-06-03 cs.CL cs.CV
Synthesize Privacy-Preserving High-Resolution Images via Private Textual Intermediaries
Peking University(北京大学);Microsoft Research(微软研究院);Google Research(谷歌研究院);Wangxuan Institute of Computer Technology, Peking University(计算机技术研究院,北京大学);State Key Laboratory of General Artificial Intelligence(通用人工智能国家重点实验室)
本文提出SPTI方法,通过文本中介将DP图像合成转为DP文本生成,无需训练,利用现成模型,在LSUN Bedroom和MM CelebA HQ上显著提升FID,实现高分辨率隐私保护图像合成。
2025-10-27 cs.AI cs.CV
CustomText: Customized Textual Image Generation using Diffusion Models
TCS Research(塔塔咨询服务研究中心)
针对现有扩散模型文本渲染不准、字体属性控制有限的问题,提出CustomText方法,结合预训练TextDiffuser与针对一致性解码器训练的ControlNet,实现精准文本定制,在相关数据集上表现优于现有方法。
2024-05-21 cs.CV cs.LG
MUSE: Multi-Subject Unified Synthesis via Explicit Layout Semantic Expansion
Beijing University of Posts and Telecommunications(北京邮电大学);Kuaishou Technology(快手科技)
针对现有方法难以同时满足多主体组合合成中空间精度与身份保留的问题,提出MUSE框架,通过串联交叉注意力(CCA)集成布局与文本引导,结合两阶段训练策略,实现更优的零样本端到端生成效果。
2025-08-20 cs.CV
Synth-SONAR: Sonar Image Synthesis with Enhanced Diversity and Realism via Dual Diffusion Models and GPT Prompting
SRM Institute of Science and Technology(SRM科学技术学院)
本研究提出声纳图像合成框架Synth-SONAR,结合扩散模型与GPT提示,通过双文本条件模型和生成式AI风格注入技术,生成了高质量、高多样性的合成声纳数据集。
2024-10-11 cs.AI cs.CV cs.LG
Seek for Incantations: Towards Accurate Text-to-Image Diffusion Synthesis through Prompt Engineering
Huawei(华为)
本文针对扩散模型在复杂文本到图像合成中的混淆问题,提出通过提示学习自动学习恰当文本描述的框架,利用质量与语义引导提升图文匹配度。
2024-01-12 cs.CV
A Novel Approach to Artistic Textual Visualization via GAN
Saint Francis High School(圣弗朗西斯高中);Beijing Normal University(北京师范大学)
统计数据的可视化已经趋于成熟,而文本数据的可视化还处于起步阶段,尤其是艺术文本。由于艺术文本的可视化在艺术和信息科学领域都具有重要的价值和吸引力,本文试图实现这一设想。我们提出了基于生成对抗网络的艺术文本可视化(GAN-ATV),它可以在分析现有诗歌的语义内容后创建绘画。我们的GAN-ATV由两个主要部分组成:自然语言分析部分和视觉信息合成部分。在自然语言分析部分,我们使用词袋(BoW)特征描述符和一个两层网络来挖掘和分析诗歌的高层语义信息。在视觉信息合成部分,设计了跨模态语义理解模块,并将其与生成对抗网络(GAN)集成,生成与原诗内容相对应的绘画。此外,为了训练我们的GAN-ATV并验证其性能,我们建立了一个名为“Cross-Art”的跨模态艺术数据集。在Cross-Art数据集中,有六个主题,每个主题都有对应的绘画和诗歌。本文给出了在Cross-Art数据集上的实验结果。
2017-10-29 cs.CV
TauPETGen: Text-Conditional Tau PET Image Synthesis Based on Latent Diffusion Models
Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
本文提出TauPETGen,一种基于潜在扩散模型的文本条件tau PET图像合成方法,利用文本描述和MR图像生成不同临床阶段的逼真tau PET图像,以提高数据集可用性。
2023-06-21 cs.AI cs.CV eess.IV
BiPO: Bidirectional Partial Occlusion Network for Text-to-Motion Synthesis
Kyung Hee University(庆尚大学);NC Research, NCSOFT Corp.(NC研究,NCSOFT公司);Korea University(韩国大学)
BiPO通过整合部分生成与双向自回归架构,提升了文本到动作合成的性能,并在HumanML3D数据集上实现了最先进的结果。
2026-10-08 cs.CV cs.GR
Self-Supervised Image-to-Text and Text-to-Image Synthesis
Indian Institute of Technology Patna(印度理工学院巴特那分校)
全面理解视觉和语言及其相互关系对于认识这些模式之间的潜在相似性和差异以及学习更普遍、更有意义的表征至关重要。近年来,大多数与文本到图像合成和图像到文本生成相关的工作都集中在有监督的生成深度架构上来解决这些问题,其中很少有兴趣学习跨模态嵌入空间之间的相似性。在本文中,我们提出了一种新的基于自监督深度学习的方法来学习跨模态嵌入空间;用于图像到文本和文本到图像生成。在我们的方法中,我们首先使用基于StackGAN的自动编码器模型获得图像的密集矢量表示,并使用基于LSTM的文本自动编码器获得图像级的密集矢量表示;然后我们使用GAN和基于最大均值差异的生成网络研究从一种模态的嵌入空间到另一种模态的嵌入空间的映射。我们还证明了我们的模型可以从图像数据中学习生成文本描述,以及从文本数据中定性和定量生成图像。
2021-12-09 cs.CL cs.CV cs.LG
LAViTeR: Learning Aligned Visual and Textual Representations Assisted by Image and Caption Generation
University at Buffalo, The State University of New York(纽约州立大学布法罗分校)
本文提出LAViTeR架构,通过视觉文本对齐模块并辅以GAN图像合成和图像描述生成任务,学习对齐的视觉与文本表示,并在CUB和MS-COCO上验证了其优越的对齐效果。
2024-10-01 cs.AI cs.CL cs.CV
AnomalyControl: Learning Cross-modal Semantic Features for Controllable Anomaly Synthesis
提出AnomalyControl框架,通过跨模态语义建模和异常语义增强注意力,利用文本-图像参考提示学习跨模态语义特征,实现可控且真实的异常合成,并在下游任务中达到最优性能。
2025-08-07 cs.AI cs.CV
Exploiting Cultural Biases via Homoglyphs in Text-to-Image Synthesis
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森人工智能中心);German Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Centre for Cognitive Science of Darmstadt(达姆施塔特认知科学中心)
本文发现文本到图像模型会因输入非拉丁字符而产生文化偏见,并提出一种同形字遗忘方法微调文本编码器以防御此类攻击。
2024-01-09 cs.AI cs.CV cs.CY
Abstract Art Interpretation Using ControlNet
Columbia University(哥伦比亚大学)
本研究通过引入 ControlNet 和基于三角形等几何图元的新颖条件,解决了仅靠文本提示难以精确控制图像构图的问题,实现了对抽象艺术风格的文本到图像合成的精细空间控制。
2024-08-23 cs.AI cs.CV cs.LG
Knowledge-Aware Artifact Image Synthesis with LLM-Enhanced Prompting and Multi-Source Supervision
Peking University(北京大学)
针对现有文本生成图像方法难以捕捉文物领域知识、生成效果不佳的问题,提出结合LLM提取考古知识构建提示、对比式历史知识文本引导、视觉语义约束的扩散模型方法,提升了文物图像生成质量与历史契合度。
2023-12-13 cs.AI cs.CV
P+: Extended Textual Conditioning in Text-to-Image Generation
Google Research(谷歌研究院);Tel Aviv University(特拉维夫大学)
本文提出文本到图像扩散模型的扩展文本条件空间 P+ 及扩展文本反转 XTI,通过逐层提示和 token 表示增强控制、反转精度与个性化及风格混合效果。
2023-07-15 cs.CL cs.CV cs.GR
MACS: Mass Conditioned 3D Hand and Object Motion Synthesis
MPI for Informatics, SIC(马克斯·普朗克信息学研究所,SIC);VIA Research Center(VIA研究中心);Google(谷歌)
针对物体质量影响手部操作但被以往运动合成忽视的问题,提出首个基于质量条件的3D手部物体运动合成方法MACS,采用级联扩散模型,支持轨迹输入,可泛化至未见质量与物体。
2023-12-22 cs.CV cs.GR
Towards Open Domain Text-Driven Synthesis of Multi-Person Motions
University of Washington(华盛顿大学);University at Buffalo(布法罗大学);InnoPeak Technology(英诺沛科技);University of Rochester(罗切斯特大学);Westlake University(西湖大学)
针对多人文本驱动动作合成数据集不足的难题,通过从大规模图像视频中估计姿态构建数据集,提出适配多数据集的transformer扩散框架,首次实现多样文本下高保真、高多样性的多主体动作序列生成。
2024-07-15 cs.CV
Sissi: Zero-shot Style-guided Image Synthesis via Semantic-style Integration
Sissi通过语义-风格整合实现零样本风格引导图像合成,采用上下文学习框架提升风格化效果与语义一致性。
2026-01-10 cs.CV
FW-GAN: Frequency-Driven Handwriting Synthesis with Wave-Modulated MLP Generator
University of Information Technology(信息技术大学);Vietnam National University(越南国家大学)
FW-GAN提出单样本手写体合成框架,通过相位感知Wave-MLP生成器、频率引导判别器和频率分布损失,利用频率信息生成风格一致的高质量手写体,用于低资源手写识别数据增强。
2025-08-28 cs.CV cs.LG
CLIP Model for Images to Textual Prompts Based on Top-k Neighbors
Wuhan University(武汉大学);Beijing Jiaotong University(北京交通大学)
针对图像到文本提示生成任务,提出结合 CLIP 与 KNN 的两阶段在线/离线方法,无需大量标注数据,并取得 0.612 的最优指标。
2024-01-18 cs.AI cs.CV
Towards Detailed Text-to-Motion Synthesis via Basic-to-Advanced Hierarchical Diffusion Model
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯AI实验室);Xi’an Jiao Tong University(西安交通大学)
针对现有文本到动作扩散模型存在的模态不一致或细节匮乏问题,提出基础到进阶层次扩散模型B2A-HDM,结合低维基础扩散与高维进阶多去噪器扩散,在两个基准上实现了保真度、模态一致性和多样性的提升。
2023-12-18 cs.CV
Make-Your-Video: Customized Video Generation Using Textual and Structural Guidance
CUHK(香港中文大学);Tencent AI Lab(腾讯人工智能实验室);HKUST(香港科技大学)
本文提出 Make-Your-Video,结合文本上下文与逐帧深度等运动结构引导,通过两阶段潜在扩散模型和因果注意力掩码实现高质量、长时序的定制视频生成。
2023-06-01 cs.CV
LLMControl: Grounded Control of Text-to-Image Diffusion-based Synthesis with Multimodal LLMs
Tianjin University(天津大学)
针对文本到图像扩散模型在多物体、复杂空间构图下控制精度不足的问题,提出LLM_Control框架,以多模态LLM为全局控制器生成控制信号注入去噪网络,实现更精准的可控图像合成,性能比肩前沿方法。
2025-07-26 cs.CV
HiGarment: Cross-modal Harmony Based Diffusion Model for Flat Sketch to Realistic Garment Image
Xi’an Jiaotong Liverpool University(西安交通大学利物浦大学);NingboTech University(宁波科技学院);Beijing Normal University(北京师范大学);Zhejiang University(浙江大学)
针对平面草图到真实服装图像生成任务,提出HiGarment框架,通过多模态语义增强和和谐交叉注意力机制解决面料细节捕捉与图文冲突问题,并构建了最大开源服装数据集。
2025-08-10 cs.CV
T2VTextBench: A Human Evaluation Benchmark for Textual Control in Video Generation Models
Guilin University of Electronic Technology(桂林电子科技大学);University of Arizona(亚利桑那大学);University of Wisconsin-Madison(威斯康星大学麦迪逊分校);University of California, Berkeley(加州大学伯克利分校);Arizona State University(亚利桑那州立大学)
本文提出首个面向文本到视频模型的屏幕文本保真度与时间一致性人类评估基准T2VTextBench,评估十个主流系统后发现大多数难以生成清晰一致的屏幕文本,揭示了当前视频生成中的关键不足。
2025-05-08 cs.AI cs.CL cs.CV
Bimanual Grasp Synthesis for Dexterous Robot Hands
School of Information Science and Technology at ShanghaiTech University(上海科技大学信息科学与技术学院)
本文提出BimanGrasp算法与BimanGrasp-Dataset数据集,并训练扩散模型BimanGrasp-DDPM,实现灵巧手双手抓取合成,成功率达69.87%且计算速度显著提升。
2024-11-24 cs.AI cs.CV cs.RO
ParTY: Part-Guidance for Expressive Text-to-Motion Synthesis
Kyung Hee University(庆熙大学)
ParTY通过部分引导网络、部分感知文本定位和整体-部分融合,提升文本到运动合成中部分表现力和动作连贯性。
2026-03-10 cs.CV
Inversion-Based Style Transfer with Diffusion Models
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of AI, UCAS(中国科学院大学人工智能学院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);Kuaishou Technology(快手科技)
绘画作品的艺术风格是绘画作品的表现手段,它不仅包括绘画材料、色彩、笔触等,还包括语义元素、对象形状等高级属性。以往任意的实例引导的艺术图像生成方法往往无法控制形状变化或传达元素。预先训练的文本到图像合成扩散概率模型已经取得了显着的质量,但它往往需要大量的文本描述,以准确地描绘特定绘画的属性。我们认为,艺术品的独特性恰恰在于它无法用正常的语言来充分解释。我们的核心思想是直接从一幅画作中学习艺术风格,然后在不提供复杂的文本描述的情况下指导合成。具体来说,我们假设风格是一幅绘画的可学习的文本描述。我们提出了一种基于反转的风格转换方法(InST),该方法可以高效准确地学习图像的关键信息,从而捕捉和转换绘画的艺术风格。我们证明了我们的方法在各种艺术家和风格的许多绘画的质量和效率。代码和型号可在https://github.com/zyxElsa/InST上获得。
2023-03-20 cs.CV cs.GR
Disentangling Latent Hands for Image Synthesis and Pose Estimation
University of Bonn(波恩大学);National University of Singapore(新加坡国立大学)
由于从图像背景内容到相机视点的变化因素之间存在很大差异,因此从RGB图像合成手部图像和姿态估计都是非常具有挑战性的任务。为了更好地分析这些因素的变化,我们提出了使用解开表示和解开变分自编码器(dVAE),允许特定的采样和推断这些因素。从变分下界导出的目标以及建议的训练策略是高度灵活的,使我们能够处理跨模态编码器和解码器以及半监督学习场景。实验表明,我们的dVAE可以合成高度逼真的图像的手指定的姿势和图像背景内容,也估计3D的手构成从RGB图像的准确性竞争与国家的最先进的两个公共基准。
2019-04-25 cs.CV
Hand1000: Generating Realistic Hands from Text with Only 1,000 Images
Peking University(北京大学);Singapore Management University(新加坡管理大学);University of Science and Technology of China(中国科学技术大学)
提出Hand1000方法,通过三阶段训练(手势表示提取、文本嵌入优化、Stable Diffusion微调)及构建专用数据集,仅用1,000张图像即可生成解剖学准确且忠于文本细节的逼真手部图像。
2024-12-21 cs.CV cs.MM
LoCo: Locally Constrained Training-Free Layout-to-Image Synthesis
Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州高等研究院)
本文提出免训练布局到图像合成方法 LoCo,通过引入局部注意力约束(LAC)和填充令牌约束(PTC),精确控制对象放置并提升外观与布局的一致性,在多个基准上超越现有免训练方法。
2024-03-26 cs.CV
Training-free Dense-Aligned Diffusion Guidance for Modular Conditional Image Synthesis
Sichuan University(四川大学);Singapore University of Technology and Design(新加坡科技设计大学);The University of Adelaide(阿德莱德大学);Australian National University(澳大利亚国立大学)
针对当前条件图像合成方法任务导向、范围狭窄的问题,提出将条件分为文本、布局、拖动三类并设计对应密集对齐模块(DCA、DGA、DMA)的模块化框架,实验表明其在多种条件下性能优越且应用范围更广。
2025-04-03 cs.AI cs.CV
GUESS:GradUally Enriching SyntheSis for Text-Driven Human Motion Generation
Sun Yat-sen University(中山大学);Tencent AI Lab(腾讯AI实验室)
本文提出一种基于级联扩散的文本驱动人体动作生成框架GUESS,通过递归抽象关节分组实现多粒度骨架表示,并采用多阶段生成与动态多条件融合机制,在大规模数据集上大幅超越现有方法。
2024-01-06 cs.CV
Parametric Synthesis of Text on Stylized Backgrounds using PGGANs
Conduent Labs(Conduent实验室);eBay
我们描述了一种新的方法,生成高分辨率的真实世界的文本图像的风格和文本内容的图像参数化描述。我们的方法将文本到图像检索技术与生成对抗网络(PGGAN)的逐步增长相结合,以实现反映特定风格的照片级逼真图像的条件生成,以及在现实世界的图像中看到的文物。我们证明了我们的方法的背景下,汽车牌照。我们评估了不同的训练图像的每种风格的保真度的影响,并证明了使用车牌识别系统生成的图像的质量。
2018-09-22 cs.CV
LS-GAN: Human Motion Synthesis with Latent-space GANs
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
本文提出LS-GAN框架,在隐空间中使用GAN进行文本条件的人体动作合成,在HumanML3D和HumanAct12上取得与扩散模型相当的效果,并将FLOPs降低91%以上。
2024-12-30 cs.AI cs.CV
Towards Continual Expansion of Data Coverage: Automatic Text-guided Edge-case Synthesis
Superb AI Seoul, South Korea(首尔超凡AI研究所,韩国)
本文提出自动文本引导的边缘案例合成方法,通过预训练语言模型生成多样化提示,提升模型鲁棒性,优于传统增强方法。
2026-11-10 cs.AI cs.CV
MedSyn: Text-guided Anatomy-aware Synthesis of High-Fidelity 3D CT Images
Boston University(波士顿大学);Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学);University of Pittsburgh Medical Center(匹兹堡大学医学中心);University of Pittsburgh(匹兹堡大学)
本文提出MedSyn方法,通过改进UNet架构的分层方案和结合分割掩码,实现文本引导的高保真3D肺部CT图像合成,在保留解剖细节方面优于现有GAN和扩散模型。
2024-10-15 cs.CV eess.IV
T3M: Text Guided 3D Human Motion Synthesis from Speech
OpenGVLab;Shanghai AI Laboratory(上海人工智能实验室);New York University(纽约大学)
针对现有语音驱动3D动作合成方法仅依赖音频导致结果不准确且不灵活的问题,提出文本引导的方法T3M,通过文本输入实现精确控制,在定量与定性评估上均大幅超越现有方法。
2024-08-23 cs.CV
HandBooster: Boosting 3D Hand-Mesh Reconstruction by Conditional Synthesis and Sampling of Hand-Object Interactions
The Chinese University of Hong Kong(香港中文大学);University of Electronic Science and Technology of China(电子科技大学)
提出HandBooster方法,通过在手-物交互上训练条件生成空间并采样合成有效数据样本,提升3D手部网格重建的数据多样性与性能,在HO3D和DexYCB基准上显著超越SOTA。
2024-03-27 cs.CV
G-HOP: Generative Hand-Object Prior for Interaction Reconstruction and Grasp Synthesis
Carnegie Mellon University(卡内基梅隆大学);MetaAI(元人工智能研究院)
我们提出G-HOP,一种基于去噪扩散的生成式手-物交互先验,可联合建模手和物体,并作为通用指导,在视频重建和抓取合成任务中优于现有基线。
2024-04-18 cs.CV
The Art of Food: Meal Image Synthesis from Ingredients
Rutgers University(罗格斯大学);Samsung AI Center(三星人工智能中心)
在这项工作中,我们提出了一个新的计算框架,基于生成的深度模型,用于从其成分的文本描述合成照片般逼真的食物图像。以前从文本合成图像的工作通常依赖于预先训练的文本模型来提取文本特征,然后是生成神经网络(GANs),旨在生成以文本特征为条件的逼真图像。这些作品主要集中在生成空间紧凑和定义明确的对象类别,如鸟类或花卉。相比之下,膳食图像明显更复杂,由多种成分组成,其外观和空间质量通过烹饪方法进一步修改。我们提出了一种方法,首先建立一个基于注意力的成分图像关联模型,然后使用它来调节生成神经网络的任务是合成膳食图像。此外,添加了周期一致性约束,以进一步提高图像质量和控制外观。大量的实验表明,我们的模型能够生成与成分相对应的膳食图像,这些图像可以用于增强现有的数据集,以解决其他计算食品分析问题。
2019-05-09 cs.CV cs.GR cs.LG
Dancing Avatar: Pose and Text-Guided Human Motion Videos Synthesis with Image Diffusion Model
Zhejiang University(浙江大学)
本文提出 Dancing Avatar,利用预训练 T2I 扩散模型并结合帧内、背景与帧间对齐模块,实现文本和姿态引导的高一致性人体运动视频生成。
2023-08-15 cs.AI cs.CV
Fill-Up: Balancing Long-Tailed Data with Generative Models
Pohang University of Science and Technology (POSTECH)(浦项科技大学)
针对现有生成数据补充方法在长尾等数据匮乏场景提升有限的问题,本文提出基于Textual Inversion的图像合成流程Fill-Up,可有效对齐真实域、缓解数据不平衡,结合长尾识别技术在标准长尾基准上实现从头训练的最优结果。
2023-06-12 cs.CV cs.LG
More Control for Free! Image Synthesis with Semantic Diffusion Guidance
UC Berkeley(加州大学伯克利分校);Picsart AI Research (PAIR)(Picsart人工智能研究院(PAIR));University of Oregon(俄勒冈大学);The University of Hong Kong(香港大学)
可控的图像合成模型允许基于文本指令或参考图像的指导创建不同的图像。最近,去噪扩散概率模型已被证明比现有方法生成更逼真的图像,并已成功地证明在无条件和类条件设置。我们调查细粒度,连续控制这个模型类,并引入一个新的统一框架语义扩散指导,它允许语言或图像指导,或两者兼而有之。使用图像-文本或图像匹配分数的梯度将指导注入到预训练的无条件扩散模型中,而不重新训练扩散模型。我们探索基于CLIP的语言指导,以及在一个统一的框架中基于内容和风格的图像指导。我们的文本引导合成方法可以应用于没有相关文本注释的数据集。我们在FFHQ和LSUN数据集上进行了实验,并展示了细粒度文本指导的图像合成,与样式或内容参考图像相关的图像合成以及文本和图像指导的示例的结果。
2022-12-05 cs.CV cs.GR
Text to Automata Diagrams: Comparing TikZ Code Generation with Direct Image Synthesis
Marshall University(马歇尔大学);West Virginia State University(西弗吉尼亚州立大学)
本研究比较了通过视觉-语言模型生成TikZ代码与直接图像合成在生成自动机图描述中的效果,发现人工修正能显著提高生成准确性。
2026-03-09 cs.CV
An Interpretable Generative Model for Handwritten Digit Image Synthesis
University of Southern California(南加州大学);IIIT(印度德里英迪拉·甘地信息技术学院(德里印度信息技术学院));IIT(印度理工学院)
本文提出了一个可解释的手写数字合成生成模型。现代图像生成模型,如生成对抗网络(GANs)和变分自编码器(VAE),通过反向传播(BP)进行训练。训练过程很复杂,基本机制很难解释。我们提出了一个可解释的多阶段PCA方法,以实现相同的目标,并使用手写数字图像合成作为一个说明性的例子。首先,我们在每个阶段根据其输入的协方差推导出基于主成分分析(PCA)的变换核。这导致将相关像素的输入图像转换为不相关分量的光谱向量的变换序列。换句话说,这是一个美白的过程。然后,我们可以通过着色过程合成基于随机向量和多级变换核的图像。生成模型是前馈(FF)设计,因为没有BP用于模型参数确定。它的设计复杂度明显降低,整个设计过程是可解释的。最后,我们使用MNIST数据集设计了一个FF生成模型,并将合成结果与最先进的GAN和VAE方法进行了比较,结果表明所提出的生成模型具有相当的性能。
2018-11-11 cs.CV
3D-LATTE: Latent Space 3D Editing from Textual Instructions
University of Tübingen, Tübingen AI Center(图宾根大学,图宾根人工智能中心);Google Zurich(谷歌瑞士总部)
3D-LATTE通过在潜在空间中直接操控3D几何,实现高质量的文本指令驱动3D编辑。
2025-12-12 cs.CV cs.GR
Novel-view Synthesis and Pose Estimation for Hand-Object Interaction from Sparse Views
Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);University of Chinese Academy of Sciences(中国科学院大学);Google(谷歌)
针对稀疏视角下手物交互理解与新视角合成的难题,提出分离线先验学习和在线联合拟合两阶段的神经渲染系统,引入稳定接触损失,性能超越现有最优方法,支持3D交互编辑。
2023-08-22 cs.CV
SLOGAN: Handwriting Style Synthesis for Arbitrary-Length and Out-of-Vocabulary Text
South China University of Technology(华南理工大学);Peng Cheng Laboratory(鹏城实验室)
训练鲁棒的文本识别器迫切需要大量的标记数据。然而,收集不同风格的笔迹数据以及庞大的词典是相当昂贵的。虽然数据合成是一种很有前途的方法来缓解数据饥饿,手写合成的两个关键问题,即风格表示和内容嵌入,仍然没有解决。为此,我们提出了一种新的方法,可以合成参数化和可控的手写风格的任意长度和词汇表外的文本的基础上生成的对抗网络(GAN),称为SLOGAN。具体来说,我们提出了一个风格银行参数化的具体手写风格作为潜在的向量,这是输入到一个发电机作为风格先验,以实现相应的手写风格。风格库的训练只需要源图像的作者识别,而不需要属性注释。此外,我们通过提供容易获得的打印样式图像来嵌入文本内容,从而可以通过改变输入的打印图像来灵活地实现内容的多样性。最后,生成器由双鉴别器指导,以处理作为单独字符和一系列草书连接出现的手写特征。我们的方法可以合成的话,不包括在训练词汇和各种新的风格。大量的实验表明,高质量的文本图像具有很大的风格多样性和丰富的词汇可以合成使用我们的方法,从而提高了识别器的鲁棒性。
2022-02-23 cs.CV
Text2Data: Low-Resource Data Generation with Textual Control
Salesforce(赛富时)
本文提出Text2Data方法,通过无监督扩散模型学习无标签数据分布,并结合基于约束优化的可控微调,在分子、运动和时间序列等低资源场景下实现文本可控的数据生成,有效缓解灾难性遗忘并提升可控性。
2025-01-02 cs.AI cs.CL cs.LG
Separate to Collaborate: Dual-Stream Diffusion Model for Coordinated Piano Hand Motion Synthesis
Tsinghua University(清华大学)
针对双手钢琴演奏动作合成中独立性与协调性难兼顾的问题,提出带双噪声初始化和解耦扩散、HCAA机制的双流框架,从音频生成同步手部姿态,多项指标超现有SOTA。
2025-09-04 cs.CV cs.SD eess.AS