Img-Diff: Contrastive Data Synthesis for Multimodal Large Language Models
Sun Yat-Sen University(中山大学);Alibaba Group(阿里巴巴集团)
本文提出受对比学习启发的数据合成方法Img-Diff,通过生成相似图像对并利用差异区域与描述生成器构建高质量数据集,显著提升了多模态大模型在图像差异和视觉问答任务上的性能。
2024-12-19 cs.AI cs.CV
Advancing vision-language models in front-end development via data synthesis
KE Holdings Inc.(贝壳找房);Alibaba Group(阿里巴巴集团)
提出反思性智能体工作流合成前端开发图文数据,结合三种数据合成策略训练视觉-语言模型Flame,显著提升从设计图像生成React代码的准确性与功能性。
2025-03-03 cs.AI cs.CL cs.CV
Text-Only Data Synthesis for Vision Language Model Training
The Hong Kong University of Science and Technology (Guangzhou)(香港科学与技术大学(广州));Great Bay University(大湾大学)
提出一个跨集成的三阶段多模态数据合成框架,仅从文本生成高质量多模态训练数据,用于视觉语言模型的预训练和指令微调。
2026-05-27 cs.AI cs.CV cs.MM
Comprehensive Facial Expression Synthesis using Human-Interpretable Language
Center for Applied Research in Artificial Intelligence (CARAI)(人工智能应用研究中心 (CARAI))
面部表情合成的最新进展已经显示出使用包括面部动作单元在内的多种表情表示的有希望的结果。复杂面部表情合成的面部动作单元需要直观地表示以供人类理解,而不是面部动作单元的数字分类。为了解决这个问题,我们利用人性化的方法:使用自然语言,语言帮助人类掌握概念上下文。因此,在本文中,我们提出了一个新的面部表情合成模型,从基于语言的面部表情描述。我们的方法可以合成具有详细表情的人脸图像。此外,有效地嵌入语言特征的面部特征,我们的方法可以控制单个词来处理面部运动的每个部分。为了验证自然语言的有效性,进行了大量的定性和定量评估。
2020-07-16 cs.CV
Vision-Language Matching for Text-to-Image Synthesis via Generative Adversarial Networks
Fudan University(复旦大学)
文本到图像合成的目标是从特定的文本描述生成具有照片般真实感和语义一致的图像。与相应的图像和文本描述相比,现成的模型合成的图像通常包含有限的组件,这降低了图像质量和文本-视觉一致性。为了解决这个问题,我们提出了一种新的视觉语言匹配策略的文本到图像的合成,命名为VLMGAN*,它引入了双重视觉语言匹配机制,以加强图像质量和语义一致性。双视觉-语言匹配机制考虑了生成图像与相应文本描述之间的文本-视觉匹配,以及合成图像与真实图像之间的视觉-视觉一致性约束。给定一个特定的文本描述,VLMGAN* 首先将其编码为文本特征,然后将其馈送到基于双重视觉语言匹配的生成模型中,以合成照片般逼真和文本语义一致的图像。此外,目前流行的文本到图像合成的评价指标是从简单的图像生成中借鉴来的,主要评价合成图像的真实性和多样性。因此,我们引入了一个名为视觉-语言匹配分数(VLMS)的度量来评估文本到图像的合成性能,它可以同时考虑图像质量和合成图像和描述之间的语义一致性。所提出的双重多层次视觉语言匹配策略可以应用于其他文本到图像的合成方法。我们在两个流行的基线上实现了这个策略,这两个基线分别标记为${\text{VLMGAN}_{+\text{AttnGAN}}}$和${\text{VLMGAN}_{+\text{DFGAN}}}$。在两个广泛使用的数据集上的实验结果表明,该模型与其他最先进的方法相比取得了显着的改…
2022-08-20 cs.CV
Style-Content Disentanglement in Language-Image Pretraining Representations for Zero-Shot Sketch-to-Image Synthesis
University of Amsterdam(阿姆斯特丹大学)
在这项工作中,我们提出并验证了一个框架,利用语言图像预训练表示的训练免费zero-shot草图到图像合成。我们发现,解开的内容和风格表示可以用来指导图像生成器,采用它们作为草图到图像生成器,而无需(重新)训练任何参数。我们的方法来解开的风格和内容需要一个简单的方法,包括基本的算术假设输入草图表示的信息组合性。我们的研究结果表明,这种方法与最先进的实例级开放域草图到图像模型相比具有竞争力,而只依赖于预先训练的现成模型和一小部分数据。
2022-06-03 cs.CV
PLLM: Pseudo-Labeling Large Language Models for CAD Program Synthesis
Brown University(布朗大学);Toyota Research Institute(丰田研究机构)
PLLM通过伪标签技术,利用预训练的大语言模型和未标记的3D形状数据,提升CAD程序合成的几何保真度和程序多样性。
2026-02-13 cs.CV
AnonySIGN: Novel Human Appearance Synthesis for Sign Language Video Anonymisation
University of Surrey(萨里大学)
手语数据的视觉匿名化是解决大规模数据集收集引起的隐私问题的一项重要任务。以前的匿名化技术要么显著影响了符号理解,要么需要手工劳动密集型工作。在本文中,我们正式介绍了手语视频匿名化(SLVA)的任务,作为一种自动的方法来匿名的手语视频的视觉外观,同时保留原始手语序列的意义。为了解决SLVA问题,我们提出了AnonySign,这是一种用于手语数据视觉匿名化的新方法。我们首先从源视频中提取姿势信息,以去除原始签名者的外观。接下来,我们从姿势序列中生成一个新颖外观的照片般逼真的手语视频,使用条件变分自编码器框架中的图像到图像的翻译方法。学习近似的后验风格分布,可以从中采样以合成新颖的人类外观。此外,我们提出了一种新的\textit{style loss},确保风格的一致性,在匿名的手语视频。我们评估AnonySign的SLVA任务与广泛的定量和定性实验突出现实主义和匿名性,我们的新的人类外观合成。此外,我们正式的匿名知觉研究作为评价标准的SLVA任务,并展示使用AnonySign的视频匿名保留原始的手语内容。
2021-07-23 cs.CV
CLIPDraw: Exploring Text-to-Drawing Synthesis through Language-Image Encoders
Cross Compass Ltd.(Cross Compass公司);Massachusetts Institute of Technology(麻省理工学院);Tokyo Institute of Technology(东京工业大学);University of Tokyo(东京大学)
这项工作提出了CLIPDraw,一个算法,合成新的图纸的基础上自然语言输入。CLIPDraw不需要任何训练;而是使用预先训练的CLIP语言图像编码器作为度量标准,以最大限度地提高给定描述和生成的绘图之间的相似性。至关重要的是,CLIPDraw操作的是矢量笔划而不是像素图像,这一约束使绘图偏向于更简单的人类可识别的形状。结果比较CLIPDraw和其他合成通过优化的方法,以及突出CLIPDraw的各种有趣的行为,如满足歧义的文本在多种方式,可靠地产生图纸在不同的艺术风格,并从简单到复杂的视觉表示的笔划数增加。该方法的实验代码可在https://colab.research.google.com/github/kvfrans/clipdraw/blob/main/clipdraw.ipynb上获得
2021-06-28 cs.CV
Decorum: A Language-Based Approach For Style-Conditioned Synthesis of Indoor 3D Scenes
Meta Reality Labs(元宇宙现实实验室);New York University(纽约大学);Iowa State University(爱荷华州立大学)
提出Decorum方法,利用语言表示和大型语言模型实现自然语言控制的室内3D场景生成,并在3D-FRONT数据集上取得优于现有方法的性能。
2025-03-25 cs.CV
LDGen: Enhancing Text-to-Image Synthesis via Large Language Model-Driven Language Representation
Li Auto Inc(理想汽车公司)
LDGen通过大语言模型驱动的语言表示,结合轻量适配器与跨模态精炼器,实现高效零样本多语言文本到图像生成,提升提示遵循与美学质量。
2025-02-25 cs.CV
AnomalyPainter: Vision-Language-Diffusion Synergy for Zero-Shot Realistic and Diverse Industrial Anomaly Synthesis
Xiamen University(厦门大学);INSPUR DIGI ENT.(浪潮数字企业)
AnomalyPainter通过协同视觉语言大模型、潜在扩散模型和Tex-9K纹理库,实现零样本工业异常合成,在真实性、多样性和泛化性上优于现有方法。
2025-03-11 cs.CV
Language-driven Scene Synthesis using Multi-conditional Diffusion Model
FSOFT AI Center(FSOFT AI中心);TU Wien(维也纳工业大学);AIT GmbH(AIT有限公司);Imperial College London(伦敦帝国理工学院);Ton Duc Thang University(孙德胜大学);University of Liverpool(利物浦大学)
提出语言驱动的场景合成任务,结合文本提示、人类动作和现有物体,通过显式预测指导点的多条件扩散模型统一处理多模态条件,优于现有基准并支持场景编辑。
2023-10-24 cs.CV
NeRDi: Single-View NeRF Synthesis with Language-Guided Diffusion as General Image Priors
Stanford University(斯坦福大学);Waymo;Google Research(谷歌研究院)
2D到3D重建是一个不适定问题,但由于人类多年来对3D世界的先验知识,人类擅长解决这个问题。在这种观察的驱动下,我们提出了NeRDi,一个单视图NeRF合成框架,具有来自2D扩散模型的一般图像先验。将单视图重建作为一个有图像条件的3D生成问题,我们通过在输入视图约束下使用预训练的图像扩散模型最小化其任意视图渲染上的扩散损失来优化NeRF表示。我们利用现成的视觉语言模型,并引入了两个部分的语言指导作为条件输入的扩散模型。这本质上有助于提高多视图内容一致性,因为它缩小了以单视图输入图像的语义和视觉特征为条件的一般图像先验。此外,我们引入了基于估计深度图的几何损失,以正则化NeRF的底层3D几何结构。在DTU MVS数据集上的实验结果表明,即使与在该数据集上训练的现有方法相比,我们的方法也可以合成更高质量的新视图。我们还证明了我们的泛化能力在zero-shot NeRF合成在野外的图像。
2022-12-06 cs.CV
LLM-Conditioned Synthesis of Pathological Gaits via Structured Gait-Language Representations
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);University of Toronto(多伦多大学);MIT Media Lab(麻省理工学院媒体实验室)
提出一种多模态LLM引导框架,通过结构化文本描述合成病理步态3D数据,利用运动标记化、病理感知语言条件、LLM语义增强和语言到步态生成,改善下游分类性能。
2026-06-05 cs.CV
Exploring the Deep Fusion of Large Language Models and Diffusion Transformers for Text-to-Image Synthesis
New York University(纽约大学);Hugging Face
本文通过受控基线对比与设计选择分析,系统实证研究LLM与DiT深度融合用于文本到图像生成,并给出可复现的大规模训练方案。
2025-05-15 cs.CV
Quality-Aware Language-Conditioned Local Auto-Regressive Anomaly Synthesis and Detection
Foundation Model Research Center, Institute of Automation, Chinese Academy of Sciences(自动化研究所基础模型研究中心,中国科学院);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Objecteye Inc.(Objecteye公司)
提出ARAS语言条件自回归异常合成方法,结合QARAD框架,通过动态加权策略提升异常检测性能,在三个基准数据集上超越现有方法,合成速度提升5倍。
2025-08-05 cs.CV
SceneNAT: Masked Generative Modeling for Language-Guided Indoor Scene Synthesis
Seoul National University(首尔国立大学)
SceneNAT通过掩码非自回归Transformer实现语言引导的室内场景合成,提升性能与效率,同时降低计算成本。
2026-08-12 cs.CV
Language-guided Human Motion Synthesis with Atomic Actions
University at Buffalo(布法罗大学)
针对语言引导人体运动生成难以泛化到新动作的问题,提出 ATOM,通过原子动作分解与渐进掩码课程学习实现可组合、连贯的运动合成。
2023-08-18 cs.CV
OpenHOI: Open-World Hand-Object Interaction Synthesis with Multimodal Large Language Model
ShanghaiTech University(上海科技大学);Zhejiang University(浙江大学)
OpenHOI通过多模态大语言模型实现开放世界手-物体交互合成,能生成长周期操控序列并处理复杂语言指令。
2025-12-21 cs.CV
Indonesian Text-to-Image Synthesis with Sentence-BERT and FastGAN
Institute Technology Bandung(万隆理工学院)
目前,文本到图像合成使用文本编码器和图像生成器架构。关于这个问题的研究是具有挑战性的。这是因为自然语言和视觉之间的领域差距。目前,关于这一主题的研究大多只集中在产生照片般真实的图像,但在这种情况下,另一个领域是语言,这是不太集中。目前的很多研究都使用英语作为输入文本。此外,世界上有许多语言。印度尼西亚语作为印度尼西亚的官方语言,非常受欢迎。这种语言在菲律宾、澳大利亚和日本都有教授。将一个新的数据集翻译或重新创建成另一种语言,并保持良好的质量将花费很多。对这个领域的研究是必要的,因为我们需要研究图像生成器在其他语言中的表现,除了生成照片般逼真的图像。为了实现这一点,我们使用谷歌翻译和人工手动将CUB数据集翻译为Baidu。我们使用Sentence BERT作为文本编码器,FastGAN作为图像生成器。FastGAN使用大量跳过激励模块和自动编码器来生成分辨率为512 x512 x3的图像,这是当前最先进模型的两倍(Zhang,Xu,Li,Zhang,Wang,Huang和Metaxas,2019)。我们还得到了4.76 +- 0.43和46.401的初始分数和Fréchet初始距离,分别与当前的英语文本到图像生成模型。平均意见评分也为3.22分(满分5分),这意味着生成的图像是人类可以接受的。源代码链接:https://github.com/share424/Indonesian-T…
2023-03-25 cs.CV
DALL-E for Detection: Language-driven Compositional Image Synthesis for Object Detection
University of Southern California(南加州大学);Microsoft Research(微软研究院)
我们提出了一种新的范例,使用文本到图像合成框架(例如,DALL-E、稳定扩散等)。所提出的方法将训练数据生成解耦为前景对象掩模生成和背景(上下文)图像生成。对于前景对象掩模生成,我们使用具有对象类名的简单文本模板作为DALL-E的输入来生成一组不同的前景图像。然后使用前景-背景分割算法来生成前景对象掩模。接下来,为了生成上下文图像,首先通过对表示上下文的一小组图像应用图像描述方法来生成上下文的语言描述。这些语言描述,然后使用DALL-E框架生成不同的上下文图像集。然后将这些与第一步中生成的对象掩码合成,以提供用于分类器的增强训练集。我们证明了我们的方法的优势,四个目标检测数据集,包括Pascal VOC和COCO目标检测任务。此外,我们还强调了我们的数据生成方法的组成性质的分布和zero-shot的数据生成方案。
2022-12-22 cs.CV
HandwritingAgent: Language-Driven Handwriting Synthesis in Scalable Vector Space
Beijing Institute of Technology(北京理工大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院)
提出HandwritingAgent,利用大推理模型在SVG格式中自动回归生成手写笔画序列,无需风格特定训练,通过自然语言和参考图像控制风格,在模仿、识别、多语言及复杂数学表达式合成等任务上达到或超越现有最优方法。
2026-11-17 cs.CL cs.CV
TLControl: Trajectory and Language Control for Human Motion Synthesis
The University of Hong Kong(香港大学);University of Pennsylvania(宾夕法尼亚大学);TransGP;Texas A&M University(德克萨斯农工大学)
TLControl 结合低级轨迹与高级语言控制,通过 VQ-VAE、Masked Trajectories Transformer 及测试时优化,实现了高精度、高效率的逼真人体动作合成。
2024-07-24 cs.CV cs.GR
FLAME: Free-form Language-based Motion Synthesis & Editing
Korea University(高丽大学);Kakao Brain
基于文本的运动生成模型由于其在游戏、动画或机器人行业中自动化运动生成过程的潜力而引起了人们的极大兴趣。在本文中,我们提出了一个基于扩散的运动合成和编辑模型命名为FLAME。受最近扩散模型成功的启发,我们将基于扩散的生成模型集成到运动域中。FLAME可以生成与给定文本对齐的高保真运动。此外,它还可以编辑运动的各个部分,包括帧和关节,而无需任何微调。FLAME涉及一个新的基于transformer的架构,我们设计,以更好地处理运动数据,这是至关重要的管理可变长度的运动,以及参加自由形式的文本。在实验中,我们证明了FLAME在三个文本运动数据集上实现了最先进的生成性能:HumanML3D,BABEL和KIT。我们还证明了FLAME的编辑能力可以扩展到其他任务,如运动预测或运动中间,这是以前所涵盖的专用模型。
2023-01-01 cs.CV cs.GR
HairGPT: Strand-as-Language Autoregressive Modeling for Realistic 3D Hairstyle Synthesis
ShanghaiTech University(上海科技大学);ShanghaiTech University and Deemos Technology Co., Ltd.(上海科技大学和Deemos技术有限公司);Deemos Technology Co., Ltd.(Deemos技术有限公司)
HairGPT通过发丝为中心的框架,将发型合成转化为双解耦的自回归序列建模问题,实现结构和语义的解耦,支持复杂发型合成与风格化领域适应。
2026-05-09 cs.CV cs.GR
Feature Splatting: Language-Driven Physics-Based Scene Synthesis and Editing
University of California San Diego(加利福尼亚大学圣迭戈分校);Massachusetts Institute of Technology(麻省理工学院);Institute for Artificial Intelligence and Fundamental Interactions(人工智能与基本相互作用研究所)
本文提出Feature Splatting,将视觉语言特征蒸馏到3D高斯中,通过文本查询实现半自动场景分解,并利用粒子模拟器自动赋予材料属性以合成基于物理的动态,统一了外观、几何、材质与语义表示。
2024-04-01 cs.AI cs.CV cs.GR