Fantasia3D: Disentangling Geometry and Appearance for High-quality Text-to-3D Content Creation
South China University of Technology(华南理工大学)
本文提出Fantasia3D,通过混合表示与表面法线学习几何,并引入空间变化BRDF建模材质,实现高质量、可重光照和编辑的文本到3D生成。
2023-09-27 cs.AI cs.CV
Follow-Your-Creation: Empowering 4D Creation through Video Inpainting
HKUST(香港科技大学);HKUST(GZ)(香港科技大学(广州));NUS(国立新加坡大学);Tsinghua Univerisity(清华大学);CUHK(香港中文大学)
本文提出Follow-Your-Creation框架,将4D视频创作重构为视频修复任务,通过复合掩码微调、自迭代调优和时间打包模块,实现从单目视频生成和编辑具有多视图一致性的4D内容,并支持基于提示的编辑。
2025-06-05 cs.CV
Text-to-Edit: Controllable End-to-End Video Ad Creation via Multimodal LLMs
ByteDance Inc(字节跳动公司)
本文提出基于MLLM的端到端Text-to-Edit框架,通过密集帧率、慢-快处理和文本控制机制提升视频广告编辑的时空理解与可控性。
2025-01-10 cs.CV
4DGen: Grounded 4D Content Generation with Spatial-temporal Consistency
Beijing Jiaotong University(北京交通大学);University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出4DGen框架,以单目视频锚定运动,结合动态3D高斯、3D感知分数蒸馏与时空一致性约束,实现可控、高质量的4D内容生成。
2024-12-04 cs.CV
BizGenEval: A Systematic Benchmark for Commercial Visual Content Generation
Microsoft Corporation(微软公司);Shanghai Jiao Tong University(上海交通大学);Xi'an Jiaotong University(西安交通大学);Fudan University(复旦大学)
本文提出BizGenEval基准测试,系统评估商业视觉内容生成模型在文档类型和多约束下的能力,包含20个任务和8000个检查问题,揭示现有模型与专业需求间的差距。
2026-03-26 cs.CV
Self-Attending Task Generative Adversarial Network for Realistic Satellite Image Creation
KBR(KBR公司);Air Force Research Laboratory(空军研究实验室)
我们介绍了一个自我参加的任务生成对抗网络(SATGAN),并将其应用于增强合成高对比度的居民空间物体的科学图像与现实的噪声模式和传感器的特点,从收集的数据。由于必须保留的数据中的语义内容的高度本地化性质,增强这些合成数据具有挑战性。真实收集的图像用于训练网络,给定类别的传感器图像应该是什么样子。然后,经过训练的网络充当无噪声上下文图像的过滤器,并输出语义内容未改变的逼真假图像。该架构受到条件GANs的启发,但经过修改,包括一个通过增强来保留语义信息的任务网络。此外,该架构示出,以减少幻觉对象或混淆的语义内容的上下文图像表示空间观察场景的实例。
2021-11-18 cs.CV cs.LG
SPG: Style-Prompting Guidance for Style-Specific Content Creation
Visual Computing Research Center, CSSE, Shenzhen University(深圳大学视觉计算研究中心、计算机科学与工程学院)
本文提出风格提示引导(SPG)采样策略,通过风格噪声方向偏差引导扩散过程,并与 CFG 结合,在保持语义一致的同时实现特定风格生成,且兼容 ControlNet 等框架。
2025-08-15 cs.CV cs.GR
ACE++: Instruction-Based Image Creation and Editing via Context-Aware Content Filling
Tongyi Lab(通义实验室)
本研究提出ACE++指令式扩散框架,通过改进长上下文条件单元、采用两阶段训练方案,实现多场景图像生成与编辑,在图像质量和提示遵循性上表现更优。
2025-01-15 cs.CV
Conditional Image Generation and Manipulation for User-Specified Content
University of Amsterdam(阿姆斯特丹大学);Dutch National Police(荷兰国家警察)
近年来,生成对抗网络(GANs)在生成越来越令人印象深刻的真实世界图像方面取得了稳步进展。为了诸如内容创建之类的目的,操纵图像生成过程是有用的。这可以通过在附加信息上调节模型来完成。然而,当条件作用于附加信息时,仍然存在大量符合特定条件作用的图像。这使得所生成的图像不太可能完全如用户所设想的那样,这对于诸如生成面部合成或库存照片的实际内容创建场景是有问题的。为了解决这个问题,我们提出了一个单一的管道文本到图像的生成和操作。在管道的第一部分中,我们介绍了textStyleGAN,这是一个以文本为条件的模型。在管道的第二部分,我们使用textStyleGAN的预训练权重来执行语义面部图像操作。该方法的工作原理是在潜在空间中寻找语义方向。我们表明,这种方法可以用来操纵面部图像的广泛的属性。最后,我们介绍了CelebTD-HQ数据集,这是CelebA-HQ的扩展,由人脸和相应的文本描述组成。
2020-05-11 cs.CV
X-Dreamer: Creating High-quality 3D Content by Bridging the Domain Gap Between Text-to-2D and Text-to-3D Generation
Xiamen University(厦门大学);Hangzhou Dianzi University(杭州电子科技大学)
提出X-Dreamer方法,通过CG-LoRA和AMA损失弥合文本到2D与3D生成的领域差距,实现高质量文本到3D内容创建。
2024-07-30 cs.CV
Low-Resolution Editing is All You Need for High-Resolution Editing
ECE & IPAI, Seoul National University(电子与信息物理学院及首尔国立大学IPAI);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出一种测试时优化框架,通过分块优化、细节迁移和同步策略,实现高分辨率图像编辑。
2026-06-01 cs.CV
Generative Adversarial Networks for Image and Video Synthesis: Algorithms and Applications
NVIDIA(英伟达);Google(谷歌)
生成对抗网络(GAN)框架已经成为各种图像和视频合成任务的强大工具,允许以无条件或有输入条件的方式合成视觉内容。它能够生成高分辨率的逼真图像和视频,这是一项具有挑战性或不可能使用现有方法的任务。它还导致在内容创作中创建许多新的应用程序。在本文中,我们提供了GANs的概述,特别关注视觉合成的算法和应用。我们涵盖了几个重要的技术来稳定GAN训练,这是出了名的困难。我们还讨论了它的应用,图像翻译,图像处理,视频合成,和神经渲染。
2020-11-30 cs.CV
MVTokenFlow: High-quality 4D Content Generation using Multiview Token Flow
ShanghaiTech University(上海科技大学);The Hong Kong University of Science and Technology(香港科技大学);The University of Hong Kong(香港大学)
提出 MVTokenFlow,通过多视角扩散构建粗略 4D 场,并以渲染 2D 流引导跨时间步复用 token 重生成一致图像,显著提升单目视频 4D 内容质量。
2025-02-17 cs.CV
A Versatile Multimodal Agent for Multimedia Content Generation
University of Rochester(罗切斯特大学);Tencent AI Lab, Bellevue(腾讯AI实验室);University of Central Florida(中央佛罗里达大学)
本文提出了一种多功能多模态代理,通过技能获取理论和两阶段相关策略,实现复杂多媒体内容生成任务的自动化。
2026-01-06 cs.CV
DIG In: Evaluating Disparities in Image Generations with Indicators for Geographic Diversity
FAIR Meta;Mila Quebec AI Institute(米拉魁北克人工智能研究所);McGill University(麦吉尔大学);CIFAR AI Chair(CIFAR人工智能主席项目)
本文提出三个指标评估文本到图像生成系统的地理多样性差异,发现模型在非洲和西亚的生成真实性与多样性低于欧洲,且地理提示会损害一致性,表明图像质量进步以地理表示为代价。
2024-03-18 cs.CV cs.HC
Magic3D: High-Resolution Text-to-3D Content Creation
NVIDIA Corporation(英伟达公司)
DreamFusion最近展示了预训练的文本到图像扩散模型的实用性,以优化神经辐射场(NeRF),实现了显着的文本到3D合成结果。然而,该方法有两个固有的局限性:(a)NeRF的优化速度非常慢,(b)NeRF上的低分辨率图像空间监督,导致低质量的3D模型和较长的处理时间。在本文中,我们利用两阶段的优化框架来解决这些限制。首先,我们使用低分辨率扩散先验获得粗略模型,并使用稀疏3D哈希网格结构进行加速。使用粗糙表示作为初始化,我们进一步优化了纹理的三维网格模型与高分辨率的潜空间扩散模型交互的高效可微渲染器。我们的方法被称为Magic3D,可以在40分钟内创建高质量的3D网格模型,比DreamFusion快2倍(据报道平均需要1.5小时),同时还可以实现更高的分辨率。用户研究显示,61.7%的评分者更喜欢我们的方法而不是DreamFusion。结合图像调节生成功能,我们为用户提供了控制3D合成的新方法,为各种创意应用开辟了新途径。
2023-03-25 cs.CV cs.GR cs.LG
DiffChat: Learning to Chat with Text-to-Image Synthesis Models for Interactive Image Creation
South China University of Technology(华南理工大学);Alibaba Group(阿里巴巴集团)
本研究提出DiffChat方法,通过构建InstructPE数据集监督训练、结合三标准反馈的强化学习框架,实现LLM与文本到图像合成模型的交互式创作对话,生成图像质量优于基线与竞品。
2024-03-08 cs.CL cs.CV
Focus on Neighbors and Know the Whole: Towards Consistent Dense Multiview Text-to-Image Generator for 3D Creation
University of Chinese Academy of Sciences, UCAS(中国科学院大学);National University of Singapore, NUS(新加坡国立大学)
本文提出CoSER,一种面向3D创建的一致稠密多视图文本到图像生成器,通过结合注意力机制与选择性状态空间模型学习相邻视图一致性并快速遍历全局视图,实现了高效且高保真的多视图图像生成。
2024-08-26 cs.CV
You See it, You Got it: Learning 3D Creation on Pose-Free Videos at Scale
Beijing Academy of Artificial Intelligence (BAAI)(北京人工智能研究院(BAAI))
针对现有3D生成模型受限于3D先验规模的问题,本研究提出See3D模型,通过构建大规模无位姿视频数据集WebVi3D与创新视觉条件机制,实现了性能更优的零样本开放世界3D生成。
2025-03-21 cs.CV
Insta(nt) Pet Therapy: GAN-generated Images for Therapeutic Social Media Content
Stanford University(斯坦福大学)
本文提出用GAN框架大规模生成宠物图像并发布到Instagram,验证其用户参与度与传统宠物照片相当,证明其可用于宠物疗法社交媒体内容。
2023-04-17 cs.AI cs.CV
Semantic Draw Engineering for Text-to-Image Creation
hangzhou normal university(杭州师范大学);Hangzhou Suosi Internet(杭州索思互联网)
本文提出一种面向文本到图像创作的语义绘制工程方法,通过AI模型进行主题创意并对绘画过程进行分类建模,将视觉元素转化为可量化数据结构,在语义准确性、可重复性和计算效率上优于现有算法。
2023-12-23 cs.CV cs.HC
Neural-Polyptych: Content Controllable Painting Recreation for Diverse Genres
Peking University(北京大学);Microsoft Research Asia(微软亚洲研究院);Huawei Technologies Ltd.(华为技术有限公司)
本文提出统一框架 Neural-Polyptych,结合手绘草图与原始绘画片段,通过多尺度 GAN 和 Correspondence Attention 模块实现百万像素级、内容可控的多流派绘画再创作。
2024-09-29 cs.CV cs.GR
Vision and Language: from Visual Perception to Content Creation
JD AI Research(京东人工智能研究院)
视觉和语言是人类智能的两个基本能力。人类通常通过视觉和语言之间的相互作用来执行任务,这支持了人类独特的能力,即谈论他们所看到的东西或对自然语言描述产生幻觉。语言与视觉如何相互作用的问题促使我们研究者不断拓展计算机视觉的研究领域。特别是,“视觉到语言”可能是过去五年中最受欢迎的话题之一,出版物数量和广泛应用都有显着增长,例如,字幕、视觉问答、视觉对话、语言导航等。这些任务通过更全面的理解和多样化的语言表示来增强视觉感知。超越“视觉到语言”的进展,语言还可以促进视觉理解,并为视觉内容创造提供新的可能性,即,“语言到视觉。“这个过程就像一个棱镜,通过它来创建对语言输入的视觉内容调节。本文从“视觉到语言”和“语言到视觉”两个维度对近年来的研究进展进行了综述。“具体来说,前者主要集中在图像/视频描述的发展,以及典型的编码器-解码器结构和基准,而后者则总结了视觉内容创作的技术。并详细阐述了视觉和语言的实际部署或服务。
2019-12-26 cs.CV
Splat4D: Diffusion-Enhanced 4D Gaussian Splatting for Temporally and Spatially Consistent Content Creation
The University of Hong Kong(香港大学);Nanyang Technological University(南洋理工大学);Google DeepMind(谷歌DeepMind)
本文提出Splat4D框架,通过多视角渲染、不一致性识别、视频扩散模型和非对称U-Net细化,从单目视频生成高保真且时空一致的4D内容,在多项基准与应用中达到SOTA。
2025-08-11 cs.CV
ScalingGaussian: Enhancing 3D Content Creation with Generative Gaussian Splatting
School of Information Science and Engineering, East China University of Science and Technology(华东理工大学信息科学与工程学院);University of Washington(华盛顿大学);University of Copenhagen(哥本哈根大学);Tsinghua University(清华大学);FancyTech(范希科技(FancyTech))
提出ScalingGaussian框架,结合3D和2D扩散模型,通过点云致密化、SDS损失细化高斯及MSE与GPP损失优化纹理,解决点云稀疏问题,实现高质量3D资产生成。
2024-07-26 cs.CV
DreamGaussian: Generative Gaussian Splatting for Efficient 3D Content Creation
Peking University(北京大学);Nanyang Technological University(南洋理工大学);Baidu Inc.(百度公司)
DreamGaussian提出生成式3D高斯泼溅框架,结合网格提取与纹理细化,将单视图图像到高质量带纹理网格的生成时间缩短至2分钟,实现约10倍加速。
2024-03-29 cs.CV
SketchPlay: Intuitive Creation of Physically Realistic VR Content with Gesture-Driven Sketching
Beijing Technology and Business University(北京技术与商业大学);The University of Sydney(悉尼大学)
SketchPlay通过手势驱动的草图创建直观的物理真实VR内容,提升非专家用户的创作体验和应用潜力。
2025-12-26 cs.CV cs.HC
GO-NeRF: Generating Objects in Neural Radiance Fields for Virtual Reality Content Creation
The University of Hong Kong(香港大学);Google(谷歌)
GO-NeRF提出一种在NeRF场景中根据文本提示和用户区域生成并集成3D物体的流程,通过组合渲染和定制优化提升场景和谐度与新视角质量。
2024-09-20 cs.CV
GaussianFlow: Splatting Gaussian Dynamics for 4D Content Creation
University of Southern California(南加州大学);Google(谷歌);Pennsylvania State University(宾夕法尼亚州立大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对4D高斯场创建约束不足、高斯运动直接监督缺失的问题,提出连接3D高斯动力学与帧间像素速度的高斯流概念,通过可微的动力学泼溅实现光流动态监督,解决颜色漂移问题,在4D生成与新视角合成任务上达SOTA。
2024-05-13 cs.CV
White Paper: Challenges and Considerations for the Creation of a Large Labelled Repository of Online Videos with Questionable Content
University of Houston(休斯顿大学);Facebook(脸书公司);National Center for Scientific Research "Demokritos"(德谟克利特国家科学研究中心);University of Illinois Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司);University of Michigan(密歇根大学);Columbia University(哥伦比亚大学)
本白皮书总结了关于开发一个广泛的在线视频库的关键考虑因素的讨论,这些视频库带有指示可疑内容的标签。主要讨论点包括:1)适当的标签类型,这将为更大的人工智能社区带来有价值的存储库; 2)如何设计收集和注释过程,以及语料库的分布,以最大限度地发挥其潜在影响;以及,3)我们可以采取什么行动来降低注释者的创伤风险。
2021-01-25 cs.CV cs.CY
$\mathtt{M^3VIR}$: A Large-Scale Multi-Modality Multi-View Synthesized Benchmark Dataset for Image Restoration and Content Creation
Santa Clara University(圣克拉拉大学);University of Newcastle(新castle大学);Futurewei Technologies, Inc.(未来科技公司)
为解决游戏数据集局限与可控视频生成基准缺失问题,提出大规模多模态多视图数据集$\mathtt{M^3VIR}$,提供高保真游戏内容与多任务基准,推动AI图像恢复与内容生成研究。
2025-10-30 cs.CV
When Saying No Makes Better Videos: Designing Dual Gatekeeping for Pedagogically Grounded AI Content Creation
Seoul National University(首尔大学);Samsung Electronics(三星电子)
该研究针对AI内容创作设计双重把关机制,结合人工调整与自动化指标,证明审慎拒绝与生成式AI可协同提升教学类视频质量。
2026-08-31 cs.AI cs.CV
HyperDreamer: Hyper-Realistic 3D Content Generation and Editing from a Single Image
The Chinese University of Hong Kong(香港中文大学);Shanghai AI Laboratory(上海人工智能实验室);Shanghai Jiao Tong University(上海交通大学);S-Lab, NTU(南洋理工大学S-Lab实验室)
本文提出HyperDreamer,从单图生成可360度查看、可渲染且可交互文本编辑的高分辨率超逼真3D模型。
2023-12-07 cs.CV
A Survey On Text-to-3D Contents Generation In The Wild
The Hong Kong University of Science and Technology(香港科技大学)
本综述针对野外文本到3D生成技术,梳理背景、3D表示形式,分类对比生成流水线方法,分析其优缺点,并指出未来研究方向,以推动开放词汇文本条件3D内容创建的发展。
2024-05-15 cs.CV cs.GR
AToMiC: An Image/Text Retrieval Test Collection to Support Multimedia Content Creation
University of Waterloo(滑铁卢大学);Naver Labs Europe(Naver欧洲实验室);Google Research(谷歌研究院);Wikimedia Foundation(维基媒体基金会)
本文提出AToMiC数据集,利用Wikipedia的大规模图文关联构建层次化、多领域的检索测试集,以弥合现有简化设置与多媒体内容创作实际应用间的差距,为跨模态检索研究提供可扩展的测试平台。
2023-04-04 cs.CL cs.CV cs.IR
Dreamland: Controllable World Creation with Simulator and Generative Models
University of California, Los Angeles(加州大学洛杉矶分校)
针对视频生成模型缺乏逐元素可控性的问题,本文提出Dreamland混合框架,通过分层世界抽象连接物理模拟器与预训练生成模型,并构建D3Sim数据集,显著提升图像质量与可控性。
2025-06-09 cs.CV
DeepFakes: Detecting Forged and Synthetic Media Content Using Machine Learning
University of Louisiana(路易斯安那大学);Southern Utah University(南犹他大学);Dixie State University(迪克西州立大学);Charles Darwin University(查尔斯达尔文大学);Ahsanullah University of Science & Technology(阿赫萨努拉科技大学)
深度学习的快速发展使得区分真实和操纵的面部图像和视频片段变得前所未有的困难。通过深度生成方法操纵面部外观的底层技术,被称为DeepFake,最近通过推广大量恶意面部操纵应用程序而出现。因此,需要其他类型的技术来评估数字视觉内容的完整性,以减少DeepFake创作的影响。对DeepFake创建和检测进行的大量研究创造了一个相互推动的范围,超越了当前的状态。本研究通过回顾DeepFake领域的显着研究,提出了与DeepFake创建和检测技术相关的挑战,研究趋势和方向,以促进更强大的方法的开发,这些方法可以在未来处理更先进的DeepFake。
2021-09-07 cs.CV cs.IR
DI-PCG: Diffusion-based Efficient Inverse Procedural Content Generation for High-quality 3D Asset Creation
ARC Lab, Tencent PCG(腾讯平台与内容事业群ARC实验室);VAST(VAST机构);Tsinghua University(清华大学)
本文提出DI-PCG,一种基于轻量级扩散transformer的逆向过程化内容生成方法,将PCG参数作为去噪目标、观测图像作为条件,仅需7.6M参数和30 GPU小时即可高效准确地恢复参数并泛化至野外图像,为图像到3D生成提供了新路径。
2024-12-19 cs.AI cs.CV cs.GR
MATE4D: Matrix-Guided Editable 4D Generation from a Single Image
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳));Shenzhen University(深圳大学)
MATE4D是一种基于单图像的四维内容生成框架,通过构建时空多视图图像矩阵优化三维高斯基元并结合轻量形变模块,在多数据集上优于基线,可实现高质量可编辑动态4D内容生成,支持AR/VR创作。
2026-10-09 cs.CV
ArtHDR-Net: Perceptually Realistic and Accurate HDR Content Creation
School of Information Technology, Monash University(莫纳什大学信息技术学院);Robotics and Autonomous Systems Group, TCS Research(TCS研究院机器人与自主系统组);Faculty of Information Technology, Monash University(莫纳什大学信息技术学院);Centre for Applied Research in Data Sciences, Indian Institute of Technology Ropar(罗帕尔印度理工学院数据科学应用研究中心)
本文提出基于卷积神经网络的ArtHDR-Net架构,利用多重曝光LDR特征作为输入进行HDR内容创建,在保持结构相似性和像素准确性的同时,强调人类视觉感知的艺术意图,在HDR-VDP-2分数上达到最先进性能。
2023-09-07 cs.CV cs.GR cs.LG
Registering Explicit to Implicit: Towards High-Fidelity Garment mesh Reconstruction from Single Images
CUHKSZ(香港中文大学(深圳));SRIBD(深圳研究院)
在深度学习技术和隐式形状学习的推动下,单图像人体数字化的最新进展已经达到了前所未有的准确性,并且可以恢复细粒度的表面细节,如衣服褶皱。然而,基于隐式的方法的一个共同问题是,它们不能为每个服装件产生分离的和拓扑一致的网格,这对于当前的3D内容创建流水线至关重要。为了解决这个问题,我们提出了一种新的几何推理框架ReEF,通过将显式服装模板注册到从单个图像预测的全身隐式场来重建拓扑一致的分层服装网格。实验表明,我们的方法显着优于同类产品的单图像分层服装重建,并可以带来高质量的数字资产,为进一步的内容创建。
2022-03-28 cs.CV
Differentiable Stroke Planning with Dual Parameterization for Efficient and High-Fidelity Painting Creation
Shanghai Jiao Tong University(上海交通大学)
本文提出双参数化方法,结合离散折线与连续贝塞尔控制点,实现高效且高保真的绘画生成,减少笔触数量并提升布局结构一致性。
2026-04-03 cs.CV
Make-It-3D: High-Fidelity 3D Creation from A Single Image with Diffusion Prior
Shanghai Jiao Tong University(上海交通大学);HKUST(香港科技大学);Microsoft Research(微软研究院)
本文提出Make-It-3D,利用2D扩散先验作为3D感知监督,通过两阶段优化流程从单张图像创建高保真3D内容,大幅优于先前工作并支持多种应用。
2023-04-03 cs.CV
MARVEL-40M+: Multi-Level Visual Elaboration for High-Fidelity Text-to-3D Content Creation
DFKI(德国人工智能研究中心);RPTU Kaiserslautern-Landau(凯撒斯劳滕-兰道莱茵-普法尔茨技术大学);MindGarage;BITS Pilani, Hyderabad(印度理工学院皮拉尼分校海得拉巴校区)
本文提出MARVEL-40M+数据集及MARVEL-FX3D流水线,通过多级注释和两阶段生成,实现高保真文本到3D内容创建,显著提升注释质量与生成速度。
2025-03-26 cs.AI cs.CV cs.GR
DreamLLM: Synergistic Multimodal Comprehension and Creation
MEGVII Technology(旷视科技);Tsinghua University(清华大学);Xi’an Jiaotong University(西安交通大学);Institute for Interdisciplinary Information Core Technology (IIISCT)(交叉信息核心技术研究院(IIISCT));HUST(华中科技大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Qi Zhi Institute(上海期智研究院)
DreamLLM通过原始多模态空间直接采样和交错文档生成,首次实现多模态理解与创作的协同,成为能生成自由形式交错内容的零样本多模态通才。
2024-03-15 cs.CL cs.CV cs.LG
Generating Surface for Text-to-3D using 2D Gaussian Splatting
Huanning Dong 1(东航大学);Fan Li 1(利研所);Ping Kuang 1(康研究院);Jianwen Min 1(敏研究所)
提出DirectGaussian方法,利用条件文本生成和二维高斯泼溅渲染,结合多视图先验与曲率约束,实现高保真三维表面生成。
2025-10-08 cs.AI cs.CV
GANosaic: Mosaic Creation with Generative Texture Manifolds
Zalando Research(Zalando 研究院)
提出了一种新的基于卷积神经网络的纹理拼接框架。我们的方法被称为GANoetching和执行生成纹理模型,它允许将内容图像转换成马赛克表现出底层纹理流形的视觉特性的潜在噪声空间中的优化。为了表示该流形,我们使用最先进的生成对抗方法进行纹理合成,该方法可以从数据中学习富有表现力的纹理表示,并生成具有非常高分辨率的马赛克图像。这种完全卷积模型生成平滑(没有任何可见边界)的马赛克图像,这些图像局部变形和混合不同的纹理。此外,我们开发了一种新的类型的可微统计正则化适合优化的PSGAN模型的先验噪声空间。
2017-12-01 cs.CV stat.ML
3D Photo Stylization: Learning to Generate Stylized Novel Views from a Single Image
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Snap Research(Snap 研究院)
鉴于其在移动摄影和AR / VR中的应用,视觉内容创作引起了人们极大的兴趣。风格转换和单图像3D摄影作为两个代表性的任务,到目前为止已经独立发展。在本文中,我们使两者之间的连接,并解决具有挑战性的任务,三维照片风格化-生成风格化的小说从一个单一的图像给定的任意风格的意见。我们的关键直觉是,风格转换和视图合成必须联合建模这项任务。为此,我们提出了一种深度模型,该模型从场景的点云表示中学习几何感知的内容特征以进行风格化,从而产生在各个视图中一致的高质量风格化图像。此外,我们引入了一种新的训练协议,使学习只使用2D图像。我们通过广泛的定性和定量研究证明了我们的方法的优越性,并展示了我们的方法在从2D图像资产创建3D内容的需求不断增长的情况下的关键应用。
2021-12-04 cs.CV cs.GR
CanvasAgent: Enabling Complex Image Creation and Editing via Visual Tool Orchestration
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东省人工智能与数字经济实验室(深圳))
研究复杂图像创建编辑问题,提出CanvasAgent代理,通过多轮交互编排异构视觉工具,先经监督微调学习轨迹,再用广义信赖域策略优化器结合多种信号优化,结合CanvasCraft数据集进行实验,证明其对复杂多工具图像创建工作流程有效。
2026-07-08 cs.AI cs.CV