One-D-Piece: Image Tokenizer Meets Quality-Controllable Compression
Turing Inc.(图灵公司)
针对现有图像分词器固定长度分配效率低的问题,提出带Tail Token Drop机制的One-D-Piece可变长度离散图像分词器,实现质量可控压缩,重建质量与下游任务适配性均优于现有方法。
2025-01-17 cs.CV cs.LG
Controllable Shadow Generation with Single-Step Diffusion Models from Synthetic Data
Jasper Research(贾斯珀研究机构)
提出基于合成数据训练的单步扩散模型,实现二维物体图像的快速、可控且无背景的阴影生成,并发布新基准以促进研究。
2024-12-16 cs.CV
Controllable List-wise Ranking for Universal No-reference Image Quality Assessment
Guangzhou University(广州大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院);City University of Hong Kong(香港城市大学)
无参考图像质量评估(NR-IQA)由于参考图像不总是可用,因此在IQA界受到越来越多的关注。真实世界的图像通常遭受各种类型的失真。不幸的是,现有的NR-IQA方法并不适用于所有类型的失真。开发通用的NR-IQA是一项具有挑战性的任务,它具有评估所有类型的失真图像的能力。在本文中,我们提出了一个通用的NR-IQA方法的基础上可控列表排序(CLRIQA)。首先,为了扩展真实失真的图像数据集,我们提出了一种成像启发式方法,其中过度-不足表现为韦伯-费希纳定律的逆,融合策略和概率压缩,以产生退化的真实世界的图像。这些退化的图像是无标签的,但与质量排名信息相关联。然后,我们设计了一个可控的列表式排序功能,通过限制排名范围,并引入自适应的边缘调整排名间隔。最后,使用扩展数据集和可控列表排序函数来预训练CNN。此外,为了获得准确的预测模型,我们利用原始数据集进一步微调预训练的网络。在四个基准数据集(即LIVE,CSIQ,TID 2013和LIVE-C)上进行的实验表明,所提出的CLRIQA在整体性能方面提高了9%以上。代码和模型可在https://github.com/GZHU-Image-Lab/CLRIQA上公开获得。
2020-01-06 cs.CV eess.IV
GetMesh: A Controllable Model for High-quality Mesh Generation and Manipulation
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Fudan University(复旦大学);Shanghai Jiao Tong University(上海交通大学)
GetMesh提出一种基于可变数量点作为潜在表示并重组为三平面表示的可控生成模型,实现跨类别高质量网格生成与细粒度操作,优于现有方法。
2024-03-18 cs.CV
SPACE: Speech-driven Portrait Animation with Controllable Expression
NVIDIA(英伟达)
近年来,使用语音制作肖像动画受到越来越多的关注,有各种创意和实用的用例。理想的生成视频应该与音频具有良好的口型同步、自然的面部表情和头部运动以及高帧质量。在这项工作中,我们提出了空间,它使用语音和一个单一的图像来生成高分辨率,并具有逼真的头部姿势的视频表达,而不需要驾驶视频。它使用多阶段方法,将面部标志的可控性与预训练面部生成器的高质量合成能力相结合。空间也允许控制情绪及其强度。我们的方法在图像质量和面部运动的客观度量方面优于先前的方法,并且在成对比较中受到用户的强烈偏好。该项目的网站是https://deepimagination.cc/SPACE/
2022-12-07 cs.CV
QCAgent: An agentic framework for quality-controllable pathology report generation from whole slide image
School of Biomedical Engineering, Division of Life Sciences;Medicine, University of Science;Technology of China, Hefei, Anhui, 230026, P.R. China Center for Medical Imaging, Robotics, Analytic Computing \& Learning (MIRACLE), Suzhou Institute for Advance Research, USTC, 215123, P.R. China Chinese PLA General Hospital Ninth Medical Center, China Hong Kong University of Science
QCAgent通过引入定制批评机制和证据驱动的细化流程,实现从全切片图像生成质量可控、具有临床意义的病理科报告。
2026-03-02 cs.CV
I2V3D: Controllable image-to-video generation with 3D guidance
City University of Hong Kong(香港城市大学);Microsoft GenAI(微软生成式人工智能部门)
提出I2V3D框架,结合3D几何引导与生成模型,通过关键帧生成和免训练双向视频插值,实现单图到可控高质量视频的生成。
2025-03-12 cs.CV
VAST 1.0: A Unified Framework for Controllable and Consistent Video Generation
Institute of Artificial Intelligence, China Telecom (TeleAI)(中国电信人工智能研究院(TeleAI))
提出VAST两阶段框架,通过StoryForge生成结构化分镜、VisionForge合成高质量视频,解耦文本理解与视频生成,实现对主体动态和场景构成的精确控制,在VBench基准上优于现有方法。
2024-12-21 cs.CV
AP-CAP: Advancing High-Quality Data Synthesis for Animal Pose Estimation via a Controllable Image Generation Pipeline
Meituan Inc.(美团公司);Beihang University(北京航空航天大学)
针对动物姿态估计高质量数据集匮乏的问题,提出可控图像生成流水线AP-CAP,结合多模态生成模型与三项创新合成策略,构建了首个合成与真实数据混合的MPCH数据集,显著提升了姿态估计的性能与泛化能力。
2025-04-01 cs.CV
Motion-Conditioned Diffusion Model for Controllable Video Synthesis
University of California, Merced(加州大学默塞德分校);Meta;NVIDIA(英伟达);Google Research(谷歌研究院)
提出 MCDiff 条件扩散模型,利用起始帧、稀疏笔画、光流补全与扩散生成实现笔画引导的可控视频合成,并在视觉质量及 MPII Human Pose 实验中达到先进效果。
2023-04-27 cs.CV
Test-time Cost-and-Quality Controllable Arbitrary-Scale Super-Resolution with Variable Fourier Components
Toyota Technological Institute(丰田工业大学)
提出一种基于循环神经网络和傅里叶表示的任意尺度超分辨率方法,通过调整递归次数在测试时控制计算成本与质量,实验表明更多傅里叶分量提升PSNR,且较少分量时性能下降更小。
2024-12-14 cs.CV eess.IV
Repaint123: Fast and High-quality One Image to 3D Generation with Progressive Controllable 2D Repainting
Peking University(北京大学);National University of Singapore(新加坡国立大学);Wuhan University(武汉大学);Pengcheng Laboratory(鹏城实验室)
针对SDS方法的多视图不一致、纹理退化及速度慢问题,提出Repaint123,结合2D扩散模型与重绘策略,通过可见性感知自适应重绘强度生成一致多视图图像,并用MSE损失实现2分钟内快速生成高质量3D内容。
2023-12-27 cs.CV
ArtFormer: Controllable Generation of Diverse 3D Articulated Objects
Xiamen University Malaysia(马来西亚厦门大学);Renmin University of China(中国人民大学);Tsinghua University(清华大学);Southern University of Science and Technology(南方科技大学);University of Minnesota-Twin Cities(明尼苏达大学双城分校);Henan RunTai Digital Technology Group Co., Ltd.(河南润泰数字科技集团有限公司)
提出ArtFormer框架,通过token树参数化和transformer生成3D铰接物体的几何与运动学关系,结合SDF形状先验实现高质量、多样化且可控的物体生成。
2025-04-03 cs.AI cs.CV cs.RO
3D MedDiffusion: A 3D Medical Latent Diffusion Model for Controllable and High-quality Medical Image Generation
3D MedDiffusion通过高效补丁-体积自编码器和新型噪声估计器,实现可控且高质量的3D医学图像生成,适用于多种医学下游任务。
2025-11-30 cs.CV eess.IV
Kimodo: Scaling Controllable Human Motion Generation
NVIDIA
本文提出Kimodo模型,通过大规模动作捕捉数据训练,实现高质量可控的人体运动生成,结合文本输入和多种运动约束条件,提升生成质量和泛化能力。
2026-03-16 cs.CV cs.GR cs.RO
Im2Pencil: Controllable Pencil Illustration from Photographs
UC Merced(加州大学默塞德分校);ByteDance AI(字节跳动人工智能实验室);Adobe Research(奥多比研究院);Google Cloud(谷歌云)
我们提出了一种高质量的照片到铅笔的翻译方法与细粒度控制的绘画风格。这是一项具有挑战性的任务,因为有多种中风类型(例如,轮廓和阴影),铅笔阴影的结构复杂性(例如,阴影线)以及缺少对齐的训练数据对。为了解决这些挑战,我们开发了一个双分支模型,该模型学习单独的过滤器,用于从铅笔画集合中生成粗略的轮廓和色调阴影。我们创建训练数据对提取干净的轮廓和色调插图从原始铅笔画使用图像过滤技术,我们手动标记的绘画风格。此外,我们的模型创建不同的铅笔样式(例如,线草图和阴影样式)。对不同类型铅笔画的实验结果表明,该算法在质量、多样性和用户评价方面优于现有方法。
2019-03-20 cs.CV
DiTalker: A Unified DiT-based Framework for High-Quality and Speaking Styles Controllable Portrait Animation
Harbin Institute of Technology(哈尔滨工业大学);Li Auto(利汽车);University of New South Wales(新南威尔士大学)
提出基于DiT的统一框架DiTalker,通过风格-情感编码模块和音频-风格融合模块实现精确唇部同步与动态说话风格控制,同时优化约束以提升身份与背景细节保留。
2025-07-29 cs.CV
EvoMakeup: High-Fidelity and Controllable Makeup Editing with MakeupQuad
针对现有妆容编辑方法因缺乏结构化配对数据导致质量低且难以同时保持身份与妆容保真度的问题,提出大规模数据集MakeupQuad与统一训练框架EvoMakeup,在单一模型内实现高保真、可控的多任务妆容编辑,并在真实基准上取得优于现有方法的表现。
2025-08-08 cs.CV
3D-FM GAN: Towards 3D-Controllable Face Manipulation
Princeton University(普林斯顿大学);Adobe Research(奥多比研究院)
由于生成对抗网络(GANs)的突破,3D可控肖像合成取得了显著进展。然而,通过精确的3D控制来操纵现有的人脸图像仍然具有挑战性。虽然将GAN反演和3D感知的噪声到图像GAN级联是一种直接的解决方案,但它效率低下,并且可能导致编辑质量的明显下降。为了填补这一空白,我们提出了3D-FM GAN,一种新的条件GAN框架,专门为3D可控人脸操作设计,并且在端到端学习阶段之后不需要任何调整。通过将输入的人脸图像和3D编辑的基于物理的渲染仔细编码到StyleGAN的潜在空间中,我们的图像生成器提供了高质量、身份保留、3D可控的人脸操作。为了有效地学习这种新的框架,我们开发了两个基本的训练策略和一个新的乘法共调制架构,显着提高了天真的计划。通过广泛的评估,我们表明我们的方法在各种任务上都优于现有技术,具有更好的可编辑性,更强的身份保护和更高的照片真实感。此外,我们证明了我们的设计在大姿势编辑和域外图像上的更好的通用性。
2022-08-24 cs.CV
Towards Controllable Image Generation through Representation-Conditioned Diffusion Models
本文提出利用预训练自监督模型的表示作为条件,通过扩散模型实现无需大量标注的可控图像生成,并探索了表示空间中的平滑和分离特性。
2026-05-26 cs.CV cs.LG
CAT-DM: Controllable Accelerated Virtual Try-on with Diffusion Model
Tianjin University(天津大学);Tencent LightSpeed Studio(腾讯天美工作室)
本文提出CAT-DM,通过ControlNet增强可控性并利用GAN模型生成隐式分布加速去噪,解决了扩散模型虚拟试穿可控性差与速度慢的问题,生成质量更优。
2024-04-26 cs.CV
Stable and Controllable Neural Texture Synthesis and Style Transfer Using Histogram Losses
Artomatix;University of Virginia(弗吉尼亚大学)
最近,已经提出了通过使用卷积神经网络来执行纹理合成和风格转移的方法(例如Gatys等人[2015,2016])。这些方法是令人兴奋的,因为它们在某些情况下可以创建具有最先进质量的结果。然而,在本文中,我们表明这些方法也有纹理质量,稳定性,必要的参数调整,并缺乏用户控件的限制。本文提出了一种基于卷积神经网络的多尺度合成流水线,以改善这些问题。我们首先给出了一个数学解释的来源,在许多以前的方法不稳定性。然后,我们通过使用直方图损失来合成更好地统计匹配样本的纹理来改善这些不稳定性。我们还展示了如何在我们的多尺度框架中集成本地化的风格损失。这些损失可以提高大型功能的质量,改善内容和样式的分离,并提供艺术控制,如按数字绘制。我们证明,我们的方法提供了更好的质量,收敛在更少的迭代,和更稳定的优化。
2017-02-01 cs.CV cs.GR cs.NE
CamC2V: Context-aware Controllable Video Generation
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究所)
提出CamC2V模型,通过集成多图像条件与3D约束及相机控制,实现上下文感知的连贯视频生成,在RealEstate10K数据集上FVD提升24.09%。
2026-05-28 cs.CV
Optimally Controllable Perceptual Lossy Compression
Shanghai Jiao Tong University(上海交通大学)
近年来对有损压缩的研究表明,失真和感知质量是不一致的,这就提出了失真和感知之间的折衷(D-P)。直觉上,为了获得不同的感知质量,必须训练不同的解码器。在本文中,我们提出了一个非平凡的发现,只有两个解码器是足够的最佳实现任意(无限数量的不同)的D-P权衡。我们证明了任意点的D-P权衡界可以通过一个简单的线性插值的最小MSE解码器和一个专门构造的完美的感知解码器的输出之间实现。同时,感知质量(在平方Wasserstein-2距离度量方面)可以通过插值因子来定量控制。此外,为了构建一个完美的感知解码器,我们提出了两个理论上最优的训练框架。新的框架不同于现有方法中广泛使用的基于失真加对抗损失的启发式框架,其不仅在理论上是最优的,而且在实际感知解码中可以产生最先进的性能。最后,我们验证了我们的理论发现,并通过实验证明我们的框架的优越性。代码可在:https://github.com/ZeyuYan/Controllable-Perceptual-Compression
2022-06-21 cs.CV eess.IV
MedDiff-FT: Data-Efficient Diffusion Model Fine-tuning with Structural Guidance for Controllable Medical Image Synthesis
Guangdong Provincial Key Laboratory of Ultra High Definition Immersive Media Technology, Peking University Shenzhen Graduate School South China University of Technology, China
MedDiff-FT通过数据高效微调扩散基础模型,结合动态引导掩码、随机掩码生成器和自动质量评估,实现可控医学图像合成,并在五个分割数据集上将SOTA方法Dice分数平均提升1%。
2025-07-01 cs.CV
QuaDreamer: Controllable Panoramic Video Generation for Quadruped Robots
Hunan University(湖南大学);Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学)
针对四足机器人全景训练数据稀缺问题,提出QuaDreamer引擎,通过模拟运动范式生成可控全景视频,并验证其提升360度多目标跟踪性能。
2025-10-15 cs.CV cs.RO eess.IV
CFSNet: Toward a Controllable Feature Space for Image Restoration
Tsinghua University(清华大学);Chinese University of Hong Kong(香港中文大学);University of Rochester(罗切斯特大学)
深度学习方法已经见证了在具有特定度量的图像复原中的巨大进步(例如,PSNR,SSIM)。然而,恢复图像的感知质量是相对主观的,并且需要用户根据个人偏好或图像特征来控制重建结果,这是使用现有的确定性网络无法做到的。这促使我们精巧地设计一个通用的图像复原任务的统一交互式框架。在此框架下,用户可以控制不同目标的连续过渡,例如,图像超分辨率的感知-失真权衡,降噪和细节保留之间的权衡。我们通过控制所设计的网络的潜在特征来实现这一目标。具体来说,我们提出的框架,名为可控特征空间网络(CFSNet),是纠缠在两个分支基于不同的目标。我们的框架可以自适应地学习不同层和通道的耦合系数,从而提供对恢复图像质量的更精细控制。对几个典型的图像复原任务的实验充分验证了该方法的有效性。代码可在https://github.com/qibao77/CFSNet上获得。
2019-08-20 cs.CV
Control-A-Video: Controllable Text-to-Video Diffusion Models with Motion Prior and Reward Feedback Learning
针对现有文本到视频生成方法质量不足、运动一致性差的问题,提出可控扩散模型Control-A-Video,通过首帧条件、运动先验注入及ST-ReFL算法优化,实现了更优的可控视频生成效果。
2024-08-12 cs.AI cs.CV cs.LG
Panacea: Panoramic and Controllable Video Generation for Autonomous Driving
University of Science and Technology of China(中国科学技术大学);MEGVII Technology(旷视科技);Mach Drive(马赫驱动)
本文提出Panacea方法,通过4D注意力、两阶段生成流程和ControlNet框架生成全景可控的驾驶场景视频,并在nuScenes数据集上验证其能有效扩充自动驾驶BEV感知训练数据。
2023-11-28 cs.CV
CFA-Net: Controllable Face Anonymization Network with Identity Representation Manipulation
CRIPAC & NLPR, CASIA(中国科学院自动化研究所模式识别国家重点实验室与智能感知与计算研究中心);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
近年来,人脸数据的去身份化越来越受到人们的关注。在许多计算机视觉任务中,重要的是保护人们的身份,同时保持数据的实用性。我们提出了一个可控的人脸匿名化网络(CFA-Net),一种新的方法,可以匿名的图像和视频中的给定的面孔的身份,基于一个发电机,可以解开其他图像内容的人脸身份。我们通过在生成器的身份表示空间中操作身份向量来达到可控的人脸匿名化的目的。通过该方法可以生成各种匿名人脸,并保持与原始图像内容的高度相似性。定量和定性的结果表明,我们的方法的视觉质量和匿名化的有效性优于文献模型。
2021-10-10 cs.CV
HQ3DAvatar: High Quality Controllable 3D Head Avatar
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Saarland University(萨尔大学);Flawless AI
多视点体绘制技术在建模和合成高质量的头像方面显示出巨大的潜力。捕捉全头部动态表现的常见方法是使用基于网格的模板或基于3D立方体的图形基元来跟踪底层几何结构。虽然这些基于模型的方法取得了令人满意的结果,但它们通常无法学习复杂的几何细节,例如嘴内部,头发和拓扑随时间的变化。本文提出了一种新的方法来建立高度真实感的数字头像。我们的方法通过一个由神经网络参数化的隐函数来学习一个规范空间。它在学习的特征空间中利用多分辨率哈希编码,允许高质量,更快的训练和高分辨率渲染。在测试时,我们的方法是由单目RGB视频驱动。在这里,图像编码器提取面部特定的特征,这些特征也是可学习的规范空间的条件。这鼓励在训练期间依赖于变形的纹理变化。我们还提出了一种新的基于光流的损失,确保在学习的规范空间的对应性,从而鼓励无伪影和时间一致的渲染。我们展示了具有挑战性的面部表情的结果,并以交互式实时速率显示中等图像分辨率的自由视点渲染。我们的方法优于所有现有的方法,无论是在视觉上还是在数值上。我们将发布多身份数据集,以鼓励进一步的研究。我们的项目页面位于:https://vcai.mpi-inf.mpg.de/projects/HQ3DAvatar/
2023-03-25 cs.CV cs.GR
ESCT3D: Efficient and Selectively Controllable Text-Driven 3D Content Generation with Gaussian Splatting
Southeast University(东南大学)
针对文本驱动3D生成中极简提示效果差、生成过程难控制、效率低等问题,提出ESCT3D:用GPT-4V自我优化提升提示质量与生成效率,支持多条件精确控制,整合多视图信息解决Janus问题,实现高效可控的高质量3D内容生成。
2025-04-14 cs.CV
Controllable Human Image Generation with Personalized Multi-Garments
KAIST(韩国科学技术院);Scaled Foundations(Scaled Foundations公司)
提出BootComp框架,通过构建合成数据集和双去噪路径扩散模型,实现保留细粒度细节的多服装可控人物图像生成,并适用于虚拟试穿等多种时尚领域应用。
2025-04-01 cs.CV
Text2Human: Text-Driven Controllable Human Image Generation
Nanyang Technological University(南洋理工大学);SenseTime Research(商汤科技研究院)
生成高质量和多样化的人体图像是视觉和图形学中一项重要但具有挑战性的任务。然而,现有的生成模型往往不符合服装形状和纹理的高度多样性。此外,甚至期望生成过程对于外行用户是直观可控的。在这项工作中,我们提出了一个文本驱动的可控框架,Text2Human,高品质和多样化的人类一代。我们从一个给定的人体姿势开始合成全身人体图像,有两个专门的步骤。1)对于一些描述衣服形状的文本,首先将给定的人体姿势转换为人体解析图。2)然后通过向系统提供关于衣服纹理的更多属性来生成最终的人类图像。具体来说,为了对服装纹理的多样性进行建模,我们构建了一个分层的纹理感知码本,该码本存储了每种类型纹理的多尺度神经表示。粗层次的码书包含纹理的结构表示,而细层次的码书则关注纹理的细节。为了利用学习的分层码书来合成所需的图像,基于扩散的Transformer采样器与混合专家模型首先被用来从码书的粗层次采样索引,然后被用来预测码书的索引在更精细的水平。在不同级别的预测索引翻译成人类图像的解码器学习伴随着分层码本。混合专家的使用允许以细粒度文本输入为条件的生成图像。对更精细层次指数的预测细化了服装纹理的质量。广泛的定量和定性评估表明,我们提出的框架可以生成更多样化和逼真的人类图像相比,国家的最先进的方法。
2022-05-31 cs.CV
Toward a Controllable Disentanglement Network
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出了两个关键问题的学习解纠缠的图像表示,即控制的程度,在图像编辑,并平衡的解纠缠强度和重建质量。为了鼓励解纠缠,我们设计了一个基于距离协方差的去相关正则化。此外,对于重建步骤,我们的模型利用与潜像代码相结合的软目标表示。通过探索软目标表示的实值空间,我们能够合成具有指定属性的新图像。为了提高由基于自动编码器(AE)的模型生成的图像的感知质量,我们通过将AE解码器和GAN生成器折叠成一个来扩展具有生成对抗网络(GAN)的编码器-解码器架构。我们还设计了一个基于分类的协议来定量评估我们的模型的解纠缠强度。实验结果表明,所提出的模型的好处。
2020-06-20 cs.CV cs.LG stat.ML
MagicMotion: Controllable Video Generation with Dense-to-Sparse Trajectory Guidance
Shanghai Key Lab of Intell. Info. Processing, School of CS, Fudan University(上海智能信息处理关键实验室,复旦大学计算机学院);Shanghai Collaborative Innovation Center of Intelligent Visual Computing(上海智能视觉计算协同创新中心);Microsoft Research Asia(微软亚洲研究院)
MagicMotion提出一种图像到视频生成框架,通过掩码、边界框和稀疏框三种从稠密到稀疏的轨迹控制条件,实现精确的多物体运动控制,并配套数据集MagicData和基准MagicBench,显著提升轨迹遵循和视觉质量。
2025-10-26 cs.AI cs.CV cs.LG
Trajectory Forcing: Structure-First Generation with Controllable Semantic Trajectories
University of Tübingen(图宾根大学);ETH Zürich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);ELLIS Institute(ELLIS研究所);Tübingen AI Center(图宾根人工智能中心)
提出轨迹强制框架,将生成过程组织为从全局布局到细节的语义阶段,每个阶段产生可解码的潜在状态,支持局部编辑,实现结构优先的可控图像合成。
2026-06-23 cs.CV
SceneX: Procedural Controllable Large-scale Scene Generation
University of Chinese Academy of Sciences(中国科学院大学);Centre for Artificial Intelligence and Robotics(人工智能与机器人研究中心);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Shandong University(山东大学);University of Science and Technology Beijing(北京科技大学);China University of Geosciences Beijing(中国地质大学(北京))
SceneX框架通过PCGHub和PCGPlanner组件,根据文本描述自动生成高质量程序化模型,实现自然场景与无边界城市的可控大规模生成及场景编辑。
2024-12-17 cs.AI cs.CV
DiffuseVAE: Efficient, Controllable and High-Fidelity Generation from Low-Dimensional Latents
University of California, Irvine(加州大学欧文分校);Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校);Google Research(谷歌研究院)
扩散概率模型已被证明可以在几个有竞争力的图像合成基准上生成最先进的结果,但缺乏低维、可解释的潜在空间,并且生成速度很慢。另一方面,标准的变分自编码器(VAE)通常可以访问低维潜在空间,但表现出较差的样本质量。我们提出了DiffuseVAE,一个新的生成框架,集成VAE扩散模型框架内,并利用这一点来设计新的条件参数化扩散模型。我们表明,由此产生的模型装备扩散模型与低维VAE推断的潜在代码,可用于下游任务,如可控合成。所提出的方法还改进了标准无条件DDPM/DDIM模型中表现出的速度与质量权衡(例如,在CelebA-HQ-128基准上使用T=10个反向过程步骤,FID为16.47 vs 34.36),而无需针对这样的目标进行显式训练。此外,该模型的合成质量与标准图像合成基准(如CIFAR-10和CelebA-64)上的最先进模型相当,同时优于大多数现有的基于VAE的方法。最后,我们表明,所提出的方法表现出内在的推广到不同类型的噪声在调理信号。为了重现性,我们的源代码在https://github.com/kpandey008/DiffuseVAE上公开。
2022-11-29 cs.CV cs.LG
Rig3DGS: Creating Controllable Portraits from Casual Monocular Videos
Stony Brook University(石溪大学);Adobe Research(奥多比研究院)
Rig3DGS利用3D高斯泼溅和可学习先验的变形方法,从随意单目视频创建可控3D人物肖像,实现高效训练和精确控制面部表情、头部位置及视图合成。
2024-02-06 cs.CV
CLAY: A Controllable Large-scale Generative Model for Creating High-quality 3D Assets
ShanghaiTech University(上海科技大学);Deemos Technology Co., Ltd.(递摩思科技有限公司);Huazhong University of Science and Technology(华中科技大学)
针对现有3D创作工具门槛高的问题,提出可控大规模生成模型CLAY,结合多分辨率VAE与潜在DiT,支持多类输入控制,可生成带2K PBR纹理的高质量3D资产,降低创作门槛。
2024-05-30 cs.CV
Controllable Diverse Sampling through Pullback Directions
École Polytechnique(巴黎综合理工学院);Institut Polytechnique de Paris(巴黎理工学院);New York Genome Center(纽约基因组中心);Columbia University(哥伦比亚大学)
本文提出一种无需训练的可控多样化采样方法,利用拉回几何识别输出灵敏度方向,在MS-COCO和BrushNet上验证了其提升图像生成与修复多样性的有效性。
2026-10-14 cs.AI cs.CV
Controllable Multi-domain Semantic Artwork Synthesis
University of Tsukuba(筑波大学);Waseda University(早稻田大学)
本文针对语义艺术合成缺少分割数据集的问题,构建 ArtSem 数据集,并提出基于域相关变分编码器与 SSTAN 的多域 GAN 合成模型,实现更高质量且可控的艺术图像生成。
2023-08-19 cs.CV cs.GR
ReCon: Region-Controllable Data Augmentation with Rectification and Alignment for Object Detection
Tsinghua University(清华大学);Li Auto Inc.(力汽车公司);BNRist(BNR机构)
针对生成数据增强中内容位置不匹配与语义泄漏问题,提出ReCon框架,通过区域引导校正与区域对齐交叉注意力,提升目标检测生成数据的质量与可训练性。
2025-10-17 cs.CV
Dynamic Neural Textures: Generating Talking-Face Videos with Continuously Controllable Expressions
Tsinghua University(清华大学);Shanghai Jiao Tong University(上海交通大学)
最近,说话人脸视频生成受到了相当大的关注。到目前为止,大多数方法生成的结果与中性表达式或表达式,隐含地由神经网络以不可控的方式确定。在本文中,我们提出了一种方法来产生说话的脸视频与连续可控的表情在实时。我们的方法是基于一个重要的观察:相对于中等分辨率的面部几何形状,大多数表情信息在于纹理。然后利用神经纹理生成高质量的人脸视频,并设计了一种新的神经网络,它可以根据输入表情和连续强度表情编码(CIEC)生成图像帧的神经纹理(我们称之为动态神经纹理)。我们的方法使用3DMM作为一个3D模型来采样动态神经纹理。由于三维数字万用表无法覆盖牙齿区域,因此我们提出了一个牙齿子模块来完成牙齿中的细节。结果和消融研究表明,我们的方法在生成高质量的说话的脸视频连续可控的表情的有效性。我们还结合现有的代表性方法建立了四个基线方法,并与我们的方法进行比较。包括用户研究的实验结果表明,我们的方法具有最好的性能。
2022-04-13 cs.CV cs.GR cs.MM
Step1X-3D: Towards High-Fidelity and Controllable Generation of Textured 3D Assets
Step1X-3D Team(Step1X-3D 团队);LightIllusions Team(LightIllusions 团队)
本文提出开源框架Step1X-3D,通过大规模高质量3D数据整理、混合VAE-DiT几何生成与扩散纹理合成,实现高保真、可控且支持LoRA等2D控制迁移的纹理3D资产生成。
2025-05-12 cs.CV
VToonify: Controllable High-Resolution Portrait Video Style Transfer
Nanyang Technological University(南洋理工大学)
生成高质量的艺术人像视频是计算机图形学和视觉中一项重要且令人向往的任务。虽然基于StyleGAN已经提出了一系列成功的人像图像卡通化模型,但这些面向图像的方法在应用于视频时具有明显的局限性,例如固定的帧大小,人脸对齐的要求,丢失非面部细节和时间不一致性。在这项工作中,我们研究了具有挑战性的可控的高分辨率人像视频风格转移通过引入一种新的VToonify框架。具体来说,VToonify利用StyleGAN的中分辨率和高分辨率层,根据编码器提取的多尺度内容特征渲染高质量的艺术肖像,以更好地保留帧细节。由此产生的全卷积架构接受可变大小视频中的非对齐面部作为输入,有助于在输出中完成具有自然运动的面部区域。我们的框架与现有的基于StyleGAN的图像toonification模型兼容,将其扩展到视频toonification,并继承了这些模型的吸引人的功能,以实现对颜色和强度的灵活风格控制。这项工作提出了两个实例化的VToonify建立在Toonify和DualStyleGAN为基础的收集和基于范例的肖像视频风格转移,分别。大量的实验结果表明,我们提出的VToonify框架在生成高质量和时间连贯的艺术肖像视频与灵活的风格控制现有的方法的有效性。
2022-09-30 cs.CV cs.GR cs.LG
Enhancing Diffusion-Based Quantitatively Controllable Image Generation via Matrix-Form EDM and Adaptive Vicinal Training
本文提出改进的CCDM框架iCCDM,结合矩阵形式EDM和自适应邻近训练,提升图像生成质量和采样效率。
2026-02-02 cs.CV cs.LG
Classic Video Denoising in a Machine Learning World: Robust, Fast, and Controllable
Nankai University(南开大学);Adobe Research(奥多比研究院);Adobe(奥多比公司);NKIARI(南开大学人工智能研究院)
提出一种基于传统方法的可微视频去噪流程,通过神经网络预测最优去噪参数,兼顾深度学习的高效与传统方法的鲁棒性,实现快速、可控的高质量去噪。
2025-04-04 cs.CV
EgoControl: Controllable Egocentric Video Generation via 3D Full-Body Poses
University of Bonn(波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉玛尔人工智能与机器学习研究所);NVIDIA(NVIDIA公司)
EgoControl通过3D全身姿态控制生成高质量的目视视频,实现对动作的精细控制,推动具身AI的发展。
2025-11-22 cs.CV
DocArena: Turning Raw Documents into Controllable Training Environments for Document Search Agents
Rochester Institute of Technology(罗切斯特理工学院);Adobe Research(Adobe研究院)
提出DocArena自动化流程,通过多模态文档结构化、推理型QA对构建和质量控制,生成可控训练环境,使基于文本LLM的搜索代理在多模态文档检索和问答中取得最佳性能。
2026-06-26 cs.CV
LongVie 2: Multimodal Controllable Ultra-Long Video World Model
FDU(福建大学);NJU(南京大学);NTU(National University of Taiwan);NVIDIA(英伟达);THU(清华大学);Shanghai AI Laboratory(上海人工智能实验室)
LongVie 2通过多模态引导、退化感知训练和历史-上下文引导,实现了超长视频的可控生成,支持连续视频生成长达五分钟,推动视频世界建模的统一发展。
2025-12-15 cs.CV
Concept-as-Tree: A Controllable Synthetic Data Framework Makes Stronger Personalized VLMs
Peking University(北京大学);CUHK MMLab(香港中文大学MMLab);Zhongguancun Academy(中关村学院);Beijing Key Laboratory of Data Intelligence and Security(北京数据智能与安全重点实验室)
研究提升VLM个性化能力问题,提出概念树(CaT)框架,以树结构表示概念生成多样正负样本,经数据过滤策略确保质量,实验证明该框架显著增强VLM在个性化基准测试中的能力,是首个可控合成数据管道。
2026-07-10 cs.AI cs.CV
MatFuse: Controllable Material Generation with Diffusion Models
University of Catania(卡塔尼亚大学)
本文提出MatFuse,一种利用扩散模型生成和编辑3D材质的统一方法,通过集成多种条件源实现细粒度控制,并支持基于解耦潜在表示的贴图级编辑。
2024-03-13 cs.CV cs.GR