提出 MCDiff 条件扩散模型，利用起始帧、稀疏笔画、光流补全与扩散生成实现笔画引导的可控视频合成，并在视觉质量及 MPII Human Pose 实验中达到先进效果。
摘要：
扩散模型的最新进展极大提升了合成内容的质量和多样性。为利用扩散模型的表达能力，研究人员探索了多种可控机制，使用户能够直观引导内容合成过程。尽管最新工作主要集中于视频合成，但仍缺乏有效方法来控制和描述所需的内容与运动。针对这一空白，我们提出 MCDiff，这是一种条件扩散模型，可从起始图像帧和一组笔画生成视频，这些笔画允许用户指定合成所需的内容和动态。为解决稀疏运动输入的歧义并获得更好的合成质量，MCDiff 首先利用光流补全模型，基于对视频帧的语义理解和稀疏运动控制来预测密集视频运动。随后，扩散模型合成高质量的未来帧以形成输出视频。我们通过定性和定量结果表明，MCDiff 在笔画引导的可控视频合成中实现了最先进的视觉质量。在 MPII Human Pose 上的额外实验进一步展示了我们的模型在多样化内容和运动合成方面的能力。
英文摘要：
Recent advancements in diffusion models have greatly improved the quality and diversity of synthesized content. To harness the expressive power of diffusion models, researchers have explored various controllable mechanisms that allow users to intuitively guide the content synthesis process. Although the latest efforts have primarily focused on video synthesis, there has been a lack of effective methods for controlling and describing desired content and motion. In response to this gap, we introduce MCDiff, a conditional diffusion model that generates a video from a starting image frame and a set of strokes, which allow users to specify the intended content and dynamics for synthesis. To tackle the ambiguity of sparse motion inputs and achieve better synthesis quality, MCDiff first utilizes a flow completion model to predict the dense video motion based on the semantic understanding of the video frame and the sparse motion control. Then, the diffusion model synthesizes high-quality future frames to form the output video. We qualitatively and quantitatively show that MCDiff achieves the state-the-of-art visual quality in stroke-guided controllable video synthesis. Additional experiments on MPII Human Pose further exhibit the capability of our model on diverse content and motion synthesis.
ReImagine: Rethinking Controllable High-Quality Human Video Generation via Image-First Synthesis
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）科学与工程学院）；Future Network of Intelligence Institute, CUHK-Shenzhen, China（CUHK-深圳智能网络研究院）
Cross Attention Based Style Distribution for Controllable Person Image Synthesis
Shanghai Key Laboratory of Multidimensional Information Processing（上海多维信息处理重点实验室）；Shanghai AI Laboratory（上海人工智能实验室）；Key Laboratory of Advanced Theory and Application in Statistics and Data Science（统计与数据科学前沿理论及应用重点实验室）；Huazhong University of Science and Technology（华中科技大学）；East China Normal University（华东师范大学）
Controllable Skin Synthesis via Lesion-Focused Vector Autoregression Model
School of Translational Medicine, Faculty of Medicine, Nursing and Health Sciences, Monash University（转化医学学院，医学、护理与健康科学学院，墨尔本大学）；Melbourne Sexual Health Centre, Alfred Health（墨尔本性健康中心，阿尔弗雷德健康中心）；AIM for Health Lab, Monash University（健康促进实验室，墨尔本大学）；Faculty of IT, Monash University（信息技术学院，墨尔本大学）；Faculty of Engineering, Monash University（工程学院，墨尔本大学）；Faculty of Infectious and Tropical Diseases, London School of Hygiene and Tropical Medicine（传染病与热带医学学院，伦敦热带医学学院）
本文提出 LF-VAR 模型，通过病灶测量评分与类型标签引导，结合多尺度 VQVAE 和 VAR Transformer，实现基于语言提示的可控高保真皮肤图像合成，FID 平均达 0.74，较 SOTA 提升 6.3%。
GAN-Blot: A Controllable Structure-Style Synthesis Benchmark for Western Blot Forensics
Institute of Data Science and Information Computing, National Chung Hsing University（国立中兴大学数据科学与信息计算研究所）；National Taiwan University of Science and Technology（台湾科技大学）
CrackSegFlow: Controllable Flow Matching Synthesis for Generalizable Crack Segmentation with a 50K Image-Mask Benchmark
Department of Civil and Environmental Engineering, Grainger College of Engineering, University of Illinois Urbana--Champaign（土木与环境工程系，格拉inger工程学院，伊利诺伊大学厄巴纳-香槟分校）；Department of Computer Science, Grainger College of Engineering, University of Illinois Urbana--Champaign（计算机科学系，格拉inger工程学院，伊利诺伊大学厄巴纳-香槟分校）
CFSynthesis: Controllable and Free-view 3D Human Video Synthesis
State Key lab of CAD&CG, College of Computer Science, Zhejiang University（浙江大学计算机科学学院CAD&CG国家重点实验室）；Department of Computer Science and Engineering, the Chinese University of Hong Kong（香港中文大学计算机科学与工程系）
Exploring Disentangled and Controllable Human Image Synthesis: From End-to-End to Stage-by-Stage
School of Science and Engineering, The Chinese University of Hong Kong, Shenzhen（科学与工程学院，香港中文大学（深圳））；Future Network of Intelligence Institute, CUHK-Shenzhen（智能网络研究院，CUHK-深圳）
Graph Conditioned Diffusion for Controllable Histopathology Image Generation
Department of Computing, Imperial College London, UK（帝国理工学院计算系）；Weill Cornell Medicine, NY, USA（韦尔·科恩医学中心）；Cornell Tech, NY, USA（康奈尔科技）；Centre for Inflammatory Disease, Imperial College London, London, UK（帝国理工学院炎症疾病研究中心）
User-Controllable Multi-Texture Synthesis with Generative Adversarial Networks
Samsung AI Center Moscow（三星莫斯科人工智能中心）；Skolkovo Institute of Science and Technology（斯科尔科沃科学技术学院）；National Research University Higher School of Economics（高等经济大学）
Neural Texture Extraction and Distribution for Controllable Person Image Synthesis
School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）；Tencent America（腾讯美国）；Advanced Institute of Information Technology, Peking University（北京大学高等信息科学技术研究院）
College of Artificial Intelligence and Automation, Hohai University（人工智能与自动化学院，河海大学）；College of DaYu, Hohai University（大禹学院，河海大学）；College of Water Conserwancy and Hydropower Engineering, Hohai University（水利水电工程学院，河海大学）；College of Computer Science and Technology, Zhejiang University of Technology（计算机科学与技术学院，浙江工业大学）
Bi-parametric prostate MR image synthesis using pathology and sequence-conditioned stable diffusion
University College London（伦敦大学学院）；City University of Hong Kong（香港城市大学）；University College Hospital NHS foundation Trust（大学学院医院国民保健服务基金会信托）
我们提出了一种图像合成机制，用于以文本为条件的多序列前列腺MR图像，以控制病变存在和序列，以及生成以图像为条件的配对双参数图像，例如用于从配对数据的T2加权MR生成扩散加权MR，这是病理图像合成中的两个挑战性任务。我们提出的机制利用并建立在最近的稳定扩散模型，提出基于图像的条件配对数据生成。我们验证我们的方法使用2D图像切片从真正的疑似前列腺癌患者。合成图像的真实性通过盲态专家评估进行验证，以识别真实图像与假图像，其中具有4年泌尿科MR阅读经验的放射科医生在所有测试序列中仅达到59.4%的准确度（概率为50%）。对于第一次，我们通过盲专家识别疑似病变的存在来评估所生成的病理的真实性，我们发现临床医生对真实图像和合成图像的表现相似，真实图像和合成图像之间的病变识别准确性差异为2.9个百分点，证明了放射学培训目的的潜力。此外，我们还表明，经过病变识别训练的机器学习模型在使用合成数据增强的真实数据进行训练时，表现出更好的性能（76.2% vs 70.4%，统计学显著改善），而不是仅使用真实图像进行训练，这证明了模型训练的有用性。
