MISO: Mutual Information Loss with Stochastic Style Representations for Multimodal Image-to-Image Translation
Korea University（高丽大学）
非成对多模态图像到图像翻译是将源域中的给定图像翻译成目标域中的不同图像的任务，克服了一对一映射的限制。现有的多模态翻译模型主要是基于图像重构损失的解纠缠表示。我们提出了两种方法来提高多模态翻译质量。首先，我们使用来自源域的内容表示，该内容表示以来自目标域的样式表示为条件。其次，我们设计了一种新的基于信息论的随机定义的损失函数MILO（互信息损失），而不是使用典型的图像重建损失。这个损失函数直接反映了潜变量作为随机变量的解释。我们表明，我们提出的模型互信息与StOstochastic风格表示（MISO）实现了最先进的性能，通过广泛的实验在各种现实世界的数据集。
2019-02-11 cs.CV
Multimodality-guided Image Style Transfer using Cross-modal GAN Inversion
University of Maryland, College Park（马里兰大学帕克分校）；Snap Inc.（Snap公司）
本文提出跨模态GAN反演方法，将图像和文本等多模态风格输入统一为风格表示，实现多模态引导图像风格迁移，并在TIST和MMIST任务上取得最先进性能。
2023-12-04 cs.CV
MulSMo: Multimodal Stylized Motion Generation by Bidirectional Control Flow
Huazhong University of Science and Technology（华中科技大学）；Alibaba Group（阿里巴巴集团）；The University of Edinburgh（爱丁堡大学）
针对风格化动作生成中风格与内容单向控制易冲突的问题，提出MulSMo双向控制流并结合对比学习支持文本、图像等多模态风格输入，实验表明其在多数据集上显著优于现有方法。
2025-03-17 cs.CV
CLIPGaussian: Universal and Multimodal Style Transfer Based on Gaussian Splatting
Jagiellonian University（雅盖隆大学）；IDEAS Research Institute（IDEAS研究院）
针对高斯溅射表征的复杂风格迁移难题，提出首个支持多模态、文本/图像引导的统一风格迁移框架CLIPGaussian，可插件化集成、无需大模型或重训练，实现色彩几何联合优化与时序一致，风格保真与一致性表现更优。
2025-10-24 cs.CV
StatLUT: Statistical Feature-Driven Multimodal 3DLUT Generation for Photorealistic Style Transfer
Honor Device Co., Ltd.（荣耀终端有限公司）
研究针对逼真风格迁移中现有方法的瓶颈，提出StatLUT框架，通过提取统计特征、基于Transformer的Seq2Seq任务预测3D LUT及用H-Diffuser从自然语言提示合成特征，实现多模态逼真风格迁移，性能优于现有方法。
2026-11-04 cs.CV
Using Multimodal Foundation Models and Clustering for Improved Style Ambiguity Loss
University of Maryland, Baltimore County（马里兰大学巴尔的摩县分校）
本文提出一种无需分类器或标注数据的风格歧义损失新形式，训练扩散模型以提升创造力，并在自动化人类判断指标上优于传统方法。
2024-06-20 cs.AI cs.CV
OmniStyle-INR: Universal and Multimodal Style Transfer for INRs
Jagiellonian University（雅盖隆大学）；IDEAS Research Institute（IDEAS 研究所）
研究针对不同数据模态的风格迁移问题，提出OmniStyle-INR框架，利用基于网络的连续表示作为通用域，实现了在文本提示和视觉示例引导下跨视觉模态的高质量风格迁移。
2026-07-21 cs.CV
Multimodal Transfer: A Hierarchical Deep Convolutional Neural Network for Fast Artistic Style Transfer
University of California, Santa Barbara（加州大学圣塔芭芭拉分校）；Adobe Research（Adobe 研究院）
将艺术风格转移到日常照片中已经成为学术界和工业界非常流行的任务。最近，离线训练已经取代了在线迭代优化，实现了近乎实时的风格化。然而，当这些风格化网络直接应用于高分辨率图像时，局部区域的风格往往与所需的艺术风格不太相似。这是因为转移过程无法捕获小而复杂的纹理并保持艺术品的正确纹理比例。在这里，我们提出了一个多模态卷积神经网络，它考虑到颜色和亮度通道的忠实表示，并进行风格化分层与多个损失的增加规模。与最先进的网络相比，我们的网络还可以通过进行更复杂的离线训练来近乎实时地执行风格迁移。通过使用几种模态在多个尺度上正确处理风格和纹理线索，我们不仅可以传递大尺度的、明显的风格线索，还可以传递微妙的、精致的风格线索。也就是说，我们的计划可以产生的结果，是视觉上令人愉快的，更类似于多种所需的艺术风格的颜色和纹理线索在多个尺度。
2017-04-11 cs.AI cs.CV
OmniTalker: One-shot Real-time Text-Driven Talking Audio-Video Generation With Multimodal Style Mimicking
Tongyi Lab, Alibaba Group（通义实验室，阿里巴巴集团）
OmniTalker提出双分支扩散Transformer框架，首次实现一次性实时文本驱动的说话音视频联合生成，可同时模仿语音与面部风格并保持音视频同步。
2025-06-03 cs.CV
Separating Content and Style for Unsupervised Image-to-Image Translation
Peng Cheng Laboratory（鹏城实验室）；Beihang University（北京航空航天大学）
无监督图像到图像翻译的目的是学习两个视觉域之间的映射与未配对的样本。现有的工作集中在解开域不变的内容代码和域特定的风格代码分别为多模式的目的。然而，很少有人注意到翻译图像的解释和操作。在本文中，我们建议在一个统一的框架中同时分离内容代码和风格代码。基于潜在特征和高级域不变任务之间的相关性，所提出的框架在多模态翻译，翻译图像的可解释性和操作方面表现出优越的性能。实验结果表明，该方法在视觉质量和多样性方面优于现有的无监督图像翻译方法。
2021-10-27 cs.CV
Sissi: Zero-shot Style-guided Image Synthesis via Semantic-style Integration
Sissi通过语义-风格整合实现零样本风格引导图像合成，采用上下文学习框架提升风格化效果与语义一致性。
2026-01-10 cs.CV
StyleAR: Customizing Multimodal Autoregressive Model for Style-Aligned Text-to-Image Generation
University of Science and Technology of China（中国科学技术大学）；The University of Hong Kong（香港大学）；The Chinese University of Hong Kong（香港中文大学）
StyleAR通过专门的数据整理方法利用文本-图像二元数据，结合CLIP编码器和风格增强令牌，实现风格对齐的文本到图像生成，并取得优越性能。
2025-05-26 cs.AI cs.CV cs.MM
TranSTYLer: Multimodal Behavioral Style Transfer for Facial and Body Gestures Generation
ISIR（智能系统与机器人研究所）；STMS（科学技术与音乐声音实验室）；Sorbonne University（索邦大学）；CNRS（法国国家科学研究中心）
针对虚拟智能体行为风格迁移需保留行为语义的问题，提出多模态Transformer模型TranSTYLer，通过风格内容解耦实现无标签风格迁移与未见风格泛化，在PATS语料库上的表现优于现有最优模型，并提出泄露评估方法。
2023-08-08 cs.CV cs.LG cs.MM
Multimodal Text Style Transfer for Outdoor Vision-and-Language Navigation
UC Santa Barbara（加州大学圣巴巴拉分校）；UC Santa Cruz（加州大学圣克鲁兹分校）；UC San Diego（加州大学圣地亚哥分校）；Google（谷歌）
基于视觉的语言理解和推理是自然语言处理（NLP）中最具挑战性的课题之一。户外视觉和语言导航（VLN）是这样一个任务，其中智能体遵循自然语言指令并在现实生活中的城市环境中导航。由于缺乏人类注释的说明，说明复杂的城市场景，户外VLN仍然是一个具有挑战性的任务来解决。本文介绍了一种多模态文本风格转换（MTST）学习方法，并利用外部多模态资源来缓解户外导航任务中的数据稀缺性。我们首先通过传输Google Maps API生成的指令样式来丰富导航数据，然后使用增强的外部户外导航数据集对导航器进行预训练。实验结果表明，我们的MTST学习方法是模型不可知的，我们的MTST方法显着优于基线模型在室外VLN任务，提高任务完成率8.7%，相对于测试集。
2021-02-04 cs.AI cs.CL cs.CV
Multimodal Unsupervised Image-to-Image Translation
Cornell University（康奈尔大学）；NVIDIA（英伟达）
无监督的图像间翻译是计算机视觉中一个重要而又具有挑战性的问题。给定源域中的图像，目标是学习目标域中对应图像的条件分布，而无需看到任何对应图像对。虽然这种条件分布本质上是多峰的，但现有方法进行了过度简化的假设，将其建模为确定性的一对一映射。因此，它们无法从给定的源域图像生成不同的输出。为了解决这个问题，我们提出了一个多模态无监督图像到图像翻译（MUNIT）框架。我们假设图像表示可以被分解为一个内容代码是域不变的，和一个风格代码，捕捉特定于域的属性。为了将图像转换到另一个域，我们将其内容代码与从目标域的样式空间采样的随机样式代码重新组合。我们分析了所提出的框架，并建立了几个理论结果。与最先进的方法进行比较的大量实验进一步证明了所提出的框架的优势。此外，我们的框架允许用户通过提供示例样式图像来控制翻译输出的样式。代码和预训练模型可在https://github.com/nvlabs/MUNIT上获得
2018-08-14 cs.CV cs.LG stat.ML
MUMU: Bootstrapping Multimodal Image Generation from Text-to-Image Data
Sutter Hill Ventures（萨特山风投机构）
本研究提出MUMU多模态图像生成模型，通过自举文本-图像数据构建多模态数据集，仅用单8xH100节点训练即可实现跨图像输入组合，泛化至风格迁移等任务，验证了多模态模型作为图像生成通用控制器的潜力。
2024-09-11 cs.AI cs.CV
TextPainter: Multimodal Text Image Generation with Visual-harmony and Text-comprehension for Poster Design
University of Science and Technology of China（中国科学技术大学）；Alibaba Group（阿里巴巴集团）
本文提出多模态方法 TextPainter，融合全局—局部背景视觉信息与语言模型文本理解，生成视觉和语义和谐的海报文本图像，并构建约8万张带标注的 PosterT80K 数据集。
2023-08-13 cs.CV
ALADIN-NST: Self-supervised disentangled representation learning of artistic style through Neural Style Transfer
University of Surrey（萨里大学）；Adobe（奥多比公司）
本文提出 ALADIN-NST，利用 Neural Style Transfer 提供自监督学习信号，以学习与语义内容高度解耦的艺术风格表示，并在解耦指标和下游多模态任务上达到最先进水平。
2023-08-17 cs.CV
OpenDance: Multimodal Controllable 3D Dance Generation with Large-scale Internet Data
Peking University（北京大学）；Huawei Cloud（华为云）
OpenDance通过构建大规模舞蹈数据集和提出统一的可控生成框架，实现了多模态的3D舞蹈生成，支持音乐、文本、关键点和轨迹等多种条件控制。
2025-11-28 cs.CV
PresentAgent: Multimodal Agent for Presentation Video Generation
AI Geeks, Australia；Australian Artificial Intelligence Institute, Australia（澳大利亚人工智能研究所）；University of Liverpool, United Kingdom（利物浦大学）；La Trobe University, Australia（拉特罗布大学）
PresentAgent 是一个将长文档自动转换为带旁白演示视频的多模态智能体，通过模块化流水线实现视觉与语音同步，并引入 PresentEval 评估框架，实验表明其质量接近人类水平。
2025-07-05 cs.CV
What Makes a Good Generated Image? Investigating Human and Multimodal LLM Image Preference Alignment
本研究探究了人类与多模态LLM在图像质量判断上对美学、解剖准确度等属性的偏好差异，发现LLM属性间相关性较弱且部分属性判断难度较高。
2025-09-16 cs.CV
Tensor-based Emotion Editing in the StyleGAN Latent Space
IT University of Copenhagen（哥本哈根信息技术大学）
在本文中，我们使用一个基于高阶奇异值分解（HOSVD）的张量模型来发现生成对抗网络中的语义方向。这通过首先使用e4e编码器将结构化面部表情数据库嵌入到潜在空间中来实现。具体来说，我们发现了潜在空间中对应于六种典型情绪的方向：愤怒、厌恶、恐惧、快乐、悲伤和惊讶，以及偏航旋转的方向。这些潜在的空间方向被用来改变真实人脸图像的表情或偏航旋转。我们将我们发现的方向与其他两种方法发现的类似方向进行比较。结果表明，所得到的编辑的视觉质量与最新技术水平相当。还可以得出结论，基于张量的模型非常适合情感和偏航编辑，即，可以鲁棒地改变新面部图像的情绪或偏转旋转，而不会对图像中的身份或其他属性产生显著影响。
2022-05-12 cs.CV
CreativeSynth: Cross-Art-Attention for Artistic Image Synthesis with Multimodal Diffusion
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Pengcheng Laboratory（鹏城实验室）；MAIS, Institute of Automation, Chinese Academy of Sciences（自动化所MAIS部）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）；University of Chinese Academy of Sciences（中国科学院大学）；ByteDance Inc.（字节跳动公司）；National Cheng Kung University（国立成功大学）
本文提出基于扩散模型的多任务统一框架 CreativeSynth，利用多模态特征与 Cross-Art-Attention 将现实语义融入艺术图像，在保持美感统一的同时实现艺术化图像合成。
2025-05-15 cs.AI cs.CV
MM2Latent: Text-to-facial image generation and editing in GANs with multimodal assistance
Queen Mary University of London（伦敦玛丽女王大学）；Samsung AI Center（三星人工智能中心）
针对单模态人脸生成可控性不足、现有多模态方法存在超参数多、推理需人工干预等问题，本文提出MM2Latent框架，通过映射网络将多模态输入映射至StyleGAN的w潜在空间，实现了高效可控的多模态人脸生成与编辑，性能优于现有GAN及扩散类方法。
2024-09-17 cs.CV
Quran-MD: A Fine-Grained Multilingual Multimodal Dataset of the Quran
MBZUAI（穆扎伊人工智能研究所）
Quran-MD 是一个包含多语言多模态的《古兰经》数据集，涵盖文本、语言和音频层面，用于提升语音识别、语义检索和个性化教学系统等应用。
2026-01-25 cs.CV
Multimodal Conditional Image Synthesis with Product-of-Experts GANs
NVIDIA（英伟达）
现有的条件图像合成框架基于单个模态中的用户输入（诸如文本、分割、草图或样式参考）来生成图像。他们往往无法利用多模态用户输入时，这降低了他们的实用性。为了解决这一限制，我们提出了专家产品生成对抗网络（PoE-GAN）框架，它可以合成基于多个输入模态或其中任何子集（甚至是空集）的图像。PoE-GAN由一个专家乘积生成器和一个多模式多尺度投影映射器组成。通过我们精心设计的训练方案，PoE-GAN学会合成高质量和多样性的图像。除了推进多模态条件图像合成的最新技术外，在单峰设置中进行测试时，PoE-GAN还优于现有的最佳单峰条件图像合成方法。该项目的网站是https://deepimagination.github.io/PoE-GAN。
2021-12-09 cs.CV
SMIT: Stochastic Multi-Label Image-to-Image Translation
Universidad de Los Andes（安第斯大学）；ETH Zürich（苏黎世联邦理工学院）；KU Leuven（鲁汶大学）
跨域映射是近年来一个非常活跃的话题。给定一个图像，其主要目的是将其转换为所需的目标域，或者在多个标签的情况下转换为多个域。由于三个主要原因，该问题是高度挑战性的：（i）未配对的数据集，（ii）多个属性，以及（iii）多模态（例如，风格）与翻译相关。大部分现有的最新技术只集中在两个原因上，即（i）和（ii），或（i）和（iii）。在这项工作中，我们提出了一个联合框架（i，ii，iii）的多样性和多映射图像到图像的翻译，使用一个单一的生成器有条件地产生无数的和独特的假图像，拥有源图像的基本特征。我们的系统不使用样式正则化，相反，它使用一种嵌入表示，我们称之为域嵌入。在不同数据集上的大量实验表明，我们提出的方法在多标签和多模态问题中与最先进的方法相比是有效的。此外，我们的方法能够在不同的场景下推广：连续样式插值，连续标签插值和细粒度映射。代码和预训练模型可在https://github.com/BCV-Uniandes/SMIT上获取。
2019-09-05 cs.CV
StyleGAN of All Trades: Image Manipulation with Only Pretrained StyleGAN
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；Snap Inc.（Snap公司）
最近，StyleGAN已经实现了各种图像处理和编辑任务，这要归功于高质量的生成和分离的潜在空间。然而，不同的任务通常需要额外的架构或特定于任务的培训范例。在这项工作中，我们将深入研究StyleGAN的空间属性。我们表明，通过预训练的StyleGAN以及一些操作，无需任何额外的架构，我们可以在各种任务上执行最先进的方法，包括图像混合，全景生成，从单个图像生成，可控和局部多模态图像到图像转换以及属性传输。该方法简单，有效，高效，适用于任何现有的预训练StyleGAN模型。
2021-11-02 cs.CV cs.LG
Universal Fingerprint Generation: Controllable Diffusion Model with Multimodal Conditions
Michigan State University（密歇根州立大学）
提出GenPrint框架，利用多模态条件的潜在扩散模型生成具有可控外观和身份一致性的指纹图像，解决了类内差异和跨设备生成问题，并在准确率和数据增强方面表现优异。
2024-04-21 cs.AI cs.CV
Interactive Multi-level Stroke Control for Neural Style Transfer
Digital Masterpieces GmbH（Digital Masterpieces 有限公司）
我们提出了StyleTune，一个移动应用程序的交互式多层次控制的神经风格转移，促进风格元素的创造性调整，并实现高输出保真度。与当前的移动神经风格转移应用程序相比，StyleTune支持用户在全局和局部级别上调整风格元素的大小和方向，例如笔触和纹理补丁。为此，我们提出了一种新的中风自适应前馈式传输网络，使控制中风的大小和强度，并允许更大范围的编辑比目前的方法。对于额外的控制级别，我们提出了一种利用CNN的旋转方差进行笔划方向调整的网络不可知方法。为了实现高输出保真度，我们进一步增加了基于补丁的风格转移方法，使用户能够获得超过20兆像素的输出分辨率。我们的方法使用户能够创建许多新的结果，这些结果是当前移动神经风格转移应用程序无法实现的。
2021-06-25 cs.CV
Towards Visual Text Design Transfer Across Languages
Yonsei University（延世大学）
该研究提出跨语言视觉文本设计迁移的新型任务与基准MuST-Bench，同时推出无需风格描述的SIGIL框架，通过三项创新优化图像生成，在风格一致性、可读性和视觉保真度上优于现有基线，并公开基准数据集。
2024-10-29 cs.AI cs.CV
Autoregressive Styled Text Image Generation, but Make it Reliable
University of Modena and Reggio Emilia（摩德纳和雷吉奥艾米利亚大学）；Google（谷歌）
本文提出Eruku方法，通过多模态提示条件生成任务和分类器自由引导策略，改进自回归模型以生成更可靠、更忠实于文本提示的风格化文本图像。
2025-11-28 cs.CV
Latent Filter Scaling for Multimodal Unsupervised Image-to-Image Translation
King Abdullah University for Science and Technology (KAUST)（阿卜杜拉国王科技大学）
在多模态无监督图像到图像翻译任务中，目标是将图像从源域翻译为目标域中的许多图像。我们提出了一种简单的方法，产生更高质量的图像比当前国家的最先进的，同时保持相同数量的多模态多样性。以前的方法遵循尝试将潜在代码直接映射到全尺寸图像的无条件方法。这导致了复杂的网络架构，其中引入了几个超参数进行调整。通过将潜在代码视为卷积滤波器的修改器，我们产生多模态输出，同时保持传统的生成对抗网络（GAN）损失，并且没有额外的超参数。我们的方法所需的唯一调整控制生成的图像的可变性和质量之间的权衡。此外，我们实现了源域内容和目标域风格之间的免费解纠缠作为我们制定的副产品。我们进行了定性和定量实验，显示了我们的方法与多个基准图像到图像翻译数据集上的最新技术相比的优势。
2019-04-07 cs.CV
3DSNet: Unsupervised Shape-to-Shape 3D Style Transfer
ETH Zurich（苏黎世联邦理工学院）；TU Munich（慕尼黑工业大学）；Google（谷歌）
在计算机视觉中，将风格从一个图像转换到另一个图像是一个流行的和广泛研究的任务。然而，在3D环境中的风格转换仍然是一个很大程度上未探索的问题。据我们所知，我们提出了第一个基于学习的方法，用于基于分离的内容和风格表示的3D对象之间的风格转换。该方法可以合成点云和网格形式的新的3D形状，结合源和目标3D模型的内容和风格，生成一个新的形状，在风格上类似于目标，同时保留源内容。此外，我们扩展了我们的技术，隐式地学习所选域的多模态风格分布。通过从学习的分布中采样样式代码，我们增加了我们的模型可以赋予输入形状的样式的多样性。实验结果验证了所提出的三维风格转移方法的有效性在一些基准。我们框架的实施将在接受后发布。
2021-05-18 cs.CV cs.LG
Consistent Multimodal Generation via A Unified GAN Framework
UIUC（伊利诺伊大学厄巴纳-香槟分校）；Adobe Inc.（奥多比公司）
本文提出基于StyleGAN3的统一GAN框架，通过共享主干、模态特定分支及跨模态一致性判别器，实现RGB、深度和表面法线等多模态图像的一致生成，并验证了其在深度估计器训练中的价值。
2023-07-04 cs.CV
What and Where to Translate: Local Mask-based Image-to-Image Translation
Korea University（高丽大学）；Korea Advanced Institute of Science and Technology（韩国科学技术院）；Columbia University（哥伦比亚大学）；Microsoft Research Asia（微软亚洲研究院）
近年来，图像到图像的翻译得到了极大的关注。其中，基于包含目标样式信息的样本图像的方法由于其处理多模态的能力以及在实际应用中的适用性而得到了积极的研究。然而，现有的方法存在两个内在的问题：转移什么和转移到哪里。首先，这些方法从包括噪声信息的整个样本中提取风格，这阻碍了翻译模型正确地提取样本的预期风格。也就是说，我们需要仔细确定从样本中转移什么。第二，提取的风格被应用于整个输入图像，这在不相关的图像区域中引起不必要的失真。作为响应，我们需要决定将提取的样式传输到何处。在本文中，我们提出了一种新的方法，提取出一个本地掩码的样本，确定什么样的风格转移，另一个本地掩码从输入图像，确定在哪里转移提取的风格。本文的主要创新之处在于（1）高速公路自适应实例规范化技术和（2）端到端翻译框架，该框架在反映范例风格方面取得了出色的性能。我们展示了定量和定性的评价结果，以确认我们所提出的方法的优点。
2020-01-21 cs.CV
Personalized Scientific Figure Caption Generation: An Empirical Study on Author-Specific Writing Style Transfer
Teamreboott Inc.（Teamreboott公司）；MIRI D.I.H Inc.（MIRI D.I.H公司）
本文在第三届 SciCap 挑战赛中实证研究利用作者档案与元数据实现科学图表标题个性化，证明其可提升多模态大模型风格迁移效果，并指出风格匹配与标题质量间存在权衡。
2025-09-30 cs.CL cs.CV
Grounding Free-Form Instructions for Fashion Complementary Image Generation
Politecnico di Bari（巴里理工大学）；Sapienza University of Rome（罗马大学）；University of Klagenfurt（克拉根福大学）
针对现有时尚互补图像生成基准的缺陷，该研究提出基于自由形式指令的新设置，用StyleFlow模型实现该任务，其生成的服装符合指令且风格连贯，同时降低了架构复杂度和推理成本。
2026-08-25 cs.CV
E-M3RF: An Equivariant Multimodal 3D Re-assembly Framework
Fondazione Istituto Italiano di Tecnologia（意大利技术研究院）；University of Genova（热那亚大学）；Durham University（杜伦大学）
E-M3RF通过多模态特征融合和SE(3)流匹配，有效提升3D碎片重装配的精度与鲁棒性。
2025-11-26 cs.CV
ControlEdit: A MultiModal Local Clothing Image Editing Method
本文提出ControlEdit方法，将服装图像编辑转化为多模态引导的局部修复，通过自监督学习扩展特征提取网络通道并设计逆潜在损失函数，结合Blended Latent Diffusion采样，实现了编辑边界自然过渡与非编辑区域内容一致，在定性和定量评估上均超越基线算法。
2024-09-23 cs.CV
DRC: Enhancing Personalized Image Generation via Disentangled Representation Composition
University of Science and Technology of China（中国科学技术大学）；National University of Singapore（新加坡国立大学）；Nanyang Technological University（南洋理工大学）
DRC通过解耦表示组合框架，分别提取用户风格与语义意图，解决LMMs中的引导崩溃问题，实现可控且有效的个性化图像生成。
2025-08-04 cs.CV cs.IR
Multiscale Structure-Guided Latent Diffusion for Multimodal MRI Translation
Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程系，沈阳，中国）；Key Laboratory of Intelligent Computing in Medical Image of Ministry of Education, Northeastern University, Shenyang, China（教育部医学图像智能计算重点实验室，东北大学，沈阳，中国）；National Frontiers Science Center for Industrial Intelligence and Systems Optimization, Shenyang, China（工业智能与系统优化国家级前沿科学中心，沈阳，中国）；Amii, University of Alberta, Edmonton, Alberta, Canada（阿尔伯塔大学阿米人工智能研究所，埃德蒙顿，阿尔伯塔，加拿大）；AiShiWeiLai AI Research, Beijing, China（人工智能研究（北京）有限公司，北京，中国）
本文提出MSG-LDM框架，通过多尺度特征空间分离风格与结构信息，提升多模态MRI翻译的结构一致性与纹理细节。
2026-03-13 cs.AI cs.CV eess.IV
SketchThinker-R1: Towards Efficient Sketch-Style Reasoning in Large Multimodal Models
FST and ICI, University of Macau, China（澳门大学FST和ICI）；Shanghai AI Laboratory, China（上海人工智能实验室）
SketchThinker-R1通过引入草图式推理机制，显著降低大得多模态模型的推理token成本，同时保持答案准确性。
2026-01-06 cs.CV
Iris Style Transfer: Enhancing Iris Recognition with Style Features and Privacy Preservation through Neural Style Transfer
Technical University of Munich（慕尼黑工业大学）
针对虹膜识别的鲁棒性需求与隐私担忧，该研究受神经风格迁移启发，利用虹膜风格特征提升识别准确率并抵抗变异，还提出通过神经风格迁移模糊可识别特征以保护隐私。
2025-04-14 cs.CV cs.HC
BenchLMM: Benchmarking Cross-style Visual Capability of Large Multimodal Models
Nanyang Technological University（南洋理工大学）；University of Technology Sydney（悉尼科技大学）；Northeastern University（东北大学）；Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）；Zhejiang University（浙江大学）
提出 BenchLMM 基准，从艺术、传感器和应用三大类共十五种子风格评估大型多模态模型的鲁棒性，并给出无需训练的风格预测提示增强方法。
2023-12-06 cs.CV
Imitation Learning for Fashion Style Based on Hierarchical Multimodal Representation
JD.com American Technologies（京东美国科技）
时尚是一种复杂的社会现象。人们从专家或时尚偶像的示范中追随时尚风格。然而，对于机器智能体来说，学习模仿时装专家的示范可能是具有挑战性的，特别是对于具有高维多模态观察的环境中的复杂风格。现有的研究大多是利用监督学习的方法来模仿时尚图标的行为。这些方法受到分布偏移的影响：由于智能体大量模仿一些给定的服装演示，它可以从一种风格漂移到另一种风格，给出细微的差异。在这项工作中，我们提出了一个对抗性的逆强化学习制定恢复奖励功能的基础上，分层多模态表示（HM-AIRL）在模仿过程中。层次联合表示能更全面地对专家组合服装演示进行建模，以恢复奖励函数。我们证明了所提出的HM-AIRL模型能够恢复对多模态观测变化具有鲁棒性的奖励函数，使我们能够在不同风格之间的显著变化下学习策略。
2020-04-13 cs.CV cs.LG
GANs N' Roses: Stable, Controllable, Diverse Image to Image Translation (works for videos too!)
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们将展示如何学习一个映射，该映射将从人脸图像派生的内容代码和随机选择的样式代码映射到动漫图像。我们从我们对风格和内容的简单而有效的定义中得出了一个对抗性的损失。这种对抗性的损失保证了地图的多样性--一个单一的内容代码可以产生非常广泛的动画。在合理的假设下，地图不仅是多样的，而且还正确地表示了动画的概率，条件是输入面。相比之下，目前的多模态生成程序不能捕捉动画中出现的复杂风格。大量的定量实验支持了这一观点。大量的定性结果表明，该方法可以产生更多样化的风格比SOTA比较。最后，我们证明了我们的内容和风格的形式化允许我们执行视频到视频的翻译，而无需对视频进行培训。
2021-06-11 cs.CV cs.GR cs.LG
MM-NeRF: Multimodal-Guided 3D Multi-Style Transfer of Neural Radiance Field
University of Science and Technology Beijing（北京科技大学）；Alibaba DAMO Academy（阿里巴巴达摩院）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；University of Sydney（悉尼大学）
针对三维风格迁移中纹理细节模糊和多模态引导难题，提出MM-NeRF，通过统一多模态特征、多头学习与多视图一致性损失，实现高质量三维多风格化，并支持低成本增量学习新风格。
2025-01-24 cs.AI cs.CV
LoRA.rar: Learning to Merge LoRAs via Hypernetworks for Subject-Style Conditioned Image Generation
Samsung R&D Institute UK (SRUK)（三星英国研发院）；University of Padova（帕多瓦大学）
提出 LoRA.rar 方法，利用超网络学习高效合并 LoRA 策略，实现快速个性化图像生成，速度提升超4000倍，并引入 MLLM 评估协议，显著优于现有方法。
2025-08-10 cs.AI cs.CV cs.LG
FlowScene: Style-Consistent Indoor Scene Generation with Multimodal Graph Rectified Flow
School of Computer Science, Peking University（北京大学计算机科学系）；Technical University of Munich（慕尼黑技术大学）；Beijing Jiaotong University（北京交通大学）；Beijing Digital Native Digital City Research Center（北京数字原生数字城市研究院）；Theta Labs, Inc.（Theta Labs公司）；Beijing Normal University（北京师范大学）
FlowScene通过多模态图校正流模型生成风格一致的室内场景，实现对布局、形状和纹理的精细控制，优于现有基线方法。
2026-03-20 cs.CV
Dual-Domain Equivariant Generative Adversarial Network for Multimodal CT-PET Synthesis
提出双域等变生成对抗网络（DDE-GAN），联合空间与频域学习并融入旋转等变性，实现高保真多模态CT-PET图像合成。
2026-06-12 cs.AI cs.CV physics.med-ph
REMM:Rotation-Equivariant Framework for End-to-End Multimodal Image Matching
Wuhan University（武汉大学）；Kunming University of Science and Technology（昆明理工大学）
提出旋转等变框架REMM，通过循环移位模块编码描述符旋转差异，实现端到端多模态图像匹配，在旋转和尺度基准上优于现有方法。
2024-07-16 cs.CV
Nonlinear Intensity, Scale and Rotation Invariant Matching for Multimodal Images
State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University（武汉大学测绘遥感信息工程国家重点实验室）
我们提出了一种有效的方法，多模态图像的匹配。精确的图像匹配是图像配准和从运动恢复结构运动恢复结构等各种应用的基础。当处理具有严重尺度变化、旋转和非线性强度失真（NID）的噪声多模态图像对时，传统的匹配方法失败。为了满足这一需求，我们引入了图像金字塔策略来解决尺度变化。提出了一种精确的主方向估计方法，以减小图像任意角度旋转的影响。我们利用多尺度和多方向的图像滤波结果和特征模板匹配计划，以确保有效和准确的匹配下大NID。集成这些改进显著提高了噪声、缩放、旋转和NID不变能力。我们的实验结果证实了在各种多模态图像中实现高质量匹配的出色能力。该方法在定性和定量评价上均优于主流的多模态图像匹配方法。我们的实现可以在https://github.com/Zhongli-Fan/NISR上获得。
2023-02-28 cs.CV
Multimodal Cultural Heritage Architectural Style Classification for Residential Buildings in the UAE Based on CLIP Embeddings and SVM
University of Sharjah（沙迦大学）
针对传统方法依赖图像且缺乏非西方数据的问题，提出基于CLIP的多模态框架融合视觉与文本特征，经UMAP降维、K-Means聚类后训练SVM，在阿联酋住宅建筑八类风格上达到98%准确率，优于现有研究。
2026-09-16 cs.AI cs.CV
