Multi-Garment Customized Model Generation
University of Chinese Academy of Sciences（中国科学院大学）；Beihang University（北京航空航天大学）；ZheJiang University（浙江大学）
本文提出基于潜在扩散模型的统一框架，通过并行服装编码器和解耦多服装特征融合，实现多件服装自由组合的定制模特生成，并可即插即用地结合 IP-Adapter 与 ControlNet。
2024-08-09 cs.CV
Interpreting the Latent Space of GANs via Correlation Analysis for Controllable Concept Manipulation
University of Science and Technology of China（中国科学技术大学）
生成对抗网络（GANs）已成功应用于图像生成、修复、超分辨率和药物发现等领域，到目前为止，人们对GANs的内部过程还很不了解。为了更深入地理解GANs的内在机制，本文提出了一种通过分析生成图像中潜在变量与相应语义内容之间的相关性来解释GANs潜在空间的方法。与以往的方法，专注于解剖模型通过特征可视化，这项工作的重点放在潜在空间中的变量，即如何潜在变量影响生成的结果的定量分析。给定一个权重固定的预训练GAN模型，对潜变量进行干预，以分析它们对生成图像中语义内容的影响。针对特定的内容生成，可以导出一组控制潜变量，实现可控的语义内容操作。在Fashion-MNIST和UT Zappos 50 K数据集上进行了验证，实验结果表明了该方法的有效性。
2020-07-23 cs.CV cs.LG stat.ML
FreeCustom: Tuning-Free Customized Image Generation for Multi-Concept Composition
Zhejiang University（浙江大学）
提出无调优方法FreeCustom，基于每概念单张参考图像，通过多参考自注意力机制与加权掩码策略实现多概念组合定制图像生成，性能优于或媲美基于训练的方法。
2024-05-22 cs.CV
MC$^2$: Multi-concept Guidance for Customized Multi-concept Generation
Harbin Institute of Technology（哈尔滨工业大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
针对多概念定制生成中的模型整合与概念混淆问题，本文提出推理时优化方法 MC$^2$，通过自适应注意力细化整合异构单概念模型，并发布 MC++ 基准。
2024-11-30 cs.CV
$\textit{Revelio}$: Interpreting and leveraging semantic information in diffusion models
Boston University（波士顿大学）；Runway
该研究提出$\textit{Revelio}$方法，利用k-SAE挖掘扩散模型中的单语义可解释特征，通过迁移学习验证解释有效性，在4个数据集上证明扩散特征的表示学习价值，分析多因素对扩散模型表示的影响，推动黑盒扩散模型的可解释性研究。
2025-08-02 cs.CV
Orthogonal Adaptation for Modular Customization of Diffusion Models
Stanford University（斯坦福大学）；Snap Research（Snap公司研究院）
针对多个独立定制扩散模型难以高效合并的问题，提出 Orthogonal Adaptation，通过约束残差权重正交实现无额外开销的多概念联合生成，并在身份保持与效率上优于基线。
2024-12-04 cs.CV
MotionDirector: Motion Customization of Text-to-Video Diffusion Models
Show Lab（Show实验室）；National University of Singapore（新加坡国立大学）；Zhejiang University（浙江大学）
针对文本到视频扩散模型的运动定制任务，提出MotionDirector，采用双路径LoRAs架构解耦外观与运动学习，并设计外观去偏时间损失，实现运动定制到多样外观的泛化。
2023-10-12 cs.CV
QR-LoRA: Efficient and Disentangled Fine-tuning via QR Decomposition for Customized Generation
Harbin Institute of Technology（哈尔滨工业大学）；Li Auto（利汽车）；University of Science and Technology of China（中国科学技术大学）
针对多 LoRA 融合时内容与风格特征纠缠的问题，本文提出 QR-LoRA，利用 QR 分解固定 Q、R 并仅训练 $ΔR$，以一半可训练参数实现无交叉污染的高效解耦定制生成。
2025-07-24 cs.CV
CustomCrafter: Customized Video Generation with Preserving Motion and Concept Composition Abilities
Zhejiang University（浙江大学）；Tencent AI Lab（腾讯人工智能实验室）；ARC Lab, Tencent PCG（腾讯平台与内容事业群ARC实验室）
本文提出CustomCrafter框架，通过即插即用主体学习模块和动态加权视频采样策略，在无需额外视频和恢复性微调的情况下，同时保持视频扩散模型的运动生成能力和概念组合能力，显著提升定制化视频生成质量。
2024-12-27 cs.CV
OptGAN: Optimizing and Interpreting the Latent Space of the Conditional Text-to-Image GANs
University of Groningen（格罗宁根大学）
文本到图像生成旨在自动生成照片般逼真的图像，以文本描述为条件。它可以潜在地应用于艺术创作，数据增强，照片编辑等领域，虽然许多努力已经致力于这项任务，它仍然是特别具有挑战性的，以产生可信的，自然的场景。为了促进文本到图像合成的实际应用，我们重点研究了以下三个问题：1）如何确保生成的样本是可信的，真实的或自然的？2)如何开发生成器的潜在空间来编辑合成图像？3)如何提高文本到图像生成框架的可解释性？在这项工作中，我们构建了两个新的数据集（即，根据严格的标准，包括成功和不成功的生成样本的好鸟和坏鸟和脸数据集）。为了通过增加生成良好潜在代码的概率来有效地获取高质量图像，我们对生成的图像使用专用的好/坏分类器。它基于预先训练的前端，并根据建议的好与坏数据集进行微调。在此之后，我们提出了一种新的算法，该算法通过对生成器的预训练权重值进行独立分量分析来识别条件文本到图像GAN架构的潜在空间中的语义可理解方向。此外，我们开发了一个背景平坦损失（BFL），以改善编辑后的图像中的背景外观。随后，我们介绍了线性插值分析之间的关键字对。这是扩展到一个类似的三角形的“语言”插值，以深入了解什么是文本到图像的合成模型中学习的语言嵌入。我们的数据集可在https://zenodo.org/record/6283798#.YhkN_ujMI2w上获得。
2022-02-25 cs.CV cs.LG
Localized Physics-informed Gaussian Processes with Curriculum Training for Topology Optimization
University of California, Irvine（加州大学欧文分校）
本研究提出一种基于物理信息高斯过程的无网格拓扑优化框架，通过定制DNN参数化共享多输出均值函数，结合局部损失权重与课程训练，在斯托克斯流耗散功率最小化问题上表现优于商用COMSOL。
2025-03-18 cs.LG
FREE-Switch: Frequency-based Dynamic LoRA Switch for Style Transfer
Harbin Institute of Technology（哈尔滨工业大学）
本文提出FREE-Switch方法，通过频率域重要性驱动动态LoRA切换，结合不同对象和风格的适配器，降低高质量定制生成的训练成本。
2026-04-11 cs.AI cs.CV
Learning Customized Visual Models with Retrieval-Augmented Knowledge
University of Wisconsin–Madison（威斯康星大学麦迪逊分校）；Microsoft（微软）
图像-文本对比学习模型如CLIP已经表现出很强的任务迁移能力。这些可视化模型的高度通用性和可用性是通过网络规模的数据汇集过程来实现的，以确保广泛的概念覆盖，然后进行昂贵的预训练，将所有知识输入模型权重。或者，我们提出了REACT，REtrieval-Augmented CusTomization，一个框架来获取相关的网络知识，为目标领域构建定制的视觉模型。我们从网络规模的数据库中检索最相关的图像-文本对（CLIP预训练数据的~3%）作为外部知识，并建议通过仅训练新的模块化块而冻结所有原始权重来定制模型。REACT的有效性是通过大量的实验证明分类，检索，检测和分割任务，包括零，少数，和全拍摄设置。特别是，在zero-shot分类任务上，与CLIP相比，它在ImageNet上实现了高达5.4%的改进，在ELEVATER基准测试（20个数据集）上实现了3.7%的改进。
2023-01-17 cs.AI cs.CL cs.CV
Interpreting Vulnerabilities of Multi-Instance Learning to Adversarial Perturbations
Southwest Jiaotong University（西南交通大学）；Southwestern University of Finance and Economics（西南财经大学）；Southwest Petroleum University（西南石油大学）
本文针对多示例学习在对抗扰动下的脆弱性问题，提出一种可逐包定制的扰动方法和一种可影响所有包的通用扰动方法，并通过实验验证其能有效欺骗SOTA MIL方法，同时讨论了一种简单防御策略。
2023-04-16 cs.CV cs.LG
Label-Noise Robust Diffusion Models
KAIST（韩国科学技术院）；NAVER Cloud（NAVER 云）
本文提出转移感知加权去噪得分匹配（TDSM）方法，首次在条件扩散模型中利用时间依赖标签转移概率处理噪声标签，通过实验验证其能提升生成质量并增强生成模型的标签噪声鲁棒性。
2024-02-27 cs.LG
Scaling Neural Network Performance through Customized Hardware Architectures on Reconfigurable Logic
Xilinx Research Labs（赛灵思研究实验室）；Norwegian University of Science and Technology（挪威科技大学）；Northeastern University（东北大学）
近年来，卷积神经网络有了显著的改进，在某些问题上超过了人类的准确性，性能超过了传统的计算机视觉算法。虽然计算模式本身相对简单，但仍然存在重大的计算和内存挑战，因为CNN可能包含数百万个浮点参数，需要数十亿次浮点运算来处理单个图像。这些计算要求，加上超过典型缓存大小的存储空间，对现代计算架构提出了重大的性能和功耗挑战。扩展性能和功率效率的一个有希望的机会是利用所有激活和权重的降低精度表示，因为这允许扩展计算能力，降低权重和特征图缓冲要求以及能耗。虽然会遇到精度的小幅下降，但这些量化神经网络已被证明在标准基准数据集上实现了最先进的精度，例如MNIST，CIFAR-10，SVHN甚至ImageNet，从而提供了非常有吸引力的设计权衡。目前的研究主要集中在实现极端的变种与完全二进制化的权重和/或激活，以及通常较小的输入图像。在本文中，我们研究了在支持各种精度的权重和激活，更大的图像尺寸，以及越来越多的特征映射通道方面的可扩展性。主要贡献是一个正式的方法来理解现有的硬件架构的可扩展性与成本模型和性能预测的目标设备大小的函数。我们提供了在服务器级平台（即AWS F1节点）上验证ImageNet分类的实验结果。
2018-06-26 cs.CV
Robust Lane Detection through Self Pre-training with Masked Sequential Autoencoders and Fine-tuning with Customized PolyLoss
Villanova University（维拉诺瓦大学）
本文提出掩码序列自编码器自预训练与定制化PolyLoss微调相结合的车道检测流水线，利用多连续帧提升特征与上下文建模能力，在正常和挑战性场景中均超越现有最优方法并显著缩短训练时间。
2023-08-11 cs.AI cs.CV cs.LG
Devils in Middle Layers of Large Vision-Language Models: Interpreting, Detecting and Mitigating Object Hallucinations via Attention Lens
National University of Defense Technology（国防科技大学）；Southeast University（东南大学）；Nanyang Technological University（南洋理工大学）
本文通过注意力透镜发现LVLMs中间层是处理视觉信息的关键阶段，并基于真实token与幻觉token的注意力差异提出一种推理时调整方法，无需额外训练即可有效缓解主流模型的对象幻觉。
2025-04-01 cs.CV
GLIMPSE: Holistic Cross-Modal Explainability for Large Vision-Language Models
Georgia Institute of Technology（佐治亚理工学院）
针对大视觉语言模型视觉注意力难以解读的问题，提出轻量模型无关框架GLIMPSE，融合多种技术生成跨模态推理热力图，在忠实度和人类注意力对齐上表现更优，还可用于模型诊断与透明性保障。
2025-07-29 cs.AI cs.CV
