Semi-Latent GAN: Learning to generate and modify facial images from attributes
Fudan University（复旦大学）；Disney Research（迪士尼研究院）
使用高级属性控制生成和操纵人脸图像是重要而有趣的问题。在以前的工作中提出的模型可以解决这两个问题（生成或操作）之一，但不能同时解决。本文提出了一种新的模型，学习如何生成和修改的面部图像从高层次的语义属性。我们的核心思想是制定一个半潜在的面部属性空间（SL-FAS），系统地学习用户定义的属性和潜在的属性之间的关系，以及这些属性和RGB图像之间的关系。作为这个新定义的空间的一部分，我们提出了一个新的模型-- SL-GAN，它是生成对抗网络的一种特殊形式。最后，我们提出了一个迭代的SL-GAN训练算法。在最近的CelebA和CASIA-WebFace数据集上的实验验证了我们提出的框架的有效性。我们还将提供数据、预训练模型和代码。
2017-04-07 cs.CV
DiffMAC: Diffusion Manifold Hallucination Correction for High Generalization Blind Face Restoration
Beijing University of Posts and Telecommunications（北京邮电大学）
提出DiffMAC框架，通过两阶段扩散与流形信息瓶颈校正幻觉，实现高泛化盲人脸恢复，在真实和异构场景中优于现有方法。
2024-03-15 cs.CV
Mask-aware Photorealistic Face Attribute Manipulation
Shanghai Jiao Tong University（上海交通大学）；Carnegie Mellon University（卡内基梅隆大学）；Beijing Sensetime Tech. Dev. Co., Ltd（北京商汤科技开发有限公司）
人脸属性操作的任务已经发现越来越多的应用，但仍然具有挑战性的要求，编辑的属性的人脸图像，同时保持其独特的细节。在本文中，我们选择结合变分自动编码器（VAE）和生成对抗网络（GAN）的真实感图像生成。我们提出了一种有效的方法来修改编码器的特征图中的适量像素，不断改变属性强度，而不妨碍全局信息。我们的VAE和GAN的训练目标通过监督人脸识别损失和周期一致性损失来加强，以忠实地保留人脸细节。此外，我们生成了面部面具来加强背景一致性，这使得我们的训练专注于操纵前景人脸而不是背景。实验结果表明，我们的方法，称为面具对抗自动编码器（M-AAE），可以生成高质量的图像与不断变化的属性，并优于以前的方法在细节保护。
2018-04-24 cs.CV
Editable Generative Adversarial Networks: Generating and Editing Faces Simultaneously
Yonsei University（延世大学）
我们提出了一个新的框架，同时生成和操纵所需属性的人脸图像。虽然最先进的属性编辑技术在创建逼真的属性效果方面取得了令人印象深刻的性能，但它们仅解决图像编辑问题，使用输入图像作为模型的条件。最近，一些研究试图使用单一的解决方案来解决新的人脸生成和属性编辑问题。然而，其图像质量仍然不令人满意。我们的目标是开发一个统一的模型，可以同时创建和编辑具有所需属性的高质量人脸图像。我们的工作的一个关键思想是，我们将图像分解成低维表示的潜在和属性向量，然后利用GAN框架将低维表示映射到图像。通过这种方式，我们可以通过学习生成器来解决生成和编辑问题。对于定性和定量评估，该算法优于最近的算法解决同样的问题。此外，我们表明，我们的模型可以实现具有竞争力的性能与国家的最先进的属性编辑技术的属性编辑质量。
2018-07-20 cs.CV
InstructAttribute: Fine-grained Object Attributes editing with Instruction
Zhejiang University（浙江大学）
本文提出InstructAttribute，一种基于指令微调的模型，结合免训练的SPAA框架和多模态大模型，实现细粒度对象级颜色与材质属性编辑，兼顾修改准确性与结构保持。
2025-06-23 cs.CV
LR-to-HR Face Hallucination with an Adversarial Progressive Attribute-Induced Network
University of Maryland（马里兰大学）；Academia Sinica（中央研究院）；Johns Hopkins University（约翰斯·霍普金斯大学）
人脸超分辨率是一个具有挑战性的和高度不适定的问题，因为低分辨率（LR）的人脸图像可能对应于多个高分辨率（HR）的超幻觉过程中，并导致显着的身份变化的最终超分辨率的结果。因此，为了解决这个问题，我们提出了一个端到端的渐进式学习框架，结合面部属性，并从多尺度判别器中实施额外的监督。通过将面部属性纳入学习过程并逐步解析面部图像，LR和HR图像之间的映射受到更多约束，这显著有助于减少一对多映射中的模糊性和不确定性。此外，我们在CelebA数据集上进行了彻底的评估，遵循以前作品的设置（即从微小的16 x16人脸图像中超分辨率8倍），并且结果表明，所提出的方法可以产生令人满意的人脸超分辨率图像，优于其他现有技术的方法。
2021-09-29 cs.CV
Laplacian Score Sharpening for Mitigating Hallucination in Diffusion Models
Indian Institute of Technology, Roorkee（印度理工学院罗尔基分校）；National University of Singapore（新加坡国立大学）
针对扩散模型因模式插值和分数平滑导致的幻觉问题，提出基于分数拉普拉斯（锐度）的后处理调整方法，通过高效拉普拉斯近似减少1D、2D及高维图像数据中的幻觉样本率，并分析拉普拉斯与分数不确定性的关系。
2025-11-10 cs.AI cs.CV cs.LG
All-in-One Slider for Attribute Manipulation in Diffusion Models
Institute of Information Science, Beijing Jiaotong University（北京交通大学信息科学学院）；Visual Intelligence + X International Cooperation Joint Laboratory of the Ministry of Education（教育部视觉智能+X国际合作联合实验室）；City University of Macau（澳门城市大学）；Kuaishou（快手）；Meitu（美图）
本文提出All-in-One滑块模块，通过分解文本嵌入空间实现高效的属性操控，支持多属性组合与零样本操控，提升扩散模型的属性操控精度和可扩展性。
2026-03-19 cs.CV
Fader Networks: Manipulating Images by Sliding Attributes
Facebook AI Research（脸书人工智能研究院）；Sorbonne Universités, UPMC Univ Paris 06, UMR 7606, LIP6（索邦大学、巴黎第六大学、LIP6实验室）；LSCP, ENS, EHESS, CNRS, PSL Research University, INRIA（LSCP、巴黎高等师范学院、高等社会科学研究院、法国国家科学研究中心、巴黎科学艺术人文大学、法国国家信息与自动化研究所）
本文介绍了一种新的编码器-解码器架构，该架构通过将图像的显着信息和属性值直接在潜在空间中进行分解来训练以重建图像。因此，经过训练后，我们的模型可以通过改变属性值来生成输入图像的不同真实版本。通过使用连续属性值，我们可以选择在生成的图像中可感知的特定属性的程度。这个属性可以允许用户使用滑动旋钮（如混音控制台上的推子）修改图像的应用程序，以改变肖像的面部表情，或更新某些对象的颜色。与主要依赖于通过在训练时改变属性值来在像素空间中训练对抗网络的最新技术相比，我们的方法产生了更简单的训练方案，并且可以很好地扩展到多个属性。我们提出的证据表明，我们的模型可以显着改变感知值的属性，同时保持图像的自然性。
2018-01-28 cs.CV
Identity-preserving Editing of Multiple Facial Attributes by Learning Global Edit Directions and Local Adjustments
Amirkabir University（阿米尔卡比尔大学）
本文提出 ID-Style，通过可学习全局方向与实例感知强度预测器实现多面部属性编辑，在网络规模减少约95%的同时显著提升身份保持与操控准确率。
2023-09-25 cs.CV
When Visual Signals Mislead: A Mechanistic Study of Attribute Hallucination in Vision-Language Models
Zhejiang University（浙江大学）
针对视觉语言模型的属性幻觉问题，提出VISOR框架，通过VSNR诊断区分失败模式并路由适配操作，在三类模型上减少属性假阳性且不依赖先验主导假设。
2026-08-12 cs.CV
ChatFace: Chat-Guided Real Face Editing via Diffusion Latent Space Manipulation
Peking University（北京大学）
本文提出ChatFace，通过对齐扩散模型时间特征与语义条件，在语义潜空间中实现文本引导的零样本真实人脸精确编辑，并结合LLM支持对话式多属性操纵。
2023-06-05 cs.CV
Surrogate Gradient Field for Latent Space Manipulation
Preferred Networks
生成对抗网络（GANs）可以从采样的潜在代码中生成高质量的图像。最近的作品试图通过操纵其潜在的代码来编辑图像，但很少超越属性调整的基本任务。我们提出了第一种方法，使操作与多维条件，如关键点和字幕。具体来说，我们设计了一个算法，搜索一个新的潜在的代码，满足目标条件的基础上的代理梯度场（SGF）诱导的辅助映射网络。为了进行定量比较，我们提出了一个度量来评估操作方法的解纠缠。对人脸属性调整任务的实验分析表明，该方法在解纠缠方面优于现有的方法。我们进一步将我们的方法应用于各种条件模态的任务，以证明我们的方法可以改变复杂的图像属性，如关键点和标题。
2021-04-20 cs.CV
Semantic Unfolding of StyleGAN Latent Space
InterDigital, Inc.（InterDigital公司）
生成对抗网络（GANs）已被证明通过反转和操纵与输入真实图像对应的潜码来进行图像编辑是非常有效的。这种编辑特性来自潜在空间的非纠缠性质。在本文中，我们发现，面部属性解纠缠不是最佳的，因此，依赖于线性属性分离的面部编辑是有缺陷的。因此，我们提出了改进语义与监督的脱钩。我们的方法包括使用规范化流学习代理潜在表示，我们证明了这会导致更有效的人脸图像编辑空间。
2022-06-29 cs.CV cs.LG
LOHO: Latent Optimization of Hairstyles via Orthogonalization
University of Toronto（多伦多大学）；Modiface Inc.（Modiface公司）；University of Guelph（圭尔夫大学）；Vector Institute（矢量研究所）
由于源头发和目标头发的头发结构差异，发型转移具有挑战性。因此，我们提出了潜在的优化发型通过优化（LOHO），一种基于优化的方法，使用GAN反演填充丢失的头发结构细节在潜在的空间在发型转移。我们的方法将头发分解为三个属性：感知结构，外观和风格，并包括量身定制的损失，以独立地对这些属性中的每一个进行建模。此外，我们提出了两个阶段的优化和梯度正交化，使解开潜在空间优化我们的头发属性。使用LOHO进行潜在空间操作，用户可以通过单独或联合操作头发属性，从参考发型中转移所需的属性来合成新颖的真实感图像。LOHO实现了一个优越的FID相比，目前国家的最先进的（SOTA）的发型转移。此外，LOHO根据PSNR和SSIM与SOTA图像嵌入管道相比，很好地保留了主体的身份。代码可在https://github.com/dukebw/LOHO上获得。
2021-03-10 cs.CV cs.LG
StyleAutoEncoder for manipulating image attributes using pre-trained StyleGAN
Jagiellonian University（雅盖隆大学）；Faculty of Mathematics and Computer Science（数学与计算机科学学院）
本文提出轻量级插件模块StyleAutoEncoder，与预训练StyleGAN结合即可高效操纵图像属性，在效果不逊于基于可逆归一化流的最新方法的同时，实现更简单、更快速且设计更灵活。
2024-12-28 cs.AI cs.CV
ReSAGE-PAR: Representational Similarity Assessment for Generative Expansion in Pedestrian Attribute Recognition
Universidad Autónoma de Madrid（阿隆托纳大学马德里分校）
针对行人属性识别数据稀缺问题，提出ReSAGE-PAR管道，通过扩散模型生成图像并利用贝叶斯分类器验证属性，实现可扩展的高保真数据集扩展，在标准骨干网络上提升高达8.7%。
2026-07-29 cs.CV
Face Identity-Aware Disentanglement in StyleGAN
Jagiellonian University（雅盖隆大学）；IDEAS NCBR（IDEAS国家生物医学影像中心）；University of Edinburgh（爱丁堡大学）
本文提出 StyleGAN 插件 PluGeN4Faces，利用电影帧中同一人物的多姿态图像和对比损失实现人脸属性与身份解耦，使属性编辑对身份等其余特征的干扰显著低于现有方法。
2023-09-21 cs.CV cs.LG
SAT3D: Image-driven Semantic Attribute Transfer in 3D
Wuhan University（武汉大学）；The University of Hong Kong（香港大学）；Huawei Technologies（华为技术有限公司）
本文提出 SAT3D，在 3D 感知 StyleGAN 风格空间中学习语义属性与风格通道关联，并利用 CLIP 驱动的 QMM 损失实现参考图像属性的摄影级 3D 迁移。
2024-08-03 cs.AI cs.CV
Beyond Language Priors: Diagnosing and Fixing Visual-Origin Hallucinations in Multimodal LLM
Tsinghua University（清华大学）
该研究指出多模态大语言模型的幻觉存在视觉起源因素，提出 ACFT 方法，仅用 0.9% COCO 数据即可在多个基准上实现最优幻觉修正性能
2026-09-02 cs.CV
Manipulating Vehicle 3D Shapes through Latent Space Editing
Hiroshima University, Graduate School of Advanced Science and Engineering（广岛大学先进科学与工程研究生院）；Hiroshima University, School of Informatics and Data Science（广岛大学信息与数据科学学院）；Mazda Motor Corporation（马自达汽车公司）
针对现有3D生成编辑研究缺乏对现有车辆3D模型细粒度编辑能力的问题，本文提出基于预训练回归器的隐空间编辑框架，可在保留模型结构完整性与身份特征的前提下实现多属性精细化编辑。
2024-10-31 cs.CV
Mitigating Hallucinations on Object Attributes using Multiview Images and Negative Instructions
Peking University（北京大学）；Beijing University of Posts and Telecommunications（北京邮电大学）
针对大视觉语言模型的对象属性幻觉问题，提出结合多视图图像视觉提示、多视图属性感知器子模块与负指令的MIAVLM方法，有效提升细粒度属性判断准确性。
2025-01-17 cs.AI cs.CV
CoIE: Chain-of-Instruct Editing for Multi-Attribute Face Manipulation
Beijing Academy of Artificial Intelligence（北京智源人工智能研究院）
针对单指令多属性人脸编辑难题，提出CoIE指令链编辑方法，结合大模型生成分步指令、自建数据集微调及超分辨率模块，显著提升编辑成功率与可控性。
2023-12-20 cs.AI cs.CV
DyStyle: Dynamic Neural Network for Multi-Attribute-Conditioned Style Editing
ByteDance Ltd（字节跳动有限公司）
StyleGAN的语义可控性通过不懈的研究得到增强。现有的弱监督方法虽然在对单个属性的样式代码进行操作时效果较好，但忽略了对多个属性操作的准确性。多属性表示容易在StyleGAN潜在空间中纠缠，而顺序编辑会导致错误积累。为了解决这些限制，我们设计了一个动态风格操作网络（DyStyle），其结构和参数随输入样本而变化，对潜在代码进行非线性和自适应操作，以实现灵活和精确的属性控制。为了对DyStyle网络进行高效稳定的优化，提出了一种动态多属性对比学习（Dynamic Multi-Attribute对比学习，DmaCL）方法：包括动态多属性对比器和动态多属性对比损失，同时从模型的生成图像和潜在空间中分离出多种属性。因此，我们的方法演示了细粒度的解开编辑沿多个数值和二进制属性。与现有的风格操作方法的定性和定量比较验证了我们的方法在多属性控制精度和身份保护方面的优越性，而不影响照片真实感。
2022-09-28 cs.CV
VersusDebias: Universal Zero-Shot Debiasing for Text-to-Image Models via SLM-Based Prompt Engineering and Generative Adversary
Zhejiang University（浙江大学）
针对现有T2I模型去偏方法适配性差、忽略幻觉影响的问题，提出含AG与IG模块的通用零样本去偏框架VersusDebias，经实验验证其在多维度去偏上优于现有方法。
2024-08-16 cs.AI cs.CV
TAGE: Trustworthy Attribute Group Editing for Stable Few-shot Image Generation
Guangdong University of Technology（广东工业大学）；Macao Polytechnic University（澳门理工大学）；Huizhou University（惠州学院）；Guangdong University of Foreign Studies（广东外语外贸大学）
本文提出TAGE网络，通过码本学习、码预测和提示驱动语义模块实现类别无关属性编辑，在少样本条件下稳定生成突出目标属性的图像，并在多个数据集上验证了其优越性能。
2024-10-23 cs.AI cs.CV
High-resolution Face Swapping via Latent Semantics Disentanglement
South China University of Technology（华南理工大学）；Tencent（腾讯）；Cardiff University（卡迪夫大学）；The University of Hong Kong（香港大学）
我们提出了一种新的高分辨率人脸交换方法，使用预先训练的GAN模型的固有先验知识。虽然以前的研究可以利用生成先验来产生高分辨率的结果，但它们的质量可能会受到潜在空间的纠缠语义的影响。我们明确地解开潜在的语义，利用渐进性质的生成器，从浅层和更深的外观属性派生的结构属性。通过引入地标驱动的结构转移潜在方向，进一步分离结构属性中的身份和姿态信息。解开的潜在代码产生丰富的生成特征，这些生成特征结合特征混合以产生合理的交换结果。我们进一步扩展我们的方法，视频人脸交换的潜在空间和图像空间上执行两个时空约束。大量的实验表明，该方法优于国家的最先进的图像/视频人脸交换方法的幻觉质量和一致性。代码可以在https://github.com/cnnlstm/FSLSD_HiRes上找到。
2022-03-30 cs.AI cs.CV
Controllable Text-to-Image Generation
University of Oxford（牛津大学）
在本文中，我们提出了一种新的可控的文本到图像的生成对抗网络（ControlGAN），它可以有效地合成高质量的图像，并根据自然语言描述控制部分图像生成。为了实现这一目标，我们引入了一个词级空间和通道的注意力驱动的生成器，可以解开不同的视觉属性，并允许模型专注于生成和操纵对应于最相关的单词的子区域。此外，提出了一个字级的监督反馈提供细粒度的监督反馈，通过相关的话与图像区域，促进训练一个有效的生成器，能够操纵特定的视觉属性，而不影响其他内容的生成。此外，感知损失被用来减少图像生成中的随机性，并鼓励生成器操纵修改文本中所需的特定属性。在基准数据集上的大量实验表明，我们的方法优于现有的最先进的，并且能够有效地操纵合成图像使用自然语言描述。代码可在https://github.com/mrlibw/ControlGAN上获得。
2019-12-19 cs.CL cs.CV cs.LG
Describe What to Change: A Text-guided Unsupervised Image-to-Image Translation Approach
University of Trento（特伦托大学）；FBK（布鲁诺·凯斯勒基金会）；The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）；Inria Grenoble Rhône-Alpes（法国国家信息与自动化研究所格勒诺布尔罗讷-阿尔卑斯中心）；Huawei Research（华为研究院）
通过人类书写的文本来操纵图像的视觉属性是一项非常具有挑战性的任务。一方面，模型必须在没有所需输出的基础事实的情况下学习操作。另一方面，模型必须处理自然语言固有的模糊性。以往的研究通常要求用户描述所需图像的所有特征，或者使用注释丰富的图像描述数据集。在这项工作中，我们提出了一种新的无监督的方法，基于图像到图像的翻译，通过命令般的句子，如“改变头发颜色为黑色”，改变给定图像的属性。与最先进的方法不同，我们的模型不需要人工注释的数据集，也不需要对所需图像的所有属性进行文本描述，而只需要修改那些属性。我们提出的模型从视觉属性中分离出图像内容，并在从内容和修改后的属性表示生成新图像之前，使用文本描述学习修改后者。因为文本可能本质上是模糊的（金发可能指金发的不同阴影，例如金色，冰冷，沙质），我们的方法生成同一翻译的多个随机版本。实验结果表明，该模型在CelebA和CUB两个大规模公共数据集上取得了较好的性能.我们相信，我们的方法将铺平道路的新途径的研究相结合的文本和语音命令与视觉属性。
2020-08-10 cs.CL cs.CV
Exploring Causes and Mitigation of Hallucinations in Large Vision Language Models
Kyoto University（京都大学）
本研究分析大型视觉语言模型在图像字幕生成中的幻觉模式，利用图像依赖性信号训练词元级分类器，并提出解码策略以在推理时控制幻觉率。
2025-02-24 cs.CV
SAEdit: Token-level control for continuous image editing via Sparse AutoEncoder
Tel Aviv University（特拉维夫大学）；Google DeepMind（谷歌DeepMind）
本文提出SAEdit，利用稀疏自编码器在文本嵌入的令牌级方向上进行操纵，实现解耦且连续的图像编辑，无需修改扩散过程，适用于多种模型。
2025-10-06 cs.AI cs.CV cs.GR
Mitigating Hallucination in Visual Language Models with Visual Supervision
Peng Cheng Laboratory（鹏城实验室）；Wuhan AI Research（武汉人工智能研究院）
本文通过引入详细视觉标注、SAM与掩码预测损失辅助监督来缓解LVLMs幻觉，并提出RAH-Bench基准，在LLaVA上取得+8.4%的提升。
2023-11-27 cs.CV
ZM-Net: Real-time Zero-shot Image Manipulation Network
Hong Kong University of Science and Technology（香港科技大学）；Carnegie Mellon University（卡内基梅隆大学）；Petuum Inc.（Petuum公司）
图像处理和计算机视觉中的许多问题（例如，着色、风格转换）可以被认为是在给定用户指定的引导信号的情况下将输入图像“操纵”成对应的输出图像。通用图像处理的圣杯解决方案应该能够有效地使用任何个性化信号（甚至是在训练过程中看不到的信号）来改变输入图像，例如不同的绘画和任意的描述性属性。然而，现有的方法对于同时处理多个信号（更不用说推广到看不见的信号）是低效的，或者无法处理来自其他模态的信号。在本文中，我们首次尝试解决zero-shot图像处理任务。我们把这个问题作为根据参数模型操纵输入图像，该参数模型的关键参数可以有条件地从任何引导信号（即使是看不见的）生成。为此，我们提出了Zero-shot操作网络（ZM-Net），这是一种完全可微的架构，可以联合优化图像变换网络（TNet）和参数网络（PNet）。PNet学习在给定任何引导信号的情况下为TNet生成关键变换参数，而TNet根据来自PNet的信号相关参数和来自TNet本身的信号不变参数两者执行快速zero-shot图像操纵。大量的实验表明，我们的ZM-Net可以执行高质量的图像处理条件下的不同形式的指导信号（例如，风格图像和属性）在实时的【形】（几十毫秒每幅图像），即使是看不见的信号。此外，还构建了一个包含20，000多幅风格图像的大规模风格数据集，以促进进一步的研究。
2017-03-22 cs.AI cs.CV cs.GR
Understanding and Evaluating Hallucinations in 3D Visual Language Models
Tsinghua University（清华大学）
该研究首次系统探究3D-LLMs的幻觉问题，定义了3D场景幻觉概念，分析出数据集物体频率不均等三类成因，并提出随机点云对、反向问题两种新评估指标。
2025-02-18 cs.CV
FIHA: Autonomous Hallucination Evaluation in Vision-Language Models with Davidson Scene Graphs
University of Texas at Dallas（德克萨斯大学达拉斯分校）
本文提出FIHA方法，通过免标注、免大语言模型的方式自动生成问答对，并利用Davidson场景图建模幻觉依赖关系，构建FIHA-v1基准以全面评估视觉语言模型的细粒度幻觉问题。
2025-06-03 cs.CV
CutPaste&Find: Efficient Multimodal Hallucination Detector with Visual-aid Knowledge Base
Nanyang Technological University, Singapore（南洋理工大学）；National University of Singapore, Singapore（国立新加坡大学）
针对LVLM物体幻觉检测依赖昂贵API和迭代验证的问题，提出无需训练的轻量框架CutPaste&Find，利用视觉辅助知识库和缩放因子高效验证，在POPE和R-Bench上达到竞争性能且成本更低。
2025-08-05 cs.CL cs.CV
Attention Hijackers: Detect and Disentangle Attention Hijacking in LVLMs for Hallucination Mitigation
Center for Future Media, University of Electronic Science and Technology of China（电子科技大学未来媒体中心）；Southwestern University of Finance and Economics（西南财经大学）；Tongji University（同济大学）
本文揭示LVLM解码中指令token导致的注意力劫持现象，并提出免训练的AID方法，通过检测、解耦与再解耦显著缓解多基准幻觉。
2025-03-14 cs.CV
Garment Attribute Manipulation with Multi-level Attention
University of Florence（佛罗伦萨大学）；University of Siena（锡耶纳大学）；University of Salerno（萨勒诺大学）
针对现有服装属性操控方法易干扰无关属性的问题，提出融合属性解耦表征与多级注意力的GAMMA框架，借助双编码器Transformer和记忆模块，在主流数据集上实现了当前最优的精准属性操控效果。
2024-09-16 cs.CV
Measuring Epistemic Humility in Multimodal Large Language Models
Mohamed bin Zayed University of Artificial Intelligence（Mohamed bin Zayed人工智能大学）；Hong Kong Baptist University（香港 Baptist大学）
提出HumbleBench基准，通过强制选择多项选择中引入“以上皆非”选项，评估多模态大语言模型拒绝错误选项的谦逊行为。
2026-10-15 cs.CV
PhD: A ChatGPT-Prompted Visual hallucination Evaluation Dataset
Renmin University of China（中国人民大学）；Machine Learning Platform Department, Tencent（腾讯机器学习平台部）；HKUST（香港科技大学）
针对多模态大语言模型的视觉幻觉评估问题，构建基于ChatGPT提示的大规模数据集PhD，从任务和模式维度设计，助力客观评估与模型优化。
2025-04-14 cs.AI cs.CV
Hallucination at a Glance: Controlled Visual Edits and Fine-Grained Multimodal Learning
HKUST（香港科技大学）；Shanghai AI Lab（上海人工智能实验室）；Peking University（北京大学）；HKUST(GZ)（香港科技大学（广州））；Oxford University（牛津大学）；Imperial College London（伦敦帝国理工学院）
针对多模态大模型难以察觉细微视觉变化而产生幻觉的问题，本文构建含5万余图文对的MED微编辑数据集，并提出带特征级一致性损失的SFT框架，显著提升微编辑检测及通用视觉语言任务表现。
2025-06-08 cs.CL cs.CV
Mitigating Hallucinations in Vision-Language Models through Image-Guided Head Suppression
University of Southern California（美国南加州大学）；Intel Labs（英特尔实验室）；Harvard-Westlake School（哈佛-韦斯利学校）
提出SPIN，一种推理时任务无关的注意力头抑制策略，通过抑制对图像令牌低注意力的头来减少LVLM幻觉，显著降低幻觉分数并提升吞吐量。
2025-10-15 cs.CV cs.LG
SAVOR: Self-Aware Visual Grounding via Confidence-Calibrated Reinforcement Learning for Multimodal Hallucination Mitigation
Central South University（中南大学）；Peking University（北京大学）
针对多模态大模型幻觉问题，提出Savor训练框架，通过置信度校准和GRPO优化，在推理时基于不确定性重新审视视觉证据，有效降低幻觉并保持通用能力。
2026-09-16 cs.CV
OPCap:Object-aware Prompting Captioning
South China Normal University（华南师范大学）
针对图像描述中的物体幻觉问题，提出OPCap目标感知提示策略，通过提取物体信息、细化语义特征并输入解码器，在COCO和nocaps数据集上有效缓解幻觉、提升描述质量。
2025-01-17 cs.CV
ChainMPQ: Interleaved Text-Image Reasoning Chains for Mitigating Relation Hallucinations
University of Queensland（昆士兰大学）；University of California, Merced（加州大学梅尔德分校）；Ant Group（蚂蚁集团）
ChainMPQ通过交错文本和图像推理链，利用积累的记忆减少大型视觉语言模型的关系幻觉，提升关系推理能力。
2026-03-01 cs.AI cs.CV
Towards Faithful Sentimental Image Captioning via Evidence-Aware Multi-Agent Reasoning
研究情感图像字幕生成中平衡情感表达与视觉保真度的问题，提出SEA-Cap系统，通过情感证据挖掘器提取线索，利用多智能体协作工作流程，依视觉证据审核完善字幕，有效减轻幻觉并达最优性能。
2026-07-29 cs.CV
Detecting Clinical Hallucinations in LVLMs via Counterfactual Visual Grounding Uncertainty
School of Intelligent Science and Technology, Nanjing University（南京大学智能科学与技术学院）；National Institute of Healthcare Data Science at Nanjing University（南京大学医疗数据科学国家研究院）；School of Biomedical Engineering, Nanjing University（南京大学生物医学工程学院）
提出一种基于反事实视觉基础不确定性的框架，通过提取实体并对比正反事实定位结果计算不确定性分数，无需修改模型即可检测LVLM在临床图像中的幻觉。
2026-06-26 cs.CL cs.CV
Mitigating Fine-Grained Hallucination by Fine-Tuning Large Vision-Language Models with Caption Rewrites
Singapore Management University（新加坡管理大学）；Beijing Forestry University（北京林业大学）；University of Electronic Science and Technology of China（电子科技大学）
本文提出 ReCaption 框架，通过 ChatGPT 改写字幕并微调 LVLMs，同时设计 FGHE 细粒度评估方法，有效减少细粒度对象幻觉并提升文本生成质量。
2023-12-04 cs.CL cs.CV
Deep Identity-aware Transfer of Facial Attributes
Hong Kong Polytechnic University（香港理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
本文提出了一种用于面部属性的身份感知传输（DIAT）的深度卷积网络模型。给定源输入图像和参考属性，DIAT旨在生成具有参考属性并且与输入图像保持相同或相似身份的面部图像。一般来说，我们的模型由一个面具网络和属性转换网络协同工作，以产生一个照片般真实的面部图像与参考属性。考虑到参考属性可能只与图像的某些部分相关，引入掩码网络以避免对属性无关区域的错误编辑。然后采用估计的掩模将输入图像和变换后的图像进行组合，以产生转移结果。对于变换网络和掩码网络的联合训练，我们结合了对抗属性损失，身份感知自适应感知损失和基于VGG-FACE的身份损失。此外，提出了一种去噪网络用于感知正则化以抑制传输结果中的伪影，同时引入属性比率正则化来约束属性相关区域的大小。我们的DIAT可以为几个代表性的面部属性转移任务提供统一的解决方案，例如，表情转移、附件移除、年龄进展和性别转移，并且可以扩展用于其他面部增强任务，例如面部幻觉。实验结果验证了该方法的有效性。即使对于身份相关属性（例如，性别），我们的DIAT可以通过改变属性获得视觉上令人印象深刻的结果，同时保留大多数身份识别功能。
2018-12-06 cs.CV
Fine-Grained Multi Image Object Hallucination Benchmark
Seoul National University（首尔大学）；AIM Intelligence（AIM智能公司）
本研究针对多模态大语言模型的物体幻觉问题，推出细粒度多图像物体幻觉基准测试MIOH，评估29个模型后发现顶尖模型仍存在明显失败模式，为开发可靠多模态AI提供关键评估工具。
2026-09-01 cs.AI cs.CV cs.LG
Mitigating Hallucination in Large Vision-Language Models via Adaptive Attention Calibration
本文提出CAAC框架，通过解决空间感知偏差和模态偏差，提升大视觉-语言模型在长文本生成中的准确性和视觉对齐性。
2025-08-11 cs.CL cs.CV cs.MM
Facial Attribute Capsules for Noise Face Super Resolution
Xidian University（西安电子科技大学）；Tencent AI Lab（腾讯人工智能实验室）
现有的人脸超分辨率（SR）方法主要假设输入图像是无噪声的。当应用于输入图像总是被噪声污染的真实场景时，它们的性能急剧下降。本文提出了一种人脸属性胶囊网络（FACN）来解决含噪人脸图像的高尺度超分辨率问题。胶囊是一组神经元，其活动向量模拟同一实体的不同属性。受胶囊概念的启发，本文提出了一种人脸信息的综合表示模型--人脸属性胶囊（Facial Attribute Capsule，FAC）。在SR处理中，我们首先从输入LR脸生成一组FACs，然后从这组FACs重建HR脸。为了有效地提高FAC对噪声的鲁棒性，本文采用综合学习策略，从语义、概率和人脸属性三个方面生成FAC。每个FAC可以分为两个子胶囊：语义胶囊（SC）和概率胶囊（PC）。它们从语义表示和概率分布两个方面详细描述了一个显式的人脸属性。这组FACs通过属性分解的方式将图像建模为语义空间和概率空间中的面部属性信息的组合。不同的FACs可以更好地结合人脸先验信息，生成具有细粒度语义属性的人脸图像。大量的基准实验表明，我们的方法实现了优越的幻觉效果，并优于国家的最先进的非常低分辨率（LR）噪声的人脸图像超分辨率。
2020-02-16 cs.CV
Looking Back and Forth: Cross-Image Attention Calibration and Attentive Preference Learning for Multi-Image Hallucination Mitigation
Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院）；Harbin Institute of Technology（哈尔滨工业大学）；Beijing Institute of Technology（北京理工大学）；Harbin Institute of Technology, Shenzhen（哈尔滨工业大学深圳分校）
本文提出CAPL框架，通过跨图像注意力校准和偏好学习缓解多图像幻觉问题，提升模型对跨图像关联的建模能力，并在多个任务中取得稳定性能提升。
2026-03-07 cs.AI cs.CV
Hallu-PI: Evaluating Hallucination in Multi-modal Large Language Models within Perturbed Inputs
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Meituan（美团）；Zhejiang-Singapore Innovation and AI Joint Research Lab, Zhejiang University（浙江大学浙新创新与AI联合研究实验室）
本文提出Hallu-PI基准，通过七类扰动场景、1,260张图像及细粒度标注评估12个主流MLLM的幻觉，揭示其在扰动输入下的显著幻觉与类型偏差。
2024-08-05 cs.CV cs.MM
