Dual-View Data Hallucination with Semantic Relation Guidance for Few-Shot Image Recognition
School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；University of Electronic Science and Technology of China（电子科技大学）
本文提出利用语义关系引导双视角数据幻觉的少样本图像识别框架，通过实例视角和原型视角幻觉生成多样且稳定的新类别样本，有效缓解过拟合并提升泛化性能。
2024-08-08 cs.CV
Cross-modal Hallucination for Few-shot Fine-grained Recognition
SAP SE（SAP公司）；Humboldt Universität zu Berlin（柏林洪堡大学）
最先进的深度学习算法通常需要大量数据进行模型训练。缺少这些可能会严重降低性能，特别是在类别之间具有细粒度边界的场景中。为此，我们提出了一种多模态的方法，有利于弥合信息差距，通过有意义的联合嵌入。具体来说，我们提出了一个基准，在训练过程中是多模态的（即图像和文本），在测试时是单模态的（即图像），相关的任务是利用基类中的多模态数据（具有许多样本），学习新类的显式视觉分类器（具有很少的样本）。接下来，我们提出了一个框架，建立在跨模态数据幻觉的想法。在这方面，我们引入了一个有区别的文本条件GAN的样本生成与一个简单的自节奏的样本选择策略。我们展示了我们提出的针对CUB数据集的1次、2次和5次学习的判别性幻觉方法的结果，其中通过采用多模态数据提高了准确性。
2018-06-14 cs.CV cs.MM
FilterRAG: Zero-Shot Informed Retrieval-Augmented Generation to Mitigate Hallucinations in VQA
University of Maryland, Baltimore County（马里兰大学巴尔的摩分校）
FilterRAG通过结合BLIP-VQA与检索增强生成，利用外部知识源减少视觉问答中的幻觉问题，提升模型在知识驱动和分布外场景的鲁棒性。
2026-01-24 cs.CL cs.CV cs.IR
Label Hallucination for Few-Shot Classification
Dartmouth College（达特茅斯学院）
Few-Shot分类需要适应从大型注释基础数据集学习的知识，以识别新的不可见类，每个类由很少的标记示例表示。在这种情况下，在大数据集上预训练一个高容量的网络，然后在少数几个例子上对其进行微调，会导致严重的过拟合。与此同时，在从大型标记数据集学习的“冻结”特征之上训练简单的线性分类器无法使模型适应新类的属性，从而有效地导致欠拟合。在本文中，我们提出了一种替代方法，这两个流行的战略。首先，我们的方法使用在新类上训练的线性分类器对整个大型数据集进行伪标签。这有效地“幻觉”了大数据集中的新类别，尽管新类别不存在于基础数据库中（新类别和基础类别是不相交的）。然后，除了新数据集上的标准交叉熵损失之外，它还对伪标记的基本示例进行蒸馏损失来微调整个模型。这一步有效地训练网络识别上下文和外观线索，这些线索对小说类别识别有用，但使用整个大规模基础数据集，从而克服了少样本学习固有的数据稀缺问题。尽管简单的方法，我们表明，我们的方法优于国家的最先进的四个完善的Few-Shot分类基准。
2021-12-06 cs.CV cs.LG
On the Audio Hallucinations in Large Audio-Video Language Models
LY Corporation
本文构建并标注1,000条音频问答句子以分析大型音频-视频语言模型的音频幻觉，并利用预训练音频-文本模型在零样本与微调设置下完成幻觉分类，微调F1达87.9%。
2024-01-18 cs.CL cs.CV cs.MM
Negative Entity Suppression for Zero-Shot Captioning with Synthetic Images
针对零样本图像描述（ZIC）跨域泛化差、易产生幻觉的问题，提出负实体抑制（NES）方法，通过合成图像检索一致性、负实体过滤及注意力抑制，提升跨域性能并降低幻觉率，取得ZIC新SOTA。
2025-11-12 cs.CV
MPFlow: Multi-modal Posterior-Guided Flow Matching for Zero-Shot MRI Reconstruction
1 Hawkes Institute, UCL \, 2 Dept. of Medical Physics；Biomedical Engineering, UCL 3 Dept. of Computer Science, UCL 4 Centre for AI, DS\&AI, AstraZeneca, UK
提出MPFlow框架，利用自监督预训练PAMRI学习跨模态共享表示，在推理时通过数据一致性和特征对齐引导采样，减少幻觉并提升零样本MRI重建效率。
2026-09-25 cs.AI cs.CV
MeaCap: Memory-Augmented Zero-shot Image Captioning
Xidian University（西安电子科技大学）
针对现有零样本图像字幕生成方法易产生幻觉或泛化性差的问题，提出记忆增强框架MeaCap，通过检索过滤关键概念和记忆增强融合分数生成高质量字幕，在多设置下达SOTA。
2024-03-06 cs.CV
Meta-hallucinator: Towards Few-Shot Cross-Modality Cardiac Image Segmentation
Nanyang Technological University（南洋理工大学）；National University of Singapore（新加坡国立大学）；University of Science and Technology of China（中国科学技术大学）
针对少样本跨模态心脏分割，提出变换一致的元幻觉框架，联合训练幻觉与分割模型并利用自集成，在MM-WHS 2017上显著优于现有方法。
2023-05-11 cs.AI cs.CV eess.IV
SKstars at SHROOM: Visions Agreement-Guided Ensembling of Zero-Shot and LoRA-Adapted Vision--Language Models
Chung-Ang University（中央大学）
提出结合Qwen2.5-VL-72B零样本与LoRA适配的7B模型进行集成，用于视觉-语言模型细粒度幻觉检测，在SHROOM-Visions 2026上取得Cor+Lbl 0.2902，排名第15。
2026-09-22 cs.AI cs.CV
Measuring and Mitigating Hallucinations in Vision-Language Dataset Generation for Remote Sensing
MIT（麻省理工学院）；MIT Lincoln Laboratory（麻省理工学院林肯实验室）；DAF MIT AI Accelerator（DAF麻省理工学院人工智能加速器）
本文提出通过集成地图作为外部数据源来增强遥感视觉-语言数据集，生成详细上下文字幕，并引入fMoW-mm多模态数据集及方法来测量和缓解LLM生成文本中的幻觉，在少样本自动目标识别中表现更优。
2025-01-24 cs.CV
Aladdin: Zero-Shot Hallucination of Stylized 3D Assets from Abstract Scene Descriptions
Stanford University（斯坦福大学）
针对现有系统无法从抽象场景描述通用生成风格化3D资产的问题，提出Aladdin系统，通过大语言模型、视觉-语言模型和图像扩散模型组成的基础模型团队，以可编辑中间表示通信实现零样本生成，人类评估显示91%的案例中效果优于基线，可加速3D内容创作。
2023-06-09 cs.CV cs.GR
Tensor Yard: One-Shot Algorithm of Hardware-Friendly Tensor-Train Decomposition for Convolutional Neural Networks
Lomonosov Moscow State University（莫斯科国立罗蒙诺索夫大学）；Huawei Technologies Co., Ltd（华为技术有限公司）
如今，深度学习已广泛应用于人类感兴趣的许多经济、技术和科学领域。显然，基于深度神经网络的解决方案的效率不仅应该考虑目标任务的质量度量，而且应该考虑目标平台设计的延迟和约束。在本文中，我们提出了新的硬件友好的张量训练分解实现卷积神经网络与张量码-一次训练算法，优化了网络层的分解顺序。这些想法允许在Ascend 310 NPU设备上加速ResNet模型，而不会显著损失准确性。例如，我们将ResNet-101加速了14.6%，而ImageNet的前1名准确率下降了0.5。
2021-08-09 cs.AR cs.CV
Improving Zero-Shot ObjectNav with Generative Communication
University of Maryland（马里兰大学）
本文提出在高空与地面 VLM 智能体间进行生成式通信以辅助零样本 ObjectNav，发现选择性辅助优于完全协作，并识别先发制人式幻觉这一影响性能的关键语言特征。
2024-10-02 cs.CV cs.RO
Few TensoRF: Enhance the Few-shot on Tensorial Radiance Fields
Few TensoRF结合TensorRF的高效张量表示与FreeNeRF的频率驱动少样本正则化，通过加速渲染并引入频率和遮挡掩膜，提升稀疏输入视角下的稳定性与重建质量，实验表明其在Synthesis NeRF基准上PSNR提升显著。
2026-03-30 cs.AI cs.CV
Test-Time Hallucination Control in Large Vision-Language Models
Australian National University（澳大利亚国立大学）；The University of New South Wales（新南威尔士大学）；University of Technology Sydney（悉尼科技大学）；York University（约克大学）；Lancaster University（兰卡斯特大学）
针对大型视觉语言模型的物体幻觉问题，提出无训练的测试时幻觉缓解（TTH）方法，通过令牌验证器模块等技术提升模型准确性与稳健性，通用性和实用性良好。
2026-08-13 cs.CV
CHIME: Conditional Hallucination and Integrated Multi-scale Enhancement for Time Series Diffusion Model
Xi’an Jiaotong University（西安交通大学）
本文提出CHIME框架，通过多尺度分解集成和条件特征幻觉模块，解决时间序列扩散模型在跨实体与长时间尺度上的特征对齐和生成能力不足问题，并在少样本场景下取得最先进性能。
2025-07-04 cs.CV cs.SY eess.SY
Relational Embedding for Few-Shot Classification
Pohang University of Science and Technology (POSTECH)（浦项科技大学）
我们建议解决的问题，Few-Shot分类元学习“观察什么”和“在哪里参加”的关系的角度来看。我们的方法通过自相关表示（SCR）和交叉相关注意力（CCA）利用图像内和图像之间的关系模式。在每个图像中，SCR模块将基本特征映射转换为自相关张量，并学习从张量中提取结构模式。在图像之间，CCA模块计算两个图像表示之间的互相关，并学习在它们之间产生共同关注。我们的关系嵌入网络（RENet）结合了这两个关系模块，以端到端的方式学习关系嵌入。在实验评估中，它在miniImageNet，tieredImageNet，CUB-200-2011和CIFAR-FS四个广泛使用的Few-Shot分类基准上实现了对最先进方法的一致改进。
2021-08-22 cs.CV
PROTOtypical Logic Tensor Networks (PROTO-LTN) for Zero Shot Learning
Politecnico di Torino（都灵理工大学）
语义图像判读可以极大地受益于将子符号分布式表示学习与在更高抽象级别上推理的能力相结合的方法。逻辑张量网络（LogicTensorNetworks，LTNs）是一类基于可微的一阶逻辑的神经符号系统，它根植于深层神经网络中。LTN用模糊逻辑公理的知识库取代了训练集的经典概念。通过定义一组可微算子来近似连接词、谓词、函数和量词的作用，自动指定损失函数，使得LTNs可以学习以满足知识库。我们在这里集中在包容或\texttt{isOfClass}谓词，这是最基本的语义编码图像判读任务。与传统的LTN不同，传统的LTN依赖于每个类的单独谓词（例如，狗，猫），每一个都有自己的一组可学习的权重，我们提出了一个共同的\texttt{isOfClass}谓词，其真值水平是一个函数的对象嵌入和相应的类原型之间的距离。典型逻辑张量网络（PROTO-LTN）通过将抽象概念接地作为高维嵌入空间中的参数化类原型，同时减少接地知识库所需的参数数量，扩展了当前的公式。我们展示了如何在少数和零样本学习场景中有效地训练这种架构。广义零样本学习基准测试的实验验证了所提出的实现作为传统的基于嵌入的方法的一个有竞争力的替代。所提出的公式在零样本学习设置中开辟了新的机会，因为LTN形式主义允许以逻辑公理的形式整合背景知识以补偿标记示例的缺乏。
2022-06-26 cs.CV cs.LG
DDFAV: Remote Sensing Large Vision Language Models Dataset and Evaluation Benchmark
Liaoning Technical University（辽宁工程技术大学）；Shang Hai Jiao Tong University（上海交通大学）
针对遥感LVLMs幻觉问题，本文构建了高质量数据集DDFAV及训练指令集，并提出幻觉评估方法RSPOPE，以评估不同LVLMs的零样本能力。
2024-11-05 cs.CV
Time-rEversed diffusioN tEnsor Transformer: A new TENET of Few-Shot Object Detection
Australian National University（澳大利亚国立大学）；Meta AI；University of Wollongong（伍伦贡大学）；Data61/CSIRO（澳大利亚联邦科学与工业研究组织Data61研究所）
在本文中，我们解决了具有挑战性的问题，Few-Shot目标检测。现有的FSOD流水线（i）使用导致信息丢失的平均池化表示;和/或（ii）丢弃可以帮助检测对象实例的位置信息。因此，这样的管道是敏感的大类内的外观和几何变化之间的支持和查询图像。为了解决这些缺点，我们提出了一个时间-rEversed diffusioN tEnsor Transformer（TENET），它i）形成高阶张量表示，捕获多路特征的出现是高度歧视性的，和ii）使用一个Transformer，动态提取查询图像和整个支持集之间的相关性，而不是一个单一的平均池支持嵌入。我们还提出了一个Transformer关系头（TRH），配备了高阶表示，编码查询区域和整个支持集之间的相关性，同时对对象实例的位置变化敏感。我们的模型在PASCAL VOC、FSOD和COCO上实现了最先进的结果。
2022-10-30 cs.AI cs.CV cs.LG
Egocentric affordance detection with the one-shot geometry-driven Interaction Tensor
University of Bristol（布里斯托尔大学）
在这篇摘要中，我们描述了最近[4，7]和最新的工作，在视觉感知的3D场景中确定启示。我们的方法建立在这样的假设上，即几何形状本身提供了足够的信息来检测环境中的重要交互可能性。这背后的动机是几何信息与世界上物体所提供的物理相互作用密切相关。该方法使用通用表示来表示日常物品（如杯子或雨伞）与环境之间的交互，以及更复杂的示能表示（如人类坐着或骑着摩托车）。与合成和真实的RGB-D场景的实验表明，该表示能够在新的环境中以快速的速率和从单个（一次性）训练样本预测启示候选位置。确定示能是迈向需要感知周围环境并与之交互的系统的关键一步。我们在这里说明了两种情况下的输出模拟机器人和增强现实设置，都感知以自我为中心的方式。
2019-06-13 cs.CV cs.RO
FLORA: Formal Language Model Enables Robust Training-free Zero-shot Object Referring Analysis
Cisco-La Trobe Centre for Artificial Intelligence and Internet of Things（思科-拉筹伯人工智能与物联网中心）；La Trobe University（拉筹伯大学）
针对零样本对象指代分析依赖标注数据、训练耗时的问题，提出免训练框架FLORA，结合形式化语言模型与贝叶斯推理，缓解大模型幻觉，性能较现有方法最高提升约45%。
2025-01-17 cs.CV
Harmonization Across Imaging Locations(HAIL): One-Shot Learning for Brain MRI
Children’s National Hospital（美国儿童国家医疗中心）；George Washington University（乔治·华盛顿大学）；Children’s Hospital Colorado（科罗拉多儿童医院）；Children’s Hospital of Philadelphia（费城儿童医院）
针对多临床位点脑部MRI协调中GAN易产生伪结构的问题，提出结合特征提取器、神经风格迁移和自适应实例归一化的单次学习方法，可保留解剖结构并适配新位点，适用于真实医疗与临床试验。
2023-08-21 cs.CV cs.LG eess.IV
Density-Aware Translation of Spurious Correlations in Zero-Shot VLMs
School of Computing and Information Systems, The University of Melbourne, Victoria, Australia（计算与信息系统学院，墨尔本大学，维多利亚，澳大利亚）
提出密度感知转换（DAT）方法，利用局部几何密度项修正图像-文本相似度，以缓解CLIP等视觉语言模型在零样本分类中因虚假相关性导致的性能下降。
2026-06-01 cs.CV cs.LG
Zero and Few Shot Learning with Semantic Feature Synthesis and Competitive Learning
Renmin University of China（中国人民大学）；Peking University（北京大学）；Queen Mary University of London（伦敦玛丽女王大学）；Samsung AI Centre（三星人工智能中心）
通过学习特征空间和语义空间之间的投影函数（例如，~），使得零样本学习（Zero-shot learning，ZRL）成为可能属性空间）。因此，CNOL的关键是学习一种投影，这种投影对于可见和不可见类域之间通常很大的域间隙是鲁棒的。在这项工作中，这是通过看不见的类数据合成和鲁棒的投影函数学习来实现的。具体地说，提出了一种新的语义数据合成策略，属性向量）用于简单地扰动可见类数据以生成不可见类数据。正如在任何数据合成/幻觉方法中一样，关于合成的数据能够多好地捕获目标不可见类数据分布存在模糊性和不确定性。为了解决这个问题，这项工作的第二个贡献是一种新的投影学习模型，称为竞争双向投影学习（BPL），旨在最好地利用模糊的合成数据。具体来说，我们假设每个合成的数据点可以属于任何看不见的类;并且最有可能的两个类候选者被利用来以竞争的方式学习鲁棒的投影函数。作为第三个贡献，我们表明，所提出的BPL模型可以很容易地扩展到少样本学习（FSL）再次利用语义（类原型指导）的功能合成和竞争力的BPL。大量的实验表明，我们的模型在这两个问题上都达到了最先进的结果。
2018-10-19 cs.CV cs.LG
MedGemma vs GPT-4: Open-Source and Proprietary Zero-shot Medical Disease Classification from Images
Department of Information and Communication Technology, Bangladesh University of Professionals（信息与通信技术系，孟加拉国专业大学）
本文比较了开源MedGemma与专有GPT-4在医学图像零样本疾病分类中的性能，MedGemma通过LoRA微调在准确率和敏感性上均表现更优，凸显了领域特定微调对临床应用的重要性。
2026-10-30 cs.AI cs.CV
UniFGVC: Universal Training-Free Few-Shot Fine-Grained Vision Classification via Attribute-Aware Multimodal Retrieval
School of Traffic and Transportation, Beijing Jiaotong University（交通与运输学院，北京交通大学）；Foundation Modal Research Center, Institute of Automation, Chinese Academy of Sciences（基础模态研究中心，自动化研究所）；Queen Mary School Hainan, Beijing University of Posts and Telecommunications（海南女王学院，北京邮电大学）；Department of Computer Science, NUS School of Computing（计算机科学系，国立大学计算机学院）
UniFGVC通过属性感知多模态检索方法，实现无训练少样本细粒度视觉分类，优于现有方法。
2026-10-16 cs.AI cs.CV
