Resolving Ambiguity in Gaze-Facilitated Visual Assistant Interaction Paradigm
Key Laboratory of Pervasive Computing, Tsinghua University(清华大学普适计算重点实验室);The University of New South Wales(新南威尔士大学);SKLSDE Lab, Beihang University(北航SKLSDE实验室)
针对智能眼镜场景中凝视与口头查询的歧义问题,提出GLARIFY方法,通过时空凝视信息、自动合成数据集和热图模块增强视觉语言模型,显著提升视觉助手交互性能。
2025-09-26 cs.CV
Sim-To-Real Transfer of Visual Grounding for Human-Aided Ambiguity Resolution
University of Groningen(格罗宁根大学)
服务机器人应该能够自然地与非专业的人类用户进行交互,不仅帮助他们完成各种任务,而且还可以接受指导,以解决指令中可能存在的歧义。我们认为视觉接地的任务,其中代理分割对象从拥挤的场景给出了一个自然语言的描述。现代视觉基础的整体方法通常忽略语言结构,并且难以覆盖通用领域,因此严重依赖大型数据集。此外,由于基准和目标域之间的高度视觉差异,它们在RGB-D数据集中的传输性能受到影响。模块化方法将学习与领域建模结合起来,并利用语言的组成特性将视觉表示与语言解析解耦,但由于缺乏强有力的监督,要么依赖于外部解析器,要么以端到端的方式进行训练。在这项工作中,我们试图通过引入一个完全解耦的模块化框架来解决这些限制,用于组成实体,属性和空间关系的视觉基础。我们利用丰富的场景图注释生成的合成域和训练每个模块独立。我们的方法在模拟和两个真实的RGB-D场景数据集进行评估。实验结果表明,我们的框架的解耦性质,可以很容易地集成与领域自适应方法模拟到真实的视觉识别,提供了一个数据高效,强大的,可解释的解决方案,在机器人应用中的视觉接地。
2022-07-10 cs.AI cs.CV
InViG: Benchmarking Interactive Visual Grounding with 500K Human-Robot Interactions
ByteDance Research(字节跳动研究院)
针对人机交互中语言模糊性问题,本文提出了首个大规模数据集InViG,包含超52万图像及消歧对话,并提出端到端基线方案,实现45.6%成功率,为模糊性感知的交互式视觉定位提供了实用基准。
2023-10-18 cs.CV cs.RO
Recognizing Dialogue Ambiguity via Candidate Set Visual Grounding
The University of Osaka(大阪大学);RIKEN(理化学研究所);Nara Institute of Science and Technology(奈良科学技术研究所)
该研究针对对话歧义识别问题,提出候选集视觉定位(CSVG)任务及CandVG基准,发现视觉-语言模型的视觉定位能力与CSVG性能无必然关联,且可通过专用指令部分缓解模型预测完整候选集的困难。
2026-10-15 cs.AI cs.CL cs.CV
CAT: Enhancing Multimodal Large Language Model to Answer Questions in Dynamic Audio-Visual Scenarios
Great Bay University(大湾区大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));University of Oxford(牛津大学);Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区)
针对动态视听场景下多模态大语言模型回答易歧义、难定位具体事件的问题,提出CAT框架,通过线索聚合、AVinstruct数据集训练及歧义感知偏好优化提升性能,在AVQA等任务上优于现有方法。
2024-03-07 cs.CV
Differentiable Parsing and Visual Grounding of Natural Language Instructions for Object Placement
National University of Singapore(新加坡国立大学)
我们提出了一种新的方法,PARSING和可视化Grounding(ParaGon),接地自然语言在对象放置任务。自然语言通常描述具有组合性和模糊性的对象和空间关系,这是有效的语言基础的两个主要障碍。对于组合性,ParaGon将语言指令解析为以对象为中心的图形表示,以单独地接地对象。对于模糊性,ParaGon使用一种新的基于粒子的图神经网络来推理具有不确定性的对象放置。从本质上讲,ParaGon将解析算法集成到概率,数据驱动的学习框架中。它是完全可区分的,并从数据中进行端到端的训练,以应对复杂,模糊的语言输入。
2023-03-13 cs.CV cs.LG cs.RO
CoordRefer: Coordinate-Aware 3D Visual Grounding from Multiview Images
本文提出CoordRefer框架,解耦坐标帧选择与坐标条件三维定位,在ScanRefer数据集上实现定位精度提升,性能优于坐标不可知基线及部分显式三维输入方法。
2026-08-07 cs.CV
BLaVe-CoT: Consistency-Aware Visual Question Answering for Blind and Low Vision Users
School of Cyber Science and Engineering, Qufu Normal University(网络科学与工程学院,曲阜师范大学);Department of Computer Science, University of Verona(计算机科学系,威尼斯大学)
提出BLaVe-CoT框架,通过LoRA微调BLIP-2生成候选答案、PolyFormer空间定位及链式思维推理,解决BLV用户视觉问答中的模糊性和多答案一致性问题,在VQA-AnswerTherapy基准上表现更优。
2025-09-07 cs.CV
3DWG: 3D Weakly Supervised Visual Grounding via Category and Instance-Level Alignment
School of CS, Peking University(计算机科学系,北京大学);AI2Robotic;Wangxuan Institute of Computer Technology, Peking University(王轩计算机技术研究所,北京大学)
本文提出3DWG方法,通过类别级和实例级对齐分支分别利用预训练检测器类别知识与语言空间关系描述,解决三维弱监督视觉定位中的类别歧义和实例干扰问题,在Nr3D、Sr3D和ScanRef上取得最优性能。
2025-05-03 cs.CV
Improving One-stage Visual Grounding by Recursive Sub-query Construction
University of Rochester(罗切斯特大学);Tencent AI Lab(腾讯人工智能实验室)
我们通过解决目前对长时间和复杂查询的限制来改进一阶段视觉接地。现有的一阶段方法将整个语言查询编码为单个句子嵌入向量,例如,从BERT中获取嵌入或从LSTM中获取隐藏状态。这种单一的向量表示容易忽略查询中的详细描述。为了解决这一查询建模的不足,我们提出了一个递归的子查询构造框架,该框架在图像和查询之间进行多轮推理,并逐步减少引用歧义。我们展示了我们的新一阶段方法在ReferItGame,RefCOCO,RefCOCO+和RefCOCOg上分别获得了5.0%,4.5%,7.5%,12.8%的绝对改进。特别是,在更长和更复杂的查询上的卓越性能验证了我们的查询建模的有效性。
2020-08-03 cs.CV
Beyond Language: Grounding Referring Expressions with Hand Pointing in Egocentric Vision
Tsinghua University(清华大学);Dalian University of Technology(大连理工大学);Northwestern Polytechnical University(西北工业大学);Apple(苹果公司)
本文提出EgoPoint-Ground数据集,通过手部指向与语音结合的指称机制,改进视觉指称表达的定位方法,并提出SV-CoT框架提升多模态理解能力。
2026-03-27 cs.CV
AlignCAT: Visual-Linguistic Alignment of Category and Attribute for Weakly Supervised Visual Grounding
Nanjing University of Aeronautics and Astronautics(南京航空航天大学);University of Trento(特伦托大学)
AlignCAT通过粗粒度和细粒度对齐模块,利用类别与属性信息增强视觉-语言匹配,在三个基准上超越现有弱监督视觉定位方法。
2025-10-27 cs.CV
Explaining the Ambiguity of Object Detection and 6D Pose From Visual Data
Technical University of Munich(慕尼黑工业大学);University of Oxford(牛津大学);Huawei(华为);Stanford University(斯坦福大学);Google(谷歌)
三维目标检测和姿态估计从一个单一的图像是两个固有的模糊问题。通常,由于形状对称性、遮挡和重复纹理,对象从不同的视角看起来相似。检测和姿态估计中的这种模糊性意味着对象实例可以由几个不同的姿态甚至类别完美地描述。在这项工作中,我们建议明确处理这种不确定性。对于每个对象实例,我们预测多个姿势和类结果,以估计由对称性和重复纹理生成的特定姿势分布。当视觉外观唯一地标识仅一个有效姿势时,分布折叠成单个结果。我们展示了我们的方法的好处,它不仅提供了一个更好的解释姿态模糊,但也有更高的准确性,姿态估计。
2019-08-20 cs.CV
IPDN: Image-enhanced Prompt Decoding Network for 3D Referring Expression Segmentation
Xiamen University(厦门大学);National University of Singapore(新加坡国立大学)
针对3D指代表达分割中的特征与意图歧义,提出IPDN,通过多视图语义嵌入和提示感知解码器增强3D场景理解,并在3D-RES、3D-GRES上分别提升mIoU 1.9和4.2个点。
2025-01-09 cs.AI cs.CV
Do LLMs Understand Visual Anomalies? Uncovering LLM's Capabilities in Zero-shot Anomaly Detection
Beijing Institute of Technology(北京理工大学);National University of Singapore(新加坡国立大学)
本文提出无需训练的ALFA方法,通过运行时提示适应策略和细粒度对齐器,解决零样本视觉异常检测中静态提示跨语义歧义和局部对齐缺失问题,在MVTec和VisA数据集上PRO指标显著提升。
2025-04-07 cs.CV cs.MM
Ask-to-Clarify: Resolving Instruction Ambiguity through Multi-turn Dialogue
College of Computer Science and Artificial Intelligence, Fudan University, Shanghai, China(复旦大学计算机科学与人工智能学院);Shanghai Innovation Institute, Shanghai, China(上海创新研究院);Mechanical Systems Control Lab, UC Berkeley, California, USA(伯克利机械系统控制实验室)
本文提出Ask-to-Clarify框架,通过多轮对话解决指令歧义问题,结合视觉语言模型和扩散模型,采用两阶段知识绝缘策略训练,实现多任务中更高效的协作式具身代理。
2026-07-07 cs.CV cs.RO
Probabilistic Modeling of Semantic Ambiguity for Scene Graph Generation
Tsinghua University(清华大学);University of Electronic Science and Technology of China(电子科技大学);Tencent AI Lab(腾讯AI实验室);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳));Shenzhen Research Institute of Big Data(深圳大数据研究院)
为了生成“准确”的场景图,几乎所有现有的方法都以确定性的方式预测成对关系。然而,我们认为,视觉关系往往是语义模糊的。具体来说,受语言学知识的启发,我们将歧义分为三种类型:同义歧义、上下义歧义和多视角歧义。这种模糊性自然会导致\emph{implicit multi-label}的问题,从而激发了对不同预测的需求。在这项工作中,我们提出了一种新的即插即用的概率不确定性建模(PUM)模块。它将每个联合区域建模为高斯分布,其方差度量相应视觉内容的不确定性。与传统的确定性方法相比,这种不确定性建模带来了特征表示的随机性,这自然使不同的预测成为可能。作为一个副产品,PUM还设法覆盖更细粒度的关系,从而解决了对频繁关系的偏见问题。在大规模Visual Genome基准测试上的大量实验表明,将PUM与新提出的ResCAGCN相结合可以实现最先进的性能,特别是在平均召回度量下。此外,我们证明了PUM的普遍有效性插入到一些现有的模型,并提供其能力,以产生不同的,但似乎合理的视觉关系有见地的分析。
2021-03-10 cs.CV
Can Vision Language Models Learn from Visual Demonstrations of Ambiguous Spatial Reasoning?
Groundlight(格朗莱特公司)
研究VLMs能否纯粹从视觉演示学习新概念,提出SVAT基准发现其零样本及微调后仍难以学习视觉空间任务,但课程学习可提升ICL性能。
2024-09-25 cs.CL cs.CV
Faces in Things, Faces in Nothing: Probing Face Selectivity in Vision Models with Pareidolia
Leiden Institute of Advanced Computer Science (LIACS), Leiden University, Leiden, The Netherlands(莱顿高级计算机科学研究所(LIACS)、莱顿大学、莱顿、荷兰)
本文研究了视觉模型在模糊证据下的行为,通过分析pareidolia现象揭示了不同模型在表示层面的差异,发现语义过激活和不确定性策略等机制,为提升视觉语言系统的语义鲁棒性提供诊断和改进方法。
2026-11-05 cs.AI cs.CV
Can visual language models resolve textual ambiguity with visual cues? Let visual puns tell you!
Yonsei University(延世大学)
本文提出UNPIE基准,利用1000个配图双关语设置定位、消歧和重构三项多模态挑战,证明视觉上下文能提升Socratic Models和视觉语言模型解决文本歧义的能力。
2024-10-23 cs.AI cs.CV
VLMs Trace Without Tracking: Diagnosing Failures in Visual Path Following
Yonsei University(延世大学)
研究VLMs在视觉路径跟随任务中的表现,发现其在面对局部相似干扰时易切换路径,揭示局部竞争导致的失败原因。
2026-10-26 cs.AI cs.CV
SEPS: Semantic-enhanced Patch Slimming Framework for fine-grained cross-modal alignment
提出SEPS框架,通过两阶段机制整合稠密与稀疏文本语义,识别显著视觉补丁,并利用相关性感知选择与均值计算突出关键补丁-词对应,提升跨模态相似度评估,在Flickr30K和MS-COCO上rSum提升23%-86%。
2026-07-03 cs.AI cs.CV cs.MM
Ambiguity-Aware Multi-Object Pose Optimization for Visually-Assisted Robot Manipulation
KAIST(韩国科学技术院);SNU(首尔国立大学)
6D物体姿态估计的目的是使用单个图像或多个图像来推断物体与相机之间的相对姿态。大多数作品都集中在预测对象的姿态,没有相关的不确定性下的遮挡和结构模糊性(不确定性)。然而,这些工作需要有关形状属性的先验信息,这一条件在现实中很难满足,即使是不对称的物体也可能在视点变化下对称。此外,获取和融合不同的传感器数据在将其扩展到机器人应用时具有挑战性。为了解决这些限制,我们提出了一个模糊感知的6D对象姿态估计网络PrimA 6D ++,作为一种通用的不确定性预测方法。姿态估计中的主要挑战,例如遮挡和对称性,可以基于预测的测量模糊度以通用方式处理。具体来说,我们设计了一个网络来重建目标对象的三个旋转轴原始图像,并预测沿每个原始轴的潜在不确定性。利用估计的不确定性,我们然后优化多对象的姿态,使用视觉测量和相机构成,将其视为一个对象SLAM问题。该方法在T-LESS和YCB-Video数据集上显示出显着的性能改善。我们进一步展示了视觉辅助机器人操作的实时场景识别能力。我们的代码和补充材料可在https://github.com/rpmsnu/PrimA6D上获得。
2022-11-02 cs.CV cs.RO
LLMs as Visual Explainers: Advancing Image Classification with Evolving Visual Descriptions
Beihang University(北京航空航天大学)
本文提出一个整合LLMs和VLMs的免训练框架,利用基于LLM的智能体和进化优化策略迭代优化类描述符,有效提升了图像分类准确率并增强了模型的可解释性与稳健性。
2024-02-19 cs.CL cs.CV cs.LG
Beyond Visual Ambiguity: Guiding Robust Monocular Depth Estimation in Challenging Scenarios via Detailed Long Captions
School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院)
该研究针对单目深度估计的视觉歧义问题,提出CapDepth框架,通过详细长文本引导,在非朗伯表面和恶劣天气下的深度误差较现有最优方法分别降低25.0%和22.0%。
2026-07-31 cs.CV
Shape-Bayes: Bayesian Inference of Structured Shapes under Visual Ambiguity
BlueSkeye AI;University of Nottingham(诺丁汉大学)
针对视觉模糊下确定性形状回归的脆弱性,提出Shape-Bayes概率框架,结合不确定性感知与贝叶斯推理,在人脸形状回归上实现结构完整,IDR提升约34%,相对误差降低12.5%。
2026-10-08 cs.CV
LANTERN++: Enhancing Relaxed Speculative Decoding with Static Tree Drafting for Visual Auto-regressive Models
KAIST(韩国科学技术院);Intel Labs(英特尔实验室);AITRICS
针对视觉自回归模型中令牌选择模糊性导致的推测解码加速受限问题,提出LANTERN++框架,通过静态树草稿与宽松接受条件结合,实现高达2.56倍加速并保持图像质量。
2025-03-27 cs.CV
AE TextSpotter: Learning Visual and Linguistic Representation for Ambiguous Text Spotting
Nanjing University(南京大学);SenseTime Research(商汤科技研究院);The University of Hong Kong(香港大学);Alibaba-Group(阿里巴巴集团);The University of Adelaide(阿德莱德大学)
场景文本识别的目的是在自然图像中检测和识别包含多个字符的完整单词或句子。它仍然具有挑战性,因为当字符之间的间距很大或字符均匀分布在多个行和列中时,经常会出现歧义,从而使许多视觉上看似合理的字符分组(例如,在图1(c)中,“BERLIN”被错误地检测为“BERL”和“IN”)。不同于以往的作品,仅仅采用视觉特征的文本检测,这项工作提出了一种新的文本spotter,名为歧义消除文本Spotter(AE TextSpotter),学习视觉和语言特征,以显着减少文本检测中的歧义。拟议的AE TextSpotter有三个重要的好处。1)语言表征与视觉表征一起在一个框架中学习。据我们所知,这是第一次通过使用语言模型来改进文本检测。2)一个精心设计的语言模块被用来降低检测不正确的文本行的信心,使他们很容易修剪在检测阶段。3)大量的实验表明,AE TextSpotter优于其他国家的最先进的方法,由一个很大的利润。例如,我们从IC 19-ReCTS数据集中仔细选择了一组非常模糊的样本,我们的方法比其他方法高出4%以上。该代码已在https://github.com/whai362/AE_TextSpotter上发布。验证集的图像列表和评估脚本已在https://github.com/whai362/TDA-ReCTS上发布。
2021-07-06 cs.CV
Knowledge Distillation for Visual Autoregressive Models
Qualcomm AI Research(高通人工智能研究);University of Technology Nuremberg(纽伦堡技术大学)
针对视觉自回归模型计算开销大的问题,提出VarKD蒸馏框架,通过选择性教师监督和减少令牌级歧义,在ImageNet上多个AR骨干网络中优于现有蒸馏方法。
2026-06-04 cs.CV
Bridging Lexical Ambiguity and Vision: A Mini Review on Visual Word Sense Disambiguation
School of Computing Informatics(计算与信息学学院);Institute of Technology(技术研究所)
本文综述了视觉词义消歧的发展,探讨了对比模型和LLM在解决词汇歧义中的作用,并指出未来发展方向。
2026-02-01 cs.CL cs.CV
A Novel Biologically Mechanism-Based Visual Cognition Model--Automatic Extraction of Semantics, Formation of Integrated Concepts and Re-selection Features for Ambiguity
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);Institute of Applied Mathematics, Academy of Mathematics and Systems Science, Chinese Academy of Science(中国科学院数学与系统科学研究院应用数学研究所)
生物学和信息科学的结合对两个领域都有好处。人们提出了许多相关的模型,如计算视觉认知模型、计算运动控制模型以及两者的综合模型等。一般来说,识别的鲁棒性和精确性是目标识别模型的关键问题之一。本文从人类认知过程的特点及其生物学机制出发,提出了一种新的集成的动态框架来模拟人类视觉过程中的语义提取、概念形成和特征重新选择。该模型的主要贡献如下:(1)语义特征提取:通过深度神经网络从原始图像中提取的情节特征中学习局部语义特征;(2)集成概念形成:通过网络学习局部语义信息和结构信息形成概念。(3)功能重新选择:当在识别过程中检测到歧义时,根据歧义候选者之间的差异重新选择区别特征进行识别。在手写数字和人脸数据集上的实验结果表明,与其他方法相比,该模型具有更高的鲁棒性和识别精度,尤其是在输入样本为语义模糊的情况下。同时,生物学机制的引入进一步加强了神经科学与信息科学之间的互动。
2016-03-25 cs.AI cs.CV cs.LG
READ-Net: Clarifying Emotional Ambiguity via Adaptive Feature Recalibration for Audio-Visual Depression Detection
College of Computer Science and Technology, China University of Petroleum (East China)(中国石油大学(华东)计算机科学与技术学院);College of Computer Science, Nankai University(南开大学计算机科学学院);School of Computing Science, University of Glasgow(格拉斯哥大学计算科学学院)
READ-Net通过自适应特征重校准解决音频-视觉抑郁症检测中的情绪歧义问题,提升检测准确率与F1分数。
2026-01-21 cs.CV cs.MM cs.SD
Show, Don't Ask: Generative Visual Disambiguation for Composed Image Retrieval with Turn-Valid Coverage
Amsisan Tran;Baogh Le;Tuan Kiet Pham;Sui Yang Guang
提出CLARA框架,通过展示视觉备选面板让用户选择,结合似然比重校准实现多轮覆盖保证,在组合图像检索中有效消歧,优于文本提问基线。
2026-06-18 cs.CV
Towards Robust Evaluation of Visual Activity Recognition: Resolving Verb Ambiguity with Sense Clustering
University of Cincinnati(辛辛那提大学)
本文提出基于语义聚类的视觉活动识别评估方法,通过解决动词歧义问题提升评估的鲁棒性。
2026-01-25 cs.AI cs.CL cs.CV
Picturing Ambiguity: A Visual Twist on the Winograd Schema Challenge
Brock University(布鲁克大学)
本文提出WinoVis数据集和评估框架,通过GPT-4生成提示和DAAM热图分析,隔离文本到图像模型的代词消歧能力,发现Stable Diffusion 2.0准确率仅56.7%,略高于随机猜测,揭示了多模态推理的挑战。
2024-06-03 cs.AI cs.CL cs.CV
3AM: An Ambiguity-Aware Multi-Modal Machine Translation Dataset
University of Macau(澳门大学);Harbin Institute of Technology(哈尔滨工业大学);Northeastern University(东北大学);The University of Sydney(悉尼大学)
本文提出3AM,一个包含26,000对英中平行句子及对应图像的歧义感知多模态机器翻译数据集,通过词义消歧筛选更具挑战性的歧义数据,实验证明在该数据集上训练的MMT模型能更有效地利用视觉信息。
2024-04-29 cs.AI cs.CV
CodedVO: Coded Visual Odometry
University of Maryland(马里兰大学);University of Maryland Institute for Advanced Computer Studies(马里兰大学高级计算机研究所);SAAB, Inc.(萨博公司);Army Research Laboratory(陆军研究实验室)
本文提出CodedVO,一种利用定制光学器件将度量深度信息物理编码到图像中的新型单目视觉里程计方法,有效克服了尺度模糊问题,并在ICL-NUIM室内数据集上实现了0.08米的平均轨迹误差,达到最先进性能。
2024-07-25 cs.CV cs.RO
Text-Vision Co-Instructed Image Editing
The Hong Kong Polytechnic University(香港理工大学);OPPO Research Institute(OPPO研究院)
提出TV-Edit框架,联合文本指令的语义表达与稀疏视觉指令的空间引导,实现精确且忠实于意图的图像编辑,显著优于现有方法。
2026-10-14 cs.CV
Underspecification in Scene Description-to-Depiction Tasks
Google Research(谷歌研究院)
关于隐含性,模糊性和欠规范的问题是至关重要的理解任务的有效性和多模态图像+文本系统的伦理问题,但迄今为止很少受到关注。这份立场文件绘制了一个概念框架,以解决这一差距,重点是系统生成的图像描绘场景的场景描述。在这样做的时候,我们解释了文本和图像如何以不同的方式传达意义。我们概述了一系列关于文本和视觉模糊性的核心挑战,以及可能被模糊和未充分指定的元素放大的风险。我们提出并讨论了解决这些挑战的策略,包括生成视觉上模糊的图像,并生成一组不同的图像。
2022-10-11 cs.CL cs.CV
When AI and Experts Agree on Error: Intrinsic Ambiguity in Dermatoscopic Images
La Rocca Skin Medical Center(拉罗卡皮肤医学中心)
研究通过实验发现皮肤镜图像的内在复杂性导致AI与专家在诊断上出现系统性错误,图像质量是主要因素,研究数据公开以提高透明度和可重复性。
2026-04-01 cs.CV
A Probabilistic Segment Anything Model for Ambiguity-Aware Medical Image Segmentation
Department of Computer Science University of Kentucky(计算机科学系 哥伦比亚大学)
针对医学图像分割中标注模糊性问题,提出概率SAM模型,通过潜在变量和变分训练生成多样分割,在LIDC-IDRI数据集上优于基线。
2025-09-06 cs.CV
STSA: Spatial-Temporal Semantic Alignment for Visual Dubbing
University of Science and Technology of China(中国科学技术大学);Suzhou Institute for Advanced Research, USTC(中国科学技术大学苏州高等研究院);Harbin Engineering University(哈尔滨工程大学)
针对音频驱动视觉配音中空间与时间语义模糊导致动态人脸合成不稳定的问题,提出STSA方法,通过双路径对齐和概率热图引导,提升图像质量与合成稳定性。
2025-03-29 cs.AI cs.CV
Learning to Discover Novel Visual Categories via Deep Transfer Clustering
University of Oxford(牛津大学)
我们考虑的问题,发现新的对象类别的图像集合。虽然这些图像是未标记的,但我们也假设相关但不同的图像类的先验知识。我们使用这样的先验知识,以减少聚类的模糊性,并提高新发现的类的质量。我们的贡献是双重的。第一个贡献是将深度嵌入式聚类扩展到迁移学习设置;我们还通过引入表示瓶颈,时间集成和一致性来改进算法。第二个贡献是一种方法来估计类的数量在未标记的数据。这也从已知的类中转移知识,使用它们作为探针来诊断未标记子集中的类数量的不同选择。我们彻底评估了我们的方法,在大量的基准测试中,包括ImageNet,OmniGlot,CIFAR-100,CIFAR-10和SVHN,性能大大优于最先进的技术。
2019-08-26 cs.CV
Collaborative Group: Composed Image Retrieval via Consensus Learning from Noisy Annotations
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
针对组合图像检索中的三元组歧义问题,提出共识网络Css-Net,通过四个多样化组合器和KL散度损失实现共识学习,在FashionIQ等基准上显著提升召回率。
2024-09-03 cs.CV
Tackling Ambiguity with Images: Improved Multimodal Machine Translation and Contrastive Evaluation
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);PSL Research University(巴黎文理研究大学)
本文提出一种基于强文本MT模型、神经适配器和引导式自注意力的多模态机器翻译方法,并构建对比式多语言多模态评估集CoMMuTE,在标准基准上取得有竞争力结果,在对比测试集上大幅超越现有MMT系统。
2023-05-26 cs.CL cs.CV
The Demon is in Ambiguity: Revisiting Situation Recognition with Single Positive Multi-Label Learning
School of Advanced Technology Xi'an Jiaotong-Liverpool University Suzhou, China(先进技术学院 西安交通大学利物浦大学 苏州,中国);Data Science Research Center Duke Kunshan University Suzhou, China(数据科学研究中心 狄尔克森大学 苏州,中国)
本文指出情境识别中的动词分类本质上是多标签问题,提出SPMLL建模、多标签评估基准及GE-VerbMLP,实现超过3%的MAP提升。
2025-08-29 cs.AI cs.CV
Visual Place Recognition for Large-Scale UAV Applications
Department of Production and Management Engineering, Democritus University of Thrace(生产与管理工程系,德米特里乌斯大学)
本文提出大规模航空地点识别数据集LASED,并引入可操控CNN处理无人机影像旋转歧义,实验表明该方法相比非可操控网络平均提升12%召回率,显著增强模型鲁棒性与泛化能力。
2025-07-20 cs.CV cs.RO
Cost-efficient Active Learning for Referring Image Segmentation and Grounding
Meissa;KAIST(韩国科学技术院);GIST(光州科学技术院);POSTECH(浦项科技大学)
该研究针对视觉指称的标注瓶颈,提出结合基础模型生成辅助区域-文本对与指称区域模糊度获取函数的主动学习框架,在RIS、REC基准及用户研究中均实现更优性能与更快标注速度。
2026-11-03 cs.AI cs.CV
Trustworthy SR: Resolving Ambiguity in Image Super-resolution via Diffusion Models and Human Feedback
KUIS AI Center(KUIS人工智能中心);Turkish Is Bank(土耳其 İş Bankası);Turkish Academy of Sciences (TUBA)(土耳其科学院)
针对图像超分辨率中的歧义问题,提出利用扩散模型生成多样化解并结合人类反馈进行集成,从而在信息密集型应用中获得单一可信的高质量解决方案。
2024-02-12 cs.CV eess.IV
LiveSketch: Query Perturbations for Guided Sketch-based Visual Search
University of Surrey(萨里大学);Adobe Research(Adobe研究院)
LiveSketch是一种使用手绘查询搜索大型图像集的新算法。LiveSketch通过创建可视化建议来解决草图搜索的固有模糊性,这些建议在绘制查询时增加查询,使查询规范成为一个迭代而不是一次性的过程,有助于消除用户搜索意图的模糊性。我们的技术贡献是:三重convnet架构,其结合了基于RNN的变分自编码器以使用向量(基于笔划)查询来搜索图像;实时聚类以识别可能的搜索意图(以及因此,搜索嵌入内的目标);以及使用来自这些目标的反向传播来扰动输入笔划序列,从而建议对查询的更改以引导搜索。我们使用67 M图像语料库显示了在准确性和任务时间方面的改进。
2019-04-14 cs.AI cs.CV cs.IR
Diversify, Don't Fine-Tune: Scaling Up Visual Recognition Training with Synthetic Images
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Meta
本文提出一种无需生成式微调的新框架,利用现成生成模型、LLM和CLIP解决类别歧义、多样性和领域偏移,通过上下文与风格多样化方法,将合成数据扩展至ImageNet的6倍,持续提升识别性能并增强域外泛化。
2025-01-21 cs.AI cs.CV cs.LG
Around the World in 80 Timesteps: A Generative Approach to Global Visual Geolocation
LIGM, Ecole des Ponts, IP Paris, CNRS, UGE(LIGM实验室、巴黎路桥学院、巴黎IP大学、法国国家科学研究中心、巴黎东部大学);LIX, Ecole Polytechnique, IP Paris(LIX实验室、巴黎综合理工学院、巴黎IP大学)
针对全球视觉地理定位的固有模糊性问题,提出首个基于扩散和黎曼流匹配的生成式方法,在三大基准上取得SOTA,还提出概率视觉地理定位任务并验证方法优势。
2024-12-09 cs.CV cs.LG
Dual Normalization Multitasking for Audio-Visual Sounding Object Localization
Sony Group Corporation(索尼集团公司)
虽然一些研究工作已经报道了在无约束视频中的视听声源定位,没有数据集和指标已经在文献中提出了定量评估其性能。定义声源定位的地面实况是困难的,因为产生声音的位置不限于源对象的范围,而是振动通过周围对象传播和扩散。因此,我们提出了一个新的概念,发声对象,以减少声音的视觉位置的模糊性,使之有可能注释的位置范围广泛的声源。与新提出的定量评估指标,我们制定的问题,视听探测对象定位(AVSOL)。我们还通过手动注释著名的视听事件(AVE)数据集的测试集来创建评估数据集(AVSOL-E数据集)。为了解决这个新的AVSOL问题,我们提出了一种新的多任务训练策略和架构,称为双归一化多任务(DNM),它将视听对应(AVC)任务和视频事件的分类任务聚合到一个单一的视听相似性图中。通过有效地利用DNM的两个监督,我们提出的架构显着优于基线方法。
2021-06-01 cs.CV cs.SD eess.AS