Diagnosing Vision Language Models' Perception by Leveraging Human Methods for Color Vision Deficiencies
Nara Institute of Science and Technology(奈良科学技术研究所)
本研究通过Ishihara测试评估视觉语言模型对色觉差异的感知能力,发现模型无法再现色觉缺陷个体的感知结果,揭示了多模态AI在包容性部署中的不足。
2026-01-27 cs.CL cs.CV
HandVQA: Diagnosing and Improving Fine-Grained Spatial Reasoning about Hands in Vision-Language Models
UNIST(蔚山科学技术院);University of Aberdeen(阿伯丁大学);University College London(伦敦大学学院);Fogsphere (Redev.AI Ltd), UK(Fogsphere (Redev.AI Ltd),英国)
HandVQA通过视觉问答评估VLM对手部解剖的精细空间理解,发现现有模型在手部关节空间关系推理上的系统性缺陷,并通过3D数据训练提升模型在手部姿态识别和手-物交互任务中的性能。
2026-03-27 cs.CV
When MLLMs miss what humans read: diagnosing and learning to read squint text
Beijing University of Posts and Telecommunications(北京邮电大学);Tencent Anti-Cheat Expert(腾讯反作弊专家)
针对MLLMs无法读取人类眯眼可识别的斜视文本的问题,提出Squint OPSD方法,在SquintBench上ANLS达88.61,大幅提升了无辅助视图下斜视文本的读取性能。
2026-10-12 cs.AI cs.CV
ImageDoctor: Diagnosing Text-to-Image Generation via Grounded Image Reasoning
Johns Hopkins University(约翰霍普金斯大学);AMD(AMD公司)
针对现有文本生成图像评估仅用单标量、缺乏可解释性的问题,提出多维度评估框架ImageDoctor,通过“观察-思考-预测”范式实现多维度评估与像素级缺陷指示,在人类偏好对齐及奖励调优效果上均优于传统标量方法。
2025-10-01 cs.CV
VRIQ: Benchmarking and Diagnosing the Visual-Reasoning IQ of Vision-Language Models
University of Southern California, Los Angeles, USA(美国南加州大学)
VRIQ基准测试评估了VLMs的视觉推理能力,发现其在抽象推理任务中表现薄弱,主要源于感知限制,提出细粒度诊断方法以改进多模态系统中的视觉推理。
2026-10-14 cs.CV cs.LG
ActionLens: Diagnosing Spatial-Temporal Binding Failures in Vision-Language Models
National Taiwan University(国立台湾大学);NVIDIA(英伟达)
ActionLens提出一个含6,701个视频问题的诊断基准,系统评估视觉语言模型在时空绑定上的失败模式,发现模型在动作与人物关联上存在系统性错误,并量化了数值解析与视觉框的差距。
2026-09-29 cs.AI cs.CL cs.CV
MotionInsight: Diagnosing Object Motion Deficiencies in Generated Videos
MMLab, CUHK(香港中文大学多媒体实验室);ByteDance Inc.(字节跳动有限公司);Peking University(北京大学);Fudan University(复旦大学);CPII under InnoHK(香港人工智能及机器人科技平台下的香港中文大学感知交互智能研究中心)
针对视频生成中物体运动缺陷评估缺失的问题,提出MotionInsight诊断评估器,结合VidMotion数据集,从三个维度评估运动保真度,实现与人类对齐的诊断。
2026-09-30 cs.AI cs.CV
Diagnosing and exploiting the computational demands of videos games for deep reinforcement learning
Carney Institute for Brain Science, Brown University(布朗大学卡尼脑科学研究所)
本文提出 LCD 工具,用于分别量化电子游戏任务的感知与强化学习需求,并据此重构 Procgen 挑战分类、指导 dRL 算法开发。
2023-09-22 cs.AI cs.CV cs.LG
Experimenting with Knowledge Distillation techniques for performing Brain Tumor Segmentation
Courant Institute of Mathematical Sciences(库朗数学科学研究所);New York University(纽约大学);Vilcek Institute of Graduate Biomedical Sciences(维尔切克生物医学研究生科学研究所)
多模态磁共振成像(MRI)是分析人脑的重要方法。它通常用于诊断疾病和做出有关治疗的有价值的决定-例如,检查人脑中的神经胶质瘤。随着严重程度和检测程度的不同,正确诊断胶质瘤是现代医学中最艰巨和最重要的分析任务之一。我们的主要重点是使用不同的方法在多模态MRI扫描中执行脑肿瘤的分割。现在,用于训练的数据的数量,可变性一直被认为是开发优秀模型的关键。因此,我们也想尝试知识蒸馏技术。
2021-05-24 cs.CV cs.LG eess.IV
SalArt-VQA: Diagnosing Whether VLMs Understand Salient Artifacts in Generated Images
Stanford University(斯坦福大学);Zhejiang University(浙江大学);The University of Queensland(昆士兰大学)
提出SalArt-VQA基准,通过950张图像和3681道多选题,从检测、定位、空间基础、缺陷识别四方面评估VLM对生成图像伪影的理解,揭示高检测准确率下隐藏的失败模式。
2026-10-07 cs.CV
Diagnosing Vision-and-Language Navigation: What Really Matters
UC Santa Barbara(加州大学圣巴巴拉分校);University of Adelaide(阿德莱德大学);Google(谷歌);UC Santa Cruz(加州大学圣克鲁兹分校)
视觉和语言导航(VLN)是一种多模态任务,其中智能体遵循自然语言指令并在视觉环境中导航。已经提出了多种设置,研究人员应用新的模型架构或训练技术来提高导航性能。然而,机器的性能和人类基准之间仍然存在不可忽视的差距。此外,智能体的内部导航决策机制仍然不清楚。据我们所知,代理人如何感知多模态输入是研究不足,需要调查。在这项工作中,我们进行了一系列的诊断实验,以揭示代理的重点在导航。结果表明,室内导航代理参考对象和方向令牌时,作出决定。相比之下,户外导航代理严重依赖于方向令牌和理解对象令牌差。基于transformer的代理获得了更好的跨模态的理解对象,并显示出强大的数值推理能力比非transformer的代理。当涉及到视觉和语言对齐时,许多模型声称它们可以将对象标记与特定的视觉目标对齐。我们发现不平衡的视觉和文本输入的注意力和怀疑这种跨通道对齐的可靠性。
2022-05-04 cs.AI cs.CL cs.CV
Towards Adaptive Human-centric Video Anomaly Detection: A Comprehensive Framework and A New Benchmark
University of North Carolina at Charlotte(北卡罗来纳大学夏洛特分校)
针对以人为中心的视频异常检测面临的行为复杂、异常稀缺、伦理约束等挑战,提出HuVAD隐私增强数据集与UCAL无监督持续学习框架,在多数场景下刷新SOTA。
2025-03-19 cs.AI cs.CV
Diagnosing Aerial-View Object Detectors with Foundational Image Generative Models
Carnegie Mellon University(卡内基梅隆大学);DEVCOM Army Research Laboratory(陆军研究实验室(DEVCOM));Florida State University(佛罗里达州立大学)
研究用文本引导生成、属性控制编辑和自动属性验证构建可控合成测试平台,对预训练检测器进行细粒度评估,以预测实际性能差距并指导高效数据收集。
2026-07-07 cs.AI cs.CV cs.LG
NumBench: Diagnosing Counting Failures in Text-to-Image Models
Indian Institute of Technology Jodhpur(焦特布尔印度理工学院);Shiv Nadar University(希夫·纳达尔大学)
该研究推出NumBench基准数据集,构建过程模型与置信度加权数值精确率指标,评估发现文本到图像模型计数性能随请求数增加而下降,50个以上时表现薄弱,且方法可跨模板迁移。
2026-08-31 cs.CV cs.DB
CLEVR-Ref+: Diagnosing Visual Reasoning with Referring Expressions
Peking University(北京大学);Johns Hopkins University(约翰斯·霍普金斯大学);Northwestern Polytechnical University(西北工业大学)
参照目标检测和参照图像分割是一项重要的任务,需要对视觉信息和自然语言进行联合理解。然而,有证据表明,当前的基准数据集存在偏差,并且当前最先进的模型无法在其中间推理过程中进行评估。为了解决这些问题,并补充类似的努力,在视觉问答,我们建立CLEVR-Ref+,一个综合的诊断数据集,涉及表达理解。对象的精确位置和属性很容易获得,引用表达式自动与函数程序相关联。合成性质允许控制数据集偏差(通过采样策略),并且模块化程序允许在没有人类注释者的情况下进行中间推理。除了在CLEVR-Ref+上评估几个最先进的模型外,我们还提出了IEP-Ref,这是一种模块网络方法,在我们的数据集上显著优于其他模型。特别是,我们提出了两个有趣的和重要的发现,使用IEP-Ref:(1)模块训练转换特征映射到分割掩模可以附加到任何中间模块揭示整个推理过程的一步一步;(2)即使所有的训练数据至少有一个对象引用,IEP-Ref可以正确地预测无前景时,假前提引用表达式。据我们所知,这是第一个直接和定量的证据,证明神经模块的行为方式。
2019-04-06 cs.CL cs.CV cs.LG
Pose Matters: Evaluating Vision Transformers and CNNs for Human Action Recognition on Small COCO Subsets
Department of Computing Science University of Aberdeen(计算科学系大学阿伯丁)
本研究在COCO三类别子集上 benchmark 人体动作识别模型,发现二分类ViT准确率达90%远超其他模型,且能定位姿态相关区域,证明了Transformer表征的数据效率和可解释性技术的价值。
2025-06-13 cs.AI cs.CV
A lateral semicircular canal segmentation based geometric calibration for human temporal bone CT Image
Beijing University of Technology(北京工业大学);Beijing Friendship Hospital, Capital Medical University(首都医科大学附属北京友谊医院)
颞骨CT已成为诊断耳部疾病的重要手段。由于受试者的姿势和CT扫描仪的设置不同,人体颞骨的CT图像需要进行几何校准,以确保双侧解剖结构的对称性。手动校准对于放射科医生来说是一项耗时的任务,并且是进一步计算机辅助CT分析的重要预处理步骤。提出了一种颞骨CT图像的自动校正算法。首先将外半规管(LSC)分段为锚。然后,我们定义一个标准的3D坐标系。关键步骤是LSC分割。我们设计了一种新的三维LSC分割编码器-解码器网络,它在编码阶段引入了三维扩张卷积和多池化方案进行特征融合。实验结果表明,我们的LSC分割网络取得了较高的分割精度。我们所提出的方法可以帮助有效地执行颞骨CT图像的校准。
2020-06-28 cs.CV cs.LG eess.IV
Optic-Net: A Novel Convolutional Neural Network for Diagnosis of Retinal Diseases from Optical Tomography Images
Center for Cognitive Skill Enhancement(认知技能提升中心);Independent University Bangladesh(孟加拉国独立大学);University of Nevada, Reno(内华达大学雷诺分校)
从光谱域光学相干断层扫描(SD-OCT)图像诊断不同的视网膜疾病是一项具有挑战性的任务。不同的自动化方法,如图像处理、机器学习和深度学习算法已被用于视网膜疾病的早期检测和诊断。不幸的是,这些方法容易出错和计算效率低下,这需要人类专家的进一步干预。在本文中,我们提出了一种新的卷积神经网络架构,成功地区分不同的视网膜层变性及其根本原因。所提出的新架构优于其他分类模型,同时解决梯度爆炸的问题。我们的方法达到了接近完美的准确性99.8%和100%的两个单独可用的视网膜SD-OCT数据集分别。此外,我们的架构可以实时预测视网膜疾病,同时优于人类诊断医生。
2019-10-13 cs.CV eess.IV
The Plan, Not the Decoder: Diagnosing and Repairing Compositional Failure in Reasoning-Augmented Text-to-Image Generation
Carnegie Mellon University(卡内基梅隆大学)
该研究针对推理增强型文本到图像生成的组合式失败,发现问题源于规划器而非解码器,通过编辑计划(如重写几何结构)可显著提升生成质量,还发布了相关评估协议及数据。
2026-08-25 cs.CL cs.CV cs.LG