Context-Aware Visualization for Explainable AI Recommendations in Social Media: A Vision for User-Aligned Explanations
Newcastle University(纽卡斯尔大学)
针对社交媒体AI推荐解释通用、未对齐用户需求的问题,提出首个在单一流水线中同时适配解释风格和粒度的上下文感知可视化解释系统,将通过30名X用户的公开试点验证其对决策和信任的影响。
2025-08-01 cs.AI cs.HC cs.LG
Towards Designing Computer Vision-based Explainable-AI Solution: A Use Case of Livestock Mart Industry
School of Technology, Pandit Deendayal Energy University (PDEU)(潘迪特·迪恩达亚尔能源大学技术学院);AI Institute, University of South Carolina(南卡罗来纳大学人工智能学院)
在线集市的目标是匹配买家和卖家,称量动物并监督其销售。可以通过读取历史销售数据的ML模型开发可靠的定价方法。然而,当人工智能模型建议或推荐价格时,这本身并没有透露太多(即,它就像一个黑匣子)关于动物的品质和能力。感兴趣的买家希望了解更多关于动物的显著特征,然后根据他的要求做出正确的选择。一个能够解释影响价格点的不同因素的模型对于市场需求至关重要。它还可以激发买家和卖家对所提供价格点的信心。为了实现这些目标,我们一直在与MartEye的团队合作,MartEye是一家位于爱尔兰戈尔韦市波特谢德的初创公司。通过本文,我们报告了我们正在进行的研究,以利用可解释的人工智能技术构建智能视频分析平台。
2021-02-08 cs.AI cs.CV
Explainable AI for Blind and Low-Vision Users: Navigating Trust, Modality, and Interpretability in the Agentic Era
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
本文探讨了盲人和低视力用户在智能体时代对可解释AI的独特需求,指出需多模态界面和责任意识设计以提升可解释性与信任度。
2026-05-02 cs.AI cs.ET cs.HC
Parabolic Positional Encoding: A Vision-Centric, Principled, Extrapolatable, and General Approach
Technical University of Denmark(丹麦技术大学);KTH Royal Institute of Technology(皇家理工学院)
本文提出基于抛物线的位置编码PaPE,用于视觉模态的注意力架构。通过考虑视觉模态特性,PaPE在图像净胜率上提升最高达10.5%,并在8个数据集上表现优异。
2026-11-02 cs.CV cs.LG
A Novel Framework for Automated Explain Vision Model Using Vision-Language Models
Uppsala University(乌普萨拉大学);Harvard University(哈佛大学);Knovel Engineering Lab(Knovel工程实验室);University of Alabama at Birmingham(阿拉巴马大学伯明翰分校)
本文提出基于Vision-Language Models的样本级与数据集级视觉模型解释流水线,以低成本发现失败案例并揭示模型整体行为模式。
2025-08-27 cs.AI cs.CL cs.CV
TVE: Learning Meta-attribution for Transferable Vision Explainer
Rice University(莱斯大学);Wake Forest University(维克森林大学);New Jersey Institute of Technology(新泽西理工学院);Texas A&M University(德克萨斯农工大学);Stevens Institute of Technology(斯蒂文斯理工学院);North Carolina State University(北卡罗来纳州立大学);Meta Platforms, Inc.(元平台公司)
针对现有解释器难以跨模型和任务迁移的问题,提出基于大规模预训练学习元归因的可迁移视觉解释器TVE,能在无需下游训练的情况下有效解释多种视觉模型。
2024-07-15 cs.AI cs.CV cs.LG
How Vision Transformers Represent Position: A Mechanistic Comparison of Absolute and Rotary Positional Encodings
ESSTHS;DJSCE;Lotte Innovate(乐天创新);New York University(纽约大学)
本研究对比了视觉Transformer中绝对位置编码(APE)与旋转位置编码(RoPE)的位置表征机制,发现二者编码方式不同,且均对分类准确率有关键作用,为视觉模型的针对性干预提供了基础。
2026-10-14 cs.CV cs.LG
A 2D Semantic-Aware Position Encoding for Vision Transformers
Shanghai Key Laboratory of Data Science, School of Computer Science, Fudan University, Shanghai, China(上海数据科学 key laboratory,计算机科学学院,复旦大学,上海,中国);Alibaba Group, Shanghai, China(阿里巴巴集团,上海,中国);Department of Physics, Fudan University, Shanghai, China(物理系,复旦大学,上海,中国)
针对视觉 Transformer 中一维位置编码忽视远距离 patch 语义关系的问题,本文提出 SaPE²,利用局部内容动态生成二维语义感知位置表示,以增强跨尺度泛化、平移等变性和特征聚合。
2025-05-14 cs.AI cs.CV
MODIX: A Training-Free Multimodal Information-Driven Positional Index Scaling for Vision-Language Models
Peking University(北京大学)
MODIX通过动态调整位置步长,基于模态特定贡献优化多模态模型的位置编码,提升多模态推理能力。
2026-04-14 cs.AI cs.CV
Bi-Orthogonal Factor Decomposition for Vision Transformers
Dept. of Psychology, Harvard University(哈佛大学心理学系);Kempner Institute, Harvard University(哈佛大学凯普纳研究所)
本文提出双正交因子分解方法,揭示视觉变换器中令牌交互的机制,发现注意力主要通过内容进行,DINOv2在内容-位置耦合上表现更优。
2026-01-08 cs.AI cs.CV
Rotary Position Embedding for Vision Transformer
NAVER AI Lab(NAVER AI实验室)
本研究系统分析了旋转位置编码(RoPE)在视觉Transformer(ViT)中的应用,证明其具备良好的外推能力,能在推理时提高分辨率并保持精度,从而提升ImageNet-1k、COCO检测和ADE-20k分割性能,为ViT骨干网络提供最小额外开销的性能改进指导。
2024-07-16 cs.CV cs.LG
Maximizing the Position Embedding for Vision Transformers with Global Average Pooling
Yonsei University(延世大学);Korea Institute of Science and Technology(韩国科学技术研究院)
本文提出MPVG方法,通过最大化位置嵌入在采用全局平均池化的逐层视觉Transformer中的平衡作用,解决了PE表达能力受限的问题,并在多种任务上取得优于现有方法的效果。
2025-02-05 cs.CV cs.LG
Does Explainable Machine Learning Uncover the Black Box in Vision Applications?
Indian Institute of Technology Jodhpur(印度理工学院焦特布尔分校)
一般来说,机器学习(ML)和深度学习(DL)已经成为几种视觉应用(如目标检测、超分辨率、分割、对象跟踪等)中非常流行的工具。几乎与此同时,视觉中ML的可解释性问题(即解释/阐述经过训练的ML模型做出决策的方式的能力)也受到了各方的极大关注。然而,我们认为,当前可解释ML背后的哲学存在一定的局限性,由此产生的解释可能无法有意义地揭示黑盒ML模型。为了阐述我们的主张,我们首先提出了一些在相应文献中没有充分讨论的基本问题。我们还提供了关于ML中的可解释性如何通过依赖相关领域中更严格的原则而受益的观点。
2021-12-18 cs.CV cs.LG
PEVL: Position-enhanced Pre-training and Prompt Tuning for Vision-language Models
Tsinghua University(清华大学);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心);Innovation Center of Tsinghua University(清华大学创新中心);National University of Singapore(新加坡国立大学)
视觉语言预训练(VLP)在广泛的跨模态任务中表现出令人印象深刻的性能,其中不依赖于对象检测器的VLP模型由于其优越的计算效率和竞争力而成为主流。然而,对象检测器的去除也剥夺了显式对象建模的能力,这是必不可少的各种位置敏感的视觉语言(VL)的任务,如引用表达式理解和视觉常识推理的VLP模型。为了应对这一挑战,我们引入了PEVL,它通过显式对象位置建模增强了VLP模型的预训练和提示微调。具体而言,PEVL在统一的语言建模框架中重新制定离散化的对象位置和语言,这有助于在预训练期间进行显式VL对齐,并且还能够为各种下游任务进行灵活的提示微调。我们表明,PEVL使无检测器VLP模型在位置敏感任务(如参考表达理解和短语接地)上具有最先进的性能,并且还提高了接地输入的位置不敏感任务的性能。我们在https://github.com/thunlp/PEVL上公开了本文的数据和代码。
2022-11-22 cs.AI cs.CL cs.CV
LOOPE: Learnable Optimal Patch Order in Positional Embeddings for Vision Transformers
Bangladesh University of Engineering and Technology(孟加拉国工程技术大学)
LOOPE通过学习最优补丁顺序优化位置嵌入,提升视觉变换器的分类性能,引入新的评估框架验证位置嵌入的有效性。
2026-04-10 cs.AI cs.CV
Learning to Adapt to Position Bias in Vision Transformer Classifiers
Computer Vision lab Delft University of Technology(代尔夫特理工大学计算机视觉实验室)
该研究针对视觉Transformer分类器的位置偏差问题,提出Position-SHAP度量方法与单参数Auto-PE位置嵌入扩展方案,可自适应调节位置信息权重,提升分类准确率。
2025-05-19 cs.CV
Insights into Data through Model Behaviour: An Explainability-driven Strategy for Data Auditing for Responsible Computer Vision Applications
University of Waterloo(滑铁卢大学);Waterloo Artificial Intelligence Institute(滑铁卢人工智能研究所);DarwinAI Corp.(DarwinAI公司)
在这项研究中,我们采取了一个出发点,并探讨了一个可解释性驱动的策略,以数据审计,其中可采取行动的见解,手头的数据是发现通过定量的可解释性的眼睛的行为,一个虚拟的模型原型时,暴露于数据。我们通过审计两个流行的医学基准数据集来展示这一策略,并发现隐藏的数据质量问题,这些问题导致深度学习模型出于错误的原因做出预测。然后利用从这种可解释性驱动的数据审计策略中获得的可操作见解来解决发现的问题,从而能够创建具有适当预测行为的高性能深度学习模型。希望这种可解释性驱动的策略可以补充数据驱动的策略,以促进计算机视觉应用的机器学习算法的更负责任的开发。
2021-06-16 cs.CV cs.LG
High-precision target positioning system for unmanned vehicles based on binocular vision
无人驾驶车辆在工作过程中经常需要对目标进行高精度定位。在无人化物料搬运车间中,无人车需要对工件进行高精度的位姿估计,以准确抓取工件。在此背景下,本文提出了一种基于双目视觉的高精度无人车目标定位系统。该系统采用基于区域的立体匹配算法获取视差图,并采用RANSAC算法提取位置和姿态特征,实现了对六自由度圆柱形工件的位姿估计。为了验证系统的效果,本文采集了不同位姿下气缸输出结果的精度和计算时间。实验数据表明,该系统的位置精度为0.61~1.17mm,角度精度为1.95~5.13°,可以达到较好的高精度定位效果。
2020-09-17 cs.CV
Circle-RoPE: Cone-like Decoupled Rotary Positional Embedding for Large Vision-Language Models
Huawei Noah's Ark Lab.(华为诺亚实验室);City University of Hong Kong.(香港城市大学);University of Sydney.(悉尼大学);State Key Lab of General AI, School of Intelligence Science and Technology, Peking University(北京大学人工智能国家重点实验室,智能科学与技术学院)
本文提出Circle-RoPE,通过将图像标记坐标映射到与文本位置轴正交的圆环上,实现跨模态位置解耦,同时保留图像内部空间结构,并通过交替几何编码增强跨模态位置解耦和细粒度图像空间结构保留。
2026-05-21 cs.AI cs.CV
Towards Long-window Anchoring in Vision-Language Model Distillation
本文提出LAid方法,通过改进注意力机制和RoPE响应调节,提升视觉-语言模型的长上下文理解能力,使蒸馏模型的有效上下文窗口长度增加3.2倍。
2025-12-25 cs.AI cs.CV cs.LG
Rethinking and Improving Relative Position Encoding for Vision Transformer
Sun Yat-sen University(中山大学);Microsoft Research Asia(微软亚洲研究院)
相对位置编码(RPE)对于Transformer捕获输入令牌的序列排序是重要的。在自然语言处理中已经证明了一般功效。然而,在计算机视觉中,其功效并没有得到很好的研究,甚至仍然存在争议,例如,相对位置编码是否能像绝对位置编码一样好用?为了澄清这一点,我们首先回顾现有的相对位置编码方法,并分析其优点和缺点时,应用于视觉Transformer。然后,我们提出了新的相对位置编码方法专用于2D图像,称为图像RPE(iRPE)。我们的方法考虑了方向相对距离建模以及查询和自我注意力机制中相对位置嵌入之间的相互作用。所提出的iRPE方法是简单和轻量级的。它们可以很容易地插入到Transformer块中。实验表明,仅仅由于所提出的编码方法,DeiT和DETR在ImageNet和COCO上分别获得了1.5%(top-1 Acc)和1.3%(mAP)的稳定改进,而无需调整任何额外的超参数,如学习率和权重衰减。我们的消融和分析也产生了有趣的发现,其中一些与以前的理解背道而驰。代码和模型在https://github.com/microsoft/Cream/tree/main/iRPE上开源。
2021-07-29 cs.CV
Blind to Position, Biased in Language: Probing Mid-Layer Representational Bias in Vision-Language Encoders for Zero-Shot Language-Grounded Spatial Understanding
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);Samsung Electronics(三星电子)
研究探讨了视觉语言编码器中间层中位置和语言相关信息的偏见,通过层间分析发现常规最终层多模态嵌入优先考虑全局语义对齐,导致视觉嵌入对位置线索敏感性低,多语言文本嵌入在共享空间中形成语言依赖的几何偏移,提出构建空间地图的方法提升零样本图像分割性能。
2026-03-19 cs.AI cs.CV
Advancing General Multimodal Capability of Vision-language Models with Pyramid-descent Visual Position Encoding
Shenzhen Graduate School, Peking University(北京大学深圳研究生院);Tencent(腾讯)
针对视觉语言模型(VLMs)中视觉位置编码不合理导致的多粒度感知性能受限问题,提出金字塔式递减视觉位置编码(PyPE)方法,通过优化位置索引分配与感受野扩展提升注意力权重分配合理性,实验证明其能持续增强不同规模VLMs的通用能力。
2025-02-12 cs.AI cs.CL cs.CV
Monocular Vision based Crowdsourced 3D Traffic Sign Positioning with Unknown Camera Intrinsics and Distortion Coefficients
Advanced Research Lab, NavInfo Europe(NavInfo欧洲先进研究实验室)
自动驾驶车辆和驾驶员辅助系统利用3D语义地标的地图来改进决策。然而,扩展映射过程以及定期更新这些地图需要巨大的成本。众包地图这些地标,如交通标志的位置提供了一个有吸引力的替代方案。众包地图绘制的最新方法使用地面实况相机参数,这些参数可能并不总是已知的,或者可能随时间而变化。在这项工作中,我们展示了一种方法来计算3D交通标志的位置,而不知道相机的焦距,主点,和失真系数先验。我们验证了我们提出的方法在KITTI的交通标志的公共数据集。仅使用单目彩色摄像机和GPS,我们实现了平均单行程的相对和绝对定位精度分别为0.26米和1.38米。
2020-07-09 cs.CV cs.LG cs.RO
OMEGA: Optimized Multimodal Position Encoding Index Derivation with Global Adaptive Scaling for Vision-Language Models
Tianjin University(天津大学)
提出OMEGA位置编码框架,通过模态特定位置编码(MSPE)保留各模态固有结构,并引入全局自适应编码步长缩放(GAESS)对齐多模态信息密度,在多种VLM架构和VQA基准上显著提升性能。
2025-11-02 cs.CV
T-TAME: Trainable Attention Mechanism for Explaining Convolutional Networks and Vision Transformers
Centre for Research and Technology Hellas (CERTH) / Information Technologies Institute (ITI)(希腊研究中心与技术研究中心(CERTH)/信息科技研究所(ITI))
本文提出T-TAME,一种兼容Transformer的可训练注意力解释方法,能以单次前向传播生成解释图,并在VGG-16、ResNet-50和ViT-B-16上取得优于现有方法的SOTA可解释性表现。
2025-06-03 cs.AI cs.CV cs.LG
Analysis of Explainers of Black Box Deep Neural Networks for Computer Vision: A Survey
Fraunhofer IOSB(弗劳恩霍夫应用信息技术研究所)
深度学习是一种对广泛或复杂数据进行推断的最先进技术。由于其多层非线性结构,深度神经网络作为一个黑箱模型,经常被批评为不透明,其预测无法被人类追踪。此外,模型从人工数据集学习,通常带有偏见或污染的歧视内容。通过增加分布,决策算法可以促进由于缺乏透明度而不容易注意到的预先判断和不公平。因此,科学家们开发了几种所谓的解释器或解释器,试图指出输入和输出之间的联系,以简化的方式表示机器学习黑盒的内部结构。在这项调查中,我们区分了用于计算机视觉任务的深度神经网络的解释系统的机制和属性。我们对相关研究的分类进行了全面的概述,并比较了几篇一般涉及可解释性的调查论文。指出了研究中存在的不足和差距,并总结了进一步研究的思路。
2019-11-27 cs.AI cs.CV
Revisiting Multimodal Positional Encoding in Vision-Language Models
Qwen Team, Alibaba Group(Qwen团队,阿里巴巴集团);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本文分析了多模态Rotary Positional Embedding的核心组件,提出MHRoPE和MRoPE-Interleave两种改进方法,在多种基准测试中表现优异,提升了多模态理解能力。
2026-04-06 cs.CV
Explaining Multi-modal Large Language Models by Analyzing their Vision Perception
Politecnico di Milano(米兰理工大学)
本研究通过结合开放世界定位模型与多模态大语言模型,提出一种新架构以增强可解释性,实现文本与物体定位同步输出,并设计显著性图解释输出、识别幻觉和评估偏见。
2024-05-28 cs.AI cs.CV
An Embedded Monocular Vision Approach for Ground-Aware Objects Detection and Position Estimation
Centro de Informática, Universidade Federal de Pernambuco(伯南布哥联邦大学信息中心)
在RoboCup Small Size League(SSL)中,鼓励团队提出仅使用嵌入式传感信息在SSL领域内执行基本足球任务的解决方案。因此,这项工作提出了一种嵌入式单目视觉的方法来检测物体和估计足球场内的相对位置。通过假设物体位于地面上,利用来自环境的先验知识,并且机载摄像机将其位置固定在机器人上。我们在NVIDIA Jetson Nano上实现了所提出的方法,并采用SSD MobileNet v2进行2D目标检测,并使用TensorRT优化,检测距离最远为3.5米的球、机器人和目标。球定位评估表明,所提出的解决方案克服了目前使用的SSL视觉系统的位置接近1米的机载摄像头与14.37毫米的均方根误差。此外,所提出的方法实现了实时性能的平均处理速度为每秒30帧。
2022-07-20 cs.CV cs.RO
HoPE: Hybrid of Position Embedding for Long Context Vision-Language Models
Carnegie Mellon University(卡内基梅隆大学);Xiaohongshu Inc.(小红书公司)
针对长视频中视觉-语言模型性能下降问题,提出混合位置嵌入HoPE,通过混合频率分配和动态时间缩放提升长上下文能力,在四个基准上优于现有方法。
2025-10-08 cs.CV cs.LG
Identifying and Mitigating Position Bias of Multi-image Vision-Language Models
Australian National University(澳大利亚国立大学);GE Research(GE研究中心)
针对多图像 LVLM 易受图像排列位置影响的问题,本文提出 PQA 基准刻画位置偏差,并设计无需训练的 SoFA 注意力插值方法以提升多图像推理性能。
2025-03-18 cs.CV
Random Position Adversarial Patch for Vision Transformers
Kahlert School of Computing(卡勒特计算学院);University of Utah(犹他大学)
本文提出G-Patch方法,利用GAN结构生成无需与视觉Transformer线性投影补丁对齐的对抗补丁,可在任意位置实现数字与物理世界中的通用鲁棒攻击。
2023-07-09 cs.CV
Vision Meets Wireless Positioning: Effective Person Re-identification with Recurrent Context Propagation
University of Science and Technology of China(中国科学技术大学)
现有的人的重新识别方法依赖于视觉传感器来捕获行人。视觉传感器获取的图像或视频数据不可避免地会受到遮挡和行人姿态变化的影响,从而降低了行人的再识别性能,进一步限制了其在开放环境中的应用。另一方面,对于大多数人来说,最重要的随身物品之一就是手机,手机可以通过WiFi和蜂窝网络以无线定位信号的形式感知。这种信号对行人遮挡和视觉外观变化具有鲁棒性,但存在一定的定位误差。在这项工作中,我们的方法与视觉和无线定位的传感数据的人重新识别。为了利用这种跨模态的线索,我们提出了一种新的经常性的上下文传播模块,使信息之间的视觉数据和无线定位数据的传播,并最终提高匹配精度。为了评估我们的方法,我们贡献了一个新的无线定位人员重新识别(WP-ReID)数据集。大量的实验表明,该算法的有效性。代码将在https://github.com/yolomax/WP-ReID上发布。
2020-09-04 cs.CV
Sparks of Explainability: Recent Advancements in Explaining Large Vision Models
Harvard University(哈佛大学);Centrale Paris(巴黎中央理工学院);Google(谷歌公司);Princeton University(普林斯顿大学);CNRS(法国国家科学研究中心);Brown University(布朗大学)
本论文探索改进计算机视觉可解释性的方法,提出基于算法稳定性与Sobol指数的归因评估、EVA形式化保证方法,以及CRAFT概念提取与MACO可视化技术,构建统一框架揭示模型感知内容。
2025-02-03 cs.AI cs.CV
Predicting and Explaining Mobile UI Tappability with Vision Modeling and Saliency Analysis
Google Research(谷歌研究)
提出一种仅基于像素的深度学习方法预测移动 UI 元素可点击性,并结合 XRAI 与 k-Nearest Neighbors 提供可解释的设计反馈。
2022-04-05 cs.AI cs.CV cs.HC
Explaining Vision GNNs: A Semantic and Visual Analysis of Graph-based Image Classification
National Technical University of Athens(国家技术大学雅典)
本研究分析了基于GNN的图像分类器在不同层的图语义一致性,通过量化层间连接、对比标准与对抗设置及热图可视化,发现模型决策可有效解释但其深层推理与人类感知不完全一致。
2025-04-28 cs.CV cs.LG
Probabilistic Conceptual Explainers: Trustworthy Conceptual Explanations for Vision Foundation Models
Rutgers University(罗格斯大学)
针对视觉Transformer事后可信解释方法不足的问题,提出含五项评判标准的变分贝叶斯解释框架PACE,通过建模图像块嵌入分布提供多层级概念解释,实验表明其性能优于现有最优方法。
2024-10-31 cs.AI cs.CV cs.LG
DualToken-ViT: Position-aware Efficient Vision Transformer with Dual Token Fusion
East China Normal University(华东师范大学);Alibaba Group(阿里巴巴集团)
本文提出轻量高效的DualToken-ViT,通过融合卷积局部令牌与自注意力全局令牌并引入位置感知全局令牌,在ImageNet-1K上以0.5G/1.0G FLOPs达到75.4%/79.4%准确率,优于LightViT-T。
2023-09-21 cs.CV
Your other Left! Vision-Language Models Fail to Identify Relative Positions in Medical Images
Visual Computing Group, Institute of Media Informatics, Ulm University, Germany(媒体信息研究所视觉计算组,乌尔姆大学,德国);Diagnostic and Interventional Radiology, Ulm University Medical Center, Germany(乌尔姆大学医学中心诊断与介入放射学);Axiom Bio, USA(Axiom Bio公司,美国)
本文发现GPT-4o等视觉语言模型在识别医学图像相对位置时严重依赖先验解剖知识而非图像内容,导致表现不佳,并引入MIRP基准数据集以系统评估该能力。
2025-08-08 cs.CV
Explainability of Vision Transformers: A Comprehensive Review and New Perspectives
School of Computer Science(计算机科学学院);Institute for Research in Fundamental Sciences (IPM)(基础科学研究所);Okinawa Institute of Science and Technology (OIST)(冲绳科学技术大学院大学)
本文综述了视觉Transformer的可解释性方法,提出按动机、结构和应用场景分类的分类法,并评述了评估标准、工具及未来研究方向,旨在理解模型决策并建立信任。
2023-11-12 cs.CV
Position, Not Provenance: Separating Reasoning Mediation from Sycophancy in Medical Vision-Language Models
IEM Kolkata(印度工程管理学院 Kolkata校区);School of UEMK Kolkata(UEMK Kolkata学院);Heritage Institute of Technology Kolkata(加尔各答遗产技术学院);Indian Institute of Information Technology, Kalyani(卡利亚尼印度信息技术学院)
本研究提出CoT-Mediate框架,结合双臂协议与来源控制干预,在VQA-RAD数据集上评估LLaVA-Med和MedGemma,发现上下文位置而非声明来源是医学VLMs使用生成推理的主要决定因素。
2026-07-31 cs.CV cs.LG
Envisioning MedCLIP: A Deep Dive into Explainability for Medical Vision-Language Models
Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Inception Institute of Artificial Intelligence(inception人工智能研究院)
本文系统评估多种可解释AI方法在医学视觉-语言模型MedCLIP上的表现,揭示其内部机制并提出改进方法,为医学VLM的安全部署提供可推广的评估视角。
2024-03-27 cs.CV
ID-Align: RoPE-Conscious Position Remapping for Dynamic High-Resolution Adaptation in Vision-Language Models
Peking University(北京大学)
提出ID-Align方法,通过重排位置ID缓解RoPE长期衰减导致的高分辨率令牌与缩略图令牌交互受阻问题,在LLaVA-Next框架下实现MMBench关系推理任务6.09%的提升。
2026-09-09 cs.CL cs.CV
Explainable Concept Generation through Vision-Language Preference Learning for Understanding Neural Networks' Internal Representations
本文提出通过视觉-语言偏好学习生成概念图像集,解决传统方法需手动收集概念图像集的不足,提高神经网络内部表示理解的效率和可靠性。
2025-06-05 cs.CV cs.LG
PATIMT-Bench: A Multi-Scenario Benchmark for Position-Aware Text Image Machine Translation in Large Vision-Language Models
School of Informatics, Xiamen University, China(厦门大学信息学院);Tsinghua, Beijing, China(清华大学);Shanghai Artificial Intelligence Laboratory, China(上海人工智能实验室)
本文将传统TIMT扩展为位置感知的PATIMT任务,构建了包含10个真实场景的PATIMT-Bench基准及1,200个人工标注实例,并提出自适应OCR精炼流水线,微调后使紧凑型LVLMs在两个子任务上达到SOTA。
2025-09-14 cs.AI cs.CV
EXPOSE: Explainable and Domain-Robust Embeddings from Pathology Vision Foundation Models using Sparse Autoencoders
University Medical Center Hamburg-Eppendorf(汉堡埃彭多夫大学医学中心);University of Hamburg(汉堡大学);German Center for Child and Adolescent Health(德国儿童与青少年健康中心)
本研究针对病理视觉基础模型嵌入的领域偏移问题,提出EXPOSE框架,利用稀疏自编码器解耦并抑制领域特定特征,在前列腺癌数据集实验中提升了跨域性能与嵌入鲁棒性。
2026-08-31 cs.CV cs.LG
Explain and Monitor Deep Learning Models for Computer Vision using Obz AI
Institute of Informatics, University of Warsaw(华沙大学信息学院);Alethia XAI Sp. z o.o.(Alethia XAI公司)
针对计算机视觉深度学习模型“黑箱”问题及XAI技术实际部署不足的现状,本文开发Obz AI软件生态系统,提供从Python库到全栈仪表盘的集成方案,支持XAI整合、异常特征分析与实时监控,推动模型可解释性与负责任部署。
2025-08-25 cs.AI cs.CV cs.HC
DropPos: Pre-Training Vision Transformers by Reconstructing Dropped Positions
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);Centre for Artificial Intelligence and Robotics, HKISI_CAS(中国科学院香港创新研究院人工智能与机器人创新中心);Megvii Technology(旷视科技)
DropPos提出一种自监督预训练任务,通过随机丢弃位置嵌入并仅依据图像块外观重建其位置,同时引入位置平滑与注意力重建策略,显著增强了视觉Transformer的位置感知能力,在下游任务中优于有监督预训练并达到领先水平。
2023-09-22 cs.CV
Semantic Depth Matters: Explaining Errors of Deep Vision Networks through Perceived Class Similarities
Institute of Theoretical and Applied Informatics, Polish Academy of Sciences(理论与应用信息研究所,波兰科学院)
本文提出了一种通过感知类别相似性解释深度视觉网络错误的方法,揭示了语义深度对误分类模式的影响。
2026-01-28 cs.CV cs.LG
Concurrent validity of computer-vision artificial intelligence player tracking software using broadcast footage
Australian Catholic University(澳大利亚天主教大学);Leeds Beckett University(利兹贝克特大学);Fédération Internationale de Football Association (FIFA)(国际足球联合会(FIFA));Sheffield Hallam University(谢菲尔德哈勒姆大学);Victoria University(维多利亚大学)
本研究评估了基于广播画面的计算机视觉AI球员追踪软件在2022年世界杯比赛中的准确性,发现其位置和速度误差范围较大,并指出使用战术信号源可提高检测率与精度。
2025-08-26 cs.AI cs.CV
SketchVLM: Vision language models can annotate images to explain thoughts and guide users
Auburn University(阿伯拉罕大学);Adobe Research(Adobe研究)
SketchVLM通过生成可编辑的SVG叠加图提升视觉推理和绘图任务的准确性与注释质量,实现高达28.5%的精度提升和1.48倍的注释质量提升。
2026-09-01 cs.AI cs.CV
Explaining Vision and Language through Graphs of Events in Space and Time
Institute of Mathematics of the Romanian Academy(罗马尼亚科学院数学研究所);University Politehnica of Bucharest(布加勒斯特理工大学)
本文提出时空事件图(GEST)作为视觉与语言之间可解释的统一表示,并通过理论论证和实验证明其能够提升文本生成视频的内容质量以及文本语义比较效果。
2023-08-29 cs.AI cs.CL cs.CV
FunnyBirds: A Synthetic Vision Dataset for a Part-Based Analysis of Explainable AI Methods
TU Darmstadt(达姆施塔特工业大学)
本文提出合成视觉数据集FunnyBirds及自动评估协议,通过语义化部件移除与部件重要性空间,在统一框架下系统评估24种模型与XAI方法组合。
2023-08-11 cs.CV cs.LG