Deep Energies for Estimating Three-Dimensional Facial Pose and Expression
Stanford University(斯坦福大学);Industrial Light & Magic(工业光魔)
虽然使用运动捕捉标记和阴影恢复形状在捕捉高质量面部表演方面取得了很大进展,但高端系统通常还依赖于在图像上手绘的旋转镜曲线。这些曲线是主观的,难以一致地绘制;此外,需要特别的程序方法来在用于确定三维面部姿势和表情的优化中嵌入的合成渲染上生成匹配的旋转镜曲线。我们提出了一种替代方法,通过这种方法,可以使用经过训练的神经网络在图像和合成渲染上自动检测这些曲线和其他关键点,从而消除艺术家的主观性和旨在模仿它的特设程序。我们建议使用机器学习网络来隐式地定义深度能量,当使用经典优化技术最小化时,深度能量导致三个-三维面部姿态和表情估计。
2018-12-07 cs.CV
When Do Language-Grounded Explanations Help? A Graph-Bottleneck for Farm Monitoring Interpretable Sheep Facial Pain
CISTER Research Center(CISTER研究中心);Pontificia Universidad Católica de Chile(智利天主教大学)
本研究通过概念瓶颈架构,证明语言接地解释在绵羊面部疼痛识别中不可靠,提出仅用SPFES概念分数的方法,牺牲少量一致性换取可学习概念,并揭示架构必要性不等于语义有效性。
2026-09-18 cs.AI cs.CV
Verifying Deep Learning-based Decisions for Facial Expression Recognition
Fraunhofer Institute for Integrated Circuits(弗劳恩霍夫集成电路研究所);University of Bamberg(班贝格大学)
高性能的神经网络仍然可能偏向于不相关的特征。然而,可靠性和鲁棒性对于临床疼痛治疗等高风险领域尤为重要。因此,我们提出了一个核查管道,其中包括三个步骤。首先,我们用神经网络对面部表情进行分类。接下来,我们应用逐层相关传播来创建基于像素的解释。最后,我们量化这些视觉解释的基础上的边界框方法相对于面部区域。虽然我们的研究结果表明,神经网络达到国家的最先进的结果,视觉解释的评价表明,相关的面部区域可能不会被考虑。
2020-02-14 cs.CV
AI Evasion and Impersonation Attacks on Facial Re-Identification with Activation Map Explanations
Centre for Assured and Connected Autonomy(确保与连接自主性中心);Cranfield University(克兰菲尔德大学)
本文提出了一种生成对抗性补丁的新框架,用于对抗深度重识别模型的规避和伪装攻击,通过多尺度特征引导生成对抗性补丁,并通过聚类激活图解释攻击特征,提出未来防御策略。
2026-03-16 cs.AI cs.CV
CAMBench-QR : A Structure-Aware Benchmark for Post-Hoc Explanations with QR Understanding
Manipal University Jaipur(马尼帕尔大学斋浦尔校区);IIIT Hyderabad(海得拉巴国际信息技术研究所)
本文提出CAMBench-QR基准,利用QR码规范几何结构评估CAM方法的结构感知能力,并通过多种指标和两种训练设置验证代表性高效CAM方法的表现。
2025-09-20 cs.AI cs.CV
Enhancing Post-Hoc Explanation Benchmark Reliability for Image Classification
Nantes Université(南特大学);École Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心)
本文针对图像分类事后解释基准不可靠的问题,提出用 Krippendorf's alpha 量化可靠性,并通过扰动样本训练和 focal loss 提升模型鲁棒性与校准性,显著改善了多种指标、数据集和事后方法上的基准可靠性。
2023-11-29 cs.CV
Assessing Fidelity in XAI post-hoc techniques: A Comparative Study with Ground Truth Explanations Datasets
University of the Balearic Islands(巴利阿里群岛大学)
本文构建三个带解释真值的图像数据集,公平比较多种 XAI 事后方法,发现输出到输入的反向传播法更准确可靠,但显著性图噪声更多。
2023-11-03 cs.AI cs.CV
Token Transformation Matters: Towards Faithful Post-hoc Explanation for Vision Transformer
Illinois Institute of Technology(伊利诺伊理工学院);Carnegie Mellon University(卡内基梅隆大学)
针对现有 Vision Transformer 解释方法忽略 token 转换信息的问题,提出事后解释方法 TokenTM,通过量化 token 转换效果并结合注意力权重,在分割和扰动测试中展现出优越性。
2024-03-21 cs.CV
Comparison of attention models and post-hoc explanation methods for embryo stage identification: a case study
Nantes Université(南特大学);Centrale Nantes(南特中央理工学院);CNRS(法国国家科学研究中心);Nantes University Hospital(南特大学医院);Inserm(法国国家健康与医学研究院)
开发基于人工智能的体外受精(IVF)解决方案的一个重要限制是大多数最先进模型的黑盒性质,这是由于深度学习架构的复杂性,这会引起潜在的偏见和公平性问题。对可解释的人工智能的需求不仅在试管婴儿领域,而且在一般的深度学习社区都有所增加。这已经开始在文献中的趋势,作者专注于设计客观的指标,以评估通用的解释方法。在本文中,我们研究的行为,最近提出的客观忠诚度度量应用于胚胎阶段识别的问题。我们使用度量标准对注意力模型和事后方法进行了基准测试,并进一步实证表明:(1)度量标准对模型排名的总体一致性较低;(2)根据度量方法,事后方法或注意力模型都受到青睐。最后,我们对定义忠诚的困难和理解其与所青睐的方法类型的关系的必要性进行了一般性的评论。
2022-05-13 cs.CV
FaceX: Understanding Face Attribute Classifiers through Summary Model Explanations
Information Technologies Institute, CERTH(信息技术研究所(CERTH));Harokopio University(哈罗科皮奥大学)
针对现有XAI方法仅能单图解释、难以评估人脸属性分类器整体行为的问题,提出FaceX方法,通过区域级激活聚合和高影响图像块可视化提供摘要式解释,在多基准上验证了其识别模型偏差的有效性。
2024-12-10 cs.CV
Post-hoc Self-explanation of CNNs
本文提出通过k-means聚类改进CNN的自解释能力,利用B4层和中间特征激活生成概念解释图,验证了浅层特征在语义保真与预测性能间的权衡。
2026-03-30 cs.CV stat.ML
How to Probe: Simple Yet Effective Techniques for Improving Post-hoc Explanations
Max Planck Institute for Informatics(马克斯·普朗克信息学研究所);Institute of Science and Technology Austria(奥地利科学技术研究所);Kyutai
该研究挑战了事后解释独立于模型训练的假设,发现预训练模型分类层的训练细节对解释质量影响巨大,并提出简单有效的分类层调整方法以显著提升解释质量。
2025-03-01 cs.CV
EPIC: Explanation of Pretrained Image Classification Networks via Prototype
Jagiellonian University(雅盖隆大学);University of Information Technology and Management in Rzeszów(里兹诺信息科技与管理大学)
本研究提出事后可解释方法EPIC,无需修改预训练图像分类模型架构即可提供基于原型的直观解释,是首个复现固有可解释模型核心解释能力的同类方法,在多类基准数据集上验证了其生成高质量解释的有效性。
2025-05-19 cs.CV
PiPS: Post-Hoc Prototypical Explanations for Interpretable Semantic Segmentation
Jagiellonian University(雅盖隆大学);Wrocław University of Science and Technology(弗罗茨瓦夫理工大学);IDEAS Research Institute(IDEAS 研究所)
PiPS提出首个完全事后原型解释方法,无需修改或微调即可为任意预训练语义分割模型生成直观、空间局部化的解释,并保留100%原始预测性能。
2026-09-16 cs.CV
A Framework for Learning Ante-hoc Explainable Models via Concepts
IIT Hyderabad(印度理工学院海得拉巴分校);IBM Research(IBM研究院)
自解释深度模型被设计为在训练期间隐式地学习基于潜在概念的解释,这消除了对任何事后解释生成技术的需求。在这项工作中,我们提出了一个这样的模型,它在任何基本网络的顶部附加一个解释生成模块,并联合训练整个模块,显示出高预测性能,并生成有意义的概念解释。我们的训练策略适用于无监督概念学习,与基线方法相比,参数空间要求要少得多。我们提出的模型还提供了利用概念的自我监督来提取更好的解释。然而,与最近提出的基于概念的可解释模型相比,通过完整的概念监督,我们实现了最佳的预测性能。我们报告的定性和定量结果与我们的方法,这表明更好的性能比最近提出的基于概念的可解释性方法。我们报告了两个数据集的详尽结果,没有地面实况概念,即,CIFAR 10,ImageNet和两个具有地面真实概念的数据集,即,AwA 2,CUB-200,以显示我们的方法对这两种情况的有效性。据我们所知,我们是第一个用大规模数据集(如ImageNet)显示结果的事前解释生成方法。
2021-11-30 cs.CV cs.LG
When are Post-hoc Conceptual Explanations Identifiable?
University of Tübingen(图宾根大学);Technical University of Munich(慕尼黑工业大学)
本文研究无人工标签时事后概念解释的可辨识性,联系 PCA/ICA 并提出两种利用图像生成函数组合性的相关概念发现方法,在数百个模型上实现最高 29% 的真实值对齐提升。
2023-06-06 cs.AI cs.CV cs.LG
CoRGI: Verified Chain-of-Thought Reasoning with Post-hoc Visual Grounding
CoRGI通过事后将链式思维逐步锚定到视觉证据并过滤无支撑声明,减少VLM幻觉,在五个基准上提升准确性与解释忠实度。
2025-10-14 cs.AI cs.CV
Multi-Depth Concept Extraction for Post-Hoc Vision Encoder Explanation
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学);Linköping University(利乌波堡大学)
提出NAVE方法,通过聚类编码器多深度特征激活生成可解释分割图,无需微调或架构修改,定量证明其概念与输入语义对齐并可用于下游任务。
2026-06-23 cs.CV cs.LG
When Superpixels Fail on Documents: A Study of Segmentation for LIME Explanations
L3i, University of La Rochelle(拉罗谢尔大学L3i研究所);Itesoft(Itesoft公司)
本研究针对文档图像分类中的LIME解释,发现标准超像素分割与文档结构不匹配,提出文档感知分割(基于OCR边界框和网格)能产生更稳定、更忠实的解释,并暴露识别码捷径偏差,强调分割应作为解释方法的一部分。
2026-09-09 cs.AI cs.CV
Clinical Domain Knowledge-Derived Template Improves Post Hoc AI Explanations in Pneumothorax Classification
Duke-NUS Medical School(杜克-新加坡国立大学医学院);Duke University(杜克大学);Nankai University(南开大学);The University of Hong Kong(香港大学);Singapore General Hospital(新加坡中央医院);Agency for Science, Technology and Research(新加坡科技研究局);Changi General Hospital(樟宜综合医院);National University of Singapore(新加坡国立大学)
本文提出一种模板引导方法,将气胸临床知识融入XAI解释以过滤无关区域,并在多种XAI方法、DL模型和数据集上验证其能显著提升解释与真实病灶的一致性。
2024-03-26 cs.AI cs.CV cs.LG
Rad4XCNN: a new agnostic method for post-hoc global explanation of CNN-derived features by means of radiomics
University of Palermo(巴勒莫大学);National Research Council(国家研究委员会)
本文提出 Rad4XCNN,通过放射组学为 CNN 特征赋予可理解含义,在乳腺癌超声分类中实现不牺牲精度的全局事后解释。
2025-01-08 cs.AI cs.CV cs.LG
Fake-in-Facext: Towards Fine-Grained Explainable DeepFake Analysis
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Normal University(北京师范大学)
针对现有可解释深度伪造分析缺乏细粒度感知的问题,提出Fake-in-Facext框架,通过定义面部图像概念树和伪影定位解释任务,构建统一多任务学习模型,实现细粒度、可解释的深度伪造分析,并达到最先进性能。
2025-10-23 cs.AI cs.CV
EDDA: Explanation-driven Data Augmentation to Improve Explanation Faithfulness
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
近年来,已经看到了一系列的方法,用于事后解释的图像分类器的预测。然而,这些事后解释可能并不总是忠实于分类器预测,这在尝试基于这些解释调试模型时构成了重大挑战。为此,我们寻求一种方法,可以提高模型预测的解释方法,不需要地面实况解释的忠实性。我们通过一种新的解释驱动的数据增强(EDDA)技术来实现这一点,该技术使用从模型解释中推断出的遮挡来增强训练数据;这是基于一个简单的激励原则,即解释器\emph{if}忠实于模型\emph{then}遮挡模型预测的显著区域应降低模型预测的置信度,而遮挡非显著区域不应改变预测。为了验证所提出的增强方法有可能提高忠诚度,我们使用各种数据集和分类模型来评估EDDA。我们的经验表明,我们的方法导致显着增加的忠诚度,这可以促进更好的调试和成功部署的图像分类模型在现实世界中的应用。
2021-09-24 cs.AI cs.CV cs.LG
Do Vision & Language Decoders use Images and Text equally? How Self-consistent are their Explanations?
Computational Linguistics Department(计算语言学系);Heidelberg University(海德堡大学)
研究VLM解码器在生成答案与解释时对图文模态的依赖差异及自洽性,发现文本贡献更重要但图像对解释生成作用更大,并提供了其在VALSE基准上的最新评测。
2025-05-01 cs.AI cs.CL cs.CV
TAG: Thinking with Action Unit Grounding for Facial Expression Recognition
PKU(北京大学);JLU(吉林大学);HKUST(香港科技大学);USTC(中国科学技术大学);Shanghai AI Lab(上海人工智能实验室)
TAG通过基于动作单元的视觉-语言框架,提升面部表情识别的推理可信度和视觉一致性。
2026-02-21 cs.AI cs.CV
Discriminative Feature Attributions: Bridging Post Hoc Explainability and Inherent Interpretability
Harvard University(哈佛大学)
针对黑盒模型事后特征归因因对干扰特征擦除缺乏鲁棒性而不忠实的问题,提出DiET方法使模型对干扰特征擦除具有鲁棒性,结合了事后解释的易用性与内在可解释模型的忠实度。
2024-02-15 cs.CV cs.LG
Interpretable Network Visualizations: A Human-in-the-Loop Approach for Post-hoc Explainability of CNN-based Image Classification
Politecnico di Milano(米兰理工大学)
提出一种事后可解释性方法,通过逐层特征显著性图、泛化Grad-CAM权重及Sentence-BERT处理的众包文本标签,完整解释CNN特征提取过程并支持全局解释。
2024-05-06 cs.CV cs.LG
Causality for Inherently Explainable Transformers: CAT-XPLAIN
University of Kentucky(肯塔基大学);University of Missouri(密苏里大学)
已经开发了几种事后解释方法来解释预先训练的黑盒神经网络。然而,在设计内在可解释的神经网络的研究工作中仍然存在差距。在本文中,我们利用最近提出的实例明智的事后因果解释方法,使现有的Transformer架构内在的可解释性。一旦经过训练,我们的模型就以给定实例的输入空间中的顶部$k$区域的形式提供解释,从而有助于其决策。我们使用三个图像数据集:MNIST,FMNIST和CIFAR的二进制分类任务评估我们的方法。我们的研究结果表明,与基于cavity的事后解释模型相比,我们固有的可解释模型实现了更好的可解释性结果,同时消除了训练单独的解释模型的需要。我们的代码可在https://github.com/mvrl/CAT-XPLAIN上获得。
2022-06-29 cs.AI cs.CV cs.LG
Analysis of Bias in Deep Learning Facial Beauty Regressors
Anderson College of Business and Computing(安德森商学院和计算学院);Regis University(雷吉大学)
本文比较SCUT-FBP5500与MEBeauty训练的美貌预测模型,并用FairFace和统计检验揭示显著族裔偏差及算法放大效应,提出缓解策略。
2025-09-29 cs.CV
Activation-Deactivation: A General Framework for Robust Post-hoc Explainable AI
Department of Informatics(信息学院)
研究针对基于扰动的可解释性方法的问题,提出激活-停用新范式,实现CNN的ConvAD近似算法,无需输入扰动,能生成更鲁棒、可转移的解释,优于现有方法。
2026-07-07 cs.AI cs.CV cs.LG
Head2Head++: Deep Facial Attributes Re-Targeting
Imperial College London(帝国理工学院);University of Exeter(埃克塞特大学);Foundation for Research and Technology - Hellas (FORTH)(希腊研究与技术基金会)
人脸视频重定向是一个具有挑战性的问题,旨在通过驾驶单目序列以无缝的方式修改目标主体的面部属性。我们利用面部的3D几何形状和生成对抗网络(GANs)来设计一种新颖的深度学习架构,用于面部和头部的重现任务。我们的方法不同于纯粹的基于3D模型的方法,或最近使用深度卷积神经网络(DCNN)来生成单个帧的基于图像的方法。我们设法捕捉复杂的非刚性面部运动从驾驶单目表演和合成时间一致的视频,与顺序发生器和ad-hoc动态鉴别器网络的帮助。我们进行了一系列全面的定量和定性测试,并通过实验证明,我们提出的方法可以成功地将面部表情,头部姿势和眼睛凝视从源视频转移到目标对象,以照片般逼真和忠实的方式,优于其他最先进的方法。最重要的是,我们的系统以近乎实时的速度(18 fps)执行端到端的重演。
2021-09-28 cs.CV cs.LG eess.IV
eXIAA: eXplainable Injections for Adversarial Attack
Department of Mechanical Engineering National University of Singapore(机械工程系国立新加坡大学)
针对事后可解释人工智能(XAI)提出新型黑盒模型无关对抗攻击eXIAA,无需访问模型或权重,单步修改解释且保持预测类别不变,暴露XAI可靠性漏洞,在ResNet-18、ViT-B16上验证有效。
2025-11-13 cs.AI cs.CV cs.LG
Covering up bias in CelebA-like datasets with Markov blankets: A post-hoc cure for attribute prior avoidance
UnifyID(UnifyID公司);Stanford University(斯坦福大学)
属性先验避免需要对数据集通常与生俱来的(Meta)属性进行潜意识或故意的非建模,例如与CelebA和CelebA-HQ数据集相关联的40个语义面部属性。我们发现,这种弱点的后果在这些数据集上学习的最先进的深度生成模型中尤为明显,这些模型只是对像素空间测量进行建模,从而导致了一个充满属性间偏见的潜在空间。当我们进行基于潜在向量插值的人脸操作实验时,这一点在内心表现出来。在本文中,我们解决了这个问题,并提出了一个事后解决方案,利用伊辛属性事先学习的属性空间,并通过定性实验展示其功效。
2019-07-22 cs.CV cs.LG
Identifying individual facial expressions by deconstructing a neural network
Korea University(高丽大学);Technische Universität Berlin(柏林工业大学);Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫兹研究所)
本文主要研究如何利用深度神经网络从人脸照片中解释对吸引力、幸福感、自信心和智力等心理属性的预测。由于心理属性数据集通常受到小样本量的影响,我们将迁移学习应用于两个基础模型以避免过拟合。这些模型分别在年龄和性别预测任务上进行训练。使用一种新的解释方法,我们提取了热图,突出了图像中对预测最负责任的部分。我们进一步观察到,解释方法提供了重要的见解的基本模型的功能的性质,这使得人们能够评估的基础模型的能力,为一个给定的迁移学习任务。最后,我们观察到,多类模型比其二进制对应的功能更丰富。实验评估是在包含心理属性标签的10k US人脸数据集的2222张图像以及KDEF图像的子集上进行的。
2016-06-26 cs.CV cs.NE stat.ML
Revealing Hidden Context Bias in Segmentation and Object Detection through Concept-specific Explanations
Fraunhofer Heinrich-Hertz-Institute(弗劳恩霍夫海因里希·赫兹研究所);Technische Universität Berlin(柏林工业大学);Berlin Institute for the Foundations of Learning and Data(柏林学习与数据基础研究所)
将传统的事后归因方法应用于分割或目标检测预测器仅提供有限的见解,因为在输入级获得的特征归因图通常类似于模型的预测分割掩模或限界框。在这项工作中,我们解决了需要更多的信息解释这些预测提出的事后eXplainable人工智能方法L-CRP生成的解释,自动识别和可视化相关的概念学习,识别和使用的模型在推理过程中,以及精确地定位它们在输入空间。因此,我们的方法超越了奇异输入级属性图,并且作为基于最近发布的概念相关传播技术的方法,有效地适用于分割和目标检测中最先进的黑盒架构,例如DeepLabV 3+和YOLOv 6等。我们通过定量比较不同的概念属性方法来验证我们提出的技术的可信度,并讨论了对CityScapes,Pascal VOC和MS COCO 2017等流行数据集的解释复杂度的影响。精确定位和传达概念的能力用于揭示和验证背景特征的使用,从而突出模型可能的偏差。
2022-11-21 cs.AI cs.CV cs.LG
Right for the Wrong Reason: Can Interpretable ML Techniques Detect Spurious Correlations?
University of Tübingen(图宾根大学)
本文提出严格评估策略,比较多种可解释机器学习方法在胸部X光诊断任务中检测虚假相关性的能力,发现SHAP和Attri-Net表现最佳,可可靠识别错误模型行为。
2023-08-08 cs.AI cs.CV cs.LG
Visual-TCAV: Concept-based Attribution and Saliency Maps for Post-hoc Explainability in Image Classification
Politecnico di Milano(米兰理工大学)
提出Visual-TCAV框架,结合概念激活向量和积分梯度,生成类无关显著性图并估计概念归因,在受控实验中比TCAV更忠实于真实解释。
2026-06-09 cs.AI cs.CV cs.LG
XAI-TRIS: Non-linear image benchmarks to quantify false positive post-hoc attribution of feature importance
Physikalisch-Technische Bundesanstalt(德国联邦物理技术研究院);Technische Universität Berlin(柏林工业大学)
本文构建 XAI-TRIS 非线性图像基准,以已知类别条件特征为真值,定量评估多种事后 XAI 方法在三类深度架构上的假阳性归因。
2023-12-07 cs.AI cs.CV cs.LG
Discriminative Deep Feature Visualization for Explainable Face Recognition
École Polytechnique Fédérale de Lausanne(洛桑联邦理工学院)
针对人脸识别模型缺乏可解释性的问题,提出基于人脸重建的解释模块和视觉显著性算法,生成显著性图以揭示深度特征与人脸区域的对应关系,并解释模型决策。
2023-09-05 cs.CV eess.IV
A Comprehensive Review of Multimodal Facial State Analysis: Tasks, Methods, and Resources
Shandong University(山东大学);University of Glasgow(格拉斯哥大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
本综述系统梳理多模态面部状态分析的任务、方法与数据集,强调多模态学习与多任务学习在提升推理、可解释性及跨场景泛化中的关键作用,并展望未来方向。
2026-09-15 cs.CV
A Set of Distinct Facial Traits Learned by Machines Is Not Predictive of Appearance Bias in the Wild
社会心理学的研究表明,人们仅仅根据外表对另一个人的性格做出有偏见的主观判断,并不能预测他们的实际性格特征。但研究人员和公司经常利用计算机视觉模型来预测类似的主观人格属性,如“就业能力”。“我们试图确定最先进的黑盒人脸处理技术是否可以学习类似人类的外观偏见。通过使用FaceNet(一种广泛使用的人脸识别框架)提取的特征,我们根据社会心理学家测量的人类受试者对其他面孔中人格特质的第一印象,训练训练了一个迁移学习模型。我们发现,用FaceNet提取的特征可以用来预测人为操纵的人脸的外观偏见分数,但不能预测人为随机生成的人脸。此外,与社会心理学中的人类偏见相比,该模型没有发现一个显着的信号将政治家的投票份额与感知能力偏见联系起来。通过本地可解释模型不可知解释(LIME),我们为这种差异提供了几种解释。我们的研究结果表明,社会心理学中记录的一些外观偏见信号并没有被我们研究的机器学习技术所嵌入。我们揭示了外观偏见可以嵌入面部处理技术的方式,并进一步质疑基于外观预测主观特征的做法。
2021-01-13 cs.AI cs.CV cs.CY
Affective Facial Expression Processing via Simulation: A Probabilistic Model
University of Technology Sydney(悉尼科技大学);Universitá degli Studi di Milano(米兰大学)
理解其他人的精神状态是智能代理和机器人在社会环境中操作的重要技能。然而,涉及“读心术”的心理过程是复杂的。对这些过程的一种解释是模拟理论--它得到了大量神经心理学研究的支持。然而,确定在模拟式情绪检测中使用的最佳计算模型或理论还远未被理解。在这项工作中,我们使用模拟理论和神经科学的研究成果,对神经元系统的基础上,一种新的计算模型,作为一种方式来处理情感的面部表情。该模型是基于从多个身份到一个单一的固定身份(“外部刺激的内部转码”),然后到一个潜在的空间(“现象学的反应”)的观察概率映射。连同建议的架构,我们提出了一些有前途的初步结果
2014-11-03 cs.CV
Segmentation and Smoothing Affect Explanation Quality More Than the Choice of Perturbation-based XAI Method for Image Explanations
Dept. of Computing Science Umeå University, Sweden(计算机科学系乌梅学院,瑞典)
本研究以RISE为基准,评估扰动型XAI方法的参数组合,发现分割和逐像素归因对解释质量影响显著,归因计算影响甚微,为优化图像解释方法提供了方向。
2025-11-17 cs.CV
Robustness of Visual Explanations to Common Data Augmentation
Technical University of Denmark(丹麦技术大学)
研究事后视觉解释对常见数据增强变换的鲁棒性,发现不同可解释性方法的稳定性存在显著差异,且解释的鲁棒性通常低于分类性能。
2023-04-18 cs.CV cs.LG
Explainable Human-centered Traits from Head Motion and Facial Expression Dynamics
Indian Institute of Technology Ropar(印度理工学院鲁尔基分校);University of Canberra(堪培拉大学);University of Glasgow(格拉斯哥大学)
我们探讨了多模态行为线索的有效性,可解释的预测人格和面试特定的特质。我们利用基本的头部运动单位命名为kinemes,原子面部运动称为动作单位和语音特征来估计这些以人为中心的特质。实证结果证实,运动素和行动单位,使发现多个特质特定的行为,同时也使解释支持的预测。对于融合线索,我们探索决策和特征级融合,和一个添加剂的注意力为基础的融合策略,量化的相对重要性的三种模式的性状预测。在MIT面试和第一瞬时候选人筛选(FICS)数据集上检查各种用于分类和回归的长短期记忆(LSTM)架构,我们注意到:(1)多模态方法优于单峰方法;(2)单模态和多模态方法都能实现有效的性状预测和合理的解释,以及(3)遵循薄片方法,甚至从两秒的行为片段也可以实现有效的特征预测。
2023-02-23 cs.CV cs.LG
Post-Hoc Explainability of BI-RADS Descriptors in a Multi-task Framework for Breast Cancer Detection and Segmentation
University of Idaho(爱达荷大学)
针对乳腺CAD系统可解释性不足的问题,提出MT-BI-RADS多任务可解释深度学习方法,通过输出BI-RADS分类、同步肿瘤分割、基于Shapley Values的描述符量化贡献三层解释,提升乳腺超声肿瘤良恶性预测的可信度。
2023-08-27 cs.CV eess.IV
MMA-MRNNet: Harnessing Multiple Models of Affect and Dynamic Masked RNN for Precise Facial Expression Intensity Estimation
Queen Mary University of London(伦敦玛丽女王大学);National Technical University of Athens(雅典国立技术大学)
本文提出MMA-MRNNet,通过多任务CNN提取多模型情感特征并结合掩码RNN动态建模时序,在面部表情强度估计上显著超越现有方法。
2024-09-04 cs.CV cs.LG