arXiv 2506.068862025-06-07cs.CV

用于通过眼动追踪分析进行自闭症诊断的混合 Vision Transformer-Mamba 框架

Hybrid Vision Transformer-Mamba Framework for Autism Diagnosis via Eye-Tracking Analysis

Faculty of Science and Technology, Tissemsilt University（科技与技术学院，蒂塞姆西尔大学）；College of Engineering and Information Technology University of Dubai（工程与信息科技学院，迪拜大学）；College of Medicine and Health Sciences, Mohammed Bin Rashid University Dubai, UAE（医学与健康科学学院，迪拜穆罕默德·本·拉希德大学）；School of Clinical Medicine University of New South Wales, Australia（临床医学学院，新南威尔士大学）

Wafaa Kasri, Yassine Himeur, Abigail Copiaco, Wathiq Mansoor, Ammar Albanna, Valsamma Eapen

备注：: 7 pages, 4 figures and 2 tables

阅读 PDF

arXiv 页面 ↗HTML 原文 ↗

AI总结：

提出融合 ViT 与 Vision Mamba 的混合框架，通过注意力融合多模态眼动追踪线索并结合可解释 AI，在 Saliency4ASD 上实现高精度 ASD 筛查。

摘要：

准确的自闭症谱系障碍（ASD）诊断对于早期干预至关重要。本研究提出了一种结合 Vision Transformers（ViT）与 Vision Mamba 的混合深度学习框架，以利用眼动追踪数据检测 ASD。该模型采用基于注意力的融合来整合视觉、语音和面部线索，捕捉空间与时间动态。与传统手工特征方法不同，它应用最先进的深度学习和可解释 AI 技术来提高诊断准确性与透明度。在 Saliency4ASD 数据集上测试时，所提出的 ViT-Mamba 模型优于现有方法，取得了 0.96 准确率、0.95 F1 分数、0.97 灵敏度和 0.94 特异度。这些结果表明该模型有望用于可扩展、可解释的 ASD 筛查，尤其适用于专家诊断资源有限的资源受限或远程临床环境。

英文摘要：

Accurate Autism Spectrum Disorder (ASD) diagnosis is vital for early intervention. This study presents a hybrid deep learning framework combining Vision Transformers (ViT) and Vision Mamba to detect ASD using eye-tracking data. The model uses attention-based fusion to integrate visual, speech, and facial cues, capturing both spatial and temporal dynamics. Unlike traditional handcrafted methods, it applies state-of-the-art deep learning and explainable AI techniques to enhance diagnostic accuracy and transparency. Tested on the Saliency4ASD dataset, the proposed ViT-Mamba model outperformed existing methods, achieving 0.96 accuracy, 0.95 F1-score, 0.97 sensitivity, and 0.94 specificity. These findings show the model's promise for scalable, interpretable ASD screening, especially in resource-constrained or remote clinical settings where access to expert diagnosis is limited.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。