Deep semantic gaze embedding and scanpath comparison for expertise classification during OPT viewing
University of Tübingen(图宾根大学);Leibniz-Institut für Wissensmedien(莱布尼茨知识媒体研究所);University Hospital Tübingen(图宾根大学医院)
对指示专业行为的眼动进行建模在用户评估中具有决定性意义。然而,任务语义对注视行为的影响是无可争议的。我们提出了一种新的方法,凝视扫描路径比较,结合卷积神经网络(CNN)处理场景信息的固定水平。图像补丁链接到各自的固定被用作输入的CNN和由此产生的特征向量提供必要的扫描路径similaritycomparison.We的时间和空间的凝视信息评估我们提出的方法从专家和新手牙医解释牙科X光片使用本地对齐相似性得分的凝视数据。我们的方法是能够区分专家与新手93%的准确率,同时结合图像语义。此外,我们的扫描路径比较使用图像补丁功能有可能纳入任务语义从各种任务
2020-03-31 cs.HC cs.LG stat.ML
Depression Detection Based on Electroencephalography Using a Hybrid Deep Neural Network CNN-GRU and MRMR Feature Selection
Islamic Azad University(伊斯兰阿扎德大学);Dartmouth College(达特茅斯学院)
本文提出基于CNN-GRU和MRMR特征选择的深度学习框架,用于高准确率检测抑郁症状态。
2026-01-16 cs.LG q-bio.QM
Advancing EEG-Based Gaze Prediction Using Depthwise Separable Convolution and Enhanced Pre-Processing
The George Washington University(乔治华盛顿大学)
本文提出EEG-DCViT方法,结合深度可分离卷积、视觉Transformer与数据聚类预处理,在基于脑电图的注视预测任务中将RMSE降至51.6毫米,刷新基准。
2024-08-06 cs.LG
A Deep Learning Approach for the Segmentation of Electroencephalography Data in Eye Tracking Applications
ETH Zurich(苏黎世联邦理工学院);University of Zurich(苏黎世大学)
眼睛注视信息的收集为人类认知、健康和行为的许多关键方面提供了一个窗口。此外,许多神经科学研究补充了从眼动追踪获得的行为信息,具有高时间分辨率和脑电图(EEG)提供的神经生理学标记。眼动追踪软件处理的一个基本步骤是将连续数据流分割成与眼动追踪应用相关的事件,例如扫视、注视和眨眼。在这里,我们介绍DETRtime,时间序列分割的一种新的框架,创建眼睛事件检测器,不需要额外记录的眼睛跟踪模式,只依赖于EEG数据。我们基于端到端深度学习的框架将计算机视觉的最新进展带到了EEG数据时间序列分割的最前沿。DETRtime在各种眼动跟踪实验范例中实现了最先进的眼部事件检测性能。除此之外,我们还提供了证据,证明我们的模型在EEG睡眠阶段分割任务中具有良好的泛化能力。
2022-06-17 cs.AI cs.LG eess.SP
Discovering Salient Anatomical Landmarks by Predicting Human Gaze
University of Oxford(牛津大学)
解剖标志是许多医学成像任务的关键先决条件。通常,给定任务的地标集合由专家预定义。然后手动地或经由在手动注释上训练的机器学习方法来注释给定图像的界标位置。在本文中,相比之下,我们提出了一种方法来自动发现和定位医学图像中的解剖标志。具体来说,我们考虑吸引人类视觉注意力的地标,我们称之为视觉显著地标。我们举例说明胎儿神经超声图像的方法。首先,全长临床胎儿超声扫描记录与现场超声波检查凝视跟踪。接下来,训练卷积神经网络(CNN)以预测超声医师在扫描视频帧上的注视点分布(显著图)。然后,使用CNN来预测未看到的胎儿神经超声图像的显著性图,并且将界标提取为这些显著性图的局部最大值。最后,通过对地标CNN特征进行聚类来在图像之间匹配地标。我们发现,发现的地标可以用于仿射图像配准,平均地标之间的4.1%和10.9%的胎儿头部长轴长度的对齐误差。
2020-01-22 cs.CV cs.LG eess.IV
Bridging Human and Model Attention: Explainability Analysis of CNN, Mamba, and ViT Architectures with Gaze-Based Validation
University of Padova(帕多瓦大学)
本研究通过眼动追踪真值量化模型注意力与人类视觉感知的一致性,对比CNN、ViT、ViM的可解释性,揭示不同架构注意力动态及训练选择对一致性的影响。
2026-10-12 cs.CV cs.HC cs.LG
EEGMobile: Enhancing Speed and Accuracy in EEG-Based Gaze Prediction with Advanced Mobile Architectures
Palo Alto High School(帕洛阿尔托高中);University of Maryland - College Park(马里兰大学帕克分校)
本研究提出EEGMobile模型,通过预训练MobileViT与知识蒸馏实现EEG注视预测,在EEGEyeNet任务上以仅低3%的精度换取33%的速度提升和60%的体积缩减,为资源受限设备提供高效轻量的脑机接口方案。
2024-08-06 cs.AI cs.LG eess.SP
Modular Deep Learning Framework for Assistive Perception: Gaze, Affect, and Speaker Identification
School of Computer Science and Engineering (SCOPE)(计算机科学与工程学院);Vellore Institute of Technology (VIT)(韦洛雷理工学院);School of Electronics Engineering (SENSE)(电子工程学院)
本文提出模块化深度学习框架,用于实现注视、情绪和说话人识别的高精度辅助感知技术。
2025-11-25 cs.CV cs.LG
A Novel Multi-scale Dilated 3D CNN for Epileptic Seizure Prediction
Westlake University(西湖大学)
准确预测癫痫发作可以让患者提前采取预防措施,避免可能的伤害。在这项工作中,提出了一种新的卷积神经网络(CNN)分析的时间,频率和信道信息的脑电图(EEG)信号。该模型使用三维(3D)内核,以促进在三个维度上的特征提取。多尺度扩张卷积的应用使3D内核具有更灵活的感受野。在CHB-MIT脑电数据库上对所提出的CNN模型进行了测试,实验结果表明,该模型的准确率、灵敏度和特异度分别为80.5%、85.8%和75.1%。
2021-05-05 cs.LG eess.SP
FixationFormer: Direct Utilization of Expert Gaze Trajectories for Chest X-Ray Classification
Institute for Geoinformatics(地理信息研究所);Department of Computer Science(计算机科学系);University of Münster(穆斯堡大学)
本文提出FixationFormer,通过将专家凝视轨迹作为序列建模,利用Transformer架构提升胸部X光分类性能,实现更直接的专家诊断信息整合。
2026-03-24 cs.CV cs.LG
Decoding visual brain representations from electroencephalography through Knowledge Distillation and latent diffusion models
University of Rome Tor Vergata(罗马第二大学);Martinos Center For Biomedical Imaging(马蒂诺斯生物医学成像中心);MGH(麻省总医院);Harvard Medical School(哈佛医学院)
本研究提出一种结合知识蒸馏与预训练潜在扩散模型的创新架构,通过将EEG信号转换为频谱图训练CNN,实现了80%的ImageNet图像分类前5准确率,并仅凭EEG数据可信地重建视觉刺激图像。
2023-09-08 cs.AI cs.LG eess.SP
ExBrainable: An Open-Source GUI for CNN-based EEG Decoding and Model Interpretation
National Yang Ming Chiao Tung University(阳明交通大学)
我们开发了一个图形用户界面(GUI)ExBrainable,专用于卷积神经网络(CNN)模型训练和脑电图(EEG)解码中的可视化。可用的功能包括模型训练,评估和时间和空间表示方面的参数可视化。我们证明了这些功能,使用一个经过充分研究的公共数据集的运动图像脑电图和比较的结果与现有的神经科学知识。ExBrainable的主要目标是为跨学科的研究人员提供快速,简化和用户友好的EEG解码解决方案,以利用大脑/神经科学研究中的尖端方法。
2022-01-10 cs.LG eess.SP q-bio.NC
Ultrasound Image Representation Learning by Modeling Sonographer Visual Attention
University of Oxford(牛津大学)
图像表示通常从类标签中学习,这是人类图像理解的简单近似。在本文中,我们证明了可转移的图像表示可以学习,而无需手动注释,通过模拟人类的视觉注意。我们的分析的基础是一个独特的视线跟踪数据集的超声医师进行常规临床胎儿异常筛查。通过训练卷积神经网络(CNN)来学习超声医师视觉注意力的模型,以通过视觉显著性预测或注视点回归来预测超声视频帧上的注视。我们评估的可转移性的学习表示的任务,超声标准平面检测在两种情况下。首先,我们通过使用有限数量的标记标准平面图像微调CNN来执行迁移学习。我们发现,微调显着性预测优于随机初始化训练,总体平均F1分数提高了9.6%,心脏平面平均提高了15.3%。其次,我们对每个CNN层的特征激活进行训练,以便独立于迁移学习超参数来评估表示。我们发现,注意力模型得到了强有力的表示,除了最后一层之外,几乎达到了完全监督基线模型的精度。
2019-05-27 cs.CV cs.LG cs.NE
Patient-Specific Seizure Prediction Using Single Seizure Electroencephalography Recording
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Thomas J. Watson Research Center(IBM托马斯·J·沃森研究中心);Mount Sinai Hospital(西奈山医院)
脑电图(EEG)是测量大脑活动以研究癫痫的重要方法,从而有助于预测癫痫发作。癫痫发作预测是一个活跃的研究领域,许多基于深度学习的方法在最近的文献中占主导地位,用于解决这个问题。但是这些模型需要记录大量的患者特异性癫痫发作,以提取发作前和发作间期EEG数据用于训练分类器。值得注意的是,使用机器学习模型预测癫痫发作的灵敏度和特异性有所提高。然而,由于非平稳EEG,需要大量的患者特异性癫痫发作和模型的周期性再训练,这给为患者设计实用设备带来了困难。为了减轻这一过程,我们提出了一种基于暹罗神经网络的癫痫发作预测方法,该方法将小波变换的EEG张量作为输入,卷积神经网络(CNN)作为检测EEG中变化点的基础网络。与文献中利用数天EEG记录的解决方案相比,我们的方法仅需要一次癫痫发作进行训练,这转化为不到10分钟的发作前和发作间期数据,同时仍然获得与利用多次癫痫发作进行癫痫发作预测的模型相当的结果。
2020-11-14 cs.LG eess.SP
Deep Learning-Based Classification of Cognitive and Resting States Using Electroencephalography Signals
RMIT University(皇家墨尔本理工大学);Institute of Engineering & Management, Kolkata(加尔各答工程与管理学院);University of Engineering and Management, Kolkata(加尔各答工程与管理大学)
本研究提出一种结合CNN和GRU的深度学习框架,利用EEG信号时频特征区分静息与认知状态,在数学、记忆和音乐任务中分别达到83.177%、76.107%和83.432%的准确率。
2026-09-18 cs.AI cs.LG
Neural Networks for Semantic Gaze Analysis in XR Settings
University of Kassel(卡塞尔大学);Interdisciplinary Research Center for Information System Design(信息系统设计跨学科研究中心)
虚拟现实(VR)和增强现实(AR)技术越来越多地与眼动跟踪相结合。这种结合拓宽了这两个领域,并开辟了新的应用领域,其中视觉感知和相关的认知过程可以在交互式但仍然控制良好的环境中进行研究。然而,从交互式三维场景的眼动跟踪数据进行语义凝视分析是一个资源密集型的任务,这到目前为止一直是经济使用的障碍。在本文中,我们提出了一种新的方法,最大限度地减少时间和信息所需的注释卷的兴趣(VOIs),通过使用对象识别技术。为此,我们在使用图像增强技术从虚拟模型导出的合成数据集上训练卷积神经网络(CNN)。我们在真实和虚拟环境中评估了我们的方法,表明该方法可以与最先进的方法竞争,同时不依赖于额外的标记或预先存在的数据库,而是提供跨平台使用。
2021-03-18 cs.CV cs.HC cs.LG
Classification of EEG Motor Imagery Using Deep Learning for Brain-Computer Interface Systems
Western Sydney University(西悉尼大学)
训练的T1类卷积神经网络(CNN)模型将用于检查其在输入预处理的脑电图(EEG)数据时成功识别运动想象的能力。从理论上讲,如果模型已经被准确训练,它应该能够识别一个类并相应地标记它。然后将恢复CNN模型,并使用更小的采样数据来尝试识别相同类别的运动想象数据,以尝试模拟实时数据。
2022-05-31 cs.AI cs.LG eess.SP
EG-SpikeFormer: Eye-Gaze Guided Transformer on Spiking Neural Networks for Medical Image Analysis
School of Computing, University of Georgia(佐治亚大学计算学院);University of Texas at Arlington(德克萨斯大学阿灵顿分校);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院);University of Georgia(佐治亚大学);Department of Physics and Astronomy(物理与天文学系)
本研究提出专为临床任务定制的SNN架构EG-SpikeFormer,引入眼动数据引导模型关注医学图像诊断相关区域,解决传统模型捷径学习问题,提升能效、性能、可解释性与泛化性,开辟神经形态计算医疗应用新方向。
2024-10-29 cs.CV cs.LG cs.NE
EEG Decoding Using CNN and LSTM Network
School of Science(理学院)
本研究提出CNN与bi-LSTM结合的混合深度学习架构,用于MI-EEG解码,在公开与私有数据集上实现稳健的二、三类运动想象分类,具备良好的被试独立解码能力。
2026-08-14 cs.HC cs.LG
Automatic Sleep Stage Scoring with Single-Channel EEG Using Convolutional Neural Networks
Imperial College London(帝国理工学院)
我们使用卷积神经网络(CNN)进行基于单通道脑电图(EEG)的自动睡眠阶段评分,以在不使用先验领域知识的情况下学习用于分类的任务特定过滤器。我们使用了来自20名健康年轻人的公开数据集进行评估,并应用了20倍交叉验证。我们在CNN的随机梯度下降(SGD)优化中使用了类平衡随机采样,以避免偏向最具代表性的睡眠阶段的性能。我们在所有受试者中实现了较高的平均F1评分(81%,范围79-83%),各个睡眠阶段的平均准确率(82%,范围80-84%)和总体准确率(74%,范围71-76%)。通过分析和可视化我们的CNN学习的过滤器,我们发现过滤器学习的规则与人类专家遵循的美国睡眠医学学会(AASM)手册中的睡眠评分标准相对应。我们的方法的性能是跨类平衡,我们的结果是与手工设计的功能的最先进的方法相媲美。我们表明,在不使用先验领域知识的情况下,CNN可以自动学习区分不同的正常睡眠阶段。
2016-10-05 cs.LG stat.ML
Deep learning-based electroencephalography analysis: a systematic review
Faubert Lab(福贝尔实验室);Université de Montréal(蒙特利尔大学);Inria(法国国家信息与自动化研究所);Université Paris-Saclay(巴黎萨克雷大学);InteraXon Inc.(因特拉克森公司);MuSAE Lab(穆赛实验室);INRS-EMT(加拿大国家科学研究院能源、材料与电信研究所);Université du Québec(魁北克大学)
脑电图(EEG)是一种复杂的信号,可能需要数年的培训才能正确解释。最近,深度学习(DL)在帮助理解EEG信号方面表现出了巨大的潜力,因为它能够从原始数据中学习良好的特征表示。然而,与更传统的EEG处理方法相比,DL是否真正呈现出优势仍然是一个悬而未决的问题。在这项工作中,我们回顾了2010年1月至2018年7月期间发表的156篇将DL应用于EEG的论文,这些论文涵盖了不同的应用领域,如癫痫,睡眠,脑机接口以及认知和情感监测。我们提取趋势并突出有趣的方法,以便为未来的研究提供信息并提出建议。为每项研究提取各种数据项,涉及1)数据,2)预处理方法,3)DL设计选择,4)结果和5)实验的重现性。我们的分析表明,研究中使用的EEG数据量从不到10分钟到数千小时不等。至于模型,40%的研究使用了卷积神经网络(CNN),而14%的研究使用了递归神经网络(RNN),最常见的是总共有3到10层。此外,几乎一半的研究在原始或预处理的EEG时间序列上训练他们的模型。最后,在所有相关研究中,DL方法相对于传统基线的准确性中位增益为5.4%。然而,更重要的是,我们注意到研究往往存在可重复性差的问题:由于无法获得数据和代码,大多数论文很难或不可能复制。为了帮助该领域的进展,我们提供了一个未来研究的建议列表,我们提供了DL和EEG论文的汇总表,并邀请社区做出贡献。
2019-01-20 cs.LG eess.SP stat.ML
Automatic Diagnosis of Schizophrenia in EEG Signals Using CNN-LSTM Models
K. N. Toosi University of Technology(K. N. 图西理工大学);Islamic Azad University(伊斯兰阿扎德大学);University of La Rioja(拉里奥哈大学);Deakin University(迪肯大学);Macquarie University(麦考瑞大学);Harvard University(哈佛大学);University of Leicester(莱斯特大学);Universidad de Granada(格拉纳达大学);University of Cambridge(剑桥大学)
精神分裂症(SZ)是一种精神障碍,由于大脑中特定化学物质的分泌,某些大脑区域的功能失衡,导致思想,行动和情绪之间缺乏协调。这项研究提供了各种基于智能深度学习(DL)的方法,用于通过脑电图(EEG)信号进行自动SZ诊断。所得结果与传统的智能方法进行了比较。为了实现所提出的方法,在波兰华沙的精神病学和神经病学研究所的数据集,已被使用。首先,将EEG信号划分为25 s的时间帧,然后通过z分数或范数L2进行归一化。在分类步骤中,考虑了两种不同的方法用于通过EEG信号进行SZ诊断。在该步骤中,首先通过传统的机器学习方法进行EEG信号的分类,例如,支持向量机,k-最近邻,决策树,朴素贝叶斯,随机森林,极端随机树和装袋。在下文中使用了各种提出的DL模型,即长短期记忆(LSTM)、一维卷积网络(1D-CNN)和1D-CNN-LSTM。在这一步中,实现了DL模型,并与不同的激活函数进行了比较。在提出的DL模型中,CNN-LSTM架构具有最佳性能。在此架构中,使用了具有z分数和L2组合归一化的ReLU激活函数。提出的CNN-LSTM模型的准确率达到了99.25%,优于该领域以往大多数研究的结果。值得一提的是,为了执行所有模拟,使用了k = 5的k折交叉验证方法。
2021-12-01 cs.LG eess.SP
Extracting the Auditory Attention in a Dual-Speaker Scenario from EEG using a Joint CNN-LSTM Model
WS Audiology
在多说话人的情况下,人脑在分离特定说话人与干扰说话人方面表现得非常好。最近已经表明,我们可以定量评估的分离能力,通过建模的语音信号之间的关系存在于一个听觉场景和使用脑电图(EEG)测量的听者的皮层信号。这开辟了将神经反馈集成到助听器中的途径,从而该设备可以推断用户的注意力并增强参加的扬声器。用于推断听觉注意的常用算法是基于线性系统理论,其中语音线索(诸如包络)被映射到EEG信号上。在这里,我们提出了一个联合卷积神经网络(CNN)-长短期记忆(LSTM)模型来推断听觉注意。我们的联合CNN-LSTM模型将多个说话者的EEG信号和频谱图作为输入,并将注意力分类到其中一个说话者。我们评估了我们的神经网络的可靠性,使用三个不同的数据集,包括61名受试者,每个受试者进行了双扬声器实验。分析的三个数据集对应于以三种不同语言呈现的语音刺激,即德语、丹麦语和荷兰语。使用提出的联合CNN-LSTM模型,我们在三秒的试验持续时间内获得了77.2%的中值解码准确率。此外,我们通过幅度修剪评估了我们的模型可以容忍的稀疏度,发现该模型可以容忍高达50%的稀疏度,而不会大幅降低解码精度。
2021-07-09 cs.AI cs.LG cs.SD
EEG-DCNet: A Fast and Accurate MI-EEG Dilated CNN Classification Method
School of the Future Technology, Xi’an Jiaotong University(西安交通大学未来技术学院);School of the Automation Science and Engineering, Xi’an Jiaotong University(西安交通大学自动化科学与工程学院)
针对脑机接口中运动想象脑电分类的关键挑战,提出EEG-DCNet模型,通过多分支扩张卷积、滑动窗口和注意力机制提升准确性与效率,在三个数据集上优于SOTA且参数更少。
2024-11-12 cs.AI cs.LG eess.SP
Convolutional Neural Network Approach for EEG-based Emotion Recognition using Brain Connectivity and its Spatial Information
School of Integrated Technology, Yonsei University(延世大学融合技术学院)
基于脑电的情感识别作为实现以人为中心的服务的一种方式受到关注。然而,仍然有很大的改进空间,特别是在识别精度方面。在本文中,我们提出了一种新的深度学习方法,使用卷积神经网络(CNN)进行基于EEG的情感识别。特别是,我们采用了以前研究中未与深度学习模型一起使用的大脑连接特征,这些特征可以解释不同大脑区域的同步激活。此外,我们开发了一种方法来有效地捕捉不对称的大脑活动模式,情感识别是重要的。实验结果证实了我们的方法的有效性。
2018-09-12 cs.HC cs.LG
Deep Neural Networks on EEG Signals to Predict Auditory Attention Score Using Gramian Angular Difference Field
BITS Pilani K K Birla Goa Campus(BITS Pilani K K Birla 果阿校区)
听觉注意是一种选择性的听觉类型,人们有意地将注意力集中在特定的声音或言语来源上,而忽略或抑制其他听觉刺激。从某种意义上说,个体的听觉注意力分数显示了这个人在听觉任务中的注意力。深度学习和记录神经活动的非侵入性技术的最新进展提出了一个问题,深度学习以及脑电图(EEG)等技术是否可以用于预测个体的听觉注意力得分?在本文中,我们专注于这个问题,估计一个人的听觉注意力水平的基础上,他们的大脑的电活动捕获使用14通道EEG信号。更具体地说,我们处理的注意力估计作为一个回归问题。这项工作是在公开的Phyaat数据集上进行的。Gramian角差场(GADF)的概念已被用于将时间序列EEG数据转换为具有14个通道的图像,使我们能够训练各种深度学习模型,如2D CNN,3D CNN和卷积自动编码器。他们的表现已经相互比较,以及与以前所做的工作。在我们尝试的不同模型中,2D CNN的性能最好。它优于现有的方法的一个体面的利润率为0.22平均绝对误差(MAE)。
2021-10-24 cs.LG eess.SP
Deep Convolutional Architectures for EEG Classification: A Comparative Study with Temporal Augmentation and Confidence-Based Voting
Department of Computer Science(计算机科学系);California State University, Fresno(加州州立大学,弗雷斯诺分校)
本文比较了深度学习架构在EEG信号分类中的应用,通过时间增强和置信度投票机制提升分类性能,发现3D CNN在AUC和平衡准确率上优于2D架构。
2026-02-25 cs.AI cs.CV cs.LG
Universal EEG Encoder for Learning Diverse Intelligent Tasks
IIIT-Delhi(德里印度理工学院)
脑机接口(BCI)已经变得非常流行,脑电图(EEG)是最常用的信号采集技术之一。BCI研究的一个主要挑战是每个任务所需的个性化分析。因此,执行任务特定的特征提取和分类,这不能推广到具有类似时间序列EEG输入数据的其他任务。为此,我们设计了一个基于GRU的通用深度编码架构,从公开的数据集中提取有意义的特征,用于五个不同的基于EEG的分类任务。我们的网络可以生成任务和格式无关的数据表示,并在大多数实验中优于最先进的EEGNet架构。我们还将我们的结果与基于CNN的网络和Autoencoder网络进行了比较,进而对数据进行了本地,空间,时间和无监督分析。
2019-11-26 cs.LG eess.SP
Evaluating Fast Adaptability of Neural Networks for Brain-Computer Interface
Indian Institute of Technology Gandhinagar(印度甘地纳格尔理工学院)
本研究提出一种评估脑机接口神经网络快速适应能力的策略,发现层归一化能在不超过十个微调步骤内提升CNN分类器在跨个体和跨任务上的适应能力,优于MAML方法。
2024-04-14 cs.HC cs.LG eess.SP
Consumer-grade EEG-based Eye Tracking
Darmstadt University of Applied Sciences(达姆施塔特应用科学大学);FH Aachen - University of Applied Sciences(亚琛应用科学大学)
本文构建消费级EEG与网络摄像头眼动同步数据集,覆盖113名参与者和四种范式,并提供预处理与分析代码,以评估低成本EEG-ET可行性。
2025-03-18 cs.HC cs.LG eess.SP
Deep Learning CNN and Recurrence Analysis for Alpha Gamma EEG Biomarkers in Fragile X Syndrome
School of Information Technology (SoIT), University of Cincinnati(辛辛那提大学信息技术学院);Division of Child and Adolescent Psychiatry Cincinnati Children’s Hospital Medical Center(辛辛那提儿童医院医学中心儿童与青少年精神病学科)
本研究提出整合CNN、LSTM与RP分析的多表征深度学习框架,通过分析FXS患者α、γ频段EEG信号,实现优于单模态基线的自动表型表征,为FXS生物标志物开发提供了可扩展方法。
2026-08-04 cs.AI cs.CV cs.LG
Corticomorphic Hybrid CNN-SNN Architecture for EEG-based Low-footprint Low-latency Auditory Attention Detection
University of Pittsburgh(匹兹堡大学);Northeastern University(东北大学)
本文提出受听觉皮层启发的混合 CNN-SNN 皮层形态架构,仅用 8 个 EEG 电极和 1 秒窗口实现 91.03% 的 AAD 准确率,并显著降低参数与内存占用。
2023-07-13 cs.LG cs.SD eess.AS
Evaluation of Interpretability for Deep Learning algorithms in EEG Emotion Recognition: A case study in Autism
University of Trento(特伦托大学);Temple University(天普大学)
当前的可解释人工智能(XAI)模型已经表明,当提出统计纠缠特征用于训练深度分类器时,测量特征相关性的可靠性明显缺乏。深度学习在临床试验中的应用越来越多,以预测神经发育障碍的早期诊断,如自闭症谱系障碍(ASD)。然而,包含更可靠的显着性图以使用神经活动特征获得更值得信赖和可解释的度量对于诊断或临床试验中的实际应用仍然不够成熟。此外,在ASD研究中,使用神经测量来预测所观看的面部情绪的深度分类器的包含相对未被探索。因此,在这项研究中,我们提出了一个卷积神经网络(CNN)的评估脑电图(EEG)为基础的面部情绪识别解码补充了一种新的RemOve-And-Retrain(ROAR)的方法来恢复高度相关的功能,用于分类。具体来说,我们比较了知名的相关性地图,如分层相关传播(LRP),PatternNet,Pattern-Attribution和Smooth-Grad Squared。这项研究是第一个巩固一个更透明的特征相关性计算成功的EEG为基础的面部情绪识别使用内主题训练的CNN在典型的开发和ASD个人。
2023-02-23 cs.LG eess.SP
Novel EEG based Schizophrenia Detection with IoMT Framework for Smart Healthcare
Malaviya National Institute of Technology(马拉维亚国家理工学院);Maharaja Surajmal Institute of Technology(马哈拉贾·苏拉杰马尔理工学院)
在神经科学领域,脑活动分析一直被认为是一个重要的研究领域。精神分裂症(Schizophrenia,Sz)是一种大脑疾病,严重影响世界各地人们的思维,行为和感受。脑电图(EEG)被证明是一种有效的生物标志物在Sz检测。脑电信号是一种非线性的时间序列信号,由于其非线性结构,利用它进行研究是非常重要的。本文旨在使用深度学习方法提高基于EEG的Sz检测的性能。提出了一种新的混合深度学习模型,称为SzHNN(Schizophrenia Hybrid Neural Network,分裂型混合神经网络),它是卷积神经网络(CNN)和长短期记忆(Long Short-Term Memory,LSTM)的组合。CNN网络用于局部特征提取,LSTM用于分类。将所提出的模型与仅CNN、仅LSTM和基于机器学习的模型进行了比较。所有模型都在两个不同的数据集上进行了评估,其中数据集1由19名受试者组成,数据集2由16名受试者组成。在不同的频段上使用各种参数设置并在头皮上使用不同的电极组已经进行了几个实验。基于所有的实验,很明显,所提出的混合模型(SzHNN)提供了最高的分类精度为99.9%,与其他现有的模型相比。该模型克服了不同频段的影响,即使只有5个电极,也显示出91%的更好的准确性。所提出的模型还在医疗物联网(IoMT)框架上进行了评估,用于智能医疗和远程监控应用。
2021-11-19 cs.HC cs.LG eess.SP
EEG-Based Prediction of Music Enjoyment Using Deep Learning with Explainable Temporal Analysis
Thapar Institute of Engineering and Technology(塔帕尔工程技术学院)
本研究基于公开MUSING数据集,采用6种深度学习模型结合可解释时间分析,构建了跨听众的EEG音乐愉悦度回归基准,验证了TCN模型的预测性能及可解释性分析的补充价值。
2026-10-16 cs.HC cs.LG cs.SD
Automating Learner Assessment: Benchmarking Machine Learning and Deep Learning Models for EEG-Based Familiarity Prediction
University of Colombo(科伦坡大学);The University of Queensland(昆士兰大学)
本研究针对面孔、数学公式两个认知领域,测试15种ML/DL模型的EEG熟悉度预测性能,发现试次独立验证可避免高估泛化能力,确定Gamma、Beta振荡为关键生物标志物,为教育技术建立了相关基准。
2026-08-21 cs.HC cs.LG eess.SP
EEG Classification based on Image Configuration in Social Anxiety Disorder
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Middle East Technical University(中东技术大学)
使用脑电图(EEG)进行分类检测社交焦虑障碍(SAD)的存在的问题已经看到有限的研究,并解决了一个新的方法,试图利用EEG传感器的空间配置的知识。两个分类模型,一个忽略的配置(模型1)和一个利用它与不同的插值方法(模型2),进行了研究。这两个模型的性能进行了检查,分析34个EEG数据通道,每个通道由5个频带组成,并进一步分解与滤波器组。数据收集自64名受试者,包括健康对照和SAD患者。我们假设模型2将显著优于模型1的有效性在结果中得到了证实,对于我们研究的每个机器学习算法,模型2的准确性$6$- $7\%$更高。卷积神经网络(CNN)被发现提供比SVM和kNN更好的性能。
2018-12-07 cs.LG eess.SP stat.ML
Feature Fusion Based on Mutual-Cross-Attention Mechanism for EEG Emotion Recognition
School of Computing and Artificial Intelligence, Southwest Jiaotong University(西南交通大学计算机与人工智能学院)
针对现有EEG情绪识别系统复杂度高、精度一般等问题,提出结合MCA互交叉注意力特征融合机制与定制3D-CNN的方法,搭配新设计的Channel-PSD-DE三维特征,在DEAP数据集上实现了效价99.49%、唤醒99.30%的高准确率。
2024-06-20 cs.AI cs.LG
DBConformer: Dual-Branch Convolutional Transformer for EEG Decoding
Ministry of Education Key Laboratory of Image Processing and Intelligent Control, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(教育部图像处理与智能控制重点实验室,人工智能与自动化学院,华中科技大学)
本文提出DBConformer双分支卷积Transformer网络,通过时间与空间Conformer分别建模长程时间依赖和通道间交互,并结合轻量级通道注意力,在三种脑电范式上以更少参数超越13个基线模型,实现准确、鲁棒且可解释的脑电解码。
2025-09-19 cs.AI cs.LG
Fusion of Spatio-Temporal and Multi-Scale Frequency Features for Dry Electrodes MI-EEG Decoding
STGMFM通过融合时空与多尺度频率特征,提升干电极MI-EEG解码的稳定性和鲁棒性。
2026-01-26 cs.HC cs.LG
Benchmarking Domain Generalization on EEG-based Emotion Recognition
Zhejiang University(浙江大学);HwaMei Hospital, University of Chinese Academy of Sciences(中国科学院大学华美医院);Ningbo Institute of Life and Health Industry, University of Chinese Academy of Sciences(中国科学院大学宁波生命与健康产业研究院)
近年来,基于脑电的情感识别技术取得了巨大的进步。具体来说,在过去的五年中,许多领域自适应(DA)算法已被利用,以提高跨学科的情感识别模型的泛化。DA方法假设校准数据(尽管未标记)存在于目标域(新用户)中。然而,这一假设与应用场景相冲突,即模型应该在没有耗时的校准实验的情况下部署。我们认为,域泛化(DG)是更合理的比DA在这些应用中。DG通过利用多个源域的知识学习如何推广到未知的目标域,这为训练通用模型提供了新的可能性。在本文中,我们第一次基准国家的最先进的DG算法的EEG为基础的情感识别。由于卷积神经网络(CNN),深度简短网络(DBN)和多层感知器(MLP)已被证明是有效的情感识别模型,我们使用这三个模型作为坚实的基线。实验结果表明,DG在SEED数据集上对三种情绪的识别准确率高达79.41%,表明了DG在多源零训练情绪识别中的潜力.
2022-04-18 cs.LG eess.SP
Temporal Aware Mixed Attention-based Convolution and Transformer Network (MACTN) for EEG Emotion Recognition
Tianjin University(天津大学)
本文提出MACTN模型,通过CNN提取局部情绪特征、Transformer整合全局时序信息,并结合通道注意力机制,在THU-EP和DEAP数据集上取得了优于现有方法的脑电情绪识别性能。
2023-05-18 cs.AI cs.LG eess.SP
Motor Imagery EEG Signal Classification Using Minimally Random Convolutional Kernel Transform and Hybrid Deep Learning
City University of London(伦敦城市大学);University of Liverpool(利物浦大学)
本文提出了一种基于最小随机卷积核变换和混合深度学习的运动想象EEG信号分类方法,通过高效特征提取和低计算成本实现高准确率分类。
2025-08-22 cs.AI cs.LG eess.SP
Anchored-STFT and GNAA: An extension of STFT in conjunction with an adversarial data augmentation technique for the decoding of neural signals
University hospital Knappschaftskrankenhaus Bochum GmbH(波鸿矿工医院大学附属医院);Ruhr University Bochum(波鸿鲁尔大学);Ruhr-West University of Applied Science(鲁尔西部应用科学大学)
脑机接口(BCI)通过将大脑活动转换为控制命令来实现人类和机器之间的通信。脑电(EEG)信号是无创BCI应用中最常用的脑信号之一,但经常被噪声污染。因此,有可能用于分类EEG信号的有意义的模式被深度隐藏。最先进的深度学习算法在学习隐藏的、有意义的模式方面是成功的。然而,所提出的投入的质量和数量是关键。在这里,我们提出了一种新的特征提取方法,称为锚定短时傅立叶变换(STFT),这是STFT的高级版本,因为它最大限度地减少了STFT所呈现的时间和频谱分辨率之间的权衡。此外,我们提出了一种新的增强方法,称为梯度范数对抗增强(GNAA)。GNAA不仅是一种增强方法,而且还用于处理EEG数据中的对抗性输入,这不仅提高了分类精度,而且增强了分类器的鲁棒性。此外,我们还提出了一种新的CNN结构,即Skip-Net,用于EEG信号的分类。所提出的管道优于所有最先进的方法,并分别在BCI竞争II数据集III和BCI竞争IV数据集2b上产生90.7%和89.54%的平均分类准确度。
2021-08-09 cs.LG q-bio.QM
Synthetic EEG Generation using Diffusion Models for Motor Imagery Tasks
Escola de Artes, Ciências e Humanidades (USP) São Paulo, SP(艺术、科学与人文学院(USP)圣保罗,SP)
针对EEG数据采集难题,提出用DDPM生成运动想象任务合成EEG的方法,经多分类器验证其准确率超95%,可补充数据集提升BCI分类性能。
2025-10-03 cs.AI cs.LG eess.SP
Towards Early Diagnosis of Epilepsy from EEG Data
Frankfurt Institute for Advanced Studies (FIAS)(法兰克福高等研究院(FIAS));Goethe University Frankfurt(法兰克福歌德大学);Center for Personalized Translational Epilepsy Research (CePTER)(个性化转化癫痫研究中心(CePTER));Oscar Langendorff Institute of Physiology, Rostock University Medical Center(罗斯托克大学医学中心奥斯卡·朗根多夫生理研究所);Royal College of Surgeons Ireland(爱尔兰皇家外科医学院)
癫痫是最常见的神经系统疾病之一,影响所有年龄段约1%的人口。检测癫痫的发展,即,癫痫发生(EPG),在任何癫痫发作发生之前,可以允许早期干预和潜在的更有效的治疗。在这里,我们研究现代机器学习(ML)技术是否可以在任何癫痫发作发生之前从颅内脑电图(EEG)记录中检测EPG。为此,我们使用癫痫的啮齿动物模型,其中EPG由大脑的电刺激触发。我们提出了一个用于EPG识别的ML框架,该框架将深度卷积神经网络(CNN)与预测聚合方法相结合,以获得最终的分类决策。具体地,训练神经网络以区分从刺激前时段或刺激后时段获取的EEG记录的五秒段。由于癫痫的逐渐发展,刺激前后的EEG模式有很大的重叠。因此,引入了预测聚合过程,该过程在较长时间内汇集预测。通过在一个小时内聚合预测,我们的方法在EPG检测任务上实现了0.99的曲线下面积(AUC)。这证明了从EEG记录预测EPG的可行性。
2020-06-17 cs.LG eess.SP stat.ML
Dual-TSST: A Dual-Branch Temporal-Spectral-Spatial Transformer Model for EEG Decoding
School of Software, Northwestern Polytechnical University(西北工业大学软件学院);Research & Development Institute of Northwestern Polytechnical University in Shenzhen(西北工业大学深圳研究院);Yangtze River Delta Research Institute of Northwestern Polytechnical University(西北工业大学长三角研究院)
本文提出双分支时间-频谱-空间Transformer模型Dual-TSST,通过CNN分别提取原始EEG时空特征和小波变换时频谱时空特征,经Transformer捕获全局依赖,在三个公开数据集上取得优于十余种现有方法的脑电解码性能。
2024-09-05 cs.HC cs.LG cs.SY