SW-ProxyCE: Zero-Query Adversarial Transfer from Public EEG Encoders to Private Downstream Models
本文针对公开编码器与私有下游模型场景,提出无查询的任务感知攻击框架SW-ProxyCE,实验表明其生成的对抗样本可有效迁移至下游模型,且性能优于任务无关攻击。
2026-08-19 cs.LG
EEG-Based Inter-Patient Epileptic Seizure Detection Combining Domain Adversarial Training with CNN-BiLSTM Network
Graduate School of Advanced Science and Engineering, Hiroshima University(Hiroshima大学先进科学与工程研究生院);Department of Pediatric Neurology, Okayama University Hospital(Okayama大学医院儿科神经科)
针对癫痫EEG检测跨患者泛化差的问题,提出结合域对抗训练与CNN-BiLSTM的检测框架,通过域对抗提取患者不变特征、BiLSTM建模时间依赖,在20名局灶性癫痫患者数据上实现优于非对抗方法的跨患者检测性能。
2025-05-21 cs.LG eess.SP
White-Box Target Attack for EEG-Based BCI Regression Problems
Huazhong University of Science and Technology(华中科技大学);University of California San Diego(加州大学圣地亚哥分校)
机器学习在许多应用中取得了巨大的成功,包括基于脑电图(EEG)的脑机接口(BCI)。不幸的是,许多机器学习模型容易受到对抗性示例的影响,这些示例是通过向原始输入添加故意设计的扰动来制作的。针对分类问题提出了许多对抗性攻击方法,但很少有人考虑针对回归问题的目标对抗攻击。本文提出了两个这样的方法。更具体地说,我们考虑针对回归问题的白盒目标攻击,其中我们知道关于要攻击的回归模型的所有信息,并且希望设计小的扰动来将回归输出改变预定量。两个BCI回归问题的实验验证了这两种方法的有效性。此外,从这两种方法生成的对抗性示例也是可转移的,这意味着我们可以使用从一个已知回归模型生成的对抗性示例来攻击一个未知回归模型,即,进行黑盒攻击据我们所知,这是第一个基于EEG的BCI回归问题的对抗攻击的研究,这需要更多的关注BCI系统的安全性。
2019-11-07 cs.AI cs.CR cs.LG
PAT: Privacy-Preserving Adversarial Transfer for Accurate, Robust and Privacy-Preserving EEG Decoding
Hubei Key Laboratory of Brain-inspired Intelligent Systems, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院脑启发智能系统湖北省重点实验室);Shenzhen Huazhong University of Science and Technology Research Institute(深圳华中科技大学研究院);Zhongguancun Academy(中关村学院)
本文提出PAT框架,结合数据对齐、对抗训练和隐私保护迁移,提升EEG解码的准确性、鲁棒性和隐私保护,实验表明其在多个数据集上优于现有方法。
2026-04-11 cs.HC cs.LG eess.SP
Making Brain-Computer Interfaces More Secure
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
针对脑电图(EEG)脑机接口(BCI)易受对抗攻击的问题,提出轻量级卷积神经网络(CNN)架构,在梯度攻击下比EEGNet、DeepConvNet和SleepEEGNet等模型具有更好的分类鲁棒性。
2026-05-22 cs.CR cs.LG
GANSER: A Self-supervised Data Augmentation Framework for EEG-based Emotion Recognition
College of Computer Science and Software Engineering, Shenzhen University(深圳大学计算机与软件学院);Department of Computing, The Hong Kong Polytechnic University(香港理工大学电子计算学系)
基于脑电(EEG)的情感计算中的数据稀缺问题导致难以使用机器学习算法特别是深度学习模型来构建具有高精度和稳定性的有效模型。数据增强最近已经为深度学习模型实现了相当大的性能改进:提高了准确性、稳定性并减少了过度拟合。在本文中,我们提出了一种新的数据增强框架,即基于生成对抗网络的自监督数据增强(GANSER)。作为第一个将对抗训练与自监督学习相结合用于基于EEG的情感识别的框架,所提出的框架可以生成高质量和高多样性的模拟EEG样本。特别是,我们利用对抗训练来学习EEG生成器,并迫使生成的EEG信号近似真实样本的分布,确保增强样本的质量。变换函数被用来屏蔽部分EEG信号,并迫使发生器基于剩余部分来合成潜在的EEG信号,以产生各种各样的样本。在转换过程中的掩蔽可能性被引入作为先验知识,以指导提取可区分的特征的模拟EEG信号和推广的分类器的扩增的样本空间。最后,大量的实验表明,我们提出的方法可以帮助情感识别的性能增益,并取得了最先进的结果。
2021-09-08 cs.AI cs.HC cs.LG
EEG-Based Emotion Recognition Using Regularized Graph Neural Networks
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY)(南洋理工大学-不列颠哥伦比亚大学活跃老年生活卓越联合研究中心(LILY));Nanyang Technological University(南洋理工大学);Alibaba-NTU Singapore Joint Research Institute(阿里巴巴-南洋理工大学新加坡联合研究院);School of Computer Science and Engineering, Nanyang Technological University(南洋理工大学计算机科学与工程学院)
脑电图(EEG)通过电极测量大脑不同区域的神经元活动。现有的许多基于EEG的情感识别研究没有充分利用EEG通道的拓扑结构。在本文中,我们提出了一个正则化的图神经网络(RGNN)的EEG为基础的情感识别。RGNN考虑了不同脑区之间的生物拓扑结构,以捕获不同EEG通道之间的局部和全局关系。具体地说,我们通过一个图神经网络的邻接矩阵模型的EEG信号的通道间的关系,其中的连接和稀疏的邻接矩阵的灵感来自于人类大脑组织的神经科学理论。此外,我们提出了两个正则化器,即节点域对抗训练(NodeDAT)和情感感知分布学习(MixtionDL),以更好地处理跨主题EEG变化和噪声标签。在两个公共数据集,种子和种子-IV,广泛的实验表明,我们的模型比国家的最先进的模型在大多数实验设置的优越性能。此外,消融研究表明,建议的邻接矩阵和两个正则化贡献一致的和显着的增益,我们的RGNN模型的性能。最后,对神经元活动的研究揭示了基于EEG的情绪识别的重要脑区和通道间关系。
2020-05-13 cs.AI cs.CV cs.HC
Convolutional Neural Network Approach for EEG-based Emotion Recognition using Brain Connectivity and its Spatial Information
School of Integrated Technology, Yonsei University(延世大学融合技术学院)
基于脑电的情感识别作为实现以人为中心的服务的一种方式受到关注。然而,仍然有很大的改进空间,特别是在识别精度方面。在本文中,我们提出了一种新的深度学习方法,使用卷积神经网络(CNN)进行基于EEG的情感识别。特别是,我们采用了以前研究中未与深度学习模型一起使用的大脑连接特征,这些特征可以解释不同大脑区域的同步激活。此外,我们开发了一种方法来有效地捕捉不对称的大脑活动模式,情感识别是重要的。实验结果证实了我们的方法的有效性。
2018-09-12 cs.HC cs.LG
Adversarial Feature Learning in Brain Interfacing: An Experimental Study on Eliminating Drowsiness Effects
Northeastern University(东北大学);Oregon Health & Science University(俄勒冈健康与科学大学)
脑电(EEG)活动的跨记录和记录内变异性是基于EEG的脑机接口(BCI)的主要限制。具体而言,即使每天校准这些系统,在长EEG记录持续时间和BCI系统使用期间疲劳和警惕水平的逐渐变化也会带来BCI性能的显著波动。我们解决这个问题,在一个实验性的离线研究,从EEG为基础的BCI拼写使用数据采集一个小时的持续时间。作为我们方法论方法的主要部分,我们提出了BCI的对抗性不变特征学习的概念,作为最近扩展的EEG深度学习架构上的正则化方法,以学习滋扰不变的鉴别特征。我们通过使用时间记录块排序作为睡意变异性的来源,实证证明了对抗性特征学习在消除事件相关EEG活动特征的睡意影响方面的可行性。
2019-07-22 cs.HC cs.LG
A Two-Stage Efficient 3-D CNN Framework for EEG Based Emotion Recognition
University of California, Irvine(加州大学欧文分校)
本文提出了一种新的两阶段框架,情绪识别使用EEG数据,性能优于国家的最先进的模型,同时保持模型的大小小,计算效率。该框架由两个阶段组成;第一阶段涉及构建名为EEGNet的高效模型,该模型受到最先进的高效架构的启发,并采用包含深度可分离卷积层的反向残差块。在效价和唤醒标签上的EEGNet模型分别仅用6.4k、14 k和25 k参数就实现了90%、96.6%和99.5%的平均分类准确率。在准确性和存储成本方面,这些模型比以前的最先进结果高出9%。在第二阶段,我们将这些模型二进制化,以进一步压缩它们并将其轻松部署在边缘设备上。二进制神经网络(BNN)通常会降低模型的准确性。本文通过引入三种新的方法对EEGNet二值化模型进行改进,使其比基线二值化模型提高了20%。所提出的二值化EEGNet模型分别以0.11Mbits、0.28Mbits和0.46Mbits的存储成本实现了81%、95%和99%的准确率。这些模型有助于在边缘环境中部署精确的人类情感识别系统。
2022-07-26 cs.AI cs.HC cs.LG
EEGFuseNet: Hybrid Unsupervised Deep Feature Characterization and Fusion for High-Dimensional EEG with An Application to Emotion Recognition
Shenzhen University(深圳大学);Kyoto University(京都大学);Peng Cheng Laboratory(鹏城实验室);ATR Neural Information Analysis Laboratories(ATR神经信息分析实验室)
如何有效地从高维脑电信号中提取有效、可靠的特征,特别是如何将脑的时空动态信息融合到更好的特征表示中,是脑数据分析中的关键问题。目前的脑电研究大多采用任务驱动的方式,利用有监督的模型来探索有效的脑电特征,这在很大程度上会受到给定标签的限制。在本文中,我们提出了一个实用的混合无监督深度卷积递归生成对抗网络的EEG特征表征和融合模型,这被称为EEGFuseNet。EEGFuseNet以无监督的方式进行训练,并自动表征涵盖空间和时间动态的深层EEG特征。与现有特征相比,表征的深度EEG特征可以被认为是更通用的,并且独立于任何特定的EEG任务。EEGFuseNet提取的深度和低维特征的性能进行了仔细评估,在一个无监督的情感识别应用程序的基础上,三个公共情感数据库。实验结果表明,EEGFuseNet是一种鲁棒、可靠的模型,易于训练,能够有效地表示和融合动态脑电特征。特别是,EEGFuseNet被建立为一个最佳的无监督融合模型,具有良好的跨学科情感识别性能。实验证明,EEGFuseNet能够表征和融合不同情绪状态变化所对应的具有比较皮层动力学意义的深层特征,并证明了在纯无监督的情况下实现基于脑电的跨主体情绪识别的可能性。
2021-08-27 cs.HC cs.LG eess.SP
Progressive Graph Convolution Network for EEG Emotion Recognition
Xidian University(西安电子科技大学);Southeast University(东南大学);Beijing Institute of Mechanical Equipment(北京机械设备研究所)
神经科学领域的研究揭示了情绪模式与脑功能区之间的关系,表明不同脑区之间的动态关系是影响通过脑电图(EEG)确定的情绪识别的重要因素。此外,在EEG情感识别中,我们可以观察到,基于相同的EEG数据,粗粒度情感之间的边界比细粒度情感之间的边界更清晰;这表明大的粗粒度和小的细粒度情感变化的同时发生。因此,从粗到细粒度类别的渐进分类过程可能有助于EEG情感识别。因此,在这项研究中,我们提出了一个渐进的图形卷积网络(PGCN)的EEG情感信号中捕捉这一固有特性,并逐步学习的歧视性EEG功能。为了适应不同的EEG模式,我们构建了一个双图模块来表征不同EEG通道之间的内在关系,包含了神经科学研究中大脑区域的动态功能连接和静态空间邻近信息。此外,出于对粗粒度和细粒度情感之间关系的观察,我们采用了双头模块,使PGCN能够逐步学习更多的判别性EEG特征,从粗粒度(容易)到细粒度类别(困难),指的是情感的层次特征。为了验证我们的模型的性能,我们在两个公共数据集上进行了大量的实验:SEED-IV和多模态生理情感数据库(MPED)。
2021-12-14 cs.AI cs.CV cs.HC
Consumer-friendly EEG-based Emotion Recognition System: A Multi-scale Convolutional Neural Network Approach
VNU-HCM High School for the Gifted, Ho Chi Minh City, Vietnam School of Electrical \& Computer Engineering, Cornell University, USA
本研究提出一种多尺度卷积神经网络模型,利用多种比率系数和四脑区学习核,在现实情境下进行脑电情绪识别,并在效价、唤醒度和优势度预测上优于TSception模型。
2025-06-19 cs.AI cs.LG
Universal Adversarial Perturbations for CNN Classifiers in EEG-Based BCIs
Huazhong University of Science and Technology(华中科技大学);National University of Singapore(新加坡国立大学);Zhejiang Lab(之江实验室)
多卷积神经网络(CNN)分类器已被提出用于基于脑电图(EEG)的脑机接口(BCI)。然而,已经发现CNN模型容易受到通用对抗扰动(universal adversarial perturbations,UAP)的影响,UAP很小并且与示例无关,但是当添加到良性示例时,其强大到足以降低CNN模型的性能。本文提出了一种新的总损失最小化(TLM)的方法来生成基于EEG的BCI的UAP。实验结果表明,TLM的有效性对三个流行的CNN分类器的目标和非目标攻击。我们还验证了基于EEG的BCI系统中的可移植性的UAP。据我们所知,这是第一个研究的UAP的CNN分类器在基于EEG的脑机接口。UAP易于构建,并且可以实时攻击BCI,从而暴露BCI的潜在关键安全问题。
2021-06-24 cs.HC cs.LG eess.SP
Transformer Based Model for Spatiotemporal Feature Learning in EEG Emotion Recognition
Beijing Neurodeep Technology Co., Ltd(北京纽罗德普科技有限公司);University of Pennsylvania(宾夕法尼亚大学)
提出EEG-TransNet架构,通过局部自注意力块和模糊注意力同步Transformer捕捉脑电信号的时空特征,在三个数据集上优于现有方法。
2026-06-09 cs.AI cs.LG
EEG-based Emotion Style Transfer Network for Cross-dataset Emotion Recognition
Xidian University(西安电子科技大学);Beijing Institute of Mechanical Equipment(北京机械设备研究所);Southeast University(东南大学)
本文提出基于EEG的情感风格迁移网络E2STN,通过迁移模块、迁移评估模块和判别预测模块融合源域内容与目标域风格信息,生成风格化EEG表示,在跨数据集情感识别中取得最先进性能。
2023-08-09 cs.HC cs.LG eess.SP
Investigating EEG-Based Functional Connectivity Patterns for Multimodal Emotion Recognition
Shanghai Jiao Tong University(上海交通大学);Massachusetts General Hospital(麻省总医院);Harvard Medical School(哈佛医学院)
与运动脑机接口(BCI)的丰富研究相比,新近兴起的情感BCI面临着明显的挑战,因为涉及情感的脑功能连接网络尚未得到充分研究。以往基于脑电信号的情感识别研究主要依赖于基于单通道的特征提取方法。在本文中,我们提出了一种新的情感相关的关键子网络的选择算法,并研究了三个EEG功能连接网络的功能:强度,聚类系数和特征向量中心。在三个公开的情绪EEG数据集:SEED,SEED-V,和DEAP上评估了EEG连接特征在情绪识别中的区分能力。强度特征实现了最佳的分类性能,并且优于基于单通道分析的最新差分熵特征。实验结果表明,厌恶、恐惧、悲伤、快乐和中立这五种情绪都表现出不同的功能连接模式。此外,我们构建了一个多模态情感识别模型相结合的功能连接功能的特征,从脑电和眼动或生理信号的特征,使用深度典型相关分析。多模态情感识别的分类准确率在SEED数据集上为95.08/6.42%,在SEED-V数据集上为84.51/5.11%,在DEAP数据集上分别为85.34/2.90%和86.61/3.76%。结果表明,互补的表示特性的EEG连接功能与眼动数据。此外,我们发现,与62通道网络在多模态情感识别中实现了相当的性能与18通道构建的大脑网络,并使BCI系统在真实场景中更容易设置。
2020-04-04 cs.HC cs.LG
Adversarial Deep Learning in EEG Biometrics
Northeastern University(东北大学);Mitsubishi Electric Research Laboratories(三菱电机研究实验室)
用于基于脑电图(EEG)大脑活动的人员识别的深度学习方法遇到利用EEG内的时间相关结构或记录会话特定变化的问题。此外,最近的方法大多基于单次会话EEG数据进行训练和评估。我们从不变表示学习的角度来解决这个问题。我们提出了一种对抗性推理方法来扩展这种深度学习模型,以学习会话不变的个人区分表示,可以在纵向可用性方面提供鲁棒性。在深度卷积网络中使用对抗性学习,我们根据纵向收集的EEG数据对我们的方法进行了经验评估和改进,用于从半秒EEG时期进行人员识别。
2019-03-27 cs.LG eess.SP stat.ML
Inter Subject Emotion Recognition Using Spatio-Temporal Features From EEG Signal
Indian Institute of Information Technology, Allahabad(印度信息技术学院阿拉哈巴德分校)
提出一种基于EEGNet架构的跨被试情绪识别模型,结合CNN的常规、深度和可分离卷积层学习EEG时空特征,在DENS数据集上达到73.04%的准确率。
2023-05-27 cs.HC cs.LG eess.SP
Convolutional Neural Network and Adversarial Autoencoder in EEG images classification
Innopolis University(因诺波利斯大学)
本文结合计算机视觉与神经网络方法,用于手部运动期间大脑活动的分类。通过预处理EEG信号生成2DEEG图谱,并采用监督和半监督神经网络进行分类。
2026-04-05 cs.LG
Deep EEG Super-Resolution: Upsampling EEG Spatial Resolution with Generative Adversarial Networks
University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校)
针对脑电图设备通道越多成本越高的问题,提出基于生成对抗网络(GANs)的深度脑电图超分辨率方法,能从低分辨率样本生成高分辨率数据,在心理意象任务数据集上MSE和MAE较基线大幅降低,分类准确率损失极小,为提升低密度设备性能提供新途径。
2025-02-12 cs.LG
Continuous Silent Speech Recognition using EEG
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们探讨了连续无声语音识别使用脑电图(EEG)信号。我们实现了一个连接主义的时间分类(CTC)的自动语音识别(ASR)模型,以翻译并行记录的EEG信号,而受试者正在阅读英语句子在他们的脑海中,没有产生任何语音文本。我们的研究结果证明了利用脑电信号进行连续无声语音识别的可行性。我们证明了我们的结果,有限的英语词汇组成的30个独特的句子。
2020-05-04 cs.LG cs.SD eess.AS
EEGMatch: Learning with Incomplete Labels for Semi-Supervised EEG-based Cross-Subject Emotion Recognition
Shenzhen University(深圳大学);Guangdong Provincial Key Laboratory of Biomedical Measurements and Ultrasound Imaging(广东省生物医学测量与超声成像重点实验室);City University of Hong Kong(香港城市大学);Hong Kong Center for Cerebro-Cardiovascular Health Engineering(香港心脑血管健康工程中心)
针对EEG情绪识别中标签稀缺问题,提出半监督框架EEGMatch,结合EEG-Mixup数据增强、两步成对学习和多域自适应,在SEED和SEED-IV上取得优于现有方法的效果。
2024-08-30 cs.HC cs.LG eess.SP
Locally temporal-spatial pattern learning with graph attention mechanism for EEG-based emotion recognition
University of Shanghai for Science and Technology(上海理工大学)
情感识别技术使计算机能够将人类的情感状态分为离散的类别。然而,即使在短时间间隔内,情绪也可能波动而不是保持稳定状态。脑电的三维拓扑结构也给充分利用脑电的空间分布带来了困难。为了解决上述问题,我们提出了一个局部时空模式学习图注意网络(LTS-GAT)。在LTS-GAT中,基于图形注意机制,采用分而治之的策略来检测EEG模式的时间和空间维度上的局部信息。增加了一个动态域学习器,以提高对EEG统计的个体间变化的鲁棒性,从而在不同参与者之间学习鲁棒的EEG特征表示。我们评估了两个公共数据集的LTS-GAT情感计算研究下的个人依赖和独立的范式。通过与现有主流方法的比较,验证了LTS-GAT模型的有效性。此外,可视化的方法来说明不同的大脑区域和情绪识别的关系。同时,不同时间段的权重也被可视化,以研究情感稀疏性问题。
2022-08-19 cs.AI cs.CV cs.HC
GMSS: Graph-Based Multi-Task Self-Supervised Learning for EEG Emotion Recognition
Xidian University(西安电子科技大学);Southeast University(东南大学)
以往的脑电信号情感识别依赖于单任务学习,这可能导致过拟合和学习的情感特征缺乏泛化能力。提出了一种基于图的多任务自监督学习模型(GMSS)用于脑电情感识别。GMSS具有通过整合多个自我监督任务(包括空间和频率拼图任务以及对比学习任务)来学习更一般的表征的能力。通过同时从多个任务中学习,GMSS可以找到捕获所有任务的表示,从而减少原始任务上过拟合的机会,即,情绪识别任务特别是,空间拼图任务旨在捕捉不同大脑区域的内在空间关系。考虑到频率信息在脑电情感信号中的重要性,频率拼图任务的目标是探索脑电情感识别的关键频段。为了进一步规范学习的特征并鼓励网络学习固有的表示,在这项工作中采用了对比学习任务,将转换后的数据映射到一个公共的特征空间。建议GMSS的性能进行了比较,与几个流行的无监督和监督的方法。在SEED、SEED-IV和MPED数据集上的实验表明,该模型在学习更有鉴别力和通用性的脑电信号情感特征方面具有显著优势。
2022-04-12 cs.AI cs.LG eess.SP
Continuous Speech Recognition using EEG and Video
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们研究是否可以使用脑电(EEG)的功能,以提高连续视觉语音识别系统的性能。我们实现了一个连接主义的时间分类(CTC)为基础的端到端的自动语音识别(ASR)模型进行识别。我们的研究结果表明,脑电特征有助于提高连续视觉语音识别系统的性能。
2019-12-27 cs.LG eess.AS eess.IV
Common Spatial Generative Adversarial Networks based EEG Data Augmentation for Cross-Subject Brain-Computer Interface
Shien-Ming Wu School of Intelligent Engineering, South China University of Technology(华南理工大学吴贤铭智能工程学院)
基于脑电信号的脑机接口(BCI)的跨学科应用一直受到个体差异大、特征复杂难以感知的限制。因此,收集每个用户的训练数据用于校准需要花费很长时间。即使使用大量与受试者无关的数据进行预训练的迁移学习方法在没有足够的受试者特定数据的情况下也不能解码不同的EEG信号类别。因此,我们提出了一个跨学科的EEG分类框架,基于生成对抗网络(GANs)的方法称为公共空间GAN(CS-GAN),它使用生成器和神经元之间的对抗训练来获得高质量的数据进行增强。该方法采用一个特殊的模块来保持脑电信号的空间特征,并增加不同类别之间的差异,并有两个损失进一步增强。通过使用足够的增强数据进行自适应训练,我们的跨主题分类准确率比Leave-one Subject-Out(LOO)测试显著提高了15.85%,比BCI竞赛IV数据集2a上的100个原始样本提高了8.57%。此外,我们设计了一种基于卷积神经网络(CNN)的分类方法作为基准,采用类似的空间增强思想,对运动想象脑电数据进行分类,取得了显著的效果。总之,我们的框架提供了一个有前途的方法来处理跨学科的问题,促进BCI的实际应用。
2021-02-08 cs.AI cs.LG eess.SP
EEG-GAN: Generative adversarial networks for electroencephalograhic (EEG) brain signals
University of Freiburg(弗莱堡大学)
生成对抗网络(GANs)最近在涉及图像的生成应用中非常成功,并开始应用于时间序列数据。在这里,我们将EEG-GAN描述为生成脑电图(EEG)大脑信号的框架。我们对Wasserstein GANs的改进训练进行了修改,以稳定训练并研究一系列对时间序列生成至关重要的架构选择(最明显的是上采样和下采样)。为了进行评估,我们考虑并比较了不同的指标,如Inception评分,Frechet inception距离和切片Wasserstein距离,共同表明我们的EEG-GAN框架生成了自然的EEG示例。因此,它在神经科学和神经学背景下开辟了一系列新的生成应用场景,例如脑机接口任务中的数据增强,EEG超采样或损坏数据段的恢复。产生特定类别和/或具有特定属性的信号的可能性也可能为研究大脑信号的潜在结构开辟新的途径。
2018-06-05 cs.LG eess.SP q-bio.NC
NeuroPriv: Adversarial Representation Learning for Privacy in Wearable EEG Systems
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
该研究针对可穿戴EEG系统的神经隐私风险,以EEGMAT为案例,提出隐私感知表示学习方法,在维持认知任务性能的同时降低了敏感属性的推理准确率。
2026-09-02 cs.CR cs.HC cs.LG
Understanding effect of speech perception in EEG based speech recognition systems
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
与语音并行记录的脑电(EEG)信号用于执行孤立和连续语音识别。在说话过程中,一个人也听到他或她自己的语音,这种语音感知也反映在记录的EEG信号中。在本文中,我们研究是否有可能分离出这个语音感知分量从EEG信号,以设计更强大的EEG为基础的语音识别系统。我们进一步证明了预测EEG信号记录在平行与被动听力,反之亦然,非常低的归一化根均方误差(RMSE)从EEG信号记录在平行说话。最后,我们使用与听、说并行记录的EEG信号演示了孤立和连续语音识别,并使用他们的数据集改进了作者在[1]中演示的先前的连接主义时间分类(CTC)模型结果。
2020-05-29 cs.LG cs.SD eess.AS
Contrastive Learning of Subject-Invariant EEG Representations for Cross-Subject Emotion Recognition
Tsinghua University(清华大学);Sichuan University(四川大学)
近年来,脑电信号被报道用于情感识别是信息丰富和可靠的。然而,情绪相关脑电信号的个体间差异性仍然对基于脑电信号的情绪识别的实际应用提出了很大的挑战。受近年来神经科学对主体间关联研究的启发,本文提出了一种基于对比学习的主体间对齐方法(CLISA)来解决跨主体情感识别问题。采用对比学习,通过最大化受试者之间的EEG信号表征的相似性,当他们接收到相同的情绪刺激时,与不同的情绪刺激相比,最大限度地减少受试者之间的差异。具体而言,卷积神经网络被应用于从对比学习中的EEG时间序列学习受试者间对齐的时空表示。对齐的表示随后用于提取差分熵特征用于情感分类。CLISA在我们的THU-EP数据集(80名受试者)和公开的SEED数据集(15名受试者)上实现了最先进的跨学科情感识别性能。它可以推广到测试中看不见的主题或看不见的情感刺激。此外,CLISA学习的时空表征可以为人类情绪处理的神经机制提供见解。
2022-04-06 cs.HC cs.LG eess.SP
DAGAM: A Domain Adversarial Graph Attention Model for Subject Independent EEG-Based Emotion Recognition
Northwestern Polytechnic University(西北工业大学);Shaanxi Normal University(陕西师范大学)
基于脑电信号的情感识别面临的最大挑战之一是脑电信号的跨学科变化,导致性能和泛化能力差。本文提出了一种新的基于EEG的情感识别模型,称为域对抗图注意力模型(DAGAM)。其基本思想是生成一个图形来模拟多通道EEG信号,使用生物拓扑结构。图论可以拓扑地描述和分析脑电通道之间的关系和相互依赖性。然后,与其他图卷积网络不同,自注意力池被应用于从图中提取显著的EEG特征,这有效地提高了性能。最后,在图池化之后,基于图的领域对抗算法被用于识别和处理不同受试者的脑电变化,有效地达到了良好的泛化能力。我们对两个基准数据集(SEED和SEED IV)进行了广泛的评估,并在独立于主体的情感识别方面获得了最先进的结果。我们的模型将SEED准确度提高到92.59%(提高4.69%),最低标准偏差为3.21%(下降2.92%),SEED IV准确度提高到80.74%(提高6.90%),最低标准偏差为4.14%(下降3.88%)。
2022-02-27 cs.LG eess.SP
Improving EEG based continuous speech recognition using GAN
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们证明了它是可能的,以产生更有意义的脑电图(EEG)的原始特征使用生成对抗网络(GAN),以提高基于EEG的连续语音识别系统的性能。我们改进了作者在[1]中证明的结果,对于某些测试时间实验,我们使用他们的数据集,对于其他情况,我们的结果与他们的结果相当。我们提出的方法可以在不使用任何附加传感器信息的情况下实现,而在[1]中,作者使用了声学或发音信息等附加特征来提高基于EEG的连续语音识别系统的性能。
2020-05-29 cs.LG cs.SD eess.AS
An amplitudes-perturbation data augmentation method in convolutional neural networks for EEG decoding
Beihang University(北京航空航天大学)
脑-机接口(BCI)系统通过分析包含潜在神经信息的脑信号,提供了一条连接人与外界的通道。脑电信号是最常用的脑电信号之一,脑电信号识别是脑机接口系统的重要组成部分。最近,深度学习中的卷积神经网络(ConvNet)正在成为解决EEG识别问题的新的前沿工具。然而,训练有效的深度学习模型需要大量的数据,这限制了具有少量样本的EEG数据集的应用。为了解决深度学习在脑电解码中数据不足的问题,提出了一种新的数据增强方法,该方法将脑电信号转换到频域后,对脑电信号的幅度进行扰动。在实验中,我们探索了在BCI竞赛IV数据集2a和我们的本地数据集上进行数据增强之前和之后,使用最先进的模型进行信号识别的性能。实验结果表明,本文提出的数据增强技术可以有效地提高脑电识别的准确率。
2018-11-06 cs.HC cs.LG eess.SP
SFE-Net: EEG-based Emotion Recognition with Symmetrical Spatial Feature Extraction
University of Electronic Science and Technology of China(电子科技大学)
基于脑电信号的情感识别在人机交互、远程教育和医疗保健等领域有着广泛的应用。然而,传统的方法忽略了相邻和对称的特征,脑电信号,其中也包含了显着的信息有关的情绪。本文提出了一种空间折叠集成网络(SFE-Net)用于脑电特征提取和情感识别。首先,针对脑电电极间的未检测区域,提出了一种改进的Bicubic-EEG插值算法,用于脑电通道信息的补齐,使我们能够提取更大范围的相邻空间特征。然后,根据人脑空间对称性的特点,采用5种不同的对称策略对输入脑电信号通道数据进行折叠,使网络能够更有效地提取脑电信号的空间特征信息。最后,一个基于3DCNN的空间,时间提取,集成学习的多投票策略集成到一个新的神经网络模型。利用该网络,可以同时提取不同对称折叠信号的空间特征,大大提高了情感识别的鲁棒性和准确性。在DEAP和SEED数据集上的实验结果表明,该算法在识别精度方面具有相当的性能。
2021-08-27 cs.LG eess.SP
Interpretable SincNet-based Deep Learning for Emotion Recognition from EEG brain activity
University of Trento(特伦托大学);Mila - Quebec Artifical Intelligence Institute(Mila -魁北克人工智能研究所);StonyBrook University(石溪大学)
机器学习方法,如深度学习,在医疗领域显示出有希望的结果。然而,这些算法缺乏可解释性可能会阻碍其适用于医疗决策支持系统。本文研究了一种可解释的深度学习技术,称为SincNet。SincNet是一个卷积神经网络,通过可训练的sinc-function有效地学习定制的带通滤波器。在这项研究中,我们使用SincNet来分析自闭症谱系障碍(ASD)患者的神经活动,他们在神经振荡活动中经历了特征性差异。特别是,我们提出了一种新的SincNet为基础的神经网络检测情感ASD患者使用EEG信号。可以很容易地检查学习的滤波器,以检测EEG频谱的哪一部分用于预测情绪。我们发现,我们的系统自动学习高$α$(9-13 Hz)和$β$(13-30 Hz)频带抑制通常存在于ASD患者中。这一结果与最近关于情绪识别的神经科学研究相一致,该研究发现这些带状supply-and-behavioral deficits与ASD患者的行为缺陷之间存在关联。在不牺牲情感识别性能的情况下,实现了SincNet的可解释性改进。
2021-07-18 cs.AI cs.HC cs.LG
Focused State Recognition Using EEG with Eye Movement-Assisted Annotation
Shanghai Jiao Tong University(上海交通大学);RuiJin Hospital, Shanghai Jiao Tong University School of Medicine(上海交通大学医学院附属瑞金医院)
本研究提出一种结合EEG特征与眼动双眼聚焦点视差的专注状态标注方法,构建含EEG特征和眼动标注标签的数据集,基于Transformer等模型实现受试者依赖实验90.16%准确率,验证了方法的泛化性与生理合理性。
2024-06-15 cs.HC cs.LG
4D Attention-based Neural Network for EEG Emotion Recognition
Peking University(北京大学);Beijing Jiaotong University(北京交通大学)
脑电情感识别是脑机接口领域的一个重要课题。尽管近年来提出了许多深度学习方法,但如何充分利用脑电信号不同域所包含的信息仍然是一个挑战。在本文中,我们提出了一种新的方法,称为四维注意力为基础的神经网络(4D-aNN)的EEG情绪识别。首先,原始EEG信号被转换成4D空间-频谱-时间表示。然后,采用频谱和空间注意力机制自适应地分配不同脑区和频带的权重,并利用卷积神经网络(CNN)处理4D表示的频谱和空间信息。此外,时间注意力机制被集成到双向长短期记忆(LSTM)中,以探索4D表示的时间依赖性。我们的模型在主题内分裂的SEED数据集上实现了最先进的性能。实验结果表明了不同领域的注意力机制对脑电情感识别的有效性。
2021-01-14 cs.LG
MS-MDA: Multisource Marginal Distribution Adaptation for Cross-subject and Cross-session EEG Emotion Recognition
HwaMei Hospital, University of Chinese Academy of Sciences(中国科学院大学华美医院);Ningbo Institute of Life and Health Industry, University of Chinese Academy of Sciences(中国科学院大学宁波生命与健康产业研究院);Anhui University(安徽大学);Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所)
作为精神疾病诊断和康复的重要手段,基于脑电的情绪识别以其高精度和高可靠性而取得了重大进展。然而,实用性的一个障碍在于主题和会议之间的可变性。虽然已有一些研究采用领域自适应(DA)方法来解决这一问题,但大多数研究都将来自不同受试者和会话的多个EEG数据一起作为单个源域进行传输,这要么不能满足领域自适应关于源具有一定边缘分布的假设,要么增加了自适应的难度。因此,我们提出了多源边缘分布自适应(MS-MDA)的EEG情感识别,它同时考虑域不变和域特定的功能。首先,假设不同的脑电数据具有相同的低层特征,然后对多个脑电数据源域构造独立的分支,采用一对一的领域自适应方法,提取特定领域的特征。最后,通过多个分支进行推理。我们评估我们的方法种子和种子-IV识别三种和四种情绪,分别。实验结果表明,MS-MDA优于比较方法和国家的最先进的模型在跨会话和跨学科的传输场景在我们的设置。https://github.com/VoiceBeer/MS-MDA上的代码。
2021-07-16 cs.AI cs.LG
Improving EEG-based Emotion Recognition by Fusing Time-frequency And Spatial Representations
Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
使用深度学习方法对脑电信号进行分类,可以准确识别人的情绪。然而,现有的研究很少考虑在另一个域的表示,在时间-频率域的特征选择的信息的应用。提出了一种基于跨域特征融合方法的脑电信号分类网络,利用多域注意机制,使网络更加集中于与大脑活动和思维变化最相关的特征。此外,我们还提出了一种两步融合的方法,并将这些方法应用到脑电情感识别网络中。实验结果表明,我们提出的网络,它结合了在时间-频率域和空间域的多种表示,在公共数据集上优于以前的方法,并达到目前最先进的。
2023-03-14 cs.AI cs.LG eess.SP
EEG based Emotion Recognition: A Tutorial and Review
Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院));Zhengzhou University of Light Industry(郑州轻工业大学);Nanjing University(南京大学);Aalto University(阿尔托大学);Beijing Institute of Technology(北京理工大学)
通过分析脑电信号的情感识别技术是目前人工智能领域的一个重要概念,在情感保健、人机交互、多媒体内容推荐等方面具有巨大的潜力。虽然已经有一些工作致力于回顾基于脑电信号的情感识别,但这些评论的内容需要更新。此外,这些作品要么内容零散,要么只关注该领域采用的具体技术,而忽视了对整个技术路线的整体视角。因此,在本文中,我们从研究者的角度进行回顾,试图在这个话题上迈出第一步。本文回顾了近年来基于脑电信号的情绪识别研究的代表性成果,并提供了一个指导研究者从头开始的教程。介绍了基于脑电信号的情绪识别在心理和生理层面上的科学依据。此外,我们将这些评论的作品分为不同的技术路线,并说明了理论基础和研究动机,这将有助于读者更好地理解为什么这些技术的研究和使用。最后,本文还讨论了现有的挑战和未来的研究,这将指导研究人员确定潜在的未来研究方向。
2022-03-16 cs.AI cs.LG eess.SP
Mind's Eye: Image Recognition by EEG via Multimodal Similarity-Keeping Contrastive Learning
National Yang Ming Chiao Tung University(国立阳明交通大学)
本文提出多模态保相似性对比学习(MUSE)框架,通过定制多元时间序列编码器和正则化对比EEG-Image预训练,解决零样本EEG图像分类问题,在200路分类中达到SOTA,并揭示了人脑视觉处理动态。
2024-06-05 cs.AI cs.HC cs.LG
Speech Recognition using EEG signals recorded using dry electrodes
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们使用干电极获得的脑电图(EEG)信号,使用深度学习模型对由三个元音和一个单词组成的有限英语词汇进行语音识别。我们证明了一个测试的准确率为79.07%的子集词汇组成的两个英语元音。我们的研究结果表明,使用干电极记录的EEG信号执行语音识别的任务的可行性。
2020-08-13 cs.LG cs.SD eess.AS
Spatial-Temporal Transformer with Curriculum Learning for EEG-Based Emotion Recognition
Beihang University(北京航空航天大学);SKLCCSE(复杂与关键软件环境国家重点实验室);Beijing University of Technology(北京理工大学)
本文提出SST-CL框架,将时空Transformer与强度感知课程学习相结合,用于解决脑电情绪识别中时空模式整合与情绪强度变化适应问题,并在三个基准数据集上取得最优性能。
2025-08-19 cs.AI cs.HC cs.LG
Constrained Variational Autoencoder for improving EEG based Speech Recognition Systems
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
为了提高基于脑电的语音识别系统的性能,本文提出了一种基于递归神经网络(RNN)的变分自编码器(VAE)模型,该模型引入了一种新的约束损失函数,可以从原始脑电特征中产生更有意义的脑电特征。我们表明,连续和孤立的语音识别系统的训练和测试,使用原始EEG功能,使用我们的VAE模型产生的EEG功能,提高了性能,我们证明了我们的结果为一个有限的英语词汇组成的30个独特的句子连续语音识别和英语词汇组成的2个独特的句子孤立的语音识别。我们将我们的方法与作者在[1]中描述的另一种最近引入的方法进行比较,以提高基于EEG的连续语音识别系统的性能,并且我们证明,当使用相同的数据集进行训练和测试时,随着词汇量的增加,我们的方法优于他们的方法。即使我们证明的结果仅为自动语音识别(ASR)的实验在本文中,建议的VAE模型与约束损失函数可以扩展到各种其他基于EEG的脑机接口(BCI)的应用。
2020-06-01 cs.LG cs.SD eess.AS
Emotion Recognition with Machine Learning Using EEG Signals
Texas Tech University(德克萨斯理工大学);University of Tabriz(大不里士大学);Iran University of Medical Sciences(伊朗医科大学)
在本研究中,我们利用脑电讯号,发展出一个以情绪/唤醒模式为基础的情绪辨识系统。利用离散小波变换(DWT)将脑电信号分解为γ、β、α和θ频段,并从每个频段提取谱特征。主成分分析(PCA)被应用到提取的特征,通过保持相同的维数,作为一种变换,使特征互不相关。采用支持向量机、K-近邻法和人工神经网络对情绪状态进行分类。交叉验证的SVM与径向基函数(RBF)内核使用提取的10个EEG通道的特征,执行与91.3%的准确性唤醒和91.1%的准确性效价,都在β频段。我们的方法表现出更好的性能相比,现有的算法应用于“DEAP”数据集。
2019-06-01 cs.HC cs.LG stat.ML
CMCRD: Cross-Modal Contrastive Representation Distillation for Emotion Recognition
Key Laboratory of Image Processing and Intelligent Control, Ministry of Education, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(图像处理与智能控制重点实验室、教育部、自动化学院、华中科技大学);Wuhan Institute of Digital Engineering(武汉数字工程研究所);Shanghai Jiao Tong University(上海交通大学)
CMCRD通过跨模态对比表示蒸馏提升情绪识别准确性,减少多模态数据需求,实验表明在EEG和眼动数据间相互辅助训练可提高分类准确率约6.2%。
2025-04-12 cs.HC cs.LG
Weight-based Channel-model Matrix Framework provides a reasonable solution for EEG-based cross-dataset emotion recognition
Lanzhou University(兰州大学);Beijing Institute of Technology(北京理工大学);Inner Mongolia University(内蒙古大学);Shandong Academy of Intelligent Computing Technology(山东智能计算技术研究院);Chinese Academy of Sciences(中国科学院)
跨数据集情感识别是基于脑电信号的情感计算领域中一个极具挑战性的任务,它受到多种因素的影响,使得通用模型的识别效果不理想。针对脑电信息解码研究缺乏的现状,首先在5个公开数据集上,通过样本空间可视化、样本聚集现象量化和能量模式分析,分析了不同脑电信息(个体、会话、情绪和试验)对情绪识别的影响。基于这些现象和模式,我们提供了各种脑电差异的处理方法和解释工作。通过对情绪特征分布模式的分析,发现个体情绪特征分布差异(IEFDD)是影响情绪识别稳定性的主要因素。分析了传统建模方法受IEFDD影响的局限性,提出了基于权重的通道模型矩阵框架(WCMF)。为合理表征情感特征分布模式,设计了4种权重提取方法,其中校正T检验(CT)权重提取方法效果最佳。最后,通过模拟不同实际场景的两类跨数据集任务验证了WCMF的性能,结果表明WCMF具有更稳定、更好的情感识别能力。
2022-11-04 cs.AI cs.LG eess.SP
EEG based Continuous Speech Recognition using Transformers
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
在本文中,我们研究连续语音识别使用脑电图(EEG)的功能,使用最近推出的端到端的Transformer为基础的自动语音识别(ASR)模型。我们的研究结果表明,基于Transformer的模型表现出更快的训练相比,基于递归神经网络(RNN)的序列到序列EEG模型和更好的性能在推理时间较小的测试集词汇,但随着我们增加的词汇量,基于RNN的模型的性能优于基于Transformer的模型在有限的英语词汇。
2020-05-05 cs.LG cs.SD eess.AS
A Supervised Information Enhanced Multi-Granularity Contrastive Learning Framework for EEG Based Emotion Recognition
Key Laboratory of Computing Power Network and Information Security, Ministry of Education, Shandong Computer Science Center (National Supercomputer Center in Jinan), Qilu University of Technology (Shandong Academy of Sciences)(齐鲁工业大学(山东省科学院)山东省计算中心(国家超级计算济南中心)算力网络与信息安全教育部重点实验室);Shandong Provincial Key Laboratory of Computer Networks, Shandong Fundamental Research Center for Computer Science(山东省计算机网络重点实验室、山东省计算机科学基础研究中心);Institute of Engineering Medicine, Beijing Institute of Technology(北京理工大学医学工程学院)
本研究提出用于EEG情绪识别的监督信息增强多粒度对比学习框架SICLEER,结合自监督对比损失与监督分类损失优化表征,在SEED数据集上准确率优于现有方法,并验证了额中、颞脑区EEG的重要性。
2024-05-12 cs.AI cs.LG eess.SP
ArEEG_Words: Dataset for Envisioned Speech Recognition using EEG for Arabic Words
Arab International University(阿拉伯国际大学)
针对阿拉伯语等非英语语言缺乏公开脑电图数据集的问题,本文提出ArEEG_Words数据集,记录22名参与者想象16个阿拉伯语单词时的脑电信号,填补了阿拉伯语脑电研究空白。
2024-11-28 cs.AI cs.CL cs.HC
Local-Global Feature Fusion for Subject-Independent EEG Emotion Recognition
Computer Science and Technology(计算机科学与技术);Beijing Jiaotong University(北京交通大学);Applied Computer Science(应用计算机科学);The University of Winnipeg(温尼伯大学)
本文提出局部-全局特征融合框架,通过双分支Transformer提升EEG情绪识别的跨受试者泛化能力,实现7类情绪识别约40%的准确率。
2026-01-13 cs.AI cs.LG
Modeling EEG data distribution with a Wasserstein Generative Adversarial Network to predict RSVP Events
The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);University of California, San Diego(加利福尼亚大学圣迭戈分校)
由于复杂的实验设置和长时间佩戴的舒适度降低,难以获得脑电图(EEG)数据。这对利用有限的EEG数据训练强大的深度学习模型提出了挑战。能够通过计算生成EEG数据可以解决这一限制。我们提出了一种新的Wasserstein生成对抗网络与梯度惩罚(WGAN-GP)合成EEG数据。该网络解决了模拟时间序列EEG数据的几个建模挑战,包括频率伪影和训练不稳定性。我们进一步将该网络扩展到一个类条件变体,该变体还包括一个分类分支来执行事件相关分类。我们训练所提出的网络生成一个和64个通道的数据,类似于在快速串行视觉呈现(RSVP)实验中经常看到的EEG信号,并证明了所生成的样本的有效性。我们还测试了主题内跨会话分类性能,用于分类RSVP目标事件,并表明类条件WGAN-GP可以在EEGNet上实现更好的事件分类性能。
2020-07-01 cs.LG eess.IV stat.AP
Generating Visual Stimuli from EEG Recordings using Transformer-encoder based EEG encoder and GAN
School of Computing & Electrical Engineering, IIT Mandi(印度理工学院曼迪分校计算与电气工程学院)
本研究提出一种基于Transformer编码器的EEG编码器与GAN相结合的框架,利用受试者观看图像时的EEG记录重建不同物体类别的图像,并通过对抗损失和感知损失提升生成质量。
2024-11-20 cs.AI cs.LG eess.SP