Continuous use of ERP-based BCIs with different visual angles in ALS patients
目的:肌萎缩侧索硬化症(ALS)是一种罕见的疾病,但也是最常见的运动神经元疾病之一,所有种族和民族背景的人都会受到影响。目前没有治愈方法。脑机接口(BCI)可以通过识别反映用户意图的大脑活动来直接在大脑和外部设备之间建立通信信道。因此,这项技术可以帮助ALS患者通过基于BCI的拼写系统和运动辅助设备促进功能独立。研究方法:本文对18名ALS患者进行了两种基于ERP的拼写系统的测试:(1)评估他们连续在线拼写42个字符时的表现;以及(2)比较基于矩阵的拼写器范例之间的性能(MS-P,平均视角6度)和使用较大视角的新拼写者范例,称为大视角拼写者范例(LS-P,平均视角8度)。结果如下:结果表明,尽管两种范式在连续使用的准确性趋势上没有显著差异(p>0.05),但LS-P条件下的疲劳显著低于MS-P条件下的疲劳(p<0.05)。结果还表明,连续使用略有降低这种基于ERP的BCI的性能。结论:15名受试者在两种范式中的一种中获得了高于80%的反馈准确度(在线输出准确度),9名受试者获得了高于90%的反馈准确度,从而验证了本研究中的BCI方法。意义:本研究中的大多数ALS受试者在连续使用基于ERP的BCI后可以有效拼写。新的LS-P显示器可能更容易让受试者使用,从而降低疲劳。
2017-06-28 cs.HC q-bio.NC
Psychophysical Responses Comparison in Spatial Visual, Audiovisual, and Auditory BCI-Spelling Paradigms
本文介绍了一个试点研究进行了空间视觉,视听和听觉脑机接口(BCI)为基础的拼写范例。心理物理实验是对健康受试者进行的,以评估难度和可能的反应准确性变化。我们还提出了初步的EEG结果离线BCI模式。所获得的结果验证了一个论点,即空间听觉只有范式表现得像传统的视觉和视听拼写BCI任务。
2012-10-10 cs.HC q-bio.NC
ChatBCI: A P300 Speller BCI Leveraging Large Language Models for Improved Sentence Composition in Realistic Scenarios
Integrated Systems and NeuroImaging Laboratory(集成系统与神经成像实验室);Department of Electrical and Computer Engineering, Rutgers University(电气与计算机工程系,罗格斯大学)
ChatBCI利用大语言模型提升真实场景中句子组成的效率和效果。
2024-11-23 cs.AI cs.CL cs.HC
An Innovative Brain-Computer Interface Interaction System Based on the Large Language Model
针对现有BCI功能单一、多语言支持弱和智能化不足的问题,本文将SSVEP拼写器与LLM API集成,实现自然语言输入、范式动态生成、个性化界面及多场景控制。
2025-02-18 cs.HC
Effects of Feedback Latency on P300-based Brain-computer Interface
当使用基于感觉运动节律的脑机接口(BCI)时,反馈已被证明会影响性能。相比之下,很少有人知道反馈对P300为基础的脑机接口的影响。反馈是否会影响P300的调节,从而影响基于P300的脑机接口的操作,这仍然是一个悬而未决的问题。在本文中,第一次,反馈的P300为基础的BCI拼写任务的影响进行了系统的评估。为此,24名健康的参与者进行了经典的基于P300的BCI拼写任务,而只有一半的人得到了反馈。重要的是,每封信的闪烁次数定期减少,以增加提供反馈的频率。实验结果表明,反馈可以显着提高基于P300的BCI拼写器的性能,如果它是在短的时间间隔提供(例如,在序列短至4至6闪烁每行/列)。此外,我们的离线分析表明,提供反馈显着增强相关的ERP模式和衰减不相关的ERP模式,使目标和非目标EEG试验之间的区分增加。
2015-10-25 cs.HC q-bio.NC
Head-related Impulse Response-based Spatial Auditory Brain-computer Interface
本研究提供了一个全面的测试头相关脉冲响应(HRIR)的听觉空间拼写脑机接口(BCI)的范例,包括与传统的虚拟耳机为基础的空间听觉模态的比较。五个BCI-幼稚的用户参加了一个实验的基础上,五个日本元音。在在线脑机接口实验中,所获得的听觉诱发电位产生了非常好和稳定的P300反应。我们的案例研究表明,听觉HRIR空间声音的耳机再现范例可能是一个可行的替代建立多扬声器环绕声BCI拼写应用。
2014-04-15 cs.HC q-bio.NC
Two-step Input Spatial Auditory BCI for Japanese Kana Characters
我们提出了一个听觉刺激优化和试点研究的两步输入拼写应用程序结合空间听觉脑机接口(saBCI)瘫痪的用户。该应用程序已经开发了45个,48个定义了全套,日本假名字符在一个易于使用的BCI拼写界面的两步输入程序设置。用户首先选择子集的代表字母,定义第二步。第二步,做出最后的选择。在每一个接口步骤中,选择被分类的基础上的P300事件相关电位(ERP)的EEG中捕获的反应,在经典的oddball范例。初步研究的BCI在线实验和EEG反应分类结果证实了所提出的拼写方法的有效性。
2015-03-10 cs.HC q-bio.NC
Auditory Brain-Computer Interface Paradigm with Head Related Impulse Response-based Spatial Cues
本研究的目的是提供一个全面的测试头相关脉冲响应(HRIR)的听觉空间拼写脑机接口(BCI)范式。这项研究进行了六个用户在一个实验设置的基础上,五个日本平假名元音。在真实世界的在线BCI实验中,听觉诱发电位产生了非常好和稳定的“aha-”或P300反应。我们的案例研究表明,听觉HRIR空间声音再现范例可能是一个可行的替代方案,建立多扬声器环绕声BCI拼写应用程序,至于健康的试点研究用户而言。
2013-12-15 cs.HC q-bio.NC
Towards gaze-independent c-VEP BCI: A pilot study
Donders Institute, Radboud University(拉德堡德大学唐德斯研究所)
本研究针对无法控制眼球运动的BCI用户,首次提出基于c-VEP的独立于注视拼写器,通过外显与内隐空间注意力解码EEG,分别取得88%和100%的准确率,验证了该协议的可行性。
2024-05-17 cs.HC cs.LG
Adaptive Stimulus Selection in ERP-Based Brain-Computer Interfaces by Maximizing Expected Discrimination Gain
脑机接口(BCI)可以为患有严重神经肌肉限制的个体提供另一种通信方式。基于P300的BCI拼写器依赖于诱发和检测脑电图(EEG)数据中的瞬时事件相关电位(ERP),以响应用户关注一系列非目标刺激中很少出现的目标刺激。然而,在大多数P300拼写器实现中,要呈现的刺激是从有限的选项集合中随机选择的,并且刺激选择和呈现不是基于先前的用户数据来优化的。在这项工作中,我们提出了一个数据驱动的方法,刺激选择的基础上预期的歧视增益度量。数据驱动的方法基于先前观察到的刺激响应来选择刺激,目的是选择一组刺激,这组刺激将提供关于用户的预期目标角色的最多信息。我们的方法结合了由于实时BCI实施的生理和系统约束的知识。模拟进行比较,我们的刺激选择方法的行列范式,传统的刺激选择方法的P300拼写。模拟结果表明,我们的自适应刺激选择方法有可能显着提高性能从传统的方法:高达34%的准确性和43%的平均数量的刺激介绍减少拼写字符在72个字符的网格。此外,我们的贪婪的刺激选择方法提供了灵活性,以适应设计约束。
2017-07-03 cs.HC q-bio.NC
Adversarial Feature Learning in Brain Interfacing: An Experimental Study on Eliminating Drowsiness Effects
Northeastern University(东北大学);Oregon Health & Science University(俄勒冈健康与科学大学)
脑电(EEG)活动的跨记录和记录内变异性是基于EEG的脑机接口(BCI)的主要限制。具体而言,即使每天校准这些系统,在长EEG记录持续时间和BCI系统使用期间疲劳和警惕水平的逐渐变化也会带来BCI性能的显著波动。我们解决这个问题,在一个实验性的离线研究,从EEG为基础的BCI拼写使用数据采集一个小时的持续时间。作为我们方法论方法的主要部分,我们提出了BCI的对抗性不变特征学习的概念,作为最近扩展的EEG深度学习架构上的正则化方法,以学习滋扰不变的鉴别特征。我们通过使用时间记录块排序作为睡意变异性的来源,实证证明了对抗性特征学习在消除事件相关EEG活动特征的睡意影响方面的可行性。
2019-07-22 cs.HC cs.LG
Comparison of an open-hardware electroencephalography amplifier with medical grade device in brain-computer interface applications
脑机接口(Brain-computer interface,BCI)是一种很有前途的人机通信设备。基于非侵入性神经成像技术如脑电图(EEG)的脑机接口有许多应用,然而该技术的传播是有限的,部分原因是硬件的价格。在本文中,我们并排比较两个EEG放大器,消费级OpenBCI和医疗级g.tec g. USBamp。为此,我们采用了一个原始的蒙太奇,基于同一组电极的同时记录。进行了两组记录。在第一个实验中,使用了一个简单的适配器,在放大器和电极之间直接连接。然后,在第二个实验中,我们试图通过在适配器中添加“理想”二极管来消除一个放大器可能对另一个放大器造成的任何干扰。频谱和时间的功能进行了测试-前者与工作量监测任务,后者与视觉P300拼写任务。总体而言,结果表明OpenBCI板-或基于德州仪器ADS 1299芯片的类似解决方案-可能是传统EEG设备的有效替代品。尽管医疗级设备仍然优于OpenBCI,但后者给出了非常接近的EEG读数,从而在实践中实现了可能适合推广BCI使用的分类准确性。
2016-06-08 cs.HC
End-to-end P300 BCI using Bayesian accumulation of Riemannian probabilities
Foxstream(Foxstream公司);Université Paris-Saclay(巴黎萨克雷大学);UVSQ(凡尔赛大学)
在脑机接口(BCI)中,基于事件相关电位(ERP)的P300检测方法主要针对拼写任务的单次分类。虽然这是一个重要的目标,但现有的P300 BCI仍然需要多次重复才能实现正确的分类精度。P300 BCI中的信号处理和机器学习进展主要围绕P300检测部分,而将字符分类排除在范围之外。为了减少重复的次数,同时保持良好的字符分类,关键是要接受完整的分类问题。我们引入了一个端到端的管道,从特征提取开始,由使用概率黎曼MDM的ERP级分类组成,该概率黎曼MDM使用贝叶斯累积试验的置信度来提供字符级分类。虽然现有的方法只在字符闪烁时增加字符的置信度,但我们的新管道称为黎曼概率的贝叶斯累积(ASAP),在每次闪烁后更新每个字符的置信度。我们提供了适当的推导和理论重构的贝叶斯方法的信息从信号到BCI字符的无缝处理。我们证明了我们的方法在公共P300数据集上的表现明显优于标准方法。
2022-11-15 cs.HC cs.LG eess.SP
An Active RBSE Framework to Generate Optimal Stimulus Sequences in a BCI for Spelling
一类脑机接口(BCI)采用脑电图(EEG)信号的非侵入性记录,以使具有严重言语和运动障碍的用户能够与他们的环境和社交网络交互。例如,用于分型的基于EEG的BCI普遍利用事件相关电位(ERP)进行推断。当前基于ERP的逐个字母键入的BCI中的呈现范式设计通常使用任意子集字符来查询用户。然而,打字准确性和打字速度可以通过更明智的子集选择和闪存分配来潜在地增强。在这篇手稿中,我们介绍了主动递归贝叶斯状态估计(主动RBSE)框架的推理和序列优化。在每次迭代中呈现之前,开发的框架基于查询函数最优地选择子集,而不是显示随机选择的字符的子集。在每次意图检测期间,使所选择的查询自适应地专门用于用户。通过一项基于模拟的研究,我们评估了主动RBSE在打字速度和准确性方面对语言模型辅助打字BCI性能的影响。为了提供一个比较的基线,我们还利用标准的演示范式,即行和列矩阵演示范式,也随机快速串行视觉演示范式。结果表明,利用主动RBSE可以提高系统的在线性能,无论是在打字的准确性和速度。
2016-07-13 cs.HC
Towards Predictive Communication with Brain-Computer Interfaces integrating Large Language Models
本文概述语言模型与BCI集成的现状与未来,指出LLM(如GPT-2)与BCI结合可改善人机交互,虽面临挑战,但有望推动神经技术进步。
2025-04-15 cs.CL cs.HC
Sequential Best-Arm Identification with Application to Brain-Computer Interface
University of California at Berkeley(加州大学伯克利分校);Google Deepmind(谷歌DeepMind);University of Michigan(密歇根大学)
本文将脑机接口拼写问题建模为多臂老虎机中的序列最优臂识别任务,利用预训练LLMs的先验知识,提出STTS算法以提升采样效率,并在理论和实验上验证了其显著改进。
2023-05-17 cs.HC cs.LG q-bio.NC
High Performance P300 Spellers Using GPT2 Word Prediction With Cross-Subject Training
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学);UCLA(加州大学洛杉矶分校);PE Investments(PE投资公司);MIT(麻省理工学院);University of Texas, Southwestern, Dallas(德克萨斯大学西南医学中心)
本文提出结合GPT2单词预测与跨受试者训练的P300拼写器,通过优化刺激和单词补全,显著提升打字速度,字符级提升约10%,多词预测提升达40%。
2024-05-22 cs.CL cs.HC cs.SY
Evaluation Of P300 Speller Performance Using Large Language Models Along With Cross-Subject Training
University of Illinois at Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Washington(华盛顿大学);UCLA(加州大学洛杉矶分校);PE Investments(PE投资公司);MIT(麻省理工学院);University of Texas, Southwestern(德克萨斯大学西南医学中心)
本研究针对ALS患者使用的P300拼写器脑机接口,通过集成GPT2、BERT、BART等大型语言模型与Dijkstra算法优化刺激呈现和单词预测,并结合跨受试者训练与多层平滑处理,显著提升了包含罕见词和词表外单词的文本输入速度,部分模型性能接近理论极限。
2024-10-19 cs.CL cs.HC
Head-related Impulse Response Cues for Spatial Auditory Brain-computer Interface
本研究提供了一个全面的测试的头部相关的脉冲响应(HRIR)线索的空间听觉脑机接口(saBCI)拼写范例。我们提出了与传统的虚拟声音耳机为基础的空间听觉模态的比较。我们提出并优化了三种类型的声音空间化设置使用可变海拔,以评估HRIR的疗效saBCI。三个有经验的和七个天真的BCI用户参加了三个实验设置的基础上提出的十个日本音节。在在线脑机接口实验中,所获得的脑电听觉诱发电位(AEP)表现出良好而稳定的P300反应。我们的案例研究表明,用户可以感知海拔在saBCI实验中产生的HRIR测量从一般的头部模型。就目前试点研究中的健康用户而言,与经典的基于水平面的虚拟空间声音再现模式相比,saBCI的准确性和信息传输率(ITR)评分有所提高。
2015-06-14 cs.HC q-bio.NC
Automatic Exam Evaluation based on Brain Computer Interface
脑机接口应用可用于克服学习问题,特别是学生焦虑、注意力不集中和注意力不集中。本文介绍了一种基于脑机接口(BCI)的教育测量系统,用于测量预期的学习结果,并测量噪声对系统准确度的影响。该系统在线工作,并基于记录的大脑信号数据集。该系统可以被认为是P300拼写器只接受从A到D的字母的特殊情况。这些是MCQ多项选择题的可能答案。教师制作考试,将其存储在考试数据库中并将其发送给学生。学生注册进入系统并记录他们的大脑信号。脑信号经过预处理阶段,其中信号经过低通和高通滤波器。然后对信号进行二次采样和分段。所获得的特征被用作线性判别分析(LDA)的输入。准确率为91%。
2021-12-01 cs.HC
Active Poisoning: Efficient Backdoor Attacks on Transfer Learning-Based Brain-Computer Interfaces
本研究针对基于脑电图的脑机接口中迁移学习的安全漏洞,提出主动投毒的后门攻击方法,通过筛选有效源域样本提升攻击效率,经多数据集和模型验证有效,首次暴露该场景下的重大安全风险。
2024-12-13 cs.HC
Active Semi-supervised Transfer Learning (ASTL) for Offline BCI Calibration
DataNova
脑电信号事件相关电位的单次分类是脑机接口(BCI)的一个重要研究方向。由于个体差异,通常需要一些特定于受试者的校准数据来为每个受试者定制分类器。迁移学习已被广泛用于通过利用来自类似/相关主体/任务的辅助数据来减少这种校准数据要求。然而,所有以前的研究都假设所有辅助数据都已标记。本文考虑了一个更一般的场景,其中部分辅助数据可以是未标记的。提出了一种基于主动半监督迁移学习(ASTL)的脑机接口离线校准方法,该方法集成了主动学习、半监督学习和迁移学习。使用视觉诱发电位古怪的任务和三种不同的EEG耳机,我们证明,ASTL可以实现一致的良好性能,跨学科和耳机,它优于一些国家的最先进的方法在文献中。
2018-05-12 cs.HC cs.LG stat.ML
Learning from Label Proportions in Brain-Computer Interfaces: Online Unsupervised Learning with Guarantees
目的:使用传统方法,脑机接口(BCI)需要在在线使用之前收集新受试者的校准数据。可以减少或消除校准时间,例如~通过转移预先训练的分类器或无监督的自适应分类方法,这些方法从头开始学习并随着时间的推移而适应。虽然这些理论在实践中行之有效,但它们都不能提供理论保证。我们的目标是修改一个事件相关电位(ERP)的范例,以配合机器学习解码器,以实现可靠的校准少解码,保证恢复真正的类的手段。方法:我们将从标签比例(LLP)学习引入BCI社区,作为一种新的无监督,易于实现的基于ERP的BCI分类方法。LLP根据不同数据组中这两个类别的已知比例估计平均靶向和非靶向响应。我们修改了一个可视化的ERP拼写器,以满足LLP的要求。为了进行评估,我们在人工创建的数据集上进行了模拟,并进行了一项在线BCI研究,其中N=13名受试者执行了一项复制拼写任务。结果:理论上的考虑表明,LLP是保证最小化类似于相应的监督分类器的损失函数。它在模拟和在线应用程序中表现良好,平均有84.5%的字符拼写正确,无需事先校准。意义:连续自适应LLP分类器是ERP BCI的第一个无监督解码器,保证找到真正的类别均值。这使得它成为避免繁琐校准和解决数据非平稳性的理想解决方案。此外,与现有的无监督方法相比,LLP的工作原理是互补的,当与LLP相结合时,它们可以进一步增强。
2017-01-25 cs.HC q-bio.NC stat.ML
BCI-Based Strategies on Stroke Rehabilitation with Avatar and FES Feedback
中风是世界范围内严重和长期残疾的主要原因。有研究表明,基于运动想象(MI)的脑机接口(BCI)在脑卒中后康复中具有积极的作用。它可以帮助患者促进受损大脑区域的重组过程。然而,离线运动想象和传统的在线运动想象与反馈(如奖励的声音和化身的运动)不能反映患者的真实意图。在这项研究中,虚拟肢体和功能性电刺激(FES)作为反馈,为患者提供一个闭环的感觉运动整合的运动康复。如果用户正在想象指示侧的手部运动,则FES系统将激活。10例脑卒中患者(7例男性,年龄22-70岁,平均49.5 ± 15.1岁)参与本研究。所有患者均接受为期4周的BCI-FES康复训练,最后一周10例患者的平均运动想象准确率为71.3%,较第一周提高了3%。5例患者的Fugl-Meyer评估(FMA)评分提高。患者6患有中风超过两年,在康复训练后取得了最大的改善(FMA前:20,FMA后:35)。在脑电模式方面,5例脑卒中患者的活动模式逐渐集中并向感觉运动区(通道C3和C4)和运动前区(通道FC 3和FC 4)转移。结果表明,BCI-FES系统对脑卒中患者上肢运动功能的恢复是有效的。在未来的工作中,需要更多的病例来证明其优于常规治疗,并探讨MI在卒中后康复中的潜在作用。
2018-05-14 cs.HC
Cross-Modal Consistency-Guided Active Learning for Affective BCI Systems
Dept. of Brain and Cognitive Engineering(脑科学与认知工程系);Korea University(韩国大学);Dept. of Artificial Intelligence(人工智能系)
针对脑电情绪识别中标注稀缺、噪声大的问题,提出跨模态一致性引导的不确定性感知主动学习框架,通过模态对齐区分噪声与歧义样本,在ASCERTAIN数据集上验证了其高效抗噪的性能。
2025-11-19 cs.HC cs.LG
Maximizing BCI Human Feedback using Active Learning
Department of Computer Science, Columbia University(哥伦比亚大学计算机科学系)
\textit{Learning from Human Feedback}的最新进展提供了一种通过非专家人类的输入来训练机器人代理的有效方法,而无需专门设计的奖励函数。然而,这种方法需要人在机器人学习过程中在场并专心提供评价性反馈。此外,所需的反馈量随着任务难度的增加而增加,并且由于疲劳,人类反馈的质量可能会随着时间的推移而下降。为了克服这些限制并能够学习更多复杂性更高的机器人任务,需要最大限度地提高接收到的昂贵反馈的质量并减少所需的人类认知参与量。在这项工作中,我们提出了一种方法,使用主动学习智能地选择查询的人类主管的机器人的不确定性的基础上,有效地减少了学习给定的任务所需的反馈量。我们还使用了一种新的多缓冲系统,以提高反馈噪声的鲁棒性和防止灾难性遗忘的机器人学习的发展。与以前的方法相比,这使得使用更少的人类反馈来学习更复杂的任务成为可能。我们证明了我们提出的方法的实用性,机器人手臂达到的任务,机器人学会在3D中到达一个位置,而不会与障碍物碰撞。与以前不使用主动学习的方法相比,我们的方法能够更快地学习这项任务,减少人类反馈和认知参与。
2020-08-11 cs.HC cs.RO
Offline EEG-Based Driver Drowsiness Estimation Using Enhanced Batch-Mode Active Learning (EBMAL) for Regression
DataNova;U.S. Army Research Laboratory(美国陆军研究实验室);University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校);DCS Corp(DCS公司);National Chiao-Tung University(国立交通大学);University of Technology, Sydney(悉尼科技大学)
在现实世界的脑机接口(BCI)应用中存在许多重要的回归问题,例如,从EEG信号估计驾驶员困倦。本文考虑离线分析:给定一个在驾驶过程中记录的未标记的EEG epoch池,我们如何最佳地选择其中的一小部分进行标记,以便可以从它们中构建准确的回归模型来标记其余部分?主动学习是解决这个问题的一个很有前途的方法,但有趣的是,据我们所知,到目前为止,它还没有被用于脑机接口中的回归问题。本文提出了一种新的增强型批量模式主动学习(EBMAL)回归方法,该方法通过提高所选样本的可靠性、代表性和多样性来改进基线主动学习算法,以获得更好的回归性能。我们验证了其有效性,驾驶员的困倦估计从脑电信号。然而,EBMAL是一种通用方法,也可以应用于BCI之外的许多其他离线回归问题。
2018-05-12 cs.HC cs.LG stat.ML
An Enactivist Approach to Human-Computer Interaction: Bridging the Gap Between Human Agency and Affordances
本文基于具身认知理论,提出以“能动感”(FoA)替代“自主感”(SoA),结合神经动力学与现象学指标,为XR、BCI及生成式AI环境中的数字可供性设计提供增强人类能动性的新框架。
2025-09-09 cs.HC
Active Learning for Black-Box Adversarial Attacks in EEG-Based Brain-Computer Interfaces
Huazhong University of Science and Technology(华中科技大学)
深度学习在许多领域取得了重大突破,包括基于脑电图(EEG)的脑机接口(BCI)。然而,深度学习模型容易受到对抗攻击的攻击,在这种攻击中,故意设计的小扰动被添加到良性输入样本中,以欺骗深度学习模型并降低其性能。本文考虑基于可转移性的黑盒攻击,攻击者训练替代模型来近似目标模型,然后从替代模型生成对抗性示例来攻击目标模型。学习一个好的替代模型对于这些攻击的成功至关重要,但它需要对目标模型进行大量的查询。我们提出了一个新的框架,使用查询合成的主动学习,以提高查询效率的训练替代模型。在三个卷积神经网络(CNN)分类器和三个EEG数据集上的实验表明,我们的方法可以在相同查询次数的情况下提高攻击成功率,或者换句话说,我们的方法需要更少的查询来实现期望的攻击性能。据我们所知,这是第一个为基于EEG的BCI集成主动学习和对抗攻击的工作。
2019-11-07 cs.CR cs.HC cs.LG
Converting Your Thoughts to Texts: Enabling Brain Typing via Deep Feature Learning of EEG Signals
University of New South Wales(新南威尔士大学);Macquarie University(麦考瑞大学);RMIT University(皇家墨尔本理工大学)
基于脑电(EEG)的脑机接口(BCI)使人们能够通过解释他们大脑的EEG信号来与诸如轮椅和智能机器人的设备进行交互,从而与外部世界进行通信。更具体地说,反映受试者主动意图的运动想象脑电(MI-EEG)在各种脑机接口应用中越来越受到关注。MI-EEG信号的准确分类虽然对于BCI系统的有效操作至关重要,但由于信号中固有的显著噪声以及信号与大脑活动之间缺乏信息相关性而具有挑战性。在本文中,我们提出了一种新的基于深度神经网络的学习框架,该框架可以对MI-EEG数据和大脑活动之间的关系提供洞察。我们设计了一个联合卷积递归神经网络,同时学习强大的高层次的功能表示,通过低维密集嵌入从原始MI-EEG信号。我们还采用了一个自动编码器层来消除各种工件,如背景活动。所提出的方法已经在我们实验室收集的大规模公共MI-EEG数据集和有限但易于部署的数据集上进行了广泛的评估。结果表明,我们的方法优于一系列基线和竞争的最先进的方法,产生95.53%的分类准确率。我们提出的方法的适用性进一步证明了一个实用的BCI系统分型。
2017-09-26 cs.CV cs.HC
Generating Music and Generative Art from Brain activity
如今,技术进步影响了所有人类活动,创造了新的动力和交流方式。在这种背景下,一些艺术家将这些进步融入他们的创作过程中,产生了独特的美学表达,在文献中称为生成艺术,其特征是将创作过程的一部分分配给具有一定自主性的系统(Galanter,2003)。本研究工作介绍了一个计算系统,用于创建生成艺术使用脑机接口(BCI),描绘用户的大脑活动在数字艺术品。通过这种方式,用户在创作过程中发挥积极作用。为了表明所提出的系统通过视觉和声音表示在艺术作品中体现用户的精神状态,进行了几项测试以确保BCI设备发送数据的可靠性。生成的艺术作品使用大脑信号和几何,颜色和空间位置的概念,以赋予自主构建的复杂性。作为一种附加值,视觉和听觉的生产伴随着嗅觉和动觉的组成部分,补充了艺术作品,提供了多模式的通信字符。
2021-08-12 cs.AI cs.HC cs.SD