Enhancing Cognitive Workload Classification Using Integrated LSTM Layers and CNNs for fNIRS Data Analysis
Institute for Intelligent Systems Research and Innovation（智能系统研究与创新研究所）；Faculty of Computing and Information Technology (FoCIT)（计算与信息技术学院）；School of Engineering（工程学院）；Swinburne University of Technology（斯威本科技大学）；Swinburne Research（斯威本研究）
Mehshan Ahmed Khan, Houshyar Asadi, Mohammad Reza Chalak Qazani, Adetokunbo Arogbonlo, Siamak Pedrammehr, Adnan Anwar, Asim Bhatti, Saeid Nahavandi, Chee Peng Lim
Functional near-infrared spectroscopy (fNIRS) is employed as a non-invasive method to monitor functional brain activation by capturing changes in the concentrations of oxygenated haemoglobin (HbO) and deoxygenated haemo-globin (HbR). Various machine learning classification techniques have been utilized to distinguish cognitive states. However, conventional machine learning methods, although simpler to implement, undergo a complex pre-processing phase before network training and demonstrate reduced accuracy due to inadequate data preprocessing. Additionally, previous research in cog-nitive load assessment using fNIRS has predominantly focused on differ-sizeentiating between two levels of mental workload. These studies mainly aim to classify low and high levels of cognitive load or distinguish between easy and difficult tasks. To address these limitations associated with conven-tional methods, this paper conducts a comprehensive exploration of the im-pact of Long Short-Term Memory (LSTM) layers on the effectiveness of Convolutional Neural Networks (CNNs) within deep learning models. This is to address the issues related to spatial features overfitting and lack of tem-poral dependencies in CNN in the previous studies. By integrating LSTM layers, the model can capture temporal dependencies in the fNIRS data, al-lowing for a more comprehensive understanding of cognitive states. The primary objective is to assess how incorporating LSTM layers enhances the performance of CNNs. The experimental results presented in this paper demonstrate that the integration of LSTM layers with Convolutional layers results in an increase in the accuracy of deep learning models from 97.40% to 97.92%.
Pain Assessment based on fNIRS using Bidirectional LSTMs
University of Canberra（堪培拉大学）；National Autonomous University of Mexico（墨西哥国立自治大学）；Taipei Medical University Hospital（台北医学大学附属医院）；Taipei Medical University-Shuang Ho Hospital（台北医学大学双和医院）；D Global Biotech Inc.（3D环球生物科技公司）
Use of 1D-CNN for input data size reduction of LSTM in Hourly Rainfall-Runoff modeling
International Research Organization for Advanced Science and Technology, Kumamoto University（熊本大学先进科学技术国际研究机构）；Center for Water Cycle, Marine Environment, and Disaster Management, Kumamoto University（熊本大学水循环、海洋环境与灾害管理研究中心）；Department of Civil and Environmental Engineering, University of California, Davis（加州大学戴维斯分校土木与环境工程系）；Graduated School of Science and Technology, Kumamoto University（熊本大学科学与技术研究生院）；Faculty of Advanced Science and Technology, Kumamoto University（熊本大学先进科学技术学部）
University of Edinburgh（爱丁堡大学）；Microsoft Research（微软研究院）；UC Irvine（加州大学尔湾分校）；University of Washington（华盛顿大学）；University of Alberta（阿尔伯塔大学）
我们考虑深度卷积网络（CNN）是否可以以与LSTM等递归网络相似的精度表示决策函数。首先，我们展示了一个深度CNN，其架构受到最近在图像识别中引入的模型的启发，可以在标准309 h Switchboard自动语音识别任务中产生比以前的卷积和LSTM网络更好的准确性。然后，我们证明了在LSTM的指导下，可以使用模型压缩的变体来训练更准确的CNN，我们称之为模型混合，因为教师和学生模型在复杂性上相似，但在归纳偏差上不同。混合进一步提高了我们的CNN的准确性，产生了一个计算效率高的模型，其准确性高于任何其他单独的模型。在这个模型压缩任务中检查“暗知识”的效果，我们发现，精确的模型压缩需要不到1%的最高概率标签。
End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF
Carnegie Mellon University（卡内基梅隆大学）
最先进的序列标记系统传统上需要大量的任务特定的知识，以手工制作的特征和数据预处理的形式。在本文中，我们介绍了一种新的神经网络架构，通过使用双向LSTM，CNN和CRF的组合，自动受益于单词和字符级别的表示。我们的系统是真正的端到端，不需要特征工程或数据预处理，因此使其适用于广泛的序列标记任务。我们评估我们的系统在两个数据集上的两个序列标记任务- Penn Treebank WSJ语料库的词性（POS）标记和CoNLL 2003语料库的命名实体识别（NER）。我们在这两个数据上都获得了最先进的性能-
Parallel Multi-Dimensional LSTM, With Application to Fast Biomedical Volumetric Image Segmentation
University of Kaiserslautern（凯泽斯劳滕大学）；Istituto Dalle Molle di Studi sull’Intelligenza Artificiale (The Swiss AI Lab IDSIA)（达莱莫勒人工智能研究所（瑞士人工智能实验室IDSIA））；Scuola universitaria professionale della Svizzera italiana (SUPSI)（瑞士意大利语区应用科学大学（SUPSI））；Universitá della Svizzera italiana (USI)（瑞士意大利语区大学（USI））；German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
Gradient Boosting Decision Tree with LSTM for Investment Prediction
Northeastern University（东北大学）；Yale University（耶鲁大学）；Virginia Tech（弗吉尼亚理工大学）；Illinois Institute of Technology（伊利诺伊理工学院）；University of TSA（TSA大学）；The University of Chicago（芝加哥大学）
Epidemic Forecasting with a Hybrid Deep Learning Method Using CNN-LSTM With WOA-GWO Parameter Optimization: Global COVID-19 Case Study
School of Engineering, RMIT Melbourne, Australia（墨尔本皇家理工大学工程学院）；Tarbiat Modares University（塔里克·莫拉兹大学）；Islamic Azad University, Central Tehran Branch（伊斯兰 Azad 大学中央德黑兰分校）；Ferdowsi University of Mashhad（法尔多西大学）
Deep Learning Inductive Biases for fMRI Time Series Classification during Resting-state and Movie-watching
School of Electrical and Computer Engineering, University of Tehran（埃特瓦尔大学电气与计算机工程学院）；School of Cognitive Sciences, Institute for Research in Fundamental Sciences (IPM)（基础科学研究所（IPM）认知科学学院）
LSTM and CNN application for core-collapse supernova search in gravitational wave real data
University College London（伦敦大学学院）；Scuola Normale Superiore（比萨高等师范学校）；European Gravitational Observatory（欧洲引力天文台）；Nicolaus Copernicus Astronomical Center, Polish Academy of Sciences（波兰科学院尼古拉·哥白尼天文中心）；University of Glasgow（格拉斯哥大学）
Connect the Dots: In Situ 4D Seismic Monitoring of CO2 Storage with Spatio-temporal CNNs
Los Alamos National Laboratory（洛斯阿拉莫斯国家实验室）；Michigan State University（密歇根州立大学）
4D震波成像已被广泛用于CO $_2$封存项目，以监测未通过井采样的体积地下区域中的流体流动。理想情况下，实时监测和近期预测将为现场运营商提供深刻的见解，以了解地下储层的动态并评估任何潜在风险。然而，由于诸如高部署成本、采集设备的可用性、表面结构周围的禁区等障碍，在监测期间只能获得非常稀疏的震波成像数据。随着时间的推移，这导致了不可避免的和不断扩大的知识差距。运营商需要了解整个项目生命周期内的流体流动，而地震资料只能在有限的时间内获得。这对于理解储层动态是不够的。为了克服这些挑战，我们开发了基于时空神经网络的模型，可以有效和高效地产生高保真的内插或外推图像。具体来说，我们的模型建立在自动编码器上，并将长短期记忆（LSTM）结构与光流正则化的新损失函数相结合。我们验证我们的模型使用真实的4D叠后震波成像数据获得的Sleipner CO $_2$封存领域的性能。我们采用两种不同的策略来评估我们的模型。在数值上，我们使用经典的基于像素的指标将我们的模型与不同的基线方法进行比较。我们还进行了一项盲测，并从领域专家那里收集了总共20份回复，以评估我们的模型生成的数据质量。通过数值和专家评估，我们得出结论，我们的模型可以产生高质量的二维/三维震波成像数据在一个合理的成本，提供了实时监测，甚至不久的将来预测的CO $_2$存储水库的可能性。
Deep Learning CNN and Recurrence Analysis for Alpha Gamma EEG Biomarkers in Fragile X Syndrome
School of Information Technology (SoIT), University of Cincinnati（辛辛那提大学信息技术学院）；Division of Child and Adolescent Psychiatry Cincinnati Children’s Hospital Medical Center（辛辛那提儿童医院医学中心儿童与青少年精神病学科）
