System Demo for Transfer Learning across Vision and Text using Domain Specific CNN Accelerator for On-Device NLP Applications
Gyrfalcon Technology Inc.（矛隼科技公司）
高能效的CNN域特定加速器（CNN-DSA）芯片目前可广泛用于移动设备。这些芯片主要用于计算机视觉应用。然而，最近使用二维CNN模型进行文本分类和情感分析任务的Super Characters方法的工作也通过从视觉到文本的迁移学习的方法取得了最先进的结果。在本文中，我们实现了文本分类和情感分析应用在移动设备上使用CNN-DSA芯片。在CNN-DSA芯片中使用了紧凑的网络表示，使用1位和3位精度的系数和5位的激活，功耗小于300 mW。对于内存和计算限制下的边缘设备，通过近似CNN-DSA芯片内的外部全连接（FC）层，进一步压缩网络。在研讨会上，我们有两个NLP任务的系统演示。第一个演示将输入的英文维基百科句子分类为14个本体之一。第二个演示将中国在线购物评论分为正面和负面。
2019-06-04 cs.CL
Multichannel CNN with Attention for Text Classification
China University of Political Science and Law（中国政法大学）；University of Science and Technique of China（中国科学技术大学）
近年来，基于神经网络的句子建模方法显示出了巨大的潜力。神经网络主要有两种结构：递归神经网络（RNN）和卷积神经网络（CNN）。RNN可以捕获长期依赖关系，并将先前信息的语义存储在固定大小的向量中。然而，RNN是一个有偏模型，其提取全局语义的能力受到固定大小向量的限制。或者，CNN能够通过利用卷积滤波器来捕获文本的n-gram特征。但是卷积滤波器的宽度限制了它的性能。为了结合这两种网络的优点，弥补它们的不足，本文提出了基于注意力的多通道卷积神经网络（AMCNN）用于文本分类。AMCNN利用双向的长短期记忆将词的历史和未来信息编码成高维表示，使句子前后的信息都能得到充分表达。然后，标量注意力和矢量注意力被应用到获得多通道表示。标量注意力可以计算词级的重要性，矢量注意力可以计算特征级的重要性。在分类任务中，AM CNN使用CNN结构来捕获由标量和矢量注意力机制生成的表示上的词关系，而不是计算加权和。它可以有效地提取文本的n-gram特征。在基准数据集上的实验结果表明，AMCNN实现了比最先进的方法更好的性能。此外，可视化结果验证了多通道表示的语义丰富性。
2020-06-29 cs.CL cs.LG
Interpretable Text Classification Using CNN and Max-pooling
深度神经网络已广泛应用于文本分类。然而，由于神经元模型的复杂机制，使得其解释困难。在这项工作中，我们研究了基于卷积运算和最大池层的典型文本分类模型的变体的可解释性。提出了卷积属性和n-gram特征分析两种机制来分析CNN模型的处理过程。通过为神经网络预测提供后验解释来反映模型的可解释性。此外，本文还提出了一种多句子策略，使模型能够在不损失性能和解释能力的情况下，适用于多句子情况。我们评估了几个分类任务的模型的性能，并证明了一些案例研究的可解释的性能。
2019-10-14 cs.CL
Performance Comparison of Simple Transformer and Res-CNN-BiLSTM for Cyberbullying Classification
University of Mumbai（孟买大学）
使用基于双向的LSTM架构进行文本分类的任务在计算上是昂贵的，并且训练是耗时的。为此，发现了与传统深度学习架构相比有效地提供良好性能的Transformers。在本文中，我们提出了一个基于性能的比较简单的Transformer为基础的网络和Res-CNN-BiLSTM为基础的网络网络欺凌文本分类问题。结果表明，我们使用65万个参数训练的Transformer能够显著击败具有4882万个参数的Res-CNN-BiLSTM的性能，从而获得更快的训练速度和更广泛的度量。本文还比较了一维字符级嵌入网络和带Transformer的100维手套嵌入网络。
2022-06-05 cs.CL cs.LG
Sequential Learning of Convolutional Features for Effective Text Classification
Samsung R&D Institute, Bangalore（三星班加罗尔研发中心）
文本分类一直是自然语言处理的主要问题之一。随着深度学习的出现，卷积神经网络（CNN）已经成为这项任务的流行解决方案。然而，最初针对图像提出的CNN在文本处理的背景下面临许多关键挑战，即在其基本模块中：卷积滤波器和最大池化。大多数现有的用于文本分类的CNN模型都忽略了这些挑战。在本文中，我们提出了一个实验研究的基本块的CNN在文本分类。在此基础上，我们提出了序列卷积注意递归网络（SCARN）。与先前提出的递归卷积模型相比，所提出的SCARN模型有效地利用了递归结构和卷积结构的优点。我们在不同的文本分类数据集上测试了我们的模型，包括情感分析和问题分类。大量的实验表明，SCARN在参数显著减少的情况下优于其他递归卷积架构。此外，SCARN与同样大的各种深度CNN和LSTM架构相比，实现了更好的性能。
2019-09-12 cs.CL
Short Text Classification via Knowledge powered Attention with Similarity Matrix based CNN
短文本在网络上越来越受欢迎，如聊天信息，短信和产品评论。对短文本进行准确分类是一项重要而又具有挑战性的任务。许多研究都难以解决这个问题，因为词的歧义和数据稀疏。针对这一问题，提出了一种基于知识驱动的注意力相似矩阵的卷积神经网络（KASM）模型，该模型能够利用知识和深度神经网络计算综合信息。我们使用知识图谱来丰富短文本的语义表示，特别是在模型中引入了父实体的信息。同时，考虑了文本与标签表示之间在文字层面上的词的交互作用，利用基于相似性矩阵的卷积神经网络（CNN）进行提取，并引入注意力机制对重要信息进行筛选，以度量知识的重要性。在五个标准数据集上的实验结果表明，我们的模型显着优于最先进的方法。
2021-02-28 cs.CL
Resilient Combination of Complementary CNN and RNN Features for Text Classification through Attention and Ensembling
Swisscom AG（瑞士电信股份公司）
现有的文本分类方法包括预处理、特征提取和后处理等几个不同的步骤。在这项工作中，我们专注于端到端的神经架构，并表明文本分类的最佳性能是通过组合来自不同神经模块的信息来获得的。具体地说，我们结合卷积，经常性和注意模块集成方法，并表明它们是互补的。我们介绍ECGA，一个端到端的去到架构的新颖的文本分类任务。我们证明了它是有效的和强大的，因为它达到或超过了最先进的各种数据集，包括低和高的数据制度。
2019-03-28 cs.CL
Empowering Interdisciplinary Research with BERT-Based Models: An Approach Through SciBERT-CNN with Topic Modeling
University of California, Berkeley（加州大学伯克利分校）
本文提出结合 SciBERT 和 CNN 的多段输入分类方法，通过引入类别权重解决类别不平衡问题，显著提升了学术文献多标签分类的 F1 分数与综述效率。
2024-04-23 cs.CL cs.LG
Hybrid Tiled Convolutional Neural Networks for Text Sentiment Classification
Bucharest University of Economic Studies（布加勒斯特经济研究大学）；Maastricht University（马斯特里赫特大学）
平铺卷积神经网络（平铺CNN）仅应用于计算机视觉以学习不变性。我们将其架构调整为NLP，以提高情感分析中最显著特征的提取。知道在NLP领域的平铺CNN的主要缺点是其不灵活的过滤器结构，我们提出了一种称为混合平铺CNN的新架构，该架构仅对出现在相似上下文中的单词及其相邻单词应用过滤器（这是防止丢失一些n-gram的必要步骤）。在IMDB电影评论和SemEval 2017数据集上的实验证明了混合平铺CNN的效率，其性能优于CNN和平铺CNN。
2020-01-31 cs.CL
Predicting the Semantic Textual Similarity with Siamese CNN and LSTM
Université d’Avignon et des Pays de Vaucluse（阿维尼翁大学）；Universidade Federal do Ceará（塞阿拉联邦大学）；École Polytechnique de Montréal（蒙特利尔综合理工学院）
语义文本相似性是自然语言处理中许多应用的基础。我们的系统结合了卷积和递归神经网络来衡量句子的语义相似性。它使用卷积网络来考虑单词的局部上下文，使用LSTM来考虑句子的全局上下文。这种网络的组合有助于保留句子的相关信息，并改进句子之间相似度的计算。我们的模型已经取得了良好的效果，是最好的国家的最先进的系统的竞争力。
2018-10-24 cs.CL
Short Text Classification Improved by Feature Space Extension
School of Computer Science, Beijing University of Posts and Telecommunications（北京邮电大学计算机学院）
随着移动互联网的爆炸式发展，短文本得到了广泛的应用。短文本分类与长文档分类的区别在于短文本具有短小、稀疏的特点。因此，它是具有挑战性的处理短文本分类，由于其较少的语义信息。本文基于潜在狄利克雷分配（LDA）模型和卷积神经网络，提出了一种新的基于主题的卷积神经网络（TB-CNN）。与传统的CNN方法相比，TB-CNN采用LDA模型生成主题词，降低主题词的稀疏性，并结合主题词和输入词的嵌入向量，扩展短文本的特征空间。在IMDB电影评论数据集上的验证结果表明了TB-CNN的改进和有效性。
2019-04-02 cs.CL cs.IR
Sentence Modeling via Multiple Word Embeddings and Multi-level Comparison for Semantic Textual Similarity
Japan Advanced Institute of Science and Technology (JAIST)（日本先进科学技术学院（JAIST））；Toshiba Research & Development Center, Japan（日本东芝研发中心）
不同的词嵌入模型捕捉语言属性的不同方面。这启发我们提出了一个模型（M-MaxLSTM-CNN），用于采用多组词嵌入来评估句子相似性/关系。MaxLSTM-CNN编码器通过多个词嵌入来表示每个词，从而生成新颖的句子嵌入。然后，我们通过多级比较来学习我们的句子嵌入之间的相似性/关系。我们的方法M-MaxLSTM-CNN在几个任务中始终表现出很强的性能（即，测量文本相似性、识别释义、识别文本蕴涵）。根据STS Benchmark数据集和SemEval的SICK数据集上的实验结果，M-MaxLSTM-CNN在文本相似性任务中的表现优于最先进的方法。我们的模型不使用手工制作的功能（例如，对齐特征、Ngram重叠、依赖性特征），并且不需要预先训练的词嵌入具有相同的维度。
2018-05-21 cs.CL
Effectiveness of Self Normalizing Neural Networks for Text Classification
Samsung R&D Institute, Bangalore（三星班加罗尔研发中心）
在前馈神经网络（FNN）的基础上提出的自规范化神经网络（SNN）在各种机器学习任务中的性能优于常规的FNN结构。特别是在计算机视觉领域，为SNN提出的激活函数缩放指数线性单元（SELU）比其他非线性激活（如ReLU）表现更好。SNN的目标是为规范化的输入生成规范化的输出。像前馈网络和卷积神经网络（CNN）这样的已建立的神经网络架构缺乏归一化输出的内在本质。因此，需要额外的层，如批量归一化。尽管SNN取得了成功，但它们在其他网络架构（如CNN）上的特征尚未被探索，特别是在自然语言处理领域。在本文中，我们的目的是显示建议的有效性，自规范化卷积神经网络（SCNN）的文本分类。我们分析了它们的性能与标准的CNN架构上使用的几个文本分类数据集。我们的实验表明，SCNN实现了与标准CNN模型相当的结果，具有显着更少的参数。此外，它还优于具有相同数量参数的CNN。
2019-05-03 cs.CL
TextConvoNet:A Convolutional Neural Network based Architecture for Text Classification
Malaviya National Institute of Technology（马拉维亚国家理工学院）；ABV-IIITM Gwalior（阿塔尔·比哈里·瓦杰帕伊印度信息技术与管理学院瓜廖尔分校）
近年来，基于深度学习的模型显著改善了自然语言处理（NLP）任务。具体来说，卷积神经网络（CNN），最初用于计算机视觉，已显示出显着的性能，在各种NLP问题的文本数据。大多数现有的基于CNN的模型使用1维卷积滤波器（n元检测器），其中每个滤波器专门提取特定输入词嵌入的n元特征。输入的词嵌入，也称为句子矩阵，被视为一个矩阵，其中每行是一个词向量。因此，它允许模型应用一维卷积，并且仅从句子矩阵中提取基于n-gram的特征。这些特征可以被称为句内n-gram特征。就我们所知，所有现有的CNN模型都是基于上述概念。在本文中，我们提出了一个基于CNN的架构TextConvoNet，不仅提取句子内的n-gram功能，但也捕捉输入文本数据中的句子间n-gram功能。它使用另一种方法来表示输入矩阵，并对输入应用二维多尺度卷积运算。为了评估TextConvoNet的性能，我们对五个文本分类数据集进行了实验研究。通过使用各种性能指标来评估结果。实验结果表明，所提出的TextConvoNet优于最先进的机器学习和深度学习模型的文本分类目的。
2022-03-10 cs.AI cs.CL cs.LG
Understanding Convolutional Neural Networks for Text Classification
Bar Ilan Univesity（巴伊兰大学）；IBM Research（IBM研究院）；Intuit（Intuit公司）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
我们分析了卷积神经网络（CNN）处理文本的内部工作原理。用于计算机视觉的CNN可以通过将滤波器投影到图像空间中来解释，但对于离散序列输入，CNN仍然是一个谜。我们的目标是了解网络处理和分类文本的方法。我们研究这个问题的常见假设：过滤器，伴随着全球最大池，作为ngram检测器。我们表明，过滤器可以捕获几个不同的语义类的ngrams通过使用不同的激活模式，和全球最大池诱导的行为，从其余的分离重要的ngrams。最后，我们以模型可解释性（通过为每个过滤器导出具体身份来解释训练模型，弥合视觉任务中的可视化工具与NLP之间的差距）和预测可解释性（解释预测）的形式展示了从我们的研究结果中得出的实际用例。代码实现可在github.com/sayaendo/interpreting-cnn-for-text上在线获得。
2020-04-27 cs.CL
GNN-CNN: An Efficient Hybrid Model of Convolutional and Graph Neural Networks for Text Representation
针对长文本处理效率问题，提出结合GNN和CNN并集成实时图生成机制的混合模型，利用LLMs信息提升性能，在多个文本分类任务中表现出高效与竞争力。
2025-07-10 cs.AI cs.CL
Text Classification based on Multiple Block Convolutional Highways
University of Waterloo（滑铁卢大学）；University of Tehran（德黑兰大学）
在情感分析、主观/客观分析和意见极性等文本分类领域，卷积神经网络因其性能和准确性而受到特别关注。在这项工作中，我们应用了CNN的最新进展，并提出了一种新的架构，多块卷积高速公路（MBCH），与以前的架构相比，它在多个流行的基准数据集上实现了更高的精度。MBCH基于新的技术和架构，包括高速公路网络、DenseNet、批量归一化和瓶颈层。此外，为了应对用作CNN输入的现有预训练词向量的局限性，我们提出了一种新方法，即改进的词向量（IWV）。IWV提高了用于文本分类任务的CNN的准确性。
2018-07-23 cs.CL
Weighted Random Search for CNN Hyperparameter Optimization
Central Washington University（中央华盛顿大学）
几乎所有用于机器学习的模型算法都使用两组不同的参数：训练参数和元参数（超参数）。虽然训练参数是在训练阶段学习的，但超参数的值必须在学习开始之前指定。对于给定的数据集，我们希望在合理的时间内找到超参数值的最佳组合。由于其计算复杂性，这是一个具有挑战性的任务。在以前的工作[11]中，我们介绍了加权随机搜索（WRS）方法，它是随机搜索（RS）和概率贪婪启发式的组合。在当前的论文中，我们比较了WRS方法与几种最先进的超参数优化方法关于卷积神经网络（CNN）超参数优化。该标准是在相同数量的超参数值的测试组合内实现的分类精度。实验结果表明，WRS算法的性能优于其他方法。
2020-03-30 cs.LG stat.ML
Imbalanced Malware Images Classification: a CNN based Approach
University of Wisconsin（威斯康星大学）；Austin Peay State University（奥斯汀佩伊州立大学）
深度卷积神经网络（CNN）可以通过图像分类应用于恶意软件二进制检测。然而，由于恶意软件家族（类）的不平衡，性能降低。为了缓解这个问题，我们提出了一种简单而有效的加权softmax损失，可以用作深度CNN的最后一层。对原有的softmax loss进行加权，可以根据类大小确定权值。在计算权重时还包括缩放参数。适当选择这个参数进行了研究，并提出了一个经验的选择。加权损失旨在以端到端的学习方式减轻数据不平衡的影响。为了验证其有效性，我们在预训练的深度CNN模型中部署了所提出的加权损失，并对其进行了微调，以在恶意软件图像分类方面取得有希望的结果。大量的实验也表明，新的损失函数可以很好地适应其他典型的CNN，产生一个改进的分类性能。
2022-02-20 cs.CV cs.LG stat.ML
Convolutional Neural Networks for Text Categorization: Shallow Word-level vs. Deep Character-level
RJ Research Consulting（RJ研究咨询公司）；Rutgers University（罗格斯大学）
本文报告了我们早期的工作（2015年），浅字级卷积神经网络（CNN）在Conneau等人（2016年）中用于测试非常深的字符级CNN的具有相对较大训练数据的八个数据集上的性能。我们的调查结果如下。浅字级CNN实现了比Conneau等人报道的出错率更好的出错率，尽管由于Conneau等人的独特预处理，结果应该在某种程度上进行解释。浅单词级CNN使用更多的参数，因此比深字符级CNN需要更多的存储;然而，浅单词级CNN计算得快得多。
2016-08-31 cs.CL cs.LG stat.ML
A deep learning-based method for prostate segmentation in T2-weighted magnetic resonance imaging
The University of British Columbia（不列颠哥伦比亚大学）
我们提出了一种新的自动方法，在T2加权磁共振成像（MRI）的前列腺的准确分割。我们的方法基于卷积神经网络（CNN）。由于前列腺的形状、大小和外观存在很大的差异，并且缺乏注释的训练数据，我们建议训练两个单独的CNN。全局CNN将确定前列腺边界框，该边界框然后被重新采样并发送到局部CNN，以准确描绘前列腺边界。这样，本地CNN可以使用少量可用的训练数据有效地学习分割将前列腺与周围组织区分开的精细细节。为了充分利用训练数据，我们通过使用学习的形状模型对训练图像进行变形和分割来合成额外的数据。我们将所提出的方法应用于PROMISE12挑战数据集，并取得了最先进的结果。我们提出的方法生成准确，平滑和无伪影的分割。在测试图像上，我们实现了90.6的平均Dice得分，标准差为2.2，优于所有以前的方法。我们的两步分割方法和数据增强策略可以非常有效地从少量的注释医学图像中分割其他器官。
2019-12-28 cs.LG eess.IV stat.ML
Light-weighted CNN-Attention based architecture for Hand Gesture Recognition via ElectroMyography
Concordia University（康考迪亚大学）；Concordia Institute for Information System Engineering（康考迪亚信息系统工程研究所）
生物信号处理（BSP）和机器学习（ML）模型的进步为开发新型沉浸式人机界面（HMI）铺平了道路。在这种背景下，利用表面肌电图（sEMG）信号的手势识别（HGR）已经引起了极大的兴趣。这是因为它具有解码可穿戴数据的独特潜力，可以解释人类沉浸在混合现实（MR）环境中的意图。为了达到尽可能高的精度，通常开发复杂且权重较大的深度神经网络（DNN），这限制了其在低功耗和资源受限的可穿戴系统中的实际应用。在这项工作中，我们提出了一个轻量级的混合架构（HDCAM）的卷积神经网络（CNN）和注意力机制的基础上，有效地提取本地和全局表示的输入。所提出的具有58，441个参数的HDCAM模型达到了新的最先进（SOTA）性能，在300 ms和200 ms的窗口大小上对17个手势进行分类的准确率分别为82.91%和81.28%。用于训练所提出的HDCAM架构的参数数量比其先前的SOTA对应物少18.87倍。
2022-10-27 cs.LG eess.SP
DNN and CNN with Weighted and Multi-task Loss Functions for Audio Event Detection
University of Hamburg（汉堡大学）
本报告介绍了我们为DCASE 2017挑战赛任务2“罕见声音事件检测”提交的音频事件检测系统。所提出的系统基于卷积神经网络（CNN）和深度神经网络（DNN），并结合新的加权和多任务损失函数以及最先进的相位感知信号增强。损失函数是为音频流中的音频事件检测而定制的。加权损失旨在解决背景/前景分类中数据不平衡的常见问题，而多任务损失使网络能够同时对目标事件的类分布和时间结构进行建模以进行识别。我们提出的系统显著优于挑战基线，将F分数从72.7%提高到90.0%，并将开发数据的平均检测出错率从0.53降低到0.18。在评估数据方面，我们提交的文件获得的平均F1分数为88.3%，出错率为0.22，明显优于DCASE基线（即F1分数为64.1%，出错率为0.64）。
2017-10-18 cs.LG cs.SD
Effective Use of Word Order for Text Categorization with Convolutional Neural Networks
RJ Research Consulting（RJ研究咨询公司）；Baidu Inc.（百度公司）；Rutgers University（罗格斯大学）
卷积神经网络（CNN）是一种能够利用图像数据的二维结构等数据的内部结构的神经网络。本文研究CNN在文本分类中的应用，利用文本数据的一维结构（即词序）进行准确的预测。我们不像通常那样使用低维词向量作为输入，而是直接将CNN应用于高维文本数据，这导致直接学习嵌入小文本区域以用于分类。除了CNN从图像到文本的直接适应之外，还提出了一种简单但新的变体，该变体在卷积层中采用词袋转换。还探索了组合多个卷积层的扩展以获得更高的准确性。实验结果表明，我们的方法相比，国家的最先进的方法的有效性。
2015-03-26 cs.CL cs.LG stat.ML
An Intelligent CNN-VAE Text Representation Technology Based on Text Semantics for Comprehensive Big Data
College of Mathematics and Computer Science, Fuzhou University（福州大学数学与计算机科学学院）；Department of Business and Computer Science, Southwestern Oklahoma State University（西南俄克拉荷马州立大学商业与计算机科学系）
在大数据时代，互联网产生的大量文本数据催生了多种文本表示方法。在自然语言处理中，文本表示是将文本转换成可被计算机处理的向量，而不会丢失原始的语义信息。然而，这些方法都难以有效地提取词间的语义特征，区分语言中的多义现象。为此，提出了一种基于卷积神经网络（CNN）和变分自编码器（VAE）的文本特征表示模型，用于提取文本特征，并将获得的文本特征表示应用于文本分类任务。利用CNN提取文本向量的特征，得到词与词之间的语义关系，并引入VAE使文本特征空间更符合高斯分布。此外，改进的word 2 vec模型的输出被用作所提出的模型的输入，以区分同一个词在不同的上下文中的不同含义。实验结果表明，该模型在k-近邻（KNN）、随机森林（RF）和支持向量机（SVM）分类算法中具有较好的分类性能。
2020-08-28 cs.LG stat.ML
Decision Support System for Detection and Classification of Skin Cancer using CNN
National Institute of Technology, Raipur（印度国家理工学院赖布尔分校）；Indian Institute of Information Technology, Pune（印度信息技术学院浦那分校）
皮肤癌是所有癌症中最致命的一种。它必然会扩散到身体的不同部位，因为它在开始时没有得到分析和治疗。它大多是因为皮肤细胞的异常生长，往往在身体暴露在阳光下时发展。此外，在开始时表征皮肤恶性生长是一个昂贵且具有挑战性的过程。它是分类的，它的发展和它的细胞类型。病变的分类要求有较高的准确率和召回率。本文旨在使用包含皮肤镜图像的MNIST HAM-10000数据集。我们的目标是提出一个系统，检测皮肤癌，并通过使用卷积神经网络在不同的类将其分类。诊断方法使用图像处理和深度学习模型。皮肤癌的皮肤镜图像拍摄，经历了各种技术，以消除噪声和图像分辨率。图像计数也通过使用各种图像增强技术来增加。最后，采用迁移学习方法进一步提高了图像的分类精度。我们的CNN模型的加权平均精度为0.88，加权召回平均值为0.74，加权f1分数为0.77。使用ResNet模型的迁移学习方法获得了90.51%的准确率
2019-12-09 cs.LG stat.ML
SA-CNN: Application to text categorization issues using simulated annealing-based convolutional neural network optimization
École Centrale de Nantes（南特中央理工学院）
卷积神经网络（CNN）是一类代表性的深度学习算法，包括基于其分层架构对输入数据执行卷积不变分类的卷积计算。然而，经典的卷积神经网络学习方法使用最速下降算法进行训练，学习性能受卷积层和全连接层初始权重设置的影响很大，需要重新调整以在不同的模型结构和数据下获得更好的性能。结合模拟退火算法在全局搜索方面的优势，提出将其应用于超参数搜索过程，以提高卷积神经网络（CNN）的有效性。本文在Text-CNN神经网络的基础上引入SA-CNN神经网络用于文本分类任务，并实现了用于超参数搜索的模拟退火算法。实验表明，我们可以实现更高的分类精度比早期的模型与手动调整，并在时间和空间上的改进，探索相对于人类调整是实质性的。
2023-03-13 cs.LG
Enhancing Sound Texture in CNN-Based Acoustic Scene Classification
The Chinese University of Hong Kong（香港中文大学）
声学场景分类是识别从其记录音频信号的场景的任务。卷积神经网络（CNN）模型在声学场景分类中被广泛采用并取得了成功。然而，在CNN中如何感知音频场景的见解很少，正如在图像识别研究中所证明的那样。在本研究中，类激活映射（CAM）被用来分析如何对数幅度梅尔规模滤波器组（log-Mel）功能的不同声学场景中学习的CNN分类器。注意，音频信号的不同的高能量时频分量通常不对应于CAM上的强激活，而背景声音纹理在CNN中被很好地学习。为了使声音纹理更加突出，我们提出了应用高斯差分（DoG）和Sobel算子处理的log-Mel特征和增强边缘信息的时频图像。DCASE 2017 ASC挑战赛的实验结果表明，使用边缘增强的log-Mel图像作为CNN的输入特征显著提高了音频场景分类的性能。
2019-01-06 cs.LG cs.SD eess.AS
An Explainable CNN Approach for Medical Codes Prediction from Clinical Text
SWJTU（西南交通大学）
方法：我们开发了基于CNN的方法，用于基于重症监护病房（ICU）住院患者的临床文本进行自动ICD编码。我们提出了浅层和广泛注意力卷积机制（SWAM），它允许我们的模型学习每个标签的局部和低级特征。我们模型设计背后的关键思想是在与每个代码相关的临床文本中寻找信息片段的存在，并且我们推断“信息片段”和卷积滤波器之间存在对应关系。结果：我们在MIMIC-III上评估了我们的方法，MIMIC-III是一个开放获取的ICU病历数据集。我们的方法在MIMIC-III数据集上的前50个医疗代码预测上大大优于以前的结果。我们将这种改进归功于SWAM，通过SWAM，宽架构使模型能够更广泛地学习不同代码的独特功能，并通过消融实验证明了这一点。此外，我们对不同代码之间的性能不平衡进行了人工分析，并初步总结了决定特定代码学习难度的特征。结论：我们提出了SWAM，一种用于多标签文档分类的可解释的CNN方法，该方法采用宽卷积层来学习每个标签的局部和低级特征，在ICD-9代码预测任务上比以前的指标有了很大的改进，同时为其内部机制提供了令人满意的解释。
2021-01-14 cs.CL cs.LG
Model Reduction of Shallow CNN Model for Reliable Deployment of Information Extraction from Medical Reports
Oak Ridge National Lab（橡树岭国家实验室）；University of Tennessee, Knoxville（田纳西大学诺克斯维尔分校）；Carnegie Mellon University（卡内基梅隆大学）
浅层卷积神经网络（CNN）是一种经过时间考验的工具，用于从癌症病理报告中提取信息抽取。Shallow CNN在这项任务上的表现与其他深度学习模型（包括BERT）相当，后者在许多NLP任务上都是最先进的。这种古怪现象背后的主要见解是，从癌症病理报告中提取信息抽取只需要少量的特定于领域的文本段来执行任务，从而使得大多数文本和上下文对于任务来说过多。浅层CNN模型非常适合从标记的训练集中识别这些关键的短文本片段;然而，识别的文本片段对人类来说仍然是模糊的。在这项研究中，我们通过开发一个模型简化工具来填补这一空白，通过丢弃虚假连接来在CNN过滤器和相关文本片段之间建立可靠的连接。我们降低了浅层CNN表示的复杂性，通过近似它与n-gram存在表示的线性变换，具有非负性和稀疏性先验的变换权重，以获得一个可解释的模型。我们的方法弥合了传统上认为的权衡边界之间的差距准确性的一方和解释的其他模型减少。
2020-07-31 cs.AI cs.CL cs.LG
A Novel Self-Attention-Enabled Weighted Ensemble-Based Convolutional Neural Network Framework for Distributed Denial of Service Attack Classification
Vellore Institute of Technology（韦洛尔理工学院）
本研究提出一种结合三种不同CNN架构的加权集成框架，利用自注意力机制增强特征提取与整合，在DDoS攻击检测中实现了98.69%的准确率，显著优于传统机器学习方法。
2024-10-12 cs.AI cs.CR cs.LG
Infant Brain Age Classification: 2D CNN Outperforms 3D CNN in Small Dataset
Department of Biomedical Engineering, University of Tennessee Health Science Center（田纳西大学健康科学中心生物医学工程系）；Fraunhofer Institute for Digital Medicine MEVIS（弗劳恩霍夫数字医学MEVIS研究所）；Enanta Pharmaceuticals（Enanta制药公司）
确定大脑是否正常发育是儿科神经放射学和神经病学的关键组成部分。婴儿的脑磁共振成像（MRI）显示了一种特殊的发展模式，不仅仅是髓鞘形成。虽然放射科医生已经使用髓鞘形成模式，脑形态和大小特征来确定年龄适当的大脑成熟度，但这需要多年的儿科神经放射学经验。在没有标准化标准的情况下，三岁之前通过MRI对大脑结构成熟度的视觉估计仍然受到观察者间和观察者内变异性的支配。更客观地估计大脑发育年龄可以帮助医生更早更可靠地识别许多神经发育状况和疾病。然而，这样的数据自然很难获得，而且由于评估的主观性，观察者的地面真实性并不是一个黄金标准。有鉴于此，我们探索了解决这一任务的一般可行性，以及不同方法的实用性，包括二维和三维卷积神经网络（CNN），这些神经网络是在T1加权，T2加权和质子密度（PD）加权序列的融合上训练的，这些序列来自84名个体受试者，分为4个年龄组，从出生到3岁。在性能最佳的方法中，我们在中心轴向厚板上使用2D CNN实现了0.90 [95% CI：0.86-0.94]的准确度。我们讨论了与3D网络的比较，并展示了与仅使用一个序列（T1 w）相比的性能。总之，尽管3D CNN方法在理论上具有优势，但在有限数据的情况下，这种方法不如更简单的架构。代码可以在https://github.com/shabanian2018/Age_MRI-Classification中找到
2021-12-27 cs.CV cs.LG eess.IV
A Dynamic Weighted Tabular Method for Convolutional Neural Networks
Friedrich-Alexander University of Erlangen（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；United International University（联合国际大学）
传统的机器学习（ML）模型，如支持向量机、随机森林和逻辑回归，通常是表格数据集分类任务的首选。表格数据由分别对应于实例和特征的行和列组成。过去的研究表明，传统分类器在复杂的表格数据集中往往会产生不令人满意的结果。因此，研究人员试图将强大的卷积神经网络（CNN）用于表格数据集。最近的研究提出了几种技术，如SuperTML，条件GAN（CT GAN）和表格卷积（TAC），用于将卷积神经网络（CNN）应用于表格数据。这些模型的性能优于传统的分类器，并大大提高了对表格数据的性能。这项研究介绍了一种新的技术，即动态加权表格方法（DWTM），它使用基于统计技术的特征权重动态地将CNN应用于表格数据集。该方法根据每个特征与类标签的关联强度动态地为每个特征分配权重。每个数据点被转换成图像并馈送到CNN模型。基于特征的权重为特征分配图像画布空间。DWTM是对前面提到的方法的改进，因为它动态地实现了整个实验设置，而不是使用前面方法中提供的静态配置。此外，它使用了新颖的思想，使用特征权重来创建图像画布空间。在本文中，DWTM被应用于六个基准表数据集，它取得了出色的性能（即，平均准确率为95%。
2022-05-20 cs.CV cs.LG
Research on a hybrid LSTM-CNN-Attention model for text-based web content classification
Vasyl Stefanyk Precarpathian National University（瓦西里·斯捷凡尼克喀尔巴阡国立大学）
本文提出混合LSTM-CNN-Attention模型，通过整合注意力机制提升文本类Web内容分类性能，实验显示其在准确率、精确率等指标上均优于基线模型。
2025-12-26 cs.CL cs.LG
From BoW to CNN: Two Decades of Texture Representation for Texture Classification
National University of Defense Technology（中国人民解放军国防科技大学）；University of Oulu（奥卢大学）；University of Waterloo（滑铁卢大学）；University of Maryland（马里兰大学）
纹理是许多图像的基本特征，纹理表示是计算机视觉和模式识别中的一个基本而又具有挑战性的问题，受到了广泛的研究关注。自2000年以来，基于词袋（BoW）和卷积神经网络（CNN）的纹理表示得到了广泛的研究，并取得了令人印象深刻的性能。鉴于这一时期的显着演变，本文的目的是提出一个全面的调查在过去二十年的纹理表示的进展。本次调查引用了200多篇主要出版物，涵盖了研究的不同方面，其中包括（i）问题描述;（ii）基于BoW，基于CNN和基于属性的方法的广泛类别的最新进展;以及（iii）评估问题，特别是基准数据集和最先进的结果。回顾迄今为止所取得的成就，调查讨论了开放的挑战和未来研究的方向。
2018-10-03 cs.CV cs.LG
Belief Propagation for Maximum Coverage on Weighted Bipartite Graph and Application to Text Summarization
Ibaraki University（茨城大学）
本文从最大覆盖问题的角度研究文本摘要。在图论中，文本摘要的任务被看作是二分图上的最大覆盖问题。近年来，利用统计力学的思想，提出了基于置信传播的无权图最大覆盖算法。我们将其推广到加权图的文本摘要。最后，我们将我们的算法应用于加权双正则随机图的最大覆盖性能验证。我们还将其应用于表示开放文本数据集上真实文档的二分图，并检验了文本摘要的性能。实验结果表明，该算法在某些文本摘要环境下具有比贪婪型算法更好的性能。
2020-03-26 cs.CL cs.IR cs.LG
Deep CNN based feature extractor for text-prompted speaker recognition
ITMO University（ITMO大学）；STC-innovations Ltd.（STC创新有限公司）；STC Ltd.（STC有限公司）
深度学习在说话人确认领域仍然不是一个非常常用的工具。我们研究了深度卷积神经网络在文本提示的说话人验证任务中的性能。提示的密码短语被分割成单词状态-即数字-以单独测试每个数字发音。我们训练一个单一的高级特征提取器的所有状态，并使用余弦相似性度量评分。我们网络的关键特征是Max-Feature-Map激活函数，它充当嵌入式特征选择器。通过使用多任务学习方案来训练高级特征提取器，我们能够在质量方面超越经典基线系统，并在这种新手方法中取得了令人印象深刻的结果，在RSR 2015评估集上获得了2.85%的EER。建议和基线系统的融合改善了这一结果。
2018-03-13 cs.CL cs.LG cs.SD
Boosting up Scene Text Detectors with Guided CNN
SenseTime Group Limited（商汤集团有限公司）；The University of Hong Kong（香港大学）；University of Florida（佛罗里达大学）；Chinese Academy of Sciences（中国科学院）
深度CNN在文本检测方面取得了巨大的成功。大多数现有的方法试图通过复杂的网络设计来提高精度，而对速度的关注较少。在本文中，我们提出了一个通用的文本检测框架，称为引导CNN，同时实现这两个目标。该模型由一个引导子网络和一个初级文本检测器组成，其中引导掩码是从输入图像本身学习的，而每个卷积和非线性操作仅在引导掩码中进行。一方面，引导子网络对非文本区域进行粗过滤，大大降低了计算复杂度。另一方面，初级文本检测器侧重于区分文本和硬非文本区域，并回归文本边界框，实现了更好的检测精度。提出了一种称为背景感知块随机合成的训练策略，以进一步提高性能。我们证明了建议的引导CNN不仅是有效的，而且是高效的两个国家的最先进的方法，CTPN和EAST，作为骨干。在具有挑战性的基准ICDAR 2013上，它将CTPN平均加速了2.9倍，同时将F度量提高了1.5%。在ICDAR 2015上，它将EAST的速度提高了2.0倍，同时将F测量提高了1.0%。
2018-05-14 cs.CV cs.LG
Soil Texture Classification with 1D Convolutional Neural Networks based on Hyperspectral Data
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
土壤质地对许多环境过程都很重要。本文研究了基于高光谱数据的土壤质地分类。我们开发并实现了三个1维（1D）卷积神经网络（CNN）：Lucas CNN，LucasResNet，其中包含一个身份块作为残差网络，以及LucasCoordConv与额外的坐标层。此外，我们修改了现有的两个一维CNN方法的分类任务。所有五种CNN方法的代码都可以在GitHub上找到（Riese，2019）。我们评估了CNN方法的性能，并将其与随机森林分类器进行了比较。因此，我们依赖于免费提供的LUCAS表土数据集。具有最小深度的CNN方法被证明是性能最好的分类器。LucasCoordConv在平均精度方面实现了最佳性能。在未来的工作中，我们可以进一步增强引入的LucasCNN，LucasResNet和LucasCoordConv，并包括丰富的LUCAS数据集的其他变量。
2019-03-30 cs.CV cs.LG physics.geo-ph
English offensive text detection using CNN based Bi-GRU model
Utah State University（犹他州立大学）；William & Mary（威廉玛丽学院）；Maharishi International University（玛赫西国际大学）；Brac University（BRAC大学）；Uttara University（Uttara大学）；Northern University（北方大学）
本文针对社交媒体冒犯性内容检测问题，提出Bi-GRU与CNN结合的Bi-GRU-CNN模型，实验表明其分类性能优于现有模型。
2024-10-18 cs.CL cs.LG cs.SI
On Residual CNN in text-dependent speaker verification task
ITMO University（圣彼得堡国立信息技术、机械与光学研究大学）；STC-innovations Ltd.（STC创新有限公司）
深度学习方法在说话人验证领域仍然不是很常见。本文研究了将深度残差卷积神经网络与声谱图作为输入特征用于文本相关说话人确认的可能性。尽管我们无法在质量上超过基线系统，但我们在RSR2015评估部分获得了5.23%的错误率。融合的基线和建议的系统比最好的个别系统的性能相对高出18%。
2017-05-30 cs.LG cs.SD
Empirical Comparisons of CNN with Other Learning Algorithms for Text Classification in Legal Document Review
Sidley Austin LLP（世达律师事务所）；AT&T Services, Inc.（美国电话电报公司服务部）；Ankura（安库拉咨询公司）
研究表明，卷积神经网络（CNN）可以有效地应用于文本分类，作为预测编码协议的一部分。也就是说，到目前为止，大多数研究都是在短文档的数据集上进行的，这些短文档并不能反映真实世界文档审查中的文档种类。使用来自不同长度文档的四个实际评论的数据，我们将CNN与其他流行的文本分类机器学习算法进行了比较，包括Logistic回归，支持向量机和随机森林。对于每个数据集，使用不同的学习算法用不同的训练样本量训练分类模型。然后使用大量随机抽样的文档测试集对这些模型进行评估，并使用精确度和召回率曲线对结果进行比较。我们的研究表明，CNN表现良好，但没有一种算法在数据集和训练样本大小的组合中表现最好。这些结果将有助于推进对法律行业使用机器学习算法的研究，以最大限度地提高性能。
2019-12-19 cs.IR cs.LG
W-RNN: News text classification based on a Weighted RNN
大多数信息都是以文本的形式存储的，因此文本挖掘被认为具有很高的商业潜力。针对基于稀疏表示的分类方法存在的语义约束问题，提出了一种加权递归神经网络（W-RNN），能够充分提取文本序列化语义信息。针对文本数据表示中特征维数高、语义关系不清晰的问题，首先利用词向量表示文本中的词汇，然后利用递归神经网络（RNN）对序列化文本数据进行特征提取。然后，使用词向量的中间输出对词向量进行自动加权和求和，以形成文本表示向量。最后，利用神经网络进行分类。在新闻数据集上对W-RNN进行了验证，证明W-RNN在精度、召回率、F1和损失值方面优于其他四种基线方法，适合于文本分类。
2019-09-28 cs.IR cs.LG stat.ML
Hybrid Machine Learning Model for Detecting Bangla Smishing Text Using BERT and Character-Level CNN
Department of Computer Science and Engineering（计算机科学与工程系）；World University of Bangladesh（孟加拉世界大学）；Department of Electrical and Electronics Engineering（电气与电子工程系）；Jashore University of Science and Technology（贾沙尔大学科学与技术学院）；Southern University Bangladesh（孟加拉南部大学）；Institute of Information Technology（信息技术研究所）；Noakhali Science and Technology University（诺阿基利科学与技术大学）
针对孟加拉语钓鱼短信检测问题，提出结合BERT上下文嵌入与字符级CNN特征的混合模型，通过注意力机制优先关键文本片段，实现98.47%准确率，优于传统分类器且多分类表现优异。
2025-02-03 cs.CL cs.LG cs.SI
CG-CNN: Self-Supervised Feature Extraction Through Contextual Guidance and Transfer Learning
Auburn University at Montgomery（奥本大学蒙哥马利分校）；University of North Carolina at Chapel Hill（北卡罗来纳大学教堂山分校）
本文提出自监督的 CG-CNN，利用上下文引导和迁移学习从视觉、触觉、时序及文本数据中提取可迁移特征，并在图像与文本任务上验证其优势。
2024-10-19 cs.CV cs.LG
Emotion Recognition from Microblog Managing Emoticon with Text and Classifying using 1D CNN
Khulna University of Engineering & Technology（库尔纳工程技术大学）；Gunma University（群马大学）
微博是一种基于网络的传播媒介，是人们广泛使用的分享思想和观点的论坛。近年来，微博的情绪识别在各个领域都是一个很有启发性的研究课题。在机器学习领域，从微博中自动识别情感是一项具有挑战性的任务，特别是，考虑到不同的内容，以获得更好的结果。微博文本中的缩略语变得非常普遍，因为它强化了内容的意义。本文提出了一种同时考虑文本和表情符号的微博情感识别方法。图标被认为是用户情感的独特表达，可以通过适当的情感词来改变。该方法保留了微博数据中出现的表情符号的连续性，并采用一维卷积神经网络（CNN）进行情感分类。实验结果表明，所提出的情感识别方案优于其他现有的方法，而测试的Twitter数据。
2023-01-08 cs.LG
ArcText: A Unified Text Approach to Describing Convolutional Neural Network Architectures
Sichuan University（四川大学）；Oklahoma State University（俄克拉荷马州立大学）；Victoria University of Wellington（惠灵顿维多利亚大学）
卷积神经网络（CNN）的优越性在很大程度上依赖于它们的架构，这些架构通常是通过广泛的人类专业知识手工制作的。不幸的是，这种领域知识不一定是每个感兴趣的用户所拥有的。对现有CNN的数据采掘可以从其架构中发现有用的模式和基本的子评论，为研究人员提供强大的先验知识，以便在没有CNN专业知识的情况下设计适当的CNN架构。目前已经有了各种最先进的数据采掘算法，但对数据挖掘的研究却很少。其中一个主要原因是CNN架构和数据采掘算法之间的差距。具体地，当前的CNN架构描述不能被精确地向量化到数据采掘算法的输入。在本文中，我们提出了一个统一的方法，命名为ArcText，描述基于文本的CNN架构。ArcText中精心设计了四种不同的单元和一种排序方法，以充分的信息唯一地描述同一个体系结构。此外，所得到的描述可以被准确地转换回相应的CNN架构。ArcText在CNN体系结构和数据采掘研究人员之间架起了一座桥梁，具有更广泛的应用前景。
2020-05-29 cs.IR cs.LG eess.IV
Scopeformer: n-CNN-ViT Hybrid Model for Intracranial Hemorrhage Classification
Rowan University（罗文大学）
我们提出了一个由卷积神经网络（CNN）集成组成的特征生成器骨干，以改善最近出现的Vision Transformer（ViT）模型。我们解决了RSNA颅内出血分类问题，即，从计算机断层扫描（CT）切片中识别各种出血类型。我们表明，通过逐渐堆叠使用多个Xception CNN提取的多个特征图，我们可以为ViT模型开发一个功能丰富的输入。我们的方法允许ViT模型在多个层面上关注相关特征。此外，使用各种范例预训练n个CNN会导致不同的特征集，并进一步提高所提出的n-CNN-ViT的性能。我们实现了98.04%的测试准确度，加权对数损失值为0.0708。所提出的架构是模块化的，并且在用于特征提取的CNN的数量和ViT的大小方面都是可扩展的。
2021-07-07 cs.LG eess.IV
Optimizing CNN Architectures for Advanced Thoracic Disease Classification
Georgia Institute of Technology（佐治亚理工学院）
本研究评估多种CNN架构并引入PCA预处理技术与类加权损失函数，以应对胸部疾病分类中的数据集不平衡等挑战，凸显CNNs在医学成像的潜力并强调需解决相关问题以优化性能。
2025-02-15 cs.AI cs.CV cs.LG
Attention-based Fully Gated CNN-BGRU for Russian Handwritten Text
Satbayev University（萨特巴耶夫大学）；International IT University（国际信息技术大学）
本研究采用在哈萨克语和俄语上训练的注意编码器-解码器网络来处理手写文本的任务。我们开发了一种基于全门控CNN的新型深度神经网络模型，该模型由多个双向GRU和注意力机制支持，以操纵复杂的特征，该特征对于第一测试数据集实现0.045字符出错率（CER）、0.192单词出错率（WER）和0.253序列出错率（SER），并且对于第一测试数据集实现0.064 CER，第二个测试数据集为0.24 WER和0.361 SER。此外，我们提出了完全门控层，利用多个输出功能从Tahn和输入功能，这项工作取得了更好的效果，我们用我们的模型在手写哈萨克语和俄语数据库（HKR）上进行了实验。我们的研究是HKR数据集的第一项工作，并向大多数其他现有模型展示了最先进的结果。
2020-08-20 cs.CV cs.LG
EmoAugNet: A Signal-Augmented Hybrid CNN-LSTM Framework for Speech Emotion Recognition
Department of Computer Science \& Engineering Shahjalal University of Science \& Technology Sylhet, Bangladesh；Department of Computer Science \& Engineering Columbus State University Georgia, USA saha\
提出EmoAugNet混合CNN-LSTM框架，结合多种数据增强与特征提取，在IEMOCAP和RAVDESS数据集上实现高准确率语音情感识别。
2025-08-06 cs.HC cs.LG cs.SD
A Lightweight CNN-Attention-BiLSTM Architecture for Multi-Class Arrhythmia Classification on Standard and Wearable ECGs
针对心律失常检测需求，提出结合1D CNN、注意力机制和BiLSTM的轻量级模型，解决类别不平衡问题，在CPSC 2018数据集上表现优于基线模型，仅94.5万参数，适合可穿戴系统实时部署。
2025-11-11 cs.LG
Atrial Fibrillation Detection and ECG Classification based on CNN-BiLSTM
NYU（纽约大学）
从心电图（ECG）信号中视觉检测心脏病是一项具有挑战性的工作。实现心电信号的自动检测可以帮助心律失常的诊断，从而提高诊断的准确性。在本文中，我们提出，实现，并比较了一个自动化系统，使用两种不同的框架相结合的卷积神经网络（CNN）和长短期记忆（LSTM）的分类正常窦信号，心房颤动，和其他噪声信号。我们使用的数据集来自MIT-BIT Arrhythmia Physionet。我们的方法表明，两个深度学习网络的级联比它们的级联具有更高的性能，实现了0.82的加权f1得分。实验结果成功地验证了CNN和LSTM的级联可以在识别ECG信号方面取得令人满意的性能。
2020-11-12 cs.LG eess.SP
Content-based similar document image retrieval using fusion of CNN features
The College of Information Engineering, Xiangtan University（湘潭大学信息工程学院）
数字化文献的迅速增长对文献图像检索提出了更高的要求。传统的文档图像检索方法依赖于复杂的基于OCR的文本识别和文本相似性检测，本文提出了一种新的基于内容的方法，其中更多的注意力放在特征提取和融合。在该方法中，文档图像的多个特征提取不同的CNN模型。然后对提取的CNN特征进行约简并融合为加权平均特征。最后，基于与所提供的查询图像的特征相似性对文档图像进行排名。对一组由学术论文转化而来的包含英文和中文文档的文档图像进行了实验，结果表明，该方法具有良好的检索文本内容相似的文档图像的能力，并且融合CNN特征可以有效提高检索准确率。
2017-09-01 cs.CV cs.IR cs.LG
