An empirical study on large scale text classification with skip-gram embeddings
University of Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Coffreo（Coffreo公司）
我们研究了在大规模文本分类的背景下，将词嵌入作为分类特征。这种表示已被用于过多的任务，但它们在分类场景中的应用与成千上万的类还没有得到广泛的研究，部分是由于硬件的限制。在这项工作中，我们研究了有效的组合功能，以获得文档级的字级嵌入，我们随后调查他们的组合与传统的一热编码表示。通过对大型、多类、多标签分类问题的经验证据，我们证明了这种组合的效率和性能优势。
2016-06-21 cs.CL cs.IR
An Empirical Analysis of the Role of Amplifiers, Downtoners, and Negations in Emotion Classification in Microblogs
University of Stuttgart（斯图加特大学）
放大器、降调器和否定的效果已经被广泛研究，特别是在情感分析的背景下。然而，只有有限的工作，旨在转移的结果和方法，以离散类的情绪，如。例如，在一个实施例中，喜悦愤怒恐惧悲伤惊讶和厌恶例如，解释“不快乐”这个短语表达的是哪种情绪并不直接。通过本文，我们的目标是更好地理解这种修饰语的背景下，情感承载的话，他们的影响，文件级的情感分类，即微博在Twitter上。我们选择了一个适当的范围检测方法的情感词的修饰语，将其作为额外的词袋在文档级的情感分类模型，并表明这种方法提高了情感分类的性能。此外，我们还建立了一个基于不同修饰语的词汇加权方法，用于分析修饰语的语义及其对情感意义的影响。我们表明，放大器分离的情绪表达的情绪，一个情绪轴承字更清楚地从其他次要内涵。低调的人有相反的效果。此外，我们还讨论了情感词的否定意义。例如，我们的经验表明，“不快乐”更接近悲伤，而不是愤怒，在低调的范围内，表达恐惧的词往往表示惊讶。
2018-10-02 cs.CL
Evolving Character-level Convolutional Neural Networks for Text Classification
更高级的卷积神经网络（char-CNN）不需要知道它们所分类的语言的语义或句法结构。该属性简化了其实现，但降低了其分类精度。增加char-CNN架构的深度并不会带来突破性的准确性改进。研究还没有确定哪种char-CNN架构最适合文本分类任务。手动设计和训练char-CNN是一个迭代和耗时的过程，需要专业的领域知识。进化深度学习（EDL）技术，包括基于代理的版本，已经证明在自动搜索用于图像分析任务的高性能CNN架构方面取得了成功。研究人员还没有应用EDL技术来搜索用于文本分类任务的char-CNN的架构空间。这篇文章展示了使用基于遗传编程的新型EDL算法（间接编码和代理模型）来自动搜索性能良好的char-CNN架构的第一项工作。该算法在八个文本分类数据集上进行了评估，并针对五个手动设计的CNN架构和一个长短期记忆（LSTM）架构进行了基准测试。实验结果表明，该算法可以进化出在分类精度方面优于LSTM的架构，以及在分类精度和参数计数方面优于五种手动设计的CNN架构。
2020-12-03 cs.CL cs.LG cs.NE
Evolving Character-Level DenseNet Architectures using Genetic Programming
Victoria University of Wellington（惠灵顿维多利亚大学）
DenseNet架构在图像分类任务中表现出令人印象深刻的性能，但在使用字符级DenseNet（char-DenseNet）架构进行文本分类任务方面的研究有限。目前尚不清楚什么DenseNet架构最适合文本分类任务。char-DenseNets的设计，训练和测试的迭代任务是一个NP难题，需要专家领域知识。进化深度学习（EDL）已被用于自动设计用于图像分类领域的CNN架构，从而减少对专业领域知识的需求。这项研究展示了使用EDL来发展用于文本分类任务的char-DenseNet架构的第一项工作。一种新的遗传编程为基础的算法（GP-Dense）加上一个间接的编码方案，促进了性能的字符DenseNet架构的演变。该算法在两个流行的文本数据集上进行评估，最佳进化模型与四个当前最先进的字符级CNN和DenseNet模型进行基准测试。结果表明，该算法为两个数据集演化出性能模型，在模型精度方面优于两个最先进的模型，在参数大小方面优于三个最先进的模型。
2020-12-03 cs.CL cs.LG cs.NE
DDNAS: Discretized Differentiable Neural Architecture Search for Text Classification
National Cheng Kung University（国立成功大学）
针对文本NAS缺乏操作融合与层次类别建模的问题，提出DDNAS，通过连续松弛、梯度搜索及互信息离散化层提升文本分类性能。
2023-07-12 cs.CL cs.IR cs.LG
Empirical Evaluation of RNN Architectures on Sentence Classification Task
Chanjet Information Technology（畅捷通信息技术股份有限公司）
递归神经网络已经在NLP中的许多问题上取得了最先进的结果，两种最流行的RNN架构是尾模型和池模型。在本文中，我们提出了一个混合架构，并提出了第一个实证研究使用LSTM比较性能的三个RNN结构的句子分类任务。实验结果表明，最大池模型或混合最大池模型在大多数数据集上都取得了最好的性能，而尾部模型并没有优于其他模型。
2016-10-08 cs.CL
Discourse Relations Classification and Cross-Framework Discourse Relation Classification Through the Lens of Cognitive Dimensions: An Empirical Investigation
University of St Andrews（圣安德鲁斯大学）
本文实证研究基于Sanders等人提出的认知维度，证明其可有效刻画话语关系，并实现PDTB与RST框架间的知识迁移，同时分析了不同维度对不同关系类型的影响。
2023-11-01 cs.CL
An Empirical Study on Sentiment Classification of Chinese Review using Word Embedding
School of Information and Software Engineering（信息与软件工程学院）；University of Electronic Science and Technology of China（电子科技大学）
本文提出了如何将词嵌入作为中文情感分类的特征。首先，建立了一个中文评论语料库，其中包含了来自酒店评论网站的100万条评论。然后将代表每个评论的词嵌入用作不同机器学习方法的输入用于情感分类，包括SVM，Logistic回归，卷积神经网络（CNN）和集成方法。这些方法得到更好的性能相比，使用朴素贝叶斯（NB）和最大熵（ME）的N-gram模型。最后，提出了一种组合机器学习方法，该方法在查准率、查全率和F1得分方面都有较好的表现。在选择最有用的方法来构建组合模型并在语料库上测试之后，最终的F1得分为0.920。
2015-11-05 cs.CL
Time Will Change Things: An Empirical Study on Dynamic Language Understanding in Social Media Classification
The Hong Kong Polytechnic University（香港理工大学）
语言特征在现实世界的社交媒体环境中不断发展。自然语言理解（NLU）中的许多训练模型，在对不可见特征的语义推理中无效，因此可能会在动态性能方面不断恶化。为了应对这一挑战，我们在动态设置中对社交媒体NLU进行了实证研究，其中模型基于过去的数据进行训练，并对未来进行测试。与通常采用的随机数据分割的静态设置相比，它更能反映实际情况。为了进一步分析模型对动态性的适应性，我们探索了利用模型训练后创建的一些未标记数据的有用性。在实验中研究了基于自动编码和伪标记的无监督域自适应基线的性能，以及将它们耦合在一起的联合框架。四个社交媒体任务的实质性结果意味着不断变化的环境对分类准确性的普遍负面影响，而自动编码和伪标签协作显示出最好的动态鲁棒性。
2022-10-06 cs.CL
An Attentive Neural Architecture for Fine-grained Entity Type Classification
Tohoku University（东北大学）；University College London（伦敦大学学院）
在这项工作中，我们提出了一种新的注意力为基础的神经网络模型的细粒度实体类型分类的任务，不像以前提出的模型递归组成实体提及上下文的表示。我们的模型在成熟的FIGER数据集上获得了74.94%的松散微观F1分数，相对提高了2.59%。我们还研究了我们的模型的注意力机制的行为，并观察到它可以学习上下文语言表达，指示细粒度的类别成员的实体。
2016-04-19 cs.CL
AutoRC: Improving BERT Based Relation Classification Models via Architecture Search
East China Normal University（华东师范大学）；Fudan University（复旦大学）；Pingan Health Tech（平安健康医疗科技）；Ping An Health Cloud Company Limited（平安健康云有限公司）；Ping An International Smart City Technology Co., Ltd（平安国际智慧城市科技股份有限公司）
尽管基于BERT的关系分类（RC）模型相对于传统的深度学习模型已经取得了显著的改进，但是对于什么是最佳架构似乎还不能达成共识。首先，存在用于实体跨度标识的多种备选方案。第二，存在池化操作的集合，以将实体和上下文的表示聚合成固定长度的向量。第三，很难手动决定哪些特征向量（包括它们的交互）有利于对关系类型进行分类。在这项工作中，我们设计了一个全面的搜索空间的BERT为基础的RC模型，并采用神经架构搜索（NAS）的方法来自动发现上述的设计选择。在7个基准RC任务上的实验表明，该方法比基于基准BERT的RC模型更有效。烧蚀实验验证了搜索空间设计的必要性和搜索方法的有效性。
2020-09-27 cs.CL
RethinkingTMSC: An Empirical Study for Target-Oriented Multimodal Sentiment Classification
School of Computer Science, Fudan University（复旦大学计算机科学学院）；School of Computer Science and Technology, East China Normal University（华东师范大学计算机科学与技术学院）；nyonic；Institute of Modern Languages and Linguistics, Fudan University（复旦大学现代语言学研究院）
本文通过实证研究揭示TMSC系统主要依赖文本模态，指出多模态融合和数据集构建的改进方向，以突破性能瓶颈。
2023-12-23 cs.CL
Augmenting Data with Mixup for Sentence Classification: An Empirical Study
National Research Council Canada（加拿大国家研究委员会）；University of Ottawa（渥太华大学）；Beihang University（北京航空航天大学）
Mixup是最近提出的一种数据增强方法，通过对输入进行线性插值并对随机样本的目标进行建模，已证明其能够显着提高用于图像分类的最新网络的预测精度。然而，如何将这种技术应用于自然语言处理（NLP）任务，以及它的有效性如何，还没有研究。在本文中，我们提出了两种策略的适应Mixup的句子分类：一个执行插值的词嵌入和另一个句子嵌入。我们使用几个基准数据集进行实验来评估我们的方法。我们的研究表明，这种插值策略是一种有效的、独立于领域的数据增强方法，用于句子分类，并且可以显著提高CNN和LSTM模型的准确性。
2019-05-22 cs.AI cs.CL
Data Generation Using Large Language Models for Text Classification: An Empirical Case Study
Microsoft Corporation（微软公司）
本研究实证分析LLM生成合成数据用于文本分类时，提示词、任务复杂性和数据质量等影响因素，并提出改进数据生成实践的建议。
2024-07-19 cs.AI cs.CL
A Novel Architecture For Question Classification Based Indexing Scheme For Efficient Question Answering
Echelon Institute of Technology（埃切隆理工学院）
问答系统可以被看作是信息检索的下一步，它允许用户用自然语言提出问题并得到简洁的答案。为了使问答系统成功，研究表明，相对于期望的答案类型的问题的正确分类是必要的。我们提出了一种新的架构，在索引中的问题分类和搜索，保持预期的答案类型的基础上，有效的问答。系统使用答案相关性分数的标准来查找系统返回的每个答案的相关性。在分析所提出的系统，它已被发现，该系统已显示出有前途的结果比现有的系统的基础上的问题分类。
2013-07-26 cs.CL cs.IR
A Systematic Comparison of Architectures for Document-Level Sentiment Classification
University of Oslo（奥斯陆大学）
文档由更小的片段组成-段落、句子和标记-它们之间具有复杂的关系。考虑到这些文档中固有结构的情感分类模型比那些不考虑的模型具有理论优势。与此同时，基于语言模型预训练的迁移学习模型在文档分类中显示出了希望。然而，这两种模式尚未得到系统的比较，也不清楚在何种情况下一种方法优于另一种方法。在这项工作中，我们经验比较层次模型和迁移学习的文档级情感分类。我们发现，非平凡的层次模型优于以前的基线和迁移学习在五种语言的文档级情感分类。
2022-02-02 cs.CL cs.LG
A Two-Stage Architecture for NDA Analysis: LLM-based Segmentation and Transformer-based Clause Classification
本文提出基于LLM和Transformer的两阶段架构，用于自动化NDA文档的分段和条款分类，实验结果显示方法在准确率和精确度上均表现优异。
2026-02-13 cs.AI cs.CL
A Simple Attention-Based Mechanism for Bimodal Emotion Classification
University of Sunderland（桑德兰大学）；Sunderland（桑德兰）
本文提出一种引入注意力机制的双模态深度学习架构，融合文本与语音数据进行情感分类，实验表明其性能优于仅用单一模态的模型及多个现有最优系统。
2024-06-28 cs.AI cs.CL cs.LG
Comparative Analysis of AI Agent Architectures for Entity Relationship Classification
Michigan State University（密歇根州立大学）
本文比较了三种基于大语言模型的AI代理架构在实体关系分类中的性能，发现多代理协作优于少样本提示方法，接近微调模型性能。
2025-06-04 cs.AI cs.CL
Intent Classification in Question-Answering Using LSTM Architectures
ENEA（意大利国家新技术、能源与可持续经济发展署）
问答（QA）无疑是自然语言处理（NLP）和人工智能（AI）中最著名也可能是最复杂的问题之一。由于找到一个通用答案的完整解决方案似乎还很遥远，最明智的做法是通过解决单个更简单的部分来分解问题。假设一个模块化的方法来解决这个问题，我们将我们的研究局限于一个答案的意图分类，给出一个问题。通过使用LSTM网络，我们展示了如何有效地实现这种类型的分类，以及如何在基本原型响应器中正确使用它。
2020-01-25 cs.CL cs.LG stat.ML
