Hierarchical Neural Networks for Sequential Sentence Classification in Medical Scientific Abstracts
MIT（麻省理工学院）
基于人工神经网络（ANN）的句子分类模型通常孤立地对句子进行分类，而不考虑句子出现的上下文。这阻碍了传统的句子分类方法的顺序句子分类的问题，需要结构化的预测更好的整体分类性能。在这项工作中，我们提出了一个层次顺序标记网络，利用周围的句子中的上下文信息，以帮助分类当前的句子。我们的模型在两个基准数据集上的表现优于最先进的结果2%-3%，用于医学科学摘要中的顺序句子分类。
2018-08-19 cs.CL
Unveiling Comparative Sentiments in Vietnamese Product Reviews: A Sequential Classification Framework
Fulbright University Vietnam（富布赖特越南大学）；Athena Studio；VNG Corporation（VNG公司）
针对越南语产品评论中的比较意见挖掘任务，提出包含比较句识别、比较元素提取和比较类型分类三个序列子任务的框架，在VLSP 2023 ComOM挑战赛中排名第五。
2024-01-02 cs.CL
Cross-Dialect Sentence Transformation: A Comparative Analysis of Language Models for Adapting Sentences to British English
Indian Institute of Technology Madras（印度理工学院马德拉斯分校）
本研究比较了不同语言模型将美式、印度和爱尔兰英语方言转换为英式英语的能力，发现印度和爱尔兰英语翻译与英式英语相似度较高，而美式英语略低；Llama-2-70b表现最佳，强调了模型选择对翻译质量的关键作用。
2023-11-05 cs.AI cs.CL
The Improvement of Negative Sentences Translation in English-to-Korean Machine Translation
Kim Il Sung University（金日成综合大学）
描述了在英朝机器翻译（EKMT）中将英语否定句翻译成韩语的算法。该算法是在对比研究英语和韩语否定句的基础上提出的。早期的翻译软件不能将英语否定句翻译成准确的韩语对应句。我们建立了一个新的否定句翻译算法，并对其进行了评价。
2015-12-26 cs.CL
The Effect of Downstream Classification Tasks for Evaluating Sentence Embeddings
Microsoft Research Montreal（微软研究院蒙特利尔）
一种用于定量评估句子嵌入效用的流行方法涉及在需要句子表示作为输入的下游语言处理任务中使用它们。一个简单的任务是分类，其中句子表示用于在多个分类数据集上训练和测试模型。我们认为，通过以这种方式评估句子表示，表示的目标成为学习一个低维分解的任务标签矩阵。我们展示了这个矩阵的特性如何影响低维分解作为一套分类任务中的句子表示的能力。首先，在所有可能的分类任务中具有更多标签的句子具有更高的重建损失，然而这种效果的一般性质最终取决于标签在所有可能句子中的总体分布。
2019-05-27 cs.CL
Integrated Eojeol Embedding for Erroneous Sentence Classification in Korean Chatbots
Kakao Enterprise（Kakao企业）；Sungkyunkwan University（成均馆大学）
本文试图分析一个聊天机器人的韩语句子分类系统。句子分类是基于预定义的类别对输入句子进行分类的任务。然而，输入句子中包含的拼写或空格错误会导致词法分析和标记化的问题。本文提出了一种新的方法集成Eojeol（韩语句法词分隔空间）嵌入，以减少分析不良的语素可能对句子分类的影响。它还提出了两种噪声插入方法，进一步提高分类性能。我们的评估结果表明，所提出的系统分类错误的句子比基线系统更准确17%p.0
2020-04-13 cs.CL
A Comparative Study of Sentence Embedding Models for Assessing Semantic Variation
University of Cincinnati（辛辛那提大学）
本文通过分析多部文学书籍中连续句子相似度时间序列和成对相似度矩阵，在真实场景下比较多种句子嵌入方法，发现它们能推断出高度相关的语义变化模式，但存在有趣差异。
2023-08-08 cs.AI cs.CL
Translations as Additional Contexts for Sentence Classification
Yonsei University（延世大学）；Pohang University of Science and Technology（浦项科技大学）
在句子分类任务中，诸如相邻句子的附加上下文可以提高分类器的准确性。然而，这样的上下文是依赖于域的，因此不能用于具有不适当域的另一分类任务。相比之下，我们建议使用翻译的句子作为上下文，无论领域如何都是可用的。我们发现，天真的功能扩展的翻译收益只有边际改善，并可能降低分类器的性能，由于可能不准确的翻译，从而产生嘈杂的句子向量。为此，我们提出了多个上下文固定附件（MCFA），一系列的模块附加到多个句子向量，以固定的噪音使用其他句子向量作为上下文的向量。我们表明，与以前的模型相比，我们的方法具有竞争力，在多个数据集上实现了最佳分类性能。我们是第一个使用翻译作为句子分类的无域上下文。
2018-06-14 cs.CL
A Comparative Study on Structural and Semantic Properties of Sentence Embeddings
College of Computing and Informatics Drexel University（德雷塞尔大学计算机与信息学院）；Drexel University（德雷塞尔大学）
句子嵌入将自然语言句子编码为低维稠密向量。大量的努力已经投入到使用句子嵌入来改善几个重要的自然语言处理任务。关系抽取就是这样一种NLP任务，其目的是从非结构化文本中识别知识库中定义的结构化关系。一个有前途的和更有效的方法将是嵌入文本和结构化的知识在低维空间，并发现它们之间的语义对齐或映射。虽然在文献中已经提出了一些技术嵌入句子和知识图谱，很少有人知道这些嵌入空间的结构和语义属性的关系抽取。在本文中，我们调查上述属性评估的程度进行类似的意义上的句子被嵌入在接近的子空间，如果我们可以利用该结构对齐句子的知识图谱。我们提出了一组实验，使用广泛使用的大规模数据集的关系抽取，并专注于一组关键的句子嵌入方法。我们还在https://github.com/akalino/semantic-structural-sentences上提供了复制这些实验的代码。这些嵌入方法涵盖了各种各样的技术，从简单的词嵌入组合到基于transformer的BERT风格模型。我们的实验结果表明，不同的嵌入空间有不同程度的强度的结构和语义属性。这些结果为开发基于嵌入的关系抽取方法提供了有用的信息。
2020-09-23 cs.CL cs.LG
No Training Required: Exploring Random Encoders for Sentence Classification
Carnegie Mellon University（卡内基梅隆大学）；Facebook AI Research（脸书人工智能研究院）
我们探索了各种方法，用于在没有任何训练的情况下从预先训练的词嵌入计算句子表示，即，只使用随机参数化我们的目标是让句子嵌入有更坚实的基础，方法是：1）看看现代句子嵌入比随机方法获得了多少收益--事实证明，令人惊讶的是很少; 2）为该领域提供更合适的基线--事实证明，这是相当强大的。我们还提出了重要的意见，适当的实验方案的句子分类评估，以及建议，为今后的研究。
2019-01-29 cs.CL
Improving Document-Level Sentiment Classification Using Importance of Sentences
Kangwon National University（江原大学）；Konkuk University（建国大学）
以前的研究人员认为情感分析作为一个文档分类任务，其中输入文档被分类到预定义的情感类。尽管文档中有支持情感分析的重要证据的句子，也有不支持的句子，但他们将文档视为一袋句子。换句话说，他们没有考虑到文件中每一句话的重要性。为了有效地确定文档的极性，文档中的每个句子都应该处理不同的重要程度。针对这一问题，提出了一种基于深度神经网络的文档级句子分类模型，通过门机制自动确定文档中句子的重要程度。为了验证我们的新情感分析模型，我们使用电影评论、酒店评论、餐厅评论和音乐评论等四个不同领域的情感数据集进行了实验。在实验中，所提出的模型优于以前的国家的最先进的模型，不考虑文件中的句子的重要性差异。实验结果表明，在文档级情感分类任务中，应该考虑句子的重要性。
2021-03-09 cs.CL
Overview of the VLSP 2023 -- ComOM Shared Task: A Data Challenge for Comparative Opinion Mining from Vietnamese Product Reviews
VNU University of Engineering and Technology（越南国家大学工程技术大学）
本文介绍VLSP 2023的ComOM共享任务，旨在推动越南语产品评论比较观点挖掘技术发展，构建了含120篇文档的标注数据集，要求模型提取比较五元组，以宏平均五元组F1值评估参赛模型。
2024-03-04 cs.CL cs.LG
Automatic Difficulty Classification of Arabic Sentences
University of Leeds（利兹大学）
在本文中，我们提出了一个现代标准阿拉伯语（MSA）句子难度分类器，它预测句子的难度为语言学习者使用CEFR的熟练程度水平或二元分类为简单或复杂。我们比较了不同类型的句子嵌入（fastText，mBERT，XLM-R和Arabic-BERT）的使用，以及传统的语言功能，如POS标签，依赖树，可读性得分和频率列表的语言学习者。我们使用微调的Arabic-BERT实现了最佳结果。我们的三向CEFR分类的准确性是F-1的0.80和XLM-R分类分别为0.75和0.71斯皮尔曼相关回归。我们的二元难度分类器达到F-1 0.94和F-1 0.98的双对语义相似度分类器。
2021-03-07 cs.CL
A Deep Neural Architecture for Sentence-level Sentiment Classification in Twitter Social Networking
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
本文介绍了一种新的深度学习框架，包括一个基于词典的方法，用于情感标签分布的预测级别。我们建议首先应用语义规则，然后使用深度卷积神经网络（DeepCNN）进行字符级嵌入，以增加单词级嵌入的信息。之后，双向长短期记忆网络（Bi-LSTM）从词级嵌入中产生一个全域特征表示。我们在三个Twitter情感分类数据集上评估了我们的方法。实验结果表明，该模型可以提高Twitter社交网络中情感分析的分类准确率。
2017-06-25 cs.CL
Word Embedding Perturbation for Sentence Classification
CS 682, UMass Amherst（马萨诸塞大学阿默斯特分校）
在这份技术报告中，我们的目标是通过应用数据增强方法来缓解自然语言的过拟合问题。具体地说，我们尝试了几种类型的噪声干扰输入词嵌入，如高斯噪声，伯努利噪声，对抗噪声等，我们也适用于不同类型的噪声的几个限制。通过实施这些提出的数据增强方法，基线模型可以在几个句子分类任务上获得改进。
2018-04-22 cs.CL
Multichannel Variable-Size Convolution for Sentence Classification
Center for Information and Language Processing（信息与语言处理中心）；University of Munich（慕尼黑大学）
我们提出了MVCNN，一个卷积神经网络（CNN）结构的句子分类。它（i）结合了不同版本的预训练词嵌入，（ii）用可变大小的卷积滤波器提取多粒度短语的特征。我们还表明，预训练MVCNN对于良好的性能至关重要。MVCNN在四个任务上实现了最先进的性能：小规模二进制，小规模多类和大规模Twitter情感预测以及主观分类。
2016-03-15 cs.CL
Learning Robust, Transferable Sentence Representations for Text Classification
Stony Brook University（石溪大学）；University of Southern California（南加州大学）；University of California, Los Angeles（加州大学洛杉矶分校）
尽管深度递归神经网络（RNN）在文本分类方面表现出强大的性能，但训练RNN模型通常很昂贵，并且需要大量的注释数据，这些数据可能无法获得。为了克服数据限制问题，现有方法利用预先训练的词嵌入或句子表示来从头开始训练RNN。在本文中，我们展示了从多个文本分类任务中联合学习句子表示，并将它们与预训练的单词级和句子级编码器相结合，从而产生对迁移学习有用的鲁棒的句子表示。广泛的实验和分析，使用广泛的迁移和语言任务认可我们的方法的有效性。
2018-09-28 cs.CL
Sentence-to-Label Generation Framework for Multi-task Learning of Japanese Sentence Classification and Named Entity Recognition
Yokohama National University（横滨国立大学）；Pusan National University（釜山国立大学）
本研究提出用于日语SC与NER多任务的SLG框架，结合约束机制统一输入格式并提升生成准确率，实验证明两任务相互增强且性能显著提升。
2023-06-28 cs.CL
Automatic classification of bengali sentences based on sense definitions present in bengali wordnet
College of Engineering and Management, Kolaghat（科拉加特工程与管理学院）；Jadavpur University, Kolkata（加尔各答贾达夫普尔大学）；Indian Statistical Institute, Kolkata（加尔各答印度统计研究所）
基于孟加拉语WordNet中可用的词的意义定义，尝试将孟加拉语句子根据其潜在的意义自动分类为不同的组。输入的句子收集从50个不同类别的孟加拉语文本语料库中开发的TDIL项目的印度政府，而信息的不同意义上的特定的歧义词汇项收集从孟加拉语WordNet。在实验的基础上，我们使用朴素贝叶斯概率模型作为一个有用的句子分类。我们已经应用该算法超过1747个句子，其中包含一个特定的孟加拉语词汇，由于其模糊的性质，能够触发不同的意义，使句子在不同的意义。在我们的实验中，我们已经取得了约84%的准确率的结果，对总的输入句子的意义分类。我们分析了那些不符合我们的实验，并影响结果的剩余句子，注意到在许多情况下，错误的句法结构和语义信息少的句子语义分类的主要障碍。本研究在自动文本分类、机器学习、信息抽取、词义消歧等方面具有一定的应用价值。
2015-08-06 cs.CL
Empirical Evaluation of RNN Architectures on Sentence Classification Task
Chanjet Information Technology（畅捷通信息技术股份有限公司）
递归神经网络已经在NLP中的许多问题上取得了最先进的结果，两种最流行的RNN架构是尾模型和池模型。在本文中，我们提出了一个混合架构，并提出了第一个实证研究使用LSTM比较性能的三个RNN结构的句子分类任务。实验结果表明，最大池模型或混合最大池模型在大多数数据集上都取得了最好的性能，而尾部模型并没有优于其他模型。
2016-10-08 cs.CL
Information Type Classification with Contrastive Task-Specialized Sentence Encoders
Technische Hochschule Nürnberg（纽伦堡工业大学）
针对危机场景下用户生成信息分类受噪声和事件偏差影响的问题，提出采用对比式任务专用句子编码器，在多个基准任务上提升了F1分数，并验证了其跨语料与跨语言能力。
2023-12-18 cs.CL
Comparative Analysis of Multilingual Text Classification & Identification through Deep Learning and Embedding Visualization
KIIT Deemed to be University（KIIT 德emed大学）
针对17种语言的文本分类与识别，本文比较LangDetect、LangId、FastText、Sentence Transformer及MLP、LSTM、卷积模型，并结合嵌入可视化，证明FastText在聚类和分类性能上更优。
2023-12-06 cs.CL
SECNN: Squeeze-and-Excitation Convolutional Neural Network for Sentence Classification
National University of Defense Technology（国防科技大学）
针对 CNN 难以建模长期依赖的问题，本文提出 SECNN，将多个 CNN 特征图作为通道并用 SE 通道注意力加权，从而提升句子分类性能。
2023-12-11 cs.CL
Aspect Level Sentiment Classification with Attention-over-Attention Neural Networks
Carnegie Mellon University（卡内基梅隆大学）
语义级情感分类的目的是识别给定上下文句子对某些方面表达的情感。在本文中，我们介绍了一个关注过度关注（AOA）的神经网络方面的水平情感分类。我们的方法模型方面和句子的联合方式，并明确捕捉方面和上下文句子之间的相互作用。通过AOA模块，我们的模型联合学习方面和句子的表示，并自动关注句子中的重要部分。我们在笔记本电脑和餐厅数据集上的实验表明，我们的方法优于以前的基于LSTM的架构。
2018-04-18 cs.CL
Towards Arabic Sentence Simplification via Classification and Generative Approaches
University of Leeds（利兹大学）；Alexandria University（亚历山大大学）
本文试图建立一个现代标准阿拉伯语（MSA）的词典级简化系统。我们使用两种方法进行了句子简化实验：（i）一种分类方法，使用Arabic-BERT，一种预先训练的上下文模型以及一种fastText词嵌入模型来实现词汇简化管道;（ii）一种生成方法，通过应用多语言文本到文本传输Transformer mT5的Seq 2Seq技术。我们通过对齐国际知名阿拉伯小说《Saaq al-Bambuu》中的原始句子和简化句子来开发我们的训练语料库。我们评估这些方法的有效性，通过比较生成的简单句子的目标简单句子使用BERTScore评价指标。通过BERTScore，mT5模型产生的简单句子达到P 0.72，R 0.68和F-1 0.70，而结合Arabic-BERT和fastText达到P 0.97，R 0.97和F-1 0.97。此外，我们报告了这些实验的手动误差分析。\url{https://github.com/Nouran-Khallaf/Lexical_Simplification}
2022-04-20 cs.CL
Learning to Map Sentences to Logical Form: Structured Classification with Probabilistic Categorial Grammars
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文讨论了将自然语言句子映射到其意义的代数演算编码的问题。我们描述了一种学习算法，它将λ演算中标记有表达式的句子训练集作为输入。该算法归纳的语法问题，以及一个对数线性模型，表示分布在句法和语义分析的条件下的输入句子。我们将该方法应用于学习数据库的自然语言接口的任务，并表明学习的解析器优于以前的方法在两个基准数据库域。
2012-07-04 cs.CL
Encouraging Paragraph Embeddings to Remember Sentence Identity Improves Classification
College of Information and Computer Sciences（信息与计算机科学学院）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
虽然段落嵌入模型对于下游分类任务非常有效，但它们学习并编码到单个向量中的内容仍然不透明。在本文中，我们研究了Zhang et al.（2017）提出的一种最先进的段落嵌入方法，发现它不能可靠地判断给定的句子是否出现在输入段落中。我们制定了一个句子内容任务来探索这个基本的语言属性，发现即使是一个简单得多的词袋方法也没有问题解决它。这个结果促使我们在半监督设置中用我们的句子内容探测目标取代Zhang et al.（2017）的基于重建的目标。尽管它很简单，但我们的目标在（1）基准数据集上的下游分类精度，（2）更快的训练和（3）更好的泛化能力方面优于段落重建。
2019-06-09 cs.CL
LSTM-based Deep Neural Network With A Focus on Sentence Representation for Sequential Sentence Classification in Medical Scientific Abstracts
Austrian Institute of Technology（奥地利技术研究院）；FPT University（FPT大学）；HCM University of Technology（胡志明市理工大学）
本文提出一种基于LSTM的深度网络以构建全面的句子表示，结合C-RNN与MLP处理医学摘要的序列化句子分类任务，在多个基准上显著提升了F1分数。
2024-05-31 cs.CL
LitStoryTeller: An Interactive System for Visual Exploration of Scientific Papers Leveraging Named entities and Comparative Sentences
Drexel University（德雷塞尔大学）
本研究提出了LitStoryTeller，一个交互式系统，用于可视化地探索科学文章的语义结构。我们展示了LitStoryTeller如何用于回答一些最基本的研究问题，例如如何在现有方法的基础上构建新方法，基于什么样的理论证明和实验证据。更重要的是，LitStoryTeller可以帮助用户理解科学论文完整有趣的故事，具有简洁的大纲和重要的细节。该系统借用了电影剧本中的隐喻，通过将科学论文中的人物（科学概念或术语）和场景（段落/句子）安排成一个渐进的、交互式的故事情节，从而将科学论文的故事情节可视化。这样的故事情节有助于保持科学论文的语义结构和逻辑思维过程。使用现有的命名实体识别API和监督分类器从科学论文中自动提取语义结构，例如科学概念和比较句。两个辅助视图，排名实体频率视图和实体共现网络视图，提供帮助用户识别这样的科学故事情节的“主要情节”。当集合文档准备就绪时，LitStoryTeller还为集合消化提供了一个时间实体演化视图和实体社区视图。
2017-09-12 cs.CL cs.DL cs.HC
Pretrained Language Models for Sequential Sentence Classification
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；Allen School of Computer Science & Engineering, University of Washington（华盛顿大学艾伦计算机科学与工程学院）
作为更好的文档级理解的一步，我们探讨了一个序列的句子到其相应的类别，一个任务，需要理解句子的上下文中的文件的分类。最近成功的模型，这个任务使用分层模型的上下文语句表示，和条件随机场（CRF），以纳入后续标签之间的依赖关系。在这项工作中，我们表明，预训练的语言模型，BERT（Devlin等人，2018），特别是可以用于此任务，以捕获上下文依赖性，而无需分层编码或CRF。具体来说，我们构建了一个联合句子表示，允许BERT Transformer层直接利用所有句子中所有单词的上下文信息。我们的方法在四个数据集上实现了最先进的结果，包括一个新的结构化科学摘要数据集。
2019-09-22 cs.CL
Rationale-Augmented Convolutional Neural Networks for Text Classification
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Northeastern University（东北大学）
我们提出了一个新的卷积神经网络（CNN）模型的文本分类，联合利用标签的文件和它们的组成部分的句子。具体来说，我们考虑注释器显式标记支持其整体文档分类的句子（或片段）的场景，即，他们提供了理由。我们的模型利用这种监督通过一个分层的方法，其中每个文件是由其组成句子的向量表示的线性组合表示。我们提出了一个句子级卷积模型，该模型估计给定句子是合理性的概率，然后我们将每个句子对聚合文档表示的贡献与这些估计成比例。在五个具有文档标签和相关原理的分类数据集上的实验表明，我们的方法始终优于强基线。此外，我们的模型自然为它的预测提供了解释。
2016-09-24 cs.CL
A Sentence-level Hierarchical BERT Model for Document Classification with Limited Labelled Data
University College Dublin（都柏林大学）；Teagasc Agriculture and Food Development Authority（爱尔兰农业与食品发展局）；ADAPT Research Centre（ADAPT研究中心）
使用有限的标记数据训练深度学习模型对于许多NLP任务（包括文档分类）来说是一个有吸引力的场景。虽然随着最近BERT的出现，深度学习语言模型可以在文档分类中实现相当好的性能，但在长文档分类中应用BERT类模型的实用性缺乏证据。这项工作介绍了一个长文本特定的模型-层次BERT模型（HBM）-学习文本的文本级特征，并在有限的标记数据的情况下工作得很好。各种评估实验表明，HBM可以实现更高的性能，在文档分类比以前的国家的最先进的方法，只有50至200个标记的实例，特别是当文档很长。此外，作为HBM的一个额外好处，由学习过的HBM识别的突出句子对于根据用户研究标记文档的解释非常有用。
2021-06-12 cs.CL
AdaSent: Efficient Domain-Adapted Sentence Embeddings for Few-Shot Classification
Technical University of Darmstadt（达姆施塔特工业大学）；Huawei Research Centre, Dublin（华为都柏林研究中心）；University of Würzburg（维尔茨堡大学）
AdaSent通过训练SEPT适配器将句嵌入预训练与领域自适应预训练解耦，在17个少样本句分类数据集上以更低训练成本达到或超越完整SEPT性能。
2023-11-01 cs.CL
CMLM-CSE: Based on Conditional MLM Contrastive Learning for Sentence Embeddings
Hangzhou Yizhi Intelligent Technology Co., Ltd.（杭州意智智能科技有限公司）；School of Computer Science, Zhejiang University（浙江大学计算机科学与技术学院）
针对传统对比学习句子嵌入忽略句中词汇语义影响的问题，提出基于条件MLM的无监督对比学习框架CMLM-CSE，通过新增辅助网络融合句子嵌入执行MLM任务，在文本相似度任务上性能优于SimCSE。
2023-06-16 cs.AI cs.CL
Convolutional Lie Operator for Sentence Classification
本文提出基于李卷积的句子分类模型，通过捕捉复杂非欧几里得对称性提升分类准确率。
2025-12-18 cs.CL
Dependency Sensitive Convolutional Neural Networks for Modeling Sentences and Documents
University of Michigan（密歇根大学）
句子和文档建模的目标是为各种自然语言处理任务准确地表示句子和文档的含义。在这项工作中，我们提出了依赖敏感的卷积神经网络（DSCNN）作为一个通用的分类系统的句子和文件。DSCNN通过长短期记忆网络处理预训练的词嵌入，然后用卷积算子提取特征，分层构建文本表示。与现有的树结构递归神经网络模型相比，DSCNN不依赖于解析器和昂贵的短语标记，因此不限于任务级任务。此外，与其他基于CNN的模型通过滑动窗口在本地分析句子不同，我们的系统捕获了每个句子内的依赖信息和同一文档中句子之间的关系。实验结果表明，我们的方法是实现国家的最先进的性能在几个任务，包括情感分析，问题类型分类，和主观分类。
2016-11-08 cs.CL
Empowering Sentence Encoders with Prompting and Label Retrieval for Zero-shot Text Classification
NAVER（NAVER公司）；KAIST（韩国科学技术院）
本研究提出 RaLP 框架，通过检索增强标签提示，利用句子编码器在零样本文本分类中取得与更大基线相当或更强的性能。
2023-05-19 cs.CL
Comparing BERT Sentence-Pair Classification and Few-Shot LLM Prompting for Detecting Threat and Solution Framing in German Climate News
University of Graz（格拉茨大学）；Technical University of Graz（格拉茨技术大学）
针对德语气候新闻句子级框架检测，比较了微调BERT（句子对分类）与少样本LLM提示（Llama 4）方法，BERT在F1上达到0.83，优于LLM的0.78。
2026-06-26 cs.CL
MGNC-CNN: A Simple Approach to Exploiting Multiple Word Embeddings for Sentence Classification
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
我们介绍了一种新颖的，简单的卷积神经网络（CNN）架构-多组范数约束CNN（MGNC-CNN），它利用多组词嵌入进行句子分类。MGNC-CNN从输入嵌入集中独立提取特征，然后在网络的倒数第二层将这些特征连接起来，形成最终的特征向量。然后，我们采用了一种组正则化策略，该策略对与从各个嵌入集生成的子分量相关联的权重进行差分惩罚。该模型比类似的替代架构简单得多，并且需要的训练时间大大减少。此外，它是灵活的，因为它不要求输入词嵌入具有相同的维度。我们证明了MGNC-CNN始终优于基线模型。
2016-03-27 cs.CL
Paraphrase Thought: Sentence Embedding Module Imitating Human Language Recognition
Korea University（高丽大学）
句子嵌入是自然语言处理中的一个重要研究课题。为了提高各种自然语言处理任务（如机器翻译和文档分类）的性能，必须生成一个能够充分反映句子语义的嵌入向量。到目前为止，已经提出了各种句子嵌入模型，并且它们的可行性已经通过在嵌入之后的任务（诸如情感分析和句子分类）上的良好性能而被证明。然而，因为句子分类和情感分析的性能可以通过使用简单的句子表示方法来增强，所以基于这些任务的良好性能，声称这些模型完全反映了句子的含义是不够的。本文受人类语言识别的启发，提出了语义连贯性的概念，一个好的句子嵌入方法应该满足这一概念：相似的句子应该在嵌入空间中相互靠近。然后，我们提出了释义-思维（P-thought）模型，以尽可能地追求语义连贯。在MS COCO和STS benchmark两个数据集上的实验结果表明，P-thought模型的性能优于基准句子嵌入方法。
2018-10-15 cs.CL
Are Classes Clusters?
Stanford Center for Professional Development（斯坦福专业发展中心）
句子嵌入模型旨在为句子提供通用嵌入。本文中研究的大多数模型都声称在STS任务上表现良好，但它们并没有报告它们对聚类的适用性。本文着眼于四个最近的句子嵌入模型（通用句子编码器（Cer等人，2018）、Sentence-BERT（Reimers和Gurevych，2019）、LASER（Artetxe和Schwenk，2019）和DeCLUTR（Giorgi等人，2020年））。它简要概述了其实现背后的想法。然后，它调查了两个文本分类数据集（Amazon Reviews（Ni et al.，2019）和新闻类别数据集（Misra，2018））映射到其相应的句子嵌入空间中的聚类。虽然所得到的分类模型的性能远非完美，但它优于随机。这很有趣，因为分类模型是以无监督的方式构建的。通过聚类相应的句子嵌入，可以部分地重构这些现实生活中的主题分类数据集中的主题类。
2021-04-16 cs.CL
XL-DURel: Finetuning Sentence Transformers for Ordinal Word-in-Context Classification
Institute for Natural Language Processing, University of Stuttgart（语言处理研究所，斯图加特大学）
本文提出多语言句子Transformer模型XL-DURel，通过复空间角距离排序目标优化序数词境分类，证明二值WiC是序数WiC的特例，并实现统一建模。
2025-11-06 cs.CL
HierBias: Context-Conditioned Hierarchical Media Bias Detection with Multi-Task Type Classification
Xidian University（西安电子科技大学）
提出HierBias模型，利用文档上下文进行分层媒体偏见检测，通过理论证明上下文降低贝叶斯误差，多任务学习提升小样本效率，在BABE和BASIL上取得SOTA性能。
2026-06-26 cs.CL
Classification and Clustering of Sentence-Level Embeddings of Scientific Articles Generated by Contrastive Learning
Faculdade de Tecnologia, Universidade Estadual de Campinas (UNICAMP)（坎皮纳斯州立大学技术学院）；Federal Institute of São Paulo（圣保罗联邦学院）
本文通过对比学习微调句子Transformer生成科学论文句级嵌入，并引入全文句子数据集PMC-Sents-FULL，在分类与聚类任务上显著优于基线模型。
2024-03-30 cs.CL
A Comparative Study on Linguistic Feature Selection in Sentiment Polarity Classification
University of Pittsburgh（匹兹堡大学）
情感极性分类可能是研究最广泛的主题。它将有意见的文件分类为表达积极或消极的意见。本文使用电影评论数据集，对不同的单一语言特征和这些特征的组合进行了比较研究。我们发现，经典的基于主题的分类器（朴素贝叶斯和支持向量机）不执行以及情感极性分类。我们发现，通过不同语言特征的组合，可以大大提高分类准确率。我们对这些结果给出了合理的解释。
2013-11-04 cs.CL
Classification on Sentence Embeddings for Legal Assistance
Indian Institute of Technology, Kharagpur（印度理工学院卡拉格普尔分校）
法律诉讼需要大量的时间，也花费了很多。律师必须做大量工作才能识别先前案件和法规的不同部分。本文试图解决将在FIRE 2021（信息检索评估论坛）上举办的AILA 2021（人工智能法律援助）的第一批任务。该任务是语义分割的文件到不同的分配的7个预定义的标签或“修辞角色。“本文使用BERT从句子中获得句子嵌入，然后使用线性分类器输出最终预测。实验结果表明，对出现频率最高的类赋予更多的权重，其结果要优于对出现频率较低的类赋予更多的权重。在任务1中，团队legalNLP获得了0.22的F1分数。
2022-02-05 cs.CL
Measuring Cross-Lingual Transferability of Multilingual Transformers on Sentence Classification
Beijing Institute of Technology（北京理工大学）
提出IGap指标，用于测量多语言Transformer在句子分类上的跨语言迁移能力，实验证明其优于基线，并揭示三个相关发现。
2023-05-15 cs.CL
On the Importance of Word and Sentence Representation Learning in Implicit Discourse Relation Classification
The Hong Kong University of Science and Technology（香港科技大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
隐性语篇关系分类是浅层语篇分析中最困难的部分之一，因为在没有显性连接词的情况下进行关系预测需要在语篇跨度和句子两个层面上进行语言理解。以往的研究主要集中在两个参数之间的相互作用。我们认为，一个强大的语境化表征模块，双边多视角匹配模块，和一个全球性的信息融合模块都是重要的隐式话语分析。我们提出了一个新的模型，将这些模块结合在一起。大量的实验表明，我们提出的模型在PDTB数据集上的性能优于BERT和其他最先进的系统约8%，在CoNLL 2016数据集上的性能优于约16%。我们还分析了内隐话语关系分类任务中不同模块的有效性，并展示了不同水平的表示学习如何影响结果。
2020-04-28 cs.CL
InsertGNN: Can Graph Neural Networks Outperform Humans in TOEFL Sentence Insertion Problem?
Stanford University（斯坦福大学）；Westlake University（西拉丘市大学）
InsertGNN通过图神经网络在TOEFL句子插入任务中超越人类，实现70%的准确率。
2026-01-07 cs.CL
Mutual Reinforcement Effects in Japanese Sentence Classification and Named Entity Recognition Tasks
Yokohama National University（横滨国立大学）；Pusan National University（釜山国立大学）
本研究提出融合句子分类与命名实体识别的SCNM多任务方法及SLG生成框架，验证了两个任务间的相互强化效应，提升了任务性能，且SLG框架在单任务与少样本场景下均表现优异。
2023-07-21 cs.CL
Annotation and Classification of Sentence-level Revision Improvement
University of Pittsburgh（匹兹堡大学）
对写作修改的研究很少关注修改质量。为了解决这个问题，我们引入了一个语料库的学生议论文的草稿之间的修订，注释是否每个修订提高文章质量。我们展示了我们的注释的潜在用途，通过开发一个机器学习模型来预测修订改进。为了扩展训练数据，我们还从专家校对人员编辑的数据集中提取修订。我们的研究结果表明，混合专家和非专家的修订提高模型的性能，与专家数据预测低质量的修订特别重要。
2019-09-03 cs.CL
IIT Gandhinagar at SemEval-2020 Task 9: Code-Mixed Sentiment Classification Using Candidate Sentence Generation and Selection
Indian Institute of Technology Gandhinagar（印度理工学院甘地讷格尔分校）
语码混用是指在同一话语中使用多种语言的现象。这是一种在各种平台上经常使用的交流模式，例如社交媒体网站、在线游戏、产品评论等。单语文本的情感分析是一项深入研究的任务。语码混合增加了分析文本情感的挑战，这是由于非标准的写作风格。我们在基于Bi-LSTM的神经分类器之上提出了一种基于候选句子生成和选择的方法，将Hinglish代码混合文本分类为三种情感类别之一：积极，消极或中性。与基于Bi-LSTM的神经分类器相比，所提出的方法显示了系统性能的改善。这些结果为理解文本数据中代码混合的各种其他细微差别提供了机会，例如幽默检测，意图分类等。
2020-07-23 cs.CL
Inline Citation Classification using Peripheral Context and Time-evolving Augmentation
IIIT-Delhi（德里英迪拉·甘地信息技术学院）；Crimson AI；IIT Delhi（印度理工学院德里分校）
引文在确定研究文章之间的关联方面起着关键作用。它描绘了指示性，支持性或对比研究的基本信息。内联引文分类的任务有助于推断这些关系;然而，现有的研究仍然不成熟，需要进一步审查。当前用于内联引文分类的数据集和方法仅使用引文标记的句子，限制了模型对领域知识和相邻上下文句子的视而不见。在本文中，我们提出了一个新的数据集，命名为3Cext，它与被引用的句子，提供话语信息使用的邻近句子分析对比和蕴涵关系以及域信息。我们提出了Pericite，一个基于transformer的深度神经网络，融合了外围句子和领域知识。我们的模型在3Cext数据集上达到了最先进的水平，与最佳基线相比达到了+0.09 F1。我们进行了广泛的消融，以分析所提出的数据集和模型融合方法的有效性。
2023-03-01 cs.CL
A Statistical Parsing Framework for Sentiment Classification
Beihang University（北京航空航天大学）；Microsoft Research（微软研究院）
在这篇文章中，我们提出了一个统计分析框架，用于情感分类。不同于以往的作品，采用句法分析结果的情感分析，我们开发了一个统计分析器，直接分析句子的情感结构。我们证明了情感分析中的复杂现象（例如，否定、强化和对比）可以以统一和概率的方式与简单和直接的情感表达相同地处理。我们制定的情感语法上上下文无关文法（CFGs），并提供了一个正式的描述的情感分析框架。我们开发的解析模型，以获得可能的情感分析树的句子，从极性模型提出了推导出的情感强度和极性，和排名模型是专门选择最好的情感树。我们训练的解析器直接从句子的例子注释只有情感极性标签，但没有任何句法注释或极性注释的成分在句子内。因此，我们可以很容易地获得训练数据。特别是，我们训练一个情感分析器，S.分析器，从大量的评论句子与用户的评级作为粗略的情感极性标签。在现有基准数据集上进行的大量实验表明，与基线情感分类方法相比，该方法有显着的改进。
2015-03-05 cs.CL
