Lexicon-based Methods vs. BERT for Text Sentiment Analysis
Vyatka State University（维亚特卡国立大学）；ITMO University（ITMO大学）
近年来，情感分析方法的性能大大提高。这是由于使用了基于Transformer架构的各种模型，特别是BERT。然而，深度神经网络模型难以训练并且难以解释。另一种方法是使用情感词典的基于规则的方法。它们速度快，不需要训练，而且解释得很好。但最近，由于深度学习的广泛使用，基于词汇的方法已经退居幕后。本文的目的是研究SO-CAL和SentiStrength基于词典的方法，适用于俄语的性能。我们已经测试了这些方法，以及RuBERT神经网络模型，对16个文本语料库，并分析了他们的结果。平均而言，RuBERT优于这两种基于词典的方法，但SO-CAL在16个语料库中有4个超过了RuBERT。
2021-11-19 cs.CL
Lexicon-Based Sentiment Analysis on Text Polarities with Evaluation of Classification Models
Mirpur University of Science and Technology（米尔布尔科技大学）
本文采用基于词典的方法（Text Blob和Vader）对160万条推文进行多类情感分析，并评估五种机器学习模型，随机森林以81%准确率最优，同时应用于人格判断案例。
2024-09-19 cs.CL
Improving Neural Argumentative Stance Classification in Controversial Topics with Emotion-Lexicon Features
1Innovations Department, Bundesdruckerei GmbH, Berlin, Germany 2Hasso-Plattner-Institut, University of Potsdam, Germany 3Department of Linguistics, University of Potsdam, Germany 4University of Lausanne, Switzerland, 5Knight Foundation School of Computing \& Information Sciences, Florida International University, USA, 6Pisquared, Germany
本文通过扩展NRC情感词典，利用DistilBERT嵌入提升神经论证立场分类性能，有效提升F1分数并优于现有方法。
2026-02-26 cs.CL
Cause Identification from Aviation Safety Incident Reports via Weakly Supervised Semantic Lexicon Construction
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
航空安全报告系统收集自愿提交的航空安全事故报告，以促进旨在减少此类事故的研究工作。为了有效地减少这些事件，准确地确定这些事件发生的原因至关重要。更确切地说，在给定一系列可能的原因或形成因素的情况下，这一原因识别任务涉及识别所有且仅识别那些对报告中所述事件负责的形成因素。我们研究两种方法来识别原因。这两种方法都利用了语义词典提供的信息，语义词典是通过Thelen和Theloffs Basilisk框架自动构建的，并通过我们的语言和算法修改进行了增强。第一种方法使用简单的启发式标记报告，该方法在报告中查找语义词典学习过程中获得的单词和短语。第二种方法将原因识别重新定义为文本分类问题，采用监督和转换文本分类算法从标记有成形因素的事件报告中学习模型，并使用模型标记未见过的报告。我们的实验表明，无论是基于经验的方法和基于学习的方法（当有足够的训练数据）优于基线系统显着。
2014-01-16 cs.CL cs.LG
Improve Lexicon-based Word Embeddings By Word Sense Disambiguation
Keio University（庆应义塾大学）
已经有一些工作是结合语料库学习词典来提高词嵌入。然而，他们要么单独建模的词典，但更新神经网络的语料库和词典由相同的可能性，或最小化之间的距离在所有的同义词对的词典。这些方法没有考虑语料库和词典的相关性和差异性，可能不是最佳的。在本文中，我们提出了一种新的方法，考虑语料库和词典的相关性和差异。它通过学习语料库来训练词嵌入，同时在上下文下对一个词及其对应的同义词进行谓语。对于多义词，我们使用词义消歧过滤器来消除上下文中具有不同含义的同义词。为了评估所提出的方法，我们比较了我们提出的模型训练的词嵌入的性能，没有过滤器或词典的对照组，以及在词相似性任务和文本分类任务中的先前工作。实验结果表明，该模型能更好地嵌入多义词，提高文本分类性能。
2017-07-24 cs.CL
Sentiment Analysis of Online Travel Reviews Based on Capsule Network and Sentiment Lexicon
Beijing University of Posts and Telecommunications（北京邮电大学）
随着在线旅游服务的发展，及时挖掘用户对旅游服务的评价情绪，并以此为指标来指导在线旅游服务质量的提升，具有很大的应用前景。本文研究了基于社交媒体在线评论的在线旅游评论文本情感分类问题，提出了基于胶囊网络和情感词典的SCCL模型。SCCL模型是针对语言模型中缺乏对文本的局部特征和情感语义特征的考虑而提出的，该模型能够有效地提取文本的上下文特征，如BERT和GRU。然后针对其不足之处做以下改进。一方面，在BERT-BiGRU的基础上，引入胶囊网络，在提取局部特征的同时保留良好的上下文特征。另一方面，引入情感词典提取文本的情感序列，为模型提供更丰富的情感语义特征。为了增强情感词典的通用性，采用基于TF-IDF的改进SO-PMI算法对情感词典进行扩展，使情感词典在在线旅游评论领域也有良好的表现。
2022-06-05 cs.AI cs.CL
Automatic Construction of Context-Aware Sentiment Lexicon in the Financial Domain Using Direction-Dependent Words
Seoul National University（首尔国立大学）
金融文件的情感分析越来越受到人们的关注。这类文件最常见的例子包括分析师报告和经济新闻，对这些文件的分析经常被用来捕捉市场情绪的趋势。另一方面，情感分析在金融领域中的重要作用促使人们努力构建金融领域特定的情感词典。情感词典有助于解决各种文本挖掘任务，例如文本数据的无监督分类，同时减轻手动标记所需的繁重人力。构建有效的情感词典的挑战之一是，词的语义取向可能会根据其出现的上下文而改变。例如，“利润”这个词通常传达积极的情绪;然而，当这个词与另一个词“减少”并列时，与短语“利润减少”相关的情绪现在变成了消极的。因此，当人们开始考虑单词周围的上下文时，给定单词的情感可能会发生变化。在本文中，我们解决这个问题时，将上下文从一个给定的语料库建立情感词典。具体来说，我们构建了一个名为Senti-DD的方向依赖词组成的情感词典，它表示每个术语的一对方向词和方向依赖词。实验结果表明，Senti-DD具有较高的分类性能，证明了该方法在金融领域自动构建上下文感知情感词典的有效性。
2021-06-10 cs.CL
Sentiment Analysis of Economic Text: A Lexicon-Based Approach
University of the Balearic Islands（巴利阿里群岛大学）；Brunel University（布鲁内尔大学）；University of Padua（帕多瓦大学）；European Commission, Joint Research Centre（欧盟委员会联合研究中心）；Baruch College（巴鲁克学院）
本文提出一个覆盖广泛且带人工标注情感分数的经济词典EL，并通过与其他词典比较证明其在经济文本情感分析中覆盖率和分类准确性更优。
2024-11-21 cs.CE cs.CL cs.CY
Detecting Domain Polarity-Changes of Words in a Sentiment Lexicon
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；University of Science and Technology of China（中国科学技术大学）
情感词典是情感分析的工具。可以使用情感词典中提供的一组情感词和基于词典的分类器来执行情感分类。这种方法的一个主要问题是，许多情感词是域相关的。也就是说，它们可能在某些领域是积极的，但在另一些领域是消极的。我们把这个问题称为领域极性变化的话。检测这些词并纠正它们对应用领域的情感是非常重要的。在本文中，我们提出了一种基于图形的技术来解决这个问题。在多个真实数据集上的实验结果表明了该方法的有效性。
2020-04-29 cs.CL
Constructing Parallel Multidimensional Chromatic Lexicons for Corpus-Assisted Analysis of Russian and English Texts
本文针对文学文本色彩术语语料库分析工具匮乏的问题，构建含俄语224条、英语141条的多维色彩词典，经试点研究发现别雷诗歌语料库色彩术语出现频率为狄金森语料库的3.4倍，提供了透明可复用的多语言色彩词典构建应用流程。
2026-08-04 cs.CL
Benchmarking ChatGPT and DeepSeek in April 2025: A Novel Dual Perspective Sentiment Analysis Using Lexicon-Based and Deep Learning Approaches
Middle Technical University（中央技术大学）；University of Tabriz（大不里士大学）
本研究提出结合词典与深度学习（CNN、Bi-LSTM）的双视角方法，分析Google Play上ChatGPT与DeepSeek的4,000条用户评论，发现ChatGPT情感更积极，CNN准确率达96.41%，为LLM应用情感分析设立新标准。
2025-09-16 cs.CL
Active Annotation: bootstrapping annotation lexicon and guidelines for supervised NLU learning
自然语言理解（NLU）模型通常在监督学习框架中训练。在意图分类的情况下，预测的标签是预定义的，并且基于设计的注释模式，而标记过程是基于繁重的任务，其中注释者手动检查每个话语并分配相应的标签。我们提出了一种主动注释（AA）方法，在该方法中，我们结合了嵌入空间中的无监督学习方法、人在环验证过程和语言见解，以创建可以开放类别并随时间推移而适应的词典。特别地，注释器使用迭代过程在注释期间动态地定义y标签空间，而不需要关于输入数据的先验知识。我们在一个真实的用例NLU场景中评估了所提出的注释范例。结果表明，我们的主动标注范例实现了准确和更高质量的训练数据，与传统的人类驱动的基线标注方法相比，标注速度高出一个数量级。
2019-08-12 cs.CL cs.LG
Frustratingly Easy Sentiment Analysis of Text Streams: Generating High-Quality Emotion Arcs Using Emotion Lexicons
University of Alberta（阿尔伯塔大学）；National Research Council Canada（加拿大国家研究委员会）
自动生成的情感弧线--捕捉个人或群体随着时间的推移的感受--广泛用于工业和研究。然而，有很少的工作，评估所产生的弧。这在一定程度上是由于建立真正的（黄金）情感弧的困难。我们的工作，第一次，系统和定量评估自动生成的情感弧。我们还比较了生成情感弧的两种常见方法：机器学习（ML）模型和仅词汇（LexO）方法。利用大量不同的数据集，我们系统地研究了情感词典的质量与可以由其生成的情感弧的质量之间的关系，我们还研究了实例级情感检测系统的质量与情感弧的质量之间的关系。（比如说从ML模型）和可以用它生成的情感弧的质量。我们表明，尽管在实例级别上明显较差，LexO方法通过聚合来自数百个实例的信息，在生成情感弧方面非常准确。这对商业开发以及心理学、公共卫生、数字人文等领域的研究具有广泛的影响，这些领域重视简单的可解释方法，而不需要特定领域的训练数据、编程专业知识和高碳足迹模型。
2022-10-13 cs.CL
Sentiment Analysis in Finance: From Transformers Back to eXplainable Lexicons (XLex)
Department of Computer Science, Metropolitan College, Boston University, Boston, MA 02215, USA（波士顿大学计算机科学系）；Faculty of Computer Science（计算机科学系）；Methodius University, 1000 Skopje, North Macedonia（Methodius大学）
针对金融情感分析中传统词典法人工成本高、Transformer法资源消耗大且可解释性差的问题，提出融合二者优势的XLex方法，借助Transformer与SHAP构建可解释金融词典，性能、效率与可解释性均更优。
2024-03-26 cs.CL
Understanding Stigmatizing Language Lexicons: A Comparative Analysis in Clinical Contexts
University of California, Irvine（加州大学尔湾分校）
本研究系统检索并比较分析了四个临床污名化语言词表，发现其语义相似度中等，多数术语为负面评判性表达，强调需制定标准化词表以应对临床文本中的污名化语言挑战。
2025-09-09 cs.CL
DepecheMood: a Lexicon for Emotion Analysis from Crowd-Annotated News
University of Trento（特伦托大学）；Trento RISE（特伦托RISE）
虽然许多用词极性注释的词典可用于情感分析，但很少有词典能够处理情感分析这一更困难的任务，而且覆盖范围通常相当有限。在本文中，我们提出了一种新的方法来提取-在一个完全自动化的方式-一个高覆盖率和高精度的词汇约37000项注释的情感分数，称为DepecheMood。我们的方法采用了一种原始的方式“众包”的情感注释隐含提供的读者的新闻文章从rappler.com。通过在无监督环境中为回归和分类任务提供新的最先进的性能，即使使用朴素的方法，我们的实验也显示了收集社交媒体数据对情感词典构建的有益影响。
2014-05-07 cs.CL cs.CY
A Comparison of Lexicon-Based and ML-Based Sentiment Analysis: Are There Outlier Words?
Dublin City University（都柏林城市大学）
本文比较基于词典的Hedonometer与基于机器学习的Azure在4个领域超15万文本上的情感得分，发现词的重要性因领域而异，且无系统性导致差异的异常词。
2023-11-10 cs.CL
Lex2Sent: A bagging approach to unsupervised sentiment analysis
Department of Statistics, TU Dortmund University（统计系，多特蒙德技术大学）
本文提出Lex2Sent，一种无需GPU的无监督情感分析方法，通过训练嵌入模型计算文档与词典嵌入的距离并结合重采样实现bagging效果，性能优于传统词典方法并为少样本微调奠定基础。
2024-10-22 cs.CL
Does BERT look at sentiment lexicon?
Vyatka State University（维亚特卡国立大学）；ITMO University（圣彼得堡国立信息技术机械与光学大学）
情感分析的主要方法是基于规则的方法和机器学习，特别是具有Trans-former架构的深度神经网络模型，包括BERT。神经网络模型在情感分析任务中的性能优于基于规则的方法。由于深度神经网络模型的可解释性差，造成这种情况的原因仍不清楚。理解这两种方法之间的根本差异的主要关键之一是分析情感词典如何在神经网络模型中考虑。为此，我们研究了俄语RuBERT模型的注意力权重矩阵。我们对情感文本语料库的RuBERT进行了微调，并比较了情感和中性词典的注意力权重分布。事实证明，平均而言，3/4的各种模型变量的头部在统计上更关注情感词汇，而不是中性词汇。
2021-11-19 cs.CL
Performance Investigation of Feature Selection Methods
Indian Institute of Management（印度管理学院）
随着互联网和Web 2.0社交媒体的普及，情感分析或意见挖掘已经成为一个开放的研究领域。人们在包括博客、论坛、推文等的社交媒体上表达他们的态度和观点，并且情感分析关注从在线文本中检测和提取情感或观点。基于情感的文本分类不同于主题文本分类，因为它涉及基于对主题表达的观点的歧视。特征选择对于情感分析具有重要意义，因为主观文本可能具有较高的维度，这会对情感分析分类器的性能产生不利影响。本文探讨了特征选择方法在情感分析中的适用性，并从查全率、查准率和准确率三个方面研究了它们在分类中的性能。基于2000篇电影评论语料，研究了五种特征选择方法（文档频率、信息增益、增益比、卡方和Relief-F）和三种流行的情感特征词典（HM、GI和Opinion Lexicon）。实验结果表明，信息增益给出了一致的结果，增益比表现出整体最好的情感特征选择，而情感词典的性能较差。此外，我们发现分类器的性能取决于从文本中选择适当数量的代表性特征。
2013-09-16 cs.CL cs.IR cs.LG
Leveraging ChatGPT As Text Annotation Tool For Sentiment Analysis
College of Science and Engineering, Hamad Bin Khalifa University（哈马德·本·哈利法大学科学与工程学院）；Department of Electronic and Computer Engineering, HKUST（香港科技大学电子与计算机工程系）
本研究提出利用ChatGPT作为情感分析的数据标注工具，实验表明其在推文和亚马逊评论数据集上的准确率分别比最佳词典算法提升20%和25%，显著优于现有无监督方法。
2023-06-18 cs.CL
Rule-Based Spanish Morphological Analyzer Built From Spell Checking Lexicon
University of California, Berkeley（加州大学伯克利分校）
用于自动文本分析的预处理工具已在主要语言中得到更广泛的使用，但非英语工具的功能往往仍然有限。在处理西班牙语文本时，研究人员可以很容易地找到用于标记和词干分析的工具，但可能无法提取更复杂的单词特征，如动词时态或语气。然而，西班牙语是一种形态丰富的语言，这些特征通常可以从单词形式中识别出来。动词和名词的搭配规则是一致的，但许多特殊动词和名词的搭配规则却不尽相同。虽然构建已知单词及其形态规则的完整词典将是劳动密集型的，但是在设计用于生成已知单词的有效形式的拼写检查器中已经存在这样做的资源。本文介绍了一套工具，西班牙语的形态分析，建立使用COES拼写检查工具，标记人，情绪，紧张，性别和数量，推导出一个词的根名词或动词不定式，并将动词转换为他们的名词形式。
2017-07-23 cs.CL
Sentiment Analysis of German Twitter
本文探讨了人们如何在德国Twitter上表达自己的意见的方式，研究了目前的方法来自动挖掘这些感情，并提出了新的方法，这优于国家的最先进的技术。为了这个目的，我介绍了一个新的语料库的德国推文，已手动注释的情绪，他们的目标和持有人，以及极性条款和他们的上下文修饰符。使用这些数据，我探索情感研究的四个主要领域：（i）情感词典的生成，（ii）细粒度的意见挖掘，（iii）消息级别的极性分类，（iv）话语感知情感分析。在第一个任务中，我比较了三个流行的组的词典生成方法：字典，语料库，和词嵌入为基础的，发现基于字典的系统一般产生更好的词典比后两组。除此之外，我提出了一个线性投影算法，其结果超过了许多现有的自动词典。之后，在第二个任务中，我研究了两种常见的自动预测情感，来源和目标的方法：条件随机场和递归神经网络，前者模型获得更高的分数，并通过重新定义CRF图的结构进一步改善这些结果。在处理消息级别的极性分类时，我将三种主要的情感范式并列：基于词汇的系统、基于机器学习的系统和基于深度学习的系统，并试图通过引入具有基于词汇的注意力的双向神经网络来统一第一组和最后一组。最后，为了使新的分类器意识到话语结构，我让它分别分析每个微博的基本话语单位，并推断出一个消息的整体极性从其EDU的分数的帮助下，两个新的方法：潜在边缘化的CRF和递归Dirichlet过程。
2019-11-29 cs.CL
A New Statistical Approach for Comparing Algorithms for Lexicon Based Sentiment Analysis
University of São Paulo（圣保罗大学）
基于词典的情感分析通常依赖于对各种词的识别，对应于情感的数值可以被分配给这些词。原则上，分类器可以通过与人类注释的比较从这些算法中获得，这被认为是金标准。在实践中，这在诸如葡萄牙语之类的语言中是困难的，因为那里缺乏人类注释的文本。因此，为了比较算法，下一个最好的步骤是直接比较不同的算法，而不参考人类注释。在本文中，我们开发的算法，不依赖于人类注释或已知的类标签的统计比较的方法。我们将鼓励使用边际同质性检验，以及最大似然估计的框架内的对数线性模型。我们还将展示一些不确定性存在于基于词典的情感分析可能类似于那些发生在人类注释的推文。我们还将展示如何在不同的算法的输出的变化是依赖于词汇，并量化这种可变性的输出的对数线性模型的框架内。
2019-06-20 cs.CL
Sense Tagging: Semantic Tagging with a Lexicon
词义标注，即从某个词典中自动为文本中的每个词分配适当的词义，是按类别或类型进行语义标注的一般问题的一个专门实例。我们讨论了最近的词义消歧算法是适当的意义标记。我们相信，意义标注可以有效地进行结合几个简单的，独立的，方法，我们包括这样一个标签的设计。该系统的原型已经实现，正确标记86%的多义词令牌在一个小的测试集，提供证据表明，我们的假设是正确的。
1997-05-29 cmp-lg cs.CL
Building domain specific lexicon based on TikTok comment dataset
The University of Adelaide（阿德莱德大学）
在情感分析任务中，预测句子的情感倾向是一个重要分支。以往的研究多集中在英语的情感分析上，如基于句子的配价、唤醒、支配等分析句子的情感倾向。两种语言的情感倾向不同。例如，汉语和英语之间的句子顺序可能会呈现不同的情感。本文尝试了一种建立领域专用词典的方法。这样，该模型就可以对具有情感倾向的汉语词汇进行分类。该方法在文献[13]的基础上，通过中文TikTok评论和情感词典源（种子词）的词嵌入，训练超密集空间嵌入表。该模型的结果是一个特定领域的词汇，它代表了词的情感倾向。我收集了中国TikTok的评论作为训练数据。通过将训练结果与PCA方法进行比较，评价了该模型在中文情感分类中的性能，结果表明，该模型在中文情感分类中取得了较好的效果。源代码已经发布在github上：https://github.com/h2222/douyin_comment_dataset
2020-12-16 cs.AI cs.CL
Investigating the Working of Text Classifiers
Carnegie Mellon University（卡内基梅隆大学）；Petuum, Inc（Petuum公司）
文本分类是自然语言处理中研究最广泛的任务之一。受组合性原理的启发，大型多层神经网络模型已被用于此任务，试图有效地利用组成表达式。几乎所有报告的工作训练大型网络使用歧视性的方法，这是一个警告，没有适当的容量控制，因为他们往往会抓住任何信号，可能不会泛化。使用各种最新的最先进的文本分类方法，我们探讨这些模型是否真的学会了组成句子的含义，或者仍然只是专注于一些关键字或词汇来分类文档。为了验证我们的假设，我们仔细构建了训练和测试分割没有直接重叠的词汇的数据集，但整体语言结构是相似的。我们研究了各种文本分类器，并观察到这些数据集的性能有很大的下降。最后，我们表明，即使是简单的模型与我们提出的正则化技术，这disincentivise集中在关键词汇，可以大大提高分类精度。
2018-08-05 cs.CL
Idioms-Proverbs Lexicon for Modern Standard Arabic and Colloquial Sentiment Analysis
Cairo University（开罗大学）
虽然，在过去十年中，在情感分析（SA）和意见挖掘（OM）系统中的相当数量的工作以及关于这些系统的性能，但是由于语言本身的性质存在的复杂性和挑战，仍然没有期望的性能，特别是对于诸如阿拉伯语的形态丰富语言（MRL）。这些挑战之一是在作者文本或评论中检测成语或谚语短语。成语或谚语是一种独特的言语形式或表达方式。在语法上，它不能从其元素的单独含义来理解，并且当被视为单独的单词时会产生不同的情绪。因此，为了便于自动SA系统的词汇短语的检测和分类的任务，本文提出了AIPSeLEX现代标准阿拉伯语（MSA）和口语的一种新的成语/谚语情感词典。AIPSeLEX是手动收集和注释的句子水平与语义取向（积极或消极）。手工建立和注释的词典的努力报告。此外，我们建立了一个分类器，提取成语和谚语，短语从文本中使用n-gram和相似性度量方法。最后，对各种数据进行了几次实验，包括来自公开的阿拉伯语在线评论网站（社交媒体，博客，论坛，电子商务网站）的阿拉伯语推文和阿拉伯语微博（酒店预订，产品评论和电视节目评论），以评估AIPSeLEX的覆盖范围和准确性。
2015-06-05 cs.CL
Morphological annotation of Korean with Directly Maintainable Resources
Saltlux（盐乐思公司）；Université de Marne-la-Vallée（马恩河谷大学）；Hankuk University of Foreign Studies（韩国外国语大学）
本文介绍了一种专门基于资源的朝鲜语书面文本形态标注方法。朝鲜语是一种黏着语。我们的注释器被设计为在语法分析器操作之前处理文本。在其目前的状态下，它只注释一个词干。输出是一个词素图，标注了准确的语言信息。该标记集的粒度是普通标记集的3 ~ 5倍。与参考注释语料库的比较表明，它实现了89%的召回没有任何语料库训练。该系统使用的语言资源是词干词汇、后缀转换器和异形词生成转换器。所有这些都可以很容易地更新，这允许用户控制系统性能的演变。有人声称，韩语文本的形态标注只能通过访问词素词典的形态分析模块来执行。我们表明，它也可以直接使用单词词典执行，而无需在注释时应用形态规则，从而将注释速度提高到1，210个单词/秒。词汇是通过完全自动化的编译过程从主流语言资源中获得的。
2007-11-21 cs.CL
Enrichment of OntoSenseNet: Adding a Sense-annotated Telugu lexicon
Center for Exact Humanities (CEH)（精确人文中心）；International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
本文介绍了丰富的OntoSenseNet -一个动词为中心的词汇资源，印度语言。这个资源包含一个新开发的泰卢固语-泰卢固语字典。这很重要，因为母语人士可以更好地注释的意义时，这个词和它的意思是在泰卢固语。因此，正在努力编制泰卢固语词典的软拷贝。我们的资源也有手动标注的黄金标准语料库，包括8483个动词，253个副词和1673个形容词。注释由母语使用者根据定义的注释指南完成。在本文中，我们提供了一个概述的注释过程，并提出了验证我们的资源，通过注释者之间的协议。讨论了意义类和意义类型的概念。此外，我们还讨论了词义标注语料库在改进词义消歧（WSD）任务中的潜力。泰卢固语WordNet是众包的同义词集中的单个单词的注释，并与开发的意义注释词典（OntoSenseNet）进行比较，以检查改进。此外，我们提出了一个特殊的分类（时空分类）的形容词。
2018-07-09 cs.CL
$ρ$-hot Lexicon Embedding-based Two-level LSTM for Sentiment Analysis
Tianjin University（天津大学）；Civil Aviation University of China（中国民航大学）
情感分析是各种文本挖掘应用中的关键组成部分。在文献中已经提出了许多情感分类技术，包括常规方法和基于深度学习的方法。在大多数现有的方法中，假设给定高质量的训练集。然而，在实际应用中，构建由高度准确的标签组成的高质量训练集是一个挑战。这种困难源于文本样本通常包含复杂的情感表示，并且它们的注释是主观的。在这项研究中，我们利用一种新的标签策略，并利用两级长短期记忆网络来构建一个情感分类器。词汇线索对于情感分析是有用的，并且它们已经被利用在传统的研究中。例如，极性词和否定词在情感分析中起着重要作用。提出了一种新的编码策略，即$ρ$ -hot编码，以克服one-hot编码的缺点，从而有效地结合有用的词汇线索。我们编制了三个中国数据集的基础上，我们的标签策略和建议的方法。在三个数据集上的实验表明，该方法优于现有的算法。
2018-03-21 cs.CL
Comparative Analysis of Text Classification Approaches in Electronic Health Records
King’s College London（伦敦国王学院）
文本分类任务旨在从电子健康记录中收集和/或组织信息，是支持临床和转化研究的关键。然而，与其他分类任务相比，这些任务提出了具体的挑战，特别是由于临床记录中使用的医学词汇和语言的特殊性质。嵌入方法的最新进展已经显示出对几个临床任务的有希望的结果，但是没有将这些方法与其他常用的词表示和分类模型进行详尽的比较。在这项工作中，我们分析了不同的词表示，文本预处理和分类算法对四个不同的文本分类任务的性能的影响。结果表明，传统的方法，当定制的特定语言和结构的文本固有的分类任务，可以达到或超过最近的基于上下文嵌入，如BERT的性能。
2020-05-08 cs.CL cs.LG
Unsupervised Learning for Lexicon-Based Classification
Georgia Institute of Technology（佐治亚理工学院）
在基于词典的分类中，通过比较出现在两个相反词典中的单词的数量（例如积极和消极情绪）来为文档分配标签。创建这样的单词列表通常比标记实例更容易，并且如果分类性能不令人满意，它们可以由非专家进行调试。然而，很少有这种分类启发式的分析或理由。本文描述了一组假设，可以用来推导基于词汇的分类的概率理由，以及其预期的准确性分析。基于词典的分类背后的一个关键假设是，每个词典中的所有单词都具有同等的预测性。这在实践中很少是真的，这就是为什么基于词汇的方法通常被监督分类器优于，监督分类器从标记的实例中学习每个单词的不同权重。本文表明，它是可以学习这样的权重没有标记的数据，通过利用跨词典的共现统计。这提供了两全其美的效果：词典形式的轻度监督，以及比传统字数统计启发式更高准确性的数据驱动分类。
2016-11-21 cs.CL cs.LG stat.ML
Optimization Of Cross Domain Sentiment Analysis Using Sentiwordnet
Vidyavardhaka College of Engg.（维迪亚瓦尔达卡工程学院）；Government Engineering College, Hassan（哈桑政府工程学院）
评论的情感分析的任务是使用它们自己的手动构建/自动生成的词典资源来执行的，术语与词典匹配以计算正极性和负极性的术语计数。另一方面，Sentiwordnet与其他词典资源完全不同，它为每个单词提供了正极性和负极性的分数（权重）。一个词的极性，即积极的，消极的和中性的，具有范围在0到1之间的分数，指示具有该情感取向的词的强度/权重。在本文中，我们展示了使用Sentiwordnet，我们如何在句子和文档级别上提高分类的性能。
2013-10-08 cs.CL cs.IR
Know thy corpus! Robust methods for digital curation of Web corpora
Centre for Translation Studies, University of Leeds（利兹大学翻译研究中心）
本文提出了一种新的框架，数字策展的Web语料库，以提供强大的估计，如其组成和词汇的参数。近年来，在大型语料库上预训练的语言模型在许多NLP任务中成为明显的赢家，但没有对导致其成功的语料库进行适当的分析。本文提出了一个强大的频率估计，这有助于建立一个给定的语料库的核心词汇，以及通过无监督的主题模型和监督的体裁分类的网页估计语料库组成的过程。数字策展研究的结果适用于几个网络派生语料库展示了相当大的差异。首先，这涉及到不同的频率突发，影响从每个语料库获得的核心词汇。第二，这涉及到它们所包含的文本类型。例如，OpenWebText包含了比ukWac或维基百科更多的主题新闻和政治辩论。工具和分析结果已经发布。
2020-03-13 cs.CL
A Scalable, Lexicon Based Technique for Sentiment Analysis
YMCA University of Science & Technology（YMCA科学技术大学）
网络上情感丰富的社交媒体数量的快速增长导致了研究人员对情感分析和意见挖掘的兴趣增加。然而，由于网络上有如此多的社交媒体，情感分析现在被认为是一项大数据任务。因此，传统的情感分析方法无法有效地处理现在每天可用的大量情感数据。研究的主要重点是找到这样一种技术，可以有效地对大数据集进行情感分析。一种可以快速准确地将文本分类为积极，消极和中性的技术。在这项研究中，使用Hadoop对大量推文数据集进行了情感分析，并以速度和准确性的形式衡量了该技术的性能。实验结果表明，该技术在处理大规模情感数据集时具有很好的效率。
2014-10-08 cs.CL cs.IR
A Deep Neural Architecture for Sentence-level Sentiment Classification in Twitter Social Networking
Japan Advanced Institute of Science and Technology（日本北陆先端科学技术大学院大学）
本文介绍了一种新的深度学习框架，包括一个基于词典的方法，用于情感标签分布的预测级别。我们建议首先应用语义规则，然后使用深度卷积神经网络（DeepCNN）进行字符级嵌入，以增加单词级嵌入的信息。之后，双向长短期记忆网络（Bi-LSTM）从词级嵌入中产生一个全域特征表示。我们在三个Twitter情感分类数据集上评估了我们的方法。实验结果表明，该模型可以提高Twitter社交网络中情感分析的分类准确率。
2017-06-25 cs.CL
Good Debt or Bad Debt: Detecting Semantic Orientations in Economic Texts
Aalto University School of Business（阿尔托大学商学院）；Department of Information and Service Economy（信息与服务经济系）；Department of Finance and Accounting（财务与会计系）；Aalto University（阿尔托大学）
使用机器人阅读器分析新闻文本是计算金融领域的一个新兴技术趋势。在最近的研究中，已经投入了大量的精力来开发复杂的财务极性词汇，可以用来调查财务情绪如何与未来的公司业绩。然而，基于来自其他领域的经验，其中通常应用情感分析，众所周知，句子的整体语义取向可能不同于单个词的先前极性。本文的目的是探讨如何通过整合整体短语结构信息和特定领域的语言使用来更好地检测财经新闻中的语义倾向。我们的三个主要贡献是：（1）建立了一个人工标注的金融短语库，可以作为训练和评估替代模型的基准;（2）提出了一种技术，以增强金融词汇的属性，有助于识别影响整体情绪的事件的预期方向;（3）建立了一个线性化的短语结构模型，用于检测财经新闻语篇的语境语义倾向。新增加的词典功能的相关性和使用建议的学习算法的好处证明了在对以前使用的一般情感模型以及流行的词频模型在最近的金融研究中使用的比较研究。所提出的框架是简约的，避免了爆炸的特征空间所造成的使用传统的n-gram功能。
2013-07-23 cs.CL cs.IR q-fin.CP
Mixtures of Unsupervised Lexicon Classification
本文提出一种结合狄利克雷过程的混合矩方法，用于无监督词典分类。
2024-05-27 cs.AI cs.CL cs.CV
Sentiment Analysis For Modern Standard Arabic And Colloquial
Institute of statistical studies and research (ISSR), Cairo University（开罗大学统计研究与研究所）；Cairo University（开罗大学）
博客和社交网络等社交媒体的兴起激发了人们对情感分析的兴趣。随着评论、评级、推荐和其他形式的在线表达的激增，在线意见已经变成了一种虚拟货币，企业希望推销他们的产品，发现新的机会和管理他们的声誉，因此许多人现在都在寻找情感分析领域。在本文中，我们提出了一个基于特征的句子层次的阿拉伯语情感分析的方法。我们的方法是使用阿拉伯语成语/短语词典作为提高阿拉伯语句子中情感极性检测的关键重要性，以及一些小说和丰富的语言动机特征集（上下文增强器，上下文移位器和否定处理），用于冲突短语的句法特征，提高情感分类准确性。此外，我们介绍了一个自动扩展的广泛覆盖的极性词汇的阿拉伯语情感。该词典以黄金标准情感词为种子构建，人工收集和注释，并使用同义词集聚合技术和免费在线阿拉伯语词典和词库自动扩展和检测新情感词的情感倾向。我们的数据集中于现代标准阿拉伯语（MSA）和埃及方言阿拉伯语推特和微博（酒店预订，产品评论等）。使用我们的资源和技术与SVM分类器的实验结果表明高性能水平，准确率超过95%。
2015-05-12 cs.CL
Using objective words in the reviews to improve the colloquial arabic sentiment analysis
Jazan University（贾赞大学）
阿拉伯语的情感分析的主要困难之一是口语的存在。在本文中，我们研究的效果，使用客观的话与感性的话对情绪分类的阿拉伯语口语评论，特别是约旦口语评论。评论通常包括情感和客观词，然而，大多数现有的情感分析模型忽略了客观词，因为它们被认为是无用的。在这项工作中，我们创建了两个词汇：第一个包括口语情感词和复合短语，而另一个包含与基于特定估计方法的情感倾向值相关联的客观词。我们使用这些词典来提取情感特征，这些情感特征将作为支持向量机（SVM）的训练输入，以分类评论的情感极性。评论数据集是从JEERAN网站手动收集的。实验结果表明，该方法提高了极性分类相比，两个基线模型，准确率为95.6%。
2017-09-25 cs.CL
PyTAIL: Interactive and Incremental Learning of NLP Models with Human in the Loop for Online Data
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
在线数据流使得训练机器学习模型变得困难，因为分布偏移和随着时间的推移出现的新模式。对于利用基于词典和规则的特征集合的自然语言处理（NLP）任务，使这些特征适应变化的数据是重要的。为了应对这一挑战，我们引入了PyTAIL，这是一个Python库，它允许一个人在循环中主动训练NLP模型。PyTAIL增强了通用的主动学习，它只建议新的实例进行标记，同时建议新的特征，如规则和词典进行标记。此外，PyTAIL足够灵活，用户可以在训练模型时接受、拒绝或更新规则和词典。最后，我们在现有的社交媒体基准数据集上模拟了PyTAIL的文本分类性能。我们在这些基准上比较了各种主动学习策略。该模型用少至10%的训练数据来缩小差距。最后，我们还强调了在测试数据集旁边跟踪剩余数据（尚未与主动学习合并）的评估指标的重要性。这突出了该模型在准确注释剩余数据集方面的有效性，特别适合于大型未标记语料库的批处理。PyTAIL将在https://github.com/socialmediaie/pytail上提供。
2022-11-24 cs.AI cs.CL cs.HC
Arabic Text Sentiment Analysis: Reinforcing Human-Performed Surveys with Wider Topic Analysis
Princess Nourah bint Abdulrahman University（努拉宾特阿卜杜拉赫曼大学）；University of Durham（杜伦大学）
本文结合133篇论文的人工调查与2297篇文献的主题建模、时间分析，系统梳理阿拉伯语情感分析方法、算法、资源与工具缺口，并提出未来方向。
2024-03-04 cs.CL
Empirical Evaluation of Leveraging Named Entities for Arabic Sentiment Analysis
Konya Technical University（科尼亚技术大学）；University of Manouba（马努巴大学）；University of Colorado（科罗拉多大学）
社交媒体反映了公众对特定事件的态度。事件通常与人、地点或组织有关，即所谓的命名实体。这可以将命名实体定义为承载情感的组件。在本文中，我们潜水超越命名实体识别的情感注释命名实体在阿拉伯语情感分析的开发。因此，我们开发了一种算法来检测的情绪命名实体的基础上，对他们的大多数态度。这使得能够用适当的标签标记命名实体，从而将它们包括在两个模型的情感分析框架中：监督和基于词典。这两种模型都适用于多方言内容的数据集。结果表明，命名实体对监督模型没有很大的影响，而在基于词典的模型中使用它们提高了分类性能，并且优于大多数基线系统。
2019-04-23 cs.CL
Word Segmentation on Micro-blog Texts with External Lexicon and Heterogeneous Data
Soochow University（苏州大学）
本文介绍了我们为NLPCC 2016共享任务设计的微博文本分词系统。
2016-09-29 cs.CL
Comparative Study of Sentiment Analysis for Multi-Sourced Social Media Platforms
Manipal Institute of Technology（马尼帕尔理工学院）
由于当今世界技术的快速发展，每秒钟都会产生大量的数据。这一研究领域试图确定人们在社交媒体帖子上的感受或观点。我们使用的数据集是来自Twitter，Reddit等各种社交网站的评论部分的多源数据集。采用自然语言处理技术对所获得的数据集进行情感分析。在本文中，我们提供了一个比较分析，使用基于词汇的技术，机器学习和深度学习的方法。这项工作中使用的机器学习算法是朴素贝叶斯，这项工作中使用的基于词典的方法是TextBlob，这项工作中使用的深度学习算法是LSTM。
2022-12-09 cs.AI cs.CL
Language Lexicons for Hindi-English Multilingual Text Processing
Jamia Millia Islamia（贾米亚·米利亚伊斯兰大学）
文本文档中的语言识别是根据文档内容自动检测文档中包含的语言的过程。目前的语言识别技术假设文档包含固定语言集合中的一种语言的文本，然而，当处理包括多于一种可能语言的内容的多语言文档时，这种假设是不正确的。由于没有大型标准语料库的印地语-英语混合语言的语言处理任务，我们提出了语言词典，一种新的词汇数据库，支持多种语言处理任务。这些词汇是通过在音译印地语和英语词汇上学习分类器建立的。所设计的词汇比其主要的收集来源具有更丰富的数量特征，这是使用可视化技术揭示的。
2021-06-29 cs.CL
Generic Embedding-Based Lexicons for Transparent and Reproducible Text Scoring
提出用通用预训练词嵌入构建透明且高性能的文本评分词典，兼顾模型性能与可解释性。
2024-11-01 cs.CL
ylmmcl at Multilingual Text Detoxification 2025: Lexicon-Guided Detoxification and Classifier-Gated Rewriting
University of British Columbia, Canada（不列颠哥伦比亚大学）
本文提出融合多语言有毒词典标注、微调序列到序列模型与分类器迭代门控的多语言文本去毒流水线，在多语言上优于基线并获 PAN-2025 第九名。
2025-07-24 cs.CL cs.LG
Automatically Creating Bilingual Lexicons for Machine Translation from Bilingual Text
提出了一种通过从对齐的双语文本中提取双语条目来自动扩充现有机器翻译系统的双语词典的方法。所提出的方法仅依赖于MT系统本身中已经可用的资源。它是基于双语词汇模板的使用，以匹配在对齐的句子的分析中的终端符号。
1998-07-20 cmp-lg cs.CL
Requirements of Text Processing Lexicons
随着文本处理系统范围的扩大，它们将需要更大的词典以及用于区分单词的许多含义的解析能力。现有的系统并没有将这些微妙之处纳入其词汇的含义中。普通的字典包含了这样的信息，但大部分都没有被利用。当仔细检查字典的内容时，它们揭示了在表示意义和开发语义分析器时必须满足的许多要求。这些要求是在寻找原始动词概念的研究中确定的。概述了这些要求，并说明了通过使用普通词典来满足这些要求的一般程序，通过建立框架和审查“变化”的定义及其在其他定义中作为上位词的用途来说明。
2000-02-11 cs.CL
Gender Bias in Text: Labeled Datasets and Lexicons
American University of Beirut（贝鲁特美国大学）；Beirut, Lebanon（黎巴嫩贝鲁特）
语言对我们的思想、观念和性别角色的概念有着深远的影响。因此，性别包容性语言是促进社会包容和促进实现性别平等的一个关键工具。因此，发现和减轻文本中的性别偏见有助于阻止其传播和社会影响。然而，缺乏性别偏见数据集和词典，用于使用监督和无监督机器学习（ML）和自然语言处理（NLP）技术自动检测性别偏见。因此，这项工作的主要贡献是公开提供标记的数据集和详尽的词汇，通过收集，注释和增强相关的句子，以促进检测英语文本中的性别偏见。为此，我们提出了一个更新的版本，我们以前提出的分类重新形式化的结构，增加了一个新的偏见类型，并映射到一个适当的检测方法，每个偏见亚型。发布的数据集和词典跨越多个偏见子类型，包括：通用他，通用她，性别的显式标记和性别新词。我们利用词嵌入模型来进一步扩充收集的词典。
2023-02-23 cs.AI cs.CL
Expanding Pretrained Models to Thousands More Languages via Lexicon-based Adaptation
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究院）
多语言预训练模型的性能高度依赖于目标语言中存在的单语或平行文本的可用性。因此，世界上大多数语言无法从NLP的最新进展中受益，因为它们没有或只有有限的文本数据。为了扩大在这些代表性不足的语言中使用NLP技术的可能性，我们系统地研究了通过使用双语词典（一种具有更好语言覆盖率的替代资源）来放松对传统语言资源的依赖的策略。我们分析了不同的策略来合成文本或标记的数据使用词典，以及如何将这些数据可以与单语或平行文本时可用。对于3个任务中的19种代表性不足的语言，我们的方法分别在有和没有额外的单语文本的情况下导致了高达5和15分的持续改进。总的来说，我们的研究强调了NLP方法如何适应当前技术服务不足的数千种语言
2022-04-06 cs.CL
A Comparison of Techniques for Sentiment Classification of Film Reviews
University of Cambridge（剑桥大学）
我们承担的任务比较基于词汇的情感分类的电影评论与机器学习方法。我们研究现有的方法，并尝试使用“给定”词典和词袋方法来模仿和改进它们。我们还利用句法信息，如词性和依存关系。我们将展示一个简单的基于词典的分类取得了良好的效果，但机器学习技术被证明是更好的工具。我们还展示了更多的特性并不一定能提供更好的性能，并详细说明了本文中没有测试的三个进一步的增强。
2019-05-12 cs.CL
