Composing and Embedding the Words-as-Classifiers Model of Grounded Semantics
Boise State University(博伊西州立大学)
基于词汇语义的词作为分类器模型学习物理实体和用于表示这些实体的词之间的语义适应度得分。在本文中,我们将探讨这样一个模型可以增量执行组合,以及如何将模型与分布式表示统一起来。对于后者,我们利用分类器系数作为嵌入。对于组合,我们利用三种不同分类器类型的底层机制(即,逻辑回归、决策树和多层感知器),以获得对每个分类器唯一的组合的几种系统方法,包括组合的外延和内涵方法。我们将这些方法相互比较,并与使用refCOCO数据集的视觉参考分辨率任务中的先前工作进行比较。我们的研究结果表明,需要扩大现有的组成策略,并汇集接地和分布表示。
2019-11-08 cs.CL
Khmer Text Classification Using Word Embedding and Neural Networks
Techo Startup Center(Techo创业中心)
文本分类是自然语言处理中的基本任务之一,用于标记开放式文本,并且对于诸如情感分析的各种应用是有用的。在本文中,我们讨论了各种分类方法的高棉文本,从一个经典的TF-IDF算法与支持向量机分类器的现代词嵌入为基础的神经网络分类器,包括线性层模型,递归神经网络和卷积神经网络。在3000万高棉词语料库上训练高棉词嵌入模型,以构建用于训练三个不同神经网络分类器的词向量表示。我们评估了不同方法在新闻文章数据集上进行多类和多标签文本分类任务的性能。结果表明,使用词嵌入模型的神经网络分类器始终优于使用TF-IDF的传统分类器。与卷积网络和线性层网络相比,递归神经网络分类器提供稍好的结果。
2021-12-13 cs.CL
Could the Road to Grounded, Neuro-symbolic AI be Paved with Words-as-Classifiers?
Department of Computer Science(计算机科学系);Boise State University(博伊斯州立大学);Department of Lingusitics(语言学系);University of Potsdam(波茨坦大学)
本文论证“词即分类器”模型可作为统一形式、分布和具身语义学的路径,回顾文献、结合认知科学动机并描述实验,最终勾勒统一语义模型。
2025-07-08 cs.CL
Resolving References to Objects in Photographs using the Words-As-Classifiers Model
Bielefeld University(比勒费尔德大学)
语言的一个常见用法是指视觉上呈现的对象。在计算机中模拟它需要模拟语言和感知之间的联系。扎根语义学的“词为量词”模型将词视为感知语境的量词,通过组合词的指称来构成短语的意义。它最近被证明在具有少量对象类型的游戏场景中表现良好。我们将其应用于两大组真实世界的照片,这些照片包含更多类型,并且可以使用引用表达式。使用预训练的卷积神经网络来提取图像特征,并使用图片中的位置信息来增强这些特征,我们表明该模型在参考分辨率任务(给定表达式,找到其参考对象的限界框)中实现了与现有技术竞争的性能,同时,正如我们所认为的,在概念上更简单,更灵活。
2016-06-03 cs.CL
Mitigating Word Bias in Zero-shot Prompt-based Classifiers
ALTA Institute(ALTA研究所);University of Cambridge(剑桥大学)
本文针对零样本基于提示的分类器中因词偏置导致的性能差异问题,提出一种无监督地重新加权类别期望边际概率以实现均匀先验的方法,并建立类别先验与语言模型词先验的理论联系,实现零资源阈值设置,在多项NLP任务上取得显著且一致的性能提升。
2023-09-10 cs.CL
Updating Pre-trained Word Vectors and Text Classifiers using Monolingual Alignment
Facebook AI Research(Facebook人工智能研究院)
在本文中,我们专注于适应词向量为基础的模型,以新的文本数据的问题。给定一个在大型参考数据上预先训练的模型,我们如何使其适应语言分布略有不同的较小数据?我们将自适应问题视为单语词向量对齐问题,并在对齐后简单地对模型进行平均。我们使用RCSLS准则对齐向量。我们的配方结果在一个简单而有效的算法,允许适应通用模型不断变化的单词分布。在我们的评估中,我们考虑应用到词嵌入和文本分类模型。我们表明,所提出的方法在所有设置中都具有良好的性能,并且优于在新数据上微调模型的基线。
2019-10-15 cs.CL
Delta-training: Simple Semi-Supervised Text Classification using Pretrained Word Embeddings
Seoul National University(首尔国立大学)
我们提出了一种新颖而简单的半监督文本分类方法。该方法源于这样的假设,即具有预训练的词嵌入的分类器总是优于具有随机初始化的词嵌入的相同分类器,正如在NLP任务中经验观察到的那样。我们的方法首先构建两组分类器作为模型集成的一种形式,然后以不同的方式嵌入它们的词嵌入:一个使用随机,另一个使用预训练的词嵌入。我们专注于两个分类器对未标记数据的不同预测,同时遵循自训练框架。我们还使用早期停止元时期,以提高我们的方法的性能。我们的方法Delta-training在4个不同的文本分类数据集中优于自训练和协同训练框架,显示出对错误积累的鲁棒性。
2019-09-28 cs.CL
Smaller Text Classifiers with Discriminative Cluster Embeddings
Toyota Technological Institute at Chicago(芝加哥丰田技术研究院)
在用于自然语言处理的神经方法中,词嵌入参数通常支配整体模型大小。我们减少部署的文本分类器的模型大小,通过学习一个硬词聚类在一个端到端的方式。我们使用Gumbel-Softmax分布来最大化潜在聚类,同时最小化任务损失。我们提出了选择性地为单词分配额外参数的变化,这进一步提高了准确性,同时仍然保持参数效率。
2019-06-23 cs.CL
VertAttack: Taking advantage of Text Classifiers' horizontal vision
Purdue University, Fort Wayne(普渡大学韦恩堡分校)
本研究提出VertAttack攻击方法,通过将文本分类器依赖的单词垂直重写,大幅降低多个transformer模型的准确率,同时保留语义,为研发更鲁棒的分类算法提供启发。
2024-04-12 cs.CL
Using BERT for Word Sense Disambiguation
Tsinghua University(清华大学)
词义消歧是自然语言处理中的一个长期难题,其目的是确定一个多义词的正确词义。在本文中,我们提出了使用BERT提取更好的多义词表示的词义消歧和探索的几种方式结合BERT和分类器。我们还利用意义定义训练一个统一的分类器的所有的话,这使得模型,以消除歧义看不见的多义词。实验表明,该模型在标准英语全词词义消歧评价上取得了较好的效果。
2019-09-18 cs.CL
Language Model Classifier Aligns Better with Physician Word Sensitivity than XGBoost on Readmission Prediction
NYU Center for Data Science(纽约大学数据科学中心);NYU Langone Health(纽约大学朗格尼医学中心);NYU Tandon School of Engineering(纽约大学坦登工程学院);NYU Grossman School of Medicine(纽约大学格罗斯曼医学院);Prescient Design(Prescient设计公司)
自然语言处理中用于分类的传统评估指标(诸如准确度和曲线下面积)无法区分具有不同预测行为的模型,尽管它们具有相似的性能指标。我们引入了敏感度评分,这是一种在词汇水平上仔细检查模型行为的度量标准,可以深入了解其决策逻辑中的差异。我们使用两个训练用于医院再入院分类的具有相似性能统计的分类器,评估测试集中一组代表性单词的敏感性得分。我们的实验比较的决策逻辑的临床医生和分类的敏感性分数的等级相关性的基础上。结果表明,在tf-idf嵌入上,语言模型的敏感度得分比xgboost分类器更接近专业人士,这表明xgboost使用了一些虚假的特征。总的来说,这个指标提供了一个新的角度来评估模型的鲁棒性,量化他们与专业意见的差异。我们的代码可以在GitHub上找到(https://github.com/nyuolab/Model_Sensitivity)。
2022-11-15 cs.CL
Word Vector Enrichment of Low Frequency Words in the Bag-of-Words Model for Short Text Multi-class Classification Problems
The University of New South Wales(新南威尔士大学)
词袋模型是许多线性分类器学习器的标准文本表示。在许多问题领域中,线性分类器由于其效率,鲁棒性和可解释性而优于更复杂的模型,并且词袋文本表示可以为线性分类器捕获足够的信息以进行高度准确的预测。然而,在存在大词汇量、训练语料库中术语频率的大变化、许多类和非常短的文本(例如,单个句子或文档标题),词袋表示变得极其稀疏,并且这会降低分类器的准确性。在这种情况下的一个特殊问题是,短文本往往包含不经常出现或罕见的条款,缺乏类条件的证据。在这项工作中,我们介绍了一种方法,丰富的词袋模型,通过补充这些罕见的长期信息与相关的条款,从一般和特定领域的词向量模型。通过减少词袋模型中的稀疏性,我们的富集方法在各种文本分类问题中实现了比几个基线分类器更好的分类。我们的方法也是有效的,因为它不需要在训练之前或训练期间改变线性分类器,因为词袋富集仅适用于正在分类的文本。
2017-09-18 cs.CL cs.LG
Learning Variational Word Masks to Improve the Interpretability of Neural Text Classifiers
University of Virginia(弗吉尼亚大学)
为了构建一个可解释的神经文本分类器,大多数先前的工作都集中在设计内在可解释的模型或找到忠实的解释。提高模型可解释性的新工作刚刚开始,许多现有的方法需要先验信息或人工注释作为训练中的额外输入。为了解决这一限制,我们提出了变分词掩码(VMASK)方法来自动学习特定于任务的重要词,并减少与分类无关的信息,从而最终提高模型预测的可解释性。在七个基准文本分类数据集上使用三个神经文本分类器(CNN,LSTM和BERT)对所提出的方法进行了评估。实验表明,VMASK在提高模型预测精度和可解释性方面是有效的。
2020-11-19 cs.CL cs.LG
Learning to Create and Reuse Words in Open-Vocabulary Neural Language Modeling
University of Oxford(牛津大学);DeepMind
固定词汇的语言模型无法解释自然语言最具特征的统计事实之一:新词类型的频繁创建和重用。尽管字符级语言模型提供了部分解决方案,因为它们可以创建在训练语料库中未被证明的词类型,但它们没有捕获这些词的“突发”分布。在本文中,我们增强了一个分层LSTM语言模型,该模型通过一个学习重用先前生成的单词的缓存机制逐字符生成单词标记序列。为了验证我们的模型,我们构建了一个新的开放式词汇语言建模语料库(多语言维基百科语料库,MWC),从可比的维基百科文章在7种不同的语言类型,并证明了我们的模型在这一范围内的语言的有效性。
2017-04-23 cs.CL
Analysis and Optimization of fastText Linear Text Classifier
IBM T. J. Watson Research Center(IBM托马斯·J·沃森研究中心)
论文[1]表明,简单的线性分类器可以在文本分类应用中与复杂的深度学习算法竞争。结合词袋(BoW)和线性分类技术,fastText [1]达到了与深度学习算法[2-9]相同或略低的准确度,后者慢了几个数量级。我们正式证明,fastText可以转换成一个更简单的等价分类器,它不像fastText没有任何隐藏层。我们还证明了词向量嵌入空间的充要维数恰好是文档类的个数。这些结果有助于构建更优的线性文本分类器,保证最大的分类能力。结果是完全由形式代数方法证明,而不吸引任何经验数据。
2017-02-17 cs.CL
How big is big enough? Unsupervised word sense disambiguation using a very large corpus
Institute of Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所);National Centre for Text Mining, University of Manchester(曼彻斯特大学国家文本挖掘中心)
在本文中,消除歧义的波兰语目标词的问题是通过搜索相关的词与已知的含义。这些亲属被用来建立一个训练语料库从未注释的文本。该技术通过提出新的丰富的替换源来改进,这些替换源用基于词网关系的语义学来替代传统的单义性要求。朴素贝叶斯分类器已被修改,以考虑未知的感官分布。由NEKST搜索引擎收集的6亿个Web文档(5940亿个令牌)的语料库允许我们评估训练集大小和消歧准确性之间的关系。使用wordnet基线和语料库对分类器进行评估,语料库中有17,314个手动注释的54个歧义词。
2017-10-22 cs.CL
Supervised Understanding of Word Embeddings
Siemens Medical Solutions USA(美国西门子医疗解决方案公司)
预训练的词嵌入被广泛用于自然语言处理中的迁移学习。嵌入是单词的连续和分布式表示,在紧凑的欧几里得空间中保持它们的相似性。然而,这些空间的尺寸并没有提供任何明确的解释。在这项研究中,我们已经获得了监督投影的形式线性关键字级分类器的词嵌入。我们已经表明,该方法创建原始嵌入尺寸的可解释的投影。经训练的分类器节点的激活对应于词汇表中的单词的子集。因此,它们的行为类似于字典特征,同时具有连续值输出的优点。此外,这样的字典可以通过将得分最高的单词上的专家标签添加到关键字的初始集合来迭代地增长多轮。此外,相同的分类器可以应用于其他语言中的对齐的词嵌入以获得对应的词典。在我们的实验中,我们已经证明,使用这些分类器权重初始化高阶网络可以为下游NLP任务提供更准确的模型。我们进一步证明了监督维度在揭示感兴趣的关键词的多义性质方面的有用性,通过在不同的子空间中使用学习的分类器来投影它的嵌入。
2020-06-23 cs.CL cs.LG
A Variational Approach to Unsupervised Sentiment Analysis
Hong Kong University of Science and Technology(香港科技大学);University of Southern California(南加州大学);University of Hong Kong(香港大学)
在本文中,我们提出了一种变分方法,无监督的情感分析。我们使用目标意见词对作为监督信号,而不是使用领域专家提供的基础事实。例如,在文档片段“the room is big”中,(room,big)是目标意见词对。这些词对可以通过使用依赖分析器和简单的规则来提取。我们的目标函数是预测一个给定目标词的观点词,而我们的最终目标是学习一个情感分类器。通过引入潜在变量,即,情感极性,对目标函数,我们可以通过证据下限注入情感分类器的目标函数。我们可以通过优化下限来学习情感分类器。我们还对意见词施加复杂的约束,作为正则化,鼓励如果两个文档具有相似(不相似)的意见词,则情感分类器应该产生相似(不同)的概率分布。我们将我们的方法应用于客户评论和临床叙述的情感分析。实验结果表明,该方法在两个领域的情感分析任务中均优于无监督基线,在客户评论领域与每个方面有数百个标签的有监督方法获得了相当的结果,在临床叙述领域与有监督方法获得了相当的结果。
2020-08-21 cs.CL
Tying Word Vectors and Word Classifiers: A Loss Framework for Language Modeling
Stanford University(斯坦福大学);Salesforce Research(Salesforce研究院)
递归神经网络在预测语言建模等任务中的单词序列方面非常成功。然而,所有这些模型都是基于传统的分类框架,其中模型是针对一个热门目标进行训练的,每个单词都被单独表示为输入和输出。这在利用所有信息方面和在训练所需的参数数量方面都导致学习效率低下。我们引入了一种新颖的理论框架,可以促进语言建模中的更好学习,并表明我们的框架可以将输入嵌入和输出投影矩阵联系在一起,大大减少了可训练变量的数量。我们的框架导致宾夕法尼亚州树库的各种网络模型的最先进的性能。
2017-03-11 cs.CL cs.LG stat.ML
Measuring Memorization Effect in Word-Level Neural Networks Probing
Charles University(查理大学)
多项研究探讨了在为端到端NLP任务训练的神经网络中出现的表征,并研究了哪些单词级别的语言信息可能被编码在表征中。在经典的探测中,分类器在表示上进行训练以提取目标语言信息。然而,存在分类器简单地记忆单个单词的语言标签而不是从表示中提取语言抽象的威胁,从而报告假阳性结果。虽然已经做出了相当大的努力,以尽量减少记忆的问题,实际测量的分类器中发生的记忆量的任务一直研究不足。在我们的工作中,我们提出了一种测量记忆效果的简单通用方法,该方法基于对称选择训练中可见和未可见的可比较测试单词集。我们的方法可以用来明确量化的记忆量发生在探测设置,以便可以选择一个适当的设置和探测的结果可以解释与可靠性估计。我们通过展示我们的方法在一个经过训练的神经机器翻译编码器中探测语音部分的案例研究来证明这一点。
2020-06-29 cs.CL
Sentiment Analysis by Joint Learning of Word Embeddings and Classifier
University of Wisconsin - Madison(威斯康星大学麦迪逊分校)
词嵌入是文本文档中单个词在向量空间中的表示,它们通常用于执行自然语言处理任务。用于学习词嵌入的现有技术的算法以未监督的方式从文本文档的大型语料库学习向量表示。介绍了一种基于词嵌入的情感分析算法SWESA(Supervised Word Embeddings for情感分析)。SWESA利用文档标签信息,通过解决最小化关于词嵌入和分类准确性的成本函数的优化问题,从适度的文本文档语料库中学习词的向量表示。分析表明,SWESA提供了一种有效的方法来估计要学习的词嵌入的维数。几个真实世界的数据集上的实验表明,SWESA具有优越的性能相比,以前建议的方法,词嵌入和情感分析任务。
2017-08-14 cs.AI cs.CL cs.LG
More Than Words: Towards Better Quality Interpretations of Text Classifiers
Amazon Web Services(亚马逊云科技);Amazon Search(亚马逊搜索);Santa Clara University(圣克拉拉大学)
最先进的文本分类器的大尺寸和复杂的决策机制使得人类难以理解它们的预测,从而导致用户可能缺乏信任。这些问题导致了采用SHAP和集成标记等方法,通过为输入标记分配重要性分数来解释分类决策。然而,先前的工作,使用不同的随机化测试,已经表明,这些方法产生的解释可能不稳健。例如,在测试集上做出相同预测的模型仍然可能导致不同的特征重要性排名。为了解决基于标记的可解释性缺乏鲁棒性的问题,我们探索了更高语义级别的解释,如句子。我们使用计算指标和人类受试者的研究,以比较基于标记的解释的质量。我们的实验表明,更高级别的特征属性提供了几个优点:1)通过随机化测试测量,它们更鲁棒,2)当使用基于近似的方法(如SHAP)时,它们导致更低的可变性,3)在语言连贯性位于更高粒度级别的情况下,它们更容易被人类理解。基于这些发现,我们表明,基于令牌的可解释性,虽然是一个方便的首选ML模型的输入接口,但并不是在所有情况下最有效的。
2021-12-23 cs.CL
Using Letter Positional Probabilities to Assess Word Complexity
School of Computer Science and Software Engineering(计算机科学与软件工程学院);University of Western Australia(西澳大利亚大学)
本文提出用字母位置概率近似词汇潜在复杂度,发现简单词与复杂词在首字母及前6个字母位置上存在显著统计差异,并构建分类器实现最高97%的分类准确率。
2024-08-05 cs.CL
Cross-Lingual Text Classification with Minimal Resources by Transferring a Sparse Teacher
Columbia University(哥伦比亚大学)
跨语言文本分类通过利用来自其他语言的标记文档来消除对目标语言的手动标记文档的需要。现有的跨语言转移监督的方法需要昂贵的跨语言资源,如并行语料库,而不太昂贵的跨语言表示学习方法训练分类器没有目标标记的文件。在这项工作中,我们提出了一个跨语言的师生方法,CLTS,产生“弱”的监督,在目标语言使用最少的跨语言资源,在少量的单词翻译的形式。在有限的翻译预算下,CLTS只提取和传输跨语言的最重要的特定于任务的种子词,并基于翻译后的种子词创建教师分类器。然后,CLTS迭代地训练一个更强大的学生,该学生也利用了未标记的目标文档中的种子词的上下文,并且表现优于教师。CLTS在18种不同的语言中非常简单和有效:通过转移20个种子词,即使是一个词袋逻辑回归学生也优于最先进的跨语言方法(例如,基于多语言BERT)。此外,CLTS可以适应任何类型的学生分类器:利用单语BERT学生导致进一步的改进,并在准确性上超过更昂贵的方法高达12%。最后,CLTS只使用少量的单词翻译来解决低资源语言中的新兴任务。
2020-10-06 cs.CL
Exploring sentence informativeness
LIMSI, CNRS(法国国家科学研究中心机械与工程计算机科学实验室);Univ. Paris-Sud(巴黎第十一大学);Univ. Paris-Saclay(巴黎-萨克雷大学);Société Générale(法国兴业银行)
这项研究是对信息量概念的初步探索-一个句子提供了多少关于它所包含的单词的信息-以及它对从稀缺数据中构建高质量单词表征的潜在好处。我们提出了几个层次的分类器来预测信息量,我们执行一组句子的手动注释。我们的结论是,这两种措施对应于不同的概念的信息。然而,我们的实验表明,使用分类器的预测训练词嵌入对嵌入质量有影响。
2019-07-22 cs.CL
A Variational Approach to Weakly Supervised Document-Level Multi-Aspect Sentiment Classification
Hong Kong University of Science and Technology(香港科技大学);University of Southern California(南加州大学)
在本文中,我们提出了一个变分方法弱监督的文档级多方面的情感分类。我们不使用用户生成的评级或领域专家提供的注释,而是使用目标意见词对作为“监督”。“这些词对可以通过使用依赖分析器和简单的规则来提取。我们的目标是预测一个目标词的意见词,而我们的最终目标是学习一个情感极性分类器来预测给定文档的每个方面的情感极性。通过引入潜在变量,即,情感极性,对于目标函数,我们可以通过变分下界将情感极性分类器注入目标。我们可以通过优化下界来学习情感极性分类器。我们表明,我们的方法可以在TripAdvisor和BeerAdvocate数据集上优于弱监督基线,并且可以与每个方面具有数百个标签的最先进的监督方法相媲美。
2019-04-10 cs.CL
Meta-Learning for Phonemic Annotation of Corpora
我们将规则归纳、分类器组合和元学习(堆叠分类器)应用于具有发音信息的语料库的自举高精度自动标注问题。在本文中,我们解决的任务包括生成反映佛兰芒语和荷兰语发音的单词的正字法表示(这反过来又是基于实际的语音录音)的基础上的音素表示。我们比较了几种可能的方法来实现文本到发音映射任务:基于记忆的学习,基于转换的学习,规则归纳,最大熵建模,组合分类器堆叠学习,堆叠元学习器。我们感兴趣的是最佳的准确性,并在获得洞察所涉及的语言学。就精度而言,已经很高的精度水平(在单词级,Celex为93%,Fonilex为86%),使用分类器组合分别增加了31%和38%的额外错误减少,使用元学习器组合又增加了5%,使荷兰语变体的整体单词水平准确率达到96%,佛兰芒语变体达到92%。我们还表明,机器学习方法的应用确实导致增加洞察到的语言学决定的两个发音变体之间的变化研究。
2000-08-18 cs.CL
White-Box Attacks on Hate-speech BERT Classifiers in German with Explicit and Implicit Character Level Defense
在这项工作中,我们评估了在德国仇恨语音数据集上训练的BERT模型的对抗鲁棒性。我们还补充了我们的评估与两个新的白盒字符和单词级攻击,从而有助于攻击的范围。此外,我们还进行了两个新的字符级防御策略的比较,并评估其鲁棒性与彼此。
2022-02-14 cs.CL
Searching for an Effective Defender: Benchmarking Defense against Adversarial Word Substitution
School of Computer Science, Fudan University(复旦大学计算机学院);Shanghai Key Laboratory of Intelligent Information Processing(上海市智能信息处理重点实验室);Department of Computer Science, University of California, Los Angeles(加利福尼亚大学洛杉矶分校计算机科学系)
最近的研究表明,深度神经网络容易受到故意制作的对抗性示例的攻击,并且已经提出了各种方法来防御神经NLP模型的对抗性单词替换攻击。然而,对于同一攻击环境下不同防御方式的比较研究还缺乏系统性。本文试图通过全面研究理解在代表性对抗攻击下,各种防御方法训练的神经文本分类器的行为,来填补系统研究的空白。此外,我们提出了一种有效的方法来进一步提高神经文本分类器对此类攻击的鲁棒性,并在AGNEWS和IMDB数据集上的干净和对抗性示例上实现了最高的准确率。
2021-10-06 cs.CL
Deep Neural Networks for Query Expansion using Word Embeddings
Tehran University(德黑兰大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
查询扩展是缓解信息检索任务中词汇不匹配问题的一种方法。以往的研究表明,通过伪相关反馈等传统方法选择用于查询扩展的术语并不总是有助于检索过程。在本文中,我们表明,这也是真实的最近提出的基于嵌入的查询扩展方法。然后,我们引入一个人工神经网络分类器来预测查询扩展条款的有用性。该分类器使用术语词嵌入作为输入。我们在四个TREC新闻专线和网络集合上进行实验,结果表明,与竞争基线相比,使用分类器选择的扩展项显着提高了检索性能。结果也显示比基线更稳健。
2018-11-08 cs.CL cs.IR
A Case Study of Spanish Text Transformations for Twitter Sentiment Analysis
INFOTEC Centro de Investigación e Innovación en Tecnologías de la Información y Comunicación(INFOTEC 信息与通信技术研究与创新中心);CentroGEO Centro de Investigación en Ciencias de Información Geoespacial(CentroGEO 地理空间信息科学研究中心);CONACyT Consejo Nacional de Ciencia y Tecnología(国家科学技术委员会)
情感分析是确定给定文本的极性的文本挖掘任务,即,它的积极性或消极性。最近,它受到了很多关注,因为人们对微博平台上的意见挖掘很感兴趣。这些新形式的文本表达提出了新的挑战,分析文本使用俚语,拼写和语法错误,等等。除了这些挑战,一个实用的情感分类器应该能够有效地处理大的工作负载。这项研究的目的是确定哪些文本转换(词形化,词干提取,实体删除等),标记器(例如,单词$n$ -gram),以及标记加权方案对在两个西班牙语语料库上训练的分类器(支持向量机)的准确性影响最大。所使用的方法是详尽地分析文本转换及其各自参数的所有组合,以找出最佳性能分类器的共同特征。此外,在不同的文本转换研究,我们介绍了一种新的方法的基础上相结合的基于单词的$n$ -gram和字符的$q$ -gram。结果表明,这种新颖的词和字符的组合产生的分类器,优于传统的基于词的组合$11.17\%$和$5.62\%$在INEGI和TASS'15数据集,分别。
2021-06-03 cs.CL
Recognition and Processing of NATOM
Civil Aviation Flight University of China(中国民用航空飞行学院)
本文介绍了如何对民航现场的NOTAM(Notice to Airmen)数据进行处理。主要研究内容如下:1.数据预处理:对于航行通告的原始数据,中英文混杂,结构性较差。对原始数据进行清洗,将中文数据和英文数据分别处理,完成分词,去除停用词。使用Glove词向量方法来表示数据,用于使用自定义映射词汇表。2.解耦特征和分类器:为了提高文本分类模型识别少数样本的能力,从算法整体的角度将整个模型训练过程解耦,分为特征学习和分类器学习两个阶段。特征学习阶段和分类器学习阶段的权值采用不同的策略来克服不平衡数据集的头部数据和尾部数据对分类模型的影响。实验证明,采用基于神经网络分类模型的解耦特征和分类器方法,可以完成民航领域的文本多分类任务,同时可以提高数据集中少数样本的识别精度。
2021-04-29 cs.CL
Cross-lingual Transfer of Sentiment Classifiers
University of Ljubljana(卢布尔雅那大学);Jožef Stefan Institute(约瑟夫·斯特凡研究所)
词嵌入表示数字空间中的词,使得词之间的语义关系表示为向量空间中的距离和方向。跨语言词嵌入转换不同语言的向量空间,以便对齐相似的词。这是通过构建两种语言的向量空间之间的映射或学习多种语言的联合向量空间来完成的。跨语言嵌入可用于在语言之间传输机器学习模型,从而弥补资源较少的语言中数据不足的问题。我们使用跨语言的词嵌入来转移13种语言之间Twitter情感的机器学习预测模型。我们专注于两个传输机制,最近表现出优越的传输性能。第一种机制使用训练模型,其输入是LASER库中实现的许多语言的联合数值空间。第二种机制使用大型预训练的多语言BERT语言模型。我们的实验表明,即使没有目标语言数据,相似语言之间的模型转移也是合理的。使用多语言BERT和LASER库获得的跨语言模型的性能是相当的,并且差异是依赖于语言的。CroSloEngual BERT的迁移只在三种语言上进行了预训练,在这些语言和一些密切相关的语言上表现出色。
2021-03-24 cs.CL cs.LG
Inline Detection of Domain Generation Algorithms with Context-Sensitive Word Embeddings
Optfit LLC(Optfit有限责任公司);Georgia Institute of Technology(佐治亚理工学院)
域生成算法(DGAs)经常被恶意软件用来生成用于连接到命令和控制(C2)服务器的域。最近在DGA检测方面的工作利用了深度学习架构,如卷积神经网络(CNN)和字符级长短期记忆网络(LSTM)来对域进行分类。然而,这些分类器与基于单词列表的DGA家族一起表现不佳,DGA家族通过伪随机连接字典单词来生成域。我们提出了一种新的方法,结合上下文敏感的词嵌入与一个简单的全连接分类器进行分类的领域的基础上,词级信息。词嵌入在大型无关语料库上进行预训练,并在领域数据的训练期间保持冻结。由此产生的少量可训练参数使训练持续时间极短,而存储在表示中的语言知识的转移允许使用小训练数据集的高性能模型。我们表明,这种架构可靠地优于现有的技术,基于单词表的DGA家庭,只有30 DGA训练样本,并实现了最先进的性能与约100 DGA训练样本,同时需要一个数量级更少的时间来训练相比,目前的技术。特别值得注意的是该技术在matsnu DGA上的性能:该分类器在仅30个DGA域示例的训练后达到了89.5%的检测率和1:1,000的假阳性率(FPR),并且在90个示例后达到了91.2%的检测率和1:10,000的FPR。考虑到这些DGA中的一些具有数百个单词的单词列表,我们的研究结果表明,这种技术不依赖于分类器学习DGA单词列表。相反,分类器能够学习基于单词列表的DGA家族的语义签名。
2018-11-21 cs.CL cs.CR cs.LG
The Visualization of Change in Word Meaning over Time using Temporal Word Embeddings
Out of The View Ventures;University of Edinburgh(爱丁堡大学)
我们描述了一个可视化工具,可以用来查看随着时间的推移,在单词的含义的变化。该工具利用现有的(静态)单词嵌入数据集以及带时间戳的$n$语法语料库来创建{ \em temporal}词嵌入。
2014-10-18 cs.CL
Machine-Created Universal Language for Cross-lingual Transfer
Microsoft Research Asia(微软亚洲研究院)
针对跨语言迁移中translate-test性能不足、多语言预训练可解释性差且难适配词级任务的问题,提出机器创建通用语言MUL作为中间语言,兼顾迁移性能优于多语言预训练且可解释性强。
2023-12-17 cs.CL
Semi-supervised Word Sense Disambiguation with Neural Models
Google(谷歌)
确定文本中单词的预期意义--词义消歧(WSD)--是自然语言处理中的一个长期存在的问题。最近,研究人员已经显示出有前途的结果,使用从神经网络语言模型中提取的词向量作为特征的词义消歧算法。然而,文本中每个词的词向量的简单平均或连接丢失了文本的顺序和句法信息。在本文中,我们使用序列学习神经网络LSTM来研究WSD,以更好地捕获文本的序列和语法模式。为了缓解全词WSD中缺乏训练数据的问题,我们在半监督标签传播分类器中使用相同的LSTM。我们展示了最先进的结果,特别是在动词上。
2016-11-05 cs.CL
Integrating Multiplicative Features into Supervised Distributional Methods for Lexical Entailment
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Bar-Ilan University(巴伊兰大学)
监督分布方法在词汇蕴涵中得到了成功的应用,但最近的工作质疑这些方法是否真的学习了两个词之间的关系。具体来说,Levy等人(2015)声称线性分类器只学习每个单词的单独属性。我们提出了一种廉价而简单的方法来提高这些方法的性能,将乘法功能集成到常用的表示。我们提供了一个广泛的评估与不同的分类器和评估设置,并建议一个合适的评估设置的任务,消除偏见存在于以前的。
2018-04-24 cs.CL
Hindi/Bengali Sentiment Analysis Using Transfer Learning and Joint Dual Input Learning with Self Attention
情感分析通常是指使用自然语言处理、文本分析和计算语言学从文本数据中提取基于情感和情感的信息。我们的工作探索了如何在迁移学习和联合双输入学习设置中有效地使用深度神经网络,以有效地对印地语和孟加拉语数据中的情绪进行分类并检测仇恨言论。我们首先为印地语\textbf{HASOC dataset}和孟加拉语仇恨言论训练Word 2 Vec词嵌入,然后训练LSTM,随后通过重用和微调印地语分类器的训练权重,将基于参数共享的迁移学习应用于孟加拉语情感分类器,并将两个分类器用作我们研究中的基线。最后,我们在联合双输入学习设置中使用具有自注意力的BiLSTM,在该设置中,我们同时使用印地语和孟加拉语数据集的各自嵌入来训练单个神经网络。
2022-02-11 cs.CL
A Simple but Effective Classification Model for Grammatical Error Correction
Zhejiang University(浙江大学);Shanghai Liulishuo Information Technology Ltd(上海流利说信息技术有限公司)
在这项研究中,我们将语法错误纠正(GEC)作为一个分类问题,对于不同类型的错误,确定一个目标词,分类器从一组可能的选择中预测正确的单词形式。我们提出了一种新的神经网络为基础的特征表示和分类模型,训练使用大型文本语料库没有人类注释。具体来说,我们使用RNN来表示目标词的左右上下文。所有的特征嵌入都是以端到端的方式联合学习的。实验结果表明,该方法在CoNLL-2014测试集上的性能优于其他分类器方法(F0.5 45.05%).该模型简单有效,适合于工业化生产。
2018-07-02 cs.CL
A Comparison of Word-based and Context-based Representations for Classification Problems in Health Informatics
CSIRO Data61(澳大利亚联邦科学与工业研究组织Data61);Kirby Institute, University of New South Wales(新南威尔士大学柯比研究所)
文本的分布式表示可以在训练统计分类器时用作特征。这些表示可以被创建为词向量的组合或基于上下文的句子向量。我们比较了两种表示(词与上下文)的三个分类问题:流感感染分类,药物使用分类和个人健康提及分类。对于针对这些问题中的每一个训练的统计分类器,基于ELMo、通用句子编码器、神经网络语言模型和FLAIR的基于上下文的表示优于Word 2 Vec、GloVe和使用MESH本体适配的两者。当使用这些基于上下文的表示而不是基于单词的表示时,准确度提高了2-4%。
2019-06-13 cs.CL cs.IR
LightRel SemEval-2018 Task 7: Lightweight and Fast Relation Classification
DFKI(德国人工智能研究中心(DFKI) Saarbrücken(萨尔布吕肯)分部(注:DFKI全称为German Research Center for Artificial Intelligence,通常译为德国人工智能研究中心,此处保留英文缩写并按机构含义直译, Saarbrücken作为城市名未按要求提取))
我们提出了LightRel,一个轻量级和快速的关系分类器。我们的目标是为不同的关系抽取任务开发一个高基线。通过只定义非常少的数据内部,字级特征和外部知识源的形式,词集群和词嵌入,我们训练一个快速和简单的线性分类器。
2018-04-19 cs.AI cs.CL
Detecting Domain Polarity-Changes of Words in a Sentiment Lexicon
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);University of Science and Technology of China(中国科学技术大学)
情感词典是情感分析的工具。可以使用情感词典中提供的一组情感词和基于词典的分类器来执行情感分类。这种方法的一个主要问题是,许多情感词是域相关的。也就是说,它们可能在某些领域是积极的,但在另一些领域是消极的。我们把这个问题称为领域极性变化的话。检测这些词并纠正它们对应用领域的情感是非常重要的。在本文中,我们提出了一种基于图形的技术来解决这个问题。在多个真实数据集上的实验结果表明了该方法的有效性。
2020-04-29 cs.CL
Experiments with adversarial attacks on text genres
MIPT(莫斯科物理技术学院);University of Leeds(利兹大学)
基于预先训练的Transformers的神经模型,如BERT或XLM-RoBERTa,在许多NLP任务中展示了SOTA结果,包括非主题分类,如体裁识别。然而,通常这些方法对测试文本的微小改动表现出较低的可靠性。一个相关的问题涉及训练语料库中的主题偏差,例如,在特定体裁中关于特定主题的单词的流行度可以欺骗体裁分类器来识别该体裁中关于该主题的任何文本。为了减轻可靠性问题,本文研究了攻击类型分类器的技术,以了解Transformer模型的局限性,并提高其性能。虽然简单的文本攻击,如那些基于词替换使用关键字提取的tf-idf,不能够欺骗强大的模型,如XLM-RoBERTa,我们表明,嵌入式算法,可以取代一些最“重要”的话与他们类似的话,例如,TextFocal,有能力影响模型预测的情况下,一个显着的比例。
2021-07-05 cs.CL
On The Robustness of Offensive Language Classifiers
University of Iowa(爱荷华大学);University of California, Davis(加州大学戴维斯分校)
社交媒体平台正在部署基于机器学习的攻击性语言分类系统,以大规模打击仇恨、种族主义和其他形式的攻击性言论。然而,尽管它们在现实世界中部署,我们还没有全面了解攻击性语言分类器对对抗攻击的鲁棒性。在这个空间之前的工作仅限于研究攻击性语言分类器对原始攻击(如拼写错误和无关空格)的鲁棒性。为了解决这一差距,我们系统地分析了最先进的攻击性语言分类器对更狡猾的对抗攻击的鲁棒性,这些攻击利用基于贪婪和注意力的单词选择和上下文感知嵌入进行单词替换。我们在多个数据集上的研究结果表明,这些狡猾的对抗攻击可以使攻击性语言分类器的准确性降低50%以上,同时还能够保留修改后文本的可读性和意义。
2022-03-21 cs.CL cs.LG
Automatic Real-word Error Correction in Persian Text
本文提出一种多层次方法,结合语义分析、特征选择和分类器,用于波斯文本真词错误纠正,检测F值达96.6%,纠正准确率达99.1%,优于以往模型。
2024-07-20 cs.CL
Opinions are Made to be Changed: Temporally Adaptive Stance Classification
Queen Mary University of London(伦敦玛丽女王大学)
鉴于社交媒体和人们观点的快速发展,词语的使用会随着时间的推移而变化。因此,在旧文本数据上训练的分类器的性能在新数据上测试时可能会急剧下降。虽然近年来立场分类的研究取得了进展,但没有努力使这些分类器随着时间的推移具有持久的性能。为了研究这种现象,我们引入了两个新的大规模,纵向的立场数据集。然后,我们评估了随着时间的推移,立场分类器的性能持久性,并演示了它是如何衰减的训练和测试数据之间的时间差距增加。我们提出了一种新的方法来减轻这种性能下降,这是基于时间适应的词嵌入用于训练的立场分类。这使我们能够利用当前时间段内现成的未标记数据,而不是昂贵的注释工作。我们提出并比较了几种嵌入自适应的方法,发现增量时间对齐(ITA)模型在降低性能随时间的下降方面效果最好。
2021-08-27 cs.CL
SimAlign: High Quality Word Alignments without Parallel Training Data using Static and Contextualized Embeddings
LMU Munich(慕尼黑大学);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
单词对齐对于统计和神经机器翻译(NMT)以及跨语言注释投影等任务非常有用。统计单词对齐器表现良好,NMT中提取对齐与翻译的方法也是如此。然而,大多数方法需要并行的训练数据,并且质量随着可用的训练数据的减少而降低。我们提出了不需要并行数据的单词对齐方法。关键思想是利用静态和上下文化的多语言词嵌入来进行词对齐。我们的多语言嵌入仅从单语数据创建,而不依赖于任何并行数据或字典。我们发现,与传统统计对齐器产生的对齐相比,从嵌入创建的对齐对于四种语言对是优越的,并且对于两种语言对是可比的,即使具有丰富的并行数据;例如,语境化嵌入实现了英语-德语的单词对齐F1,比在10万个平行句子上训练的高质量统计对齐器eflomal高5个百分点。
2021-04-16 cs.CL
WeDef: Weakly Supervised Backdoor Defense for Text Classification
University of California, San Diego(加州大学圣地亚哥分校)
现有的后门防御方法仅对有限的触发类型有效。为了同时防御不同的触发器类型,我们从中毒过程的类无关性出发,提出了一种新的弱监督后门防御框架WeDef。弱监督的最新进展使得仅使用少量用户提供的类指示种子词就可以训练合理准确的文本分类器。此类种子词应被视为独立于触发器。因此,一个弱监督的文本分类器只训练没有标签的中毒文档,很可能没有后门。受此观察的启发,在WeDef中,我们根据弱分类器的预测是否与中毒训练集中的标签一致来定义样本的可靠性。我们通过两个阶段的消毒进一步改善结果:(1)迭代地完善弱分类器的基础上可靠的样本和(2)训练一个二进制毒药分类器区分最不可靠的样本从最可靠的样本。最后,我们在毒物分类器预测为良性的样本上训练净化模型。广泛的实验表明,WeDefis有效地对抗流行的基于恶意软件的攻击(例如,单词、句子和释义),优于现有的防御方法。
2022-10-28 cs.AI cs.CL
Automated Detection and Analysis of Power Words in Persuasive Text Using Natural Language Processing
VIT Bhopal University(VIT博帕尔大学)
本文提出基于自定义词典和Python包The Text Monger的强力词自动检测方法,通过分析小说、演讲和营销材料评估强力词对情感和读者参与度的影响,为内容创作者和广告商提供实用策略。
2024-09-28 cs.CL
Combating Adversarial Misspellings with Robust Word Recognition
Carnegie Mellon University(卡内基梅隆大学)
为了对抗对抗性拼写错误,我们建议在下游分类器之前放置一个单词识别模型。我们的单词识别模型建立在RNN半字符架构的基础上,引入了几种新的退避策略来处理罕见和不可见的单词。训练识别随机添加,下降,交换和键盘错误损坏的单词,我们的方法实现了32%的相对(和3.3%的绝对)错误减少香草半字符模型。值得注意的是,我们的管道赋予下游分类器鲁棒性,优于对抗训练和现成的拼写检查器。与针对情感分析进行微调的BERT模型相比,单个敌对选择的字符攻击将准确率从90.3%降低到45.8%。我们的防御系统可以将准确率恢复到75%。令人惊讶的是,更好的单词识别并不总是需要更强的鲁棒性。我们的分析表明,鲁棒性还取决于一个量,我们表示的灵敏度。
2019-08-29 cs.CL cs.CR cs.LG
Evaluation design conditions the expert-vs-auto MeSH gap: a controlled comparison of bag-of-words and BiomedBERT on the Cohen benchmark
研究在Cohen基准上比较词袋模型与BiomedBERT作为分类器特征时,专家标注与自动标注的医学主题词差距。通过不同评估设计,发现结果受设计影响大,如他汀类药物在不同设计下差距不同,且存在表示不对称,结论会因评估设计变化而改变。
2026-08-14 cs.CL
On-Device Text Representations Robust To Misspellings via Projections
Mila, Université de Montréal(米拉-蒙特利尔大学);Amazon Alexa(亚马逊Alexa);Google(谷歌)
最近,人们对开发存在于诸如移动电话、手表和IoT的个人设备上的自然语言应用产生了浓厚的兴趣,其目的是保护用户隐私并且具有低存储器。基于局部敏感散列(LSH)的投影网络的进展已经证明了在各种分类任务中的最新性能,而无需通过计算动态文本表示来显式嵌入查找表。在本文中,我们表明,基于投影的神经分类器是固有的拼写错误和输入文本的扰动鲁棒性。我们的经验表明,LSH投影为基础的分类器是更强大的常见的拼写错误相比,BiLSTM(与词片和词唯一的标记化)和微调BERT为基础的方法。当受到拼写错误攻击时,基于LSH投影的分类器在多个分类任务中的平均准确率下降了2.94%,而微调后的BERT模型准确率显著下降了11.44%。
2021-04-24 cs.CL cs.LG
Seed Word Selection for Weakly-Supervised Text Classification with Unsupervised Error Estimation
Chulalongkorn University(朱拉隆功大学);Knorex
弱监督文本分类的目标是从用户提供的少量种子词中归纳出文本分类器。绝大多数以前的工作假设高质量的种子词。然而,专家注释的种子词有时是不平凡的。此外,在弱监督学习环境中,我们没有任何标记文档来衡量种子词的功效,使得种子词选择过程“在黑暗中行走”。在这项工作中,我们删除了专家策划的种子词的需要,首先挖掘(噪声)与类别名称相关的候选种子词。然后,我们用单个候选种子词训练临时模型。最后,我们以无监督的方式估计中间模型的出错率。将产生最低估计出错率的种子字添加到最终种子字集合。在四个流行的数据集上对六个二进制分类任务进行的综合评估表明,所提出的方法优于仅使用类别名称种子词的基线,并且与使用专家注释的种子词的方法具有可比性。
2021-04-20 cs.CL