An Efficient Hybrid Deep Learning Approach for Detecting Online Abusive Language
本文提出一种结合BERT、CNN和LSTM的混合深度学习模型,用于高效检测在线恶意语言,实现高精度和召回率。
2026-02-12 cs.CL
Neural Character-based Composition Models for Abuse Detection
University of Cambridge(剑桥大学);The ALTA Institute(ALTA研究所);University of Amsterdam(阿姆斯特丹大学)
近年来,社交媒体的出现助长了一些非常不受欢迎的现象,如互联网上攻击性语言、仇恨言论、性别歧视言论等的泛滥。有鉴于此,已经做出了一些努力来自动检测和缓和这种滥用内容。然而,用户为逃避侦查而故意混淆文字,对这些努力的有效性构成了严重挑战。基于递归神经网络的滥用语言检测的当前最新方法没有明确解决这个问题,而是求助于针对未看到的单词的通用OOV(词汇表外)嵌入。然而,在对所有未看到的单词使用单个嵌入时,我们失去了区分混淆单词和非混淆单词或罕见单词的能力。在本文中,我们通过设计一个模型来解决这个问题,该模型可以为未见过的单词组成嵌入。我们的实验表明,我们的方法显着推进了目前的最先进的滥用检测数据集从两个不同的领域,即Twitter和维基百科的讨论页。
2018-09-02 cs.CL
Using Machine Learning to Enhance the Detection of Obfuscated Abusive Words in Swahili: A Focus on Child Safety
本研究利用机器学习方法提升斯瓦希里语中隐晦侮辱性词汇的检测能力,旨在提高儿童网络环境的安全性。
2026-02-13 cs.AI cs.CL cs.HC
Breaking the Cloak! Unveiling Chinese Cloaked Toxicity with Homophone Graph and Toxic Lexicon
School of Data Science and Engineering, East China Normal University(数据科学与工程学院,东华大学);Shanghai EastWonder Info-tech Co., Ltd.(上海东 wonder 信息科技有限公司)
本文提出无需训练和提示的C$^2$TU方法,通过同音字图、毒性词典及BERT和大语言模型变体,有效识别并纠正中文同音伪装的毒性内容,在两个数据集上显著优于现有方法。
2026-10-12 cs.AI cs.CL
Token-wise Decomposition of Autoregressive Language Model Hidden States for Analyzing Model Predictions
The Ohio State University(俄亥俄州立大学)
本文提出对自回归 Transformer 最终隐藏状态按输入 token 精确线性分解,以单次前向传播度量各上下文词对下一词预测的影响,发现模型主要依赖搭配与重复,其次依赖句法和共指信息。
2023-06-02 cs.AI cs.CL
Words, Subwords, and Morphemes: What Really Matters in the Surprisal-Reading Time Relationship?
University of Maryland(马里兰大学)
本文通过对比正字法、形态学和BPE分词下的惊讶度估计与阅读时间数据,发现BPE分词总体不逊色,但细粒度分析揭示其潜在问题,并提出形态学感知预测的新评估方法。
2023-10-26 cs.CL
Simple Text Detoxification by Identifying a Linear Toxic Subspace in Language Model Embeddings
University of Virginia(弗吉尼亚大学)
大型预训练语言模型通常是在大量互联网数据上训练的,其中一些可能包含有毒或辱骂性语言。因此,语言模型编码有毒信息,这使得这些语言模型的实际使用受到限制。目前的方法旨在防止有毒特征出现生成的文本。我们假设在预训练的语言模型的潜在空间中存在低维有毒子空间,其存在表明有毒特征遵循某种潜在模式,因此是可移除的。为了构造这个有毒子空间,我们提出了一种方法来推广潜在空间中的有毒方向。我们还提供了一种方法,用于构建并行数据集,使用基于上下文的词屏蔽系统。通过我们的实验,我们表明,当有毒子空间被删除的一组句子表示,几乎没有有毒的表示仍然在结果中。我们的经验表明,使用我们的方法发现的子空间推广到多个毒性语料库,表明存在一个低维的有毒子空间。
2021-12-15 cs.CL cs.LG
Detection of Slang Words in e-Data using semi-Supervised Learning
College of Engineering and Management, Kolaghat(科拉格哈特工程与管理学院);Jadavpur University(贾达普大学)
所提出的算法方法处理在电子数据中找到单词的意义。现在,在不同的通信媒介,如互联网,移动服务等,人们使用的话很少,这是俚语的性质。该方法使用监督学习过程检测那些辱骂性词语。但在现实生活中,俚语并不总是以完整的词的形式出现。大多数情况下,这些词被用于不同的缩写形式,如发音相似的形式,禁忌语素等。该方法可以检测这些缩写形式也使用半监督学习过程。利用同义词集和概念分析的文本,一个可疑的词是一个俚语词的概率进行评估。
2015-11-19 cs.CL
HCDIR: End-to-end Hate Context Detection, and Intensity Reduction model for online comments
Indian Statistical Institute(印度统计研究所);Central Institute of Technology(中央理工学院)
本文提出端到端模型HCDIR,用于检测社交媒体仇恨评论并降低其强度,通过微调预训练模型检测仇恨词,利用积分梯度识别语境仇恨词,并采用掩码语言建模生成替代词,实验验证了其有效性。
2023-12-20 cs.AI cs.CL
Something Just Like TRuST : Toxicity Recognition of Span and Target
Penn State University(宾夕法尼亚州立大学)
TRuST是一个大规模数据集,用于评估和减轻大型语言模型的毒性,通过精心设计的定义和标注方案,提升毒性检测、目标识别和有毒词汇识别的性能。
2026-01-05 cs.AI cs.CL
Finding Good Representations of Emotions for Text Classification
The Hong Kong University of Science and Technology(香港科技大学)
对于机器来说,正确地解释人类情感对于更好的人机通信非常重要,因为情感是人与人通信的重要组成部分。情感的一个方面反映在我们使用的语言中。如何在文本中表达情感是自然语言处理的一个挑战。虽然像word 2 vec这样的连续向量表示已经成为NLP问题的新规范,但它们的局限性在于它们没有考虑情感,并且可能无意中包含对某些身份的偏见,例如不同性别。本文的重点是通过在训练过程中明确考虑文本中的情感和模型偏差来改善现有的词和句子水平的表征。我们改进的表示可以帮助构建更强大的机器学习模型,用于情感/情感分析和滥用语言检测等情感相关的文本分类。我们首先提出了一种称为情感词向量(EVEC)的表示方法,它是从一个带有情感标记语料库的卷积神经网络模型中学习的,该语料库是使用主题标签构建的。其次,我们扩展到学习具有巨大文本语料库的文本级表示,并执行识别表情符号的伪任务。我们的研究结果表明,通过从数百万条带有弱监督标签(如hashtags和emoji)的推文中训练的表示,我们可以更有效地解决情感/情绪分析任务。最后,作为现有方法表示模型偏见的例子,我们探讨了一个具体的问题,滥用语言的自动检测。我们通过实验来测量和减少表示中的性别偏见,以建立更强大的分类模型,从而解决各种神经网络模型中的性别偏见问题。
2018-08-22 cs.CL
Demographics Should Not Be the Reason of Toxicity: Mitigating Discrimination in Text Classifications with Instance Weighting
Harbin Institute of Technology(哈尔滨工业大学);Tencent CSIG(腾讯云与智慧产业事业群)
随着最近文本分类的使用激增,研究人员发现文本分类数据集中存在某些意想不到的偏见。例如,包含一些人口统计身份术语的文本(例如,“gay”、“black”)在现有的辱骂性语言检测数据集中更可能是辱骂性的。因此,使用这些数据集训练的模型可能会认为像“她让我很高兴成为同性恋”这样的句子是辱骂性的,仅仅因为“同性恋”这个词。在本文中,我们将文本分类数据集中的非预期偏差形式化为一种从非歧视分布到歧视分布的选择偏差。基于这种形式化,我们进一步提出了一个模型无关的去偏训练框架,通过使用实例加权恢复非歧视分布,除了预定义的一组人口统计身份术语外,不需要任何额外的资源或注释。实验表明,该方法可以有效地减轻非预期偏差的影响,而不会显着损害模型的泛化能力。
2020-08-20 cs.CL cs.LG stat.ML
Exploiting Vocabulary Frequency Imbalance in Language Model Pre-training
KAIST(韩国科学技术院)
本研究通过扩大词汇表降低分词文本复杂性,揭示了语言模型预训练中词汇规模与性能的关系。
2025-11-28 cs.CL cs.LG
Multi-sense Definition Modeling using Word Sense Decompositions
Northwestern University(西北大学);Mahidol University(玛希隆大学)
词嵌入捕获关于词的句法和语义信息。定义建模旨在通过基于嵌入输出自然语言定义,使每个嵌入中的语义内容显式化。然而,现有的定义模型在为同一个词的不同含义生成准确定义的能力方面是有限的。在本文中,我们介绍了一种新的方法,使多个感官的定义建模。我们展示了Gumble-Softmax方法如何在训练过程中将特定意义的嵌入与定义相匹配时优于基线。在实验中,我们的多意义定义模型比最先进的单意义定义模型提高了三倍的召回率,而不影响精度。
2019-09-19 cs.CL
Breaking the Silence Detecting and Mitigating Gendered Abuse in Hindi, Tamil, and Indian English Online Spaces
National Institute of Technology Silchar(锡尔卡尔国家技术学院)
本文提出融合 CNN 与 BiLSTM、并结合 FastText/GloVe 嵌入的性别化辱骂检测集成模型,在多语种 Twitter 数据集上取得竞赛第一名。
2024-04-03 cs.CL
Embedding Syntax and Semantics of Prepositions via Tensor Decomposition
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
介词是英语中使用频率最高的词之一,在句子的句法和语义中起着复杂的作用。毫不奇怪,它们在句子的自动处理中造成了众所周知的困难(介词连接歧义和短语中的特殊用法)。关于介词表示的现有方法将介词与内容词(例如,word2vec和GloVe)。此外,最近的研究旨在解决介词连接和介词选择问题严重依赖外部语言资源,并使用特定的词汇表征。在本文中,我们使用词三元组计数(三元组中的一个是介词)来捕捉介词的相互作用,其附件和补充。然后,我们推导出介词嵌入通过张量分解一个大型的未标记的语料库。我们揭示了一个新的几何阿达玛产品,并实证证明其效用在释义短语动词。此外,我们的介词嵌入作为简单的功能,在两个具有挑战性的下游任务:介词选择和介词附件消歧。我们在多个标准化数据集上实现了与最先进技术相当或更好的结果。
2018-05-23 cs.CL
Sentence Similarity Learning by Lexical Decomposition and Composition
IBM T.J. Watson Research Center(IBM T.J. Watson 研究中心)
传统的句子相似度方法大多只关注两个输入句子中相似的部分,而忽略了不相似的部分,这些部分通常会给我们一些关于句子的线索和语义意义。在这项工作中,我们提出了一个模型,以考虑到的相似性和不同之处,通过分解和组成句子的词汇语义。该模型将每个单词表示为一个向量,并根据另一个句子中的所有单词为每个单词计算语义匹配向量。然后,每个词向量被分解为一个相似的组件和一个不相似的组件的基础上的语义匹配向量。在此之后,一个双通道CNN模型被用来捕捉特征,通过组成的相似和不相似的组件。最后,在组合特征向量上估计相似性得分。实验结果表明,该模型在回答句选择任务上取得了最好的性能,在释义识别任务上也取得了相当的效果。
2017-07-14 cs.CL
Understanding Composition of Word Embeddings via Tensor Decomposition
Duke University(杜克大学)
词嵌入是自然语言处理中的一个有力工具。在本文中,我们考虑的问题词嵌入合成\-给定向量表示的两个词,计算一个向量的整个短语。我们给出了一个生成模型,可以捕捉特定的句法关系的话。在我们的模型下,我们证明了三个词之间的相关性(由他们的PMI测量)形成一个张量,具有近似的低秩塔克分解。Tucker分解的结果给出了词嵌入以及核心张量,其可用于产生更好的词嵌入的组合。我们还补充了我们的理论结果与实验,验证我们的假设,并证明了新的组合方法的有效性。
2019-02-02 cs.CL cs.LG stat.ML
Chinese Character Decomposition for Neural MT with Multi-Word Expressions
ADAPT Research Centre(ADAPT研究中心);Insight Centre for Data Analytics(Insight数据分析中心);Dublin City University(都柏林城市大学)
汉字分解作为一种特征被用来增强机器翻译(MT)模型,将偏旁部首组合成字和词级模型。最近的工作已经研究了象形字或笔划级嵌入。然而,问题仍然是不同的分解水平的汉字表示,偏旁和笔画,最适合机器翻译。为了详细研究中文分解嵌入的影响,即,部首、笔画和中间层次,以及这些分解如何代表原始字符序列的含义,我们用机器翻译的自动和人工评估进行分析。此外,我们研究了分解的多词表达式(MWE)的组合是否可以增强模型学习。MWE集成到MT已经经历了十多年的探索。然而,分解的MWE以前没有被探索过。
2021-04-09 cs.CL cs.LG
An Empirical Study on Chinese Character Decomposition in Multiword Expression-Aware Neural Machine Translation
Leiden University Medical Center(莱顿大学医学中心);Leiden University(莱顿大学);ADAPT Research Centre(ADAPT研究中心);Dublin City University(都柏林城市大学);Insight Centre for Data Analytics(洞察数据分析中心)
本研究探讨了中文字符分解技术在多词表达意识神经机器翻译中的应用,旨在提升中文词汇意义的表示和多词表达翻译的准确性。
2025-12-17 cs.CL
Arithmetics-Based Decomposition of Numeral Words -- Arithmetic Conditions give the Unpacking Strategy
Brandenburg University of Technology Cottbus - Senftenberg(勃兰登堡工业大学科特布斯-森夫滕贝格校区)
本研究提出基于算术准则的数词分解器,通过逆转Hurford打包策略实现数词分解,在273种语言的增量无监督语法归纳中表现优于现有工具,接近专家水平。
2025-05-20 cs.CL
Unsupervised Learning of Word-Sequence Representations from Scratch via Convolutional Tensor Decomposition
无监督文本嵌入提取是机器学习中文本理解的关键。Word 2 Vec及其变体在将具有相似句法或语义含义的词映射到彼此接近的向量方面取得了实质性的成功。然而,提取上下文感知的词序列嵌入仍然是一个具有挑战性的任务。在大型语料库上训练是困难的,因为标签很难获得。更重要的是,对于预训练的模型来说,要获得对所有下游任务或任何新数据集都通用的单词序列嵌入是一个挑战。我们提出了一个两阶段的ConvDic+DeconvDec框架来解决这个问题,通过结合词序列字典学习模型和词序列嵌入解码模型。我们提出了一种卷积张量分解机制,在学习阶段学习好的单词序列短语词典。它被证明是更准确,更有效地比流行的交替最小化方法。在解码阶段,我们引入了一个反卷积框架,它不受句子长度变化的影响。我们使用ConvDic+DeconvDec提取的单词序列嵌入对于我们测试的一些下游任务来说普遍很好。该框架既不需要预训练也不需要先验/外部信息。
2018-05-28 cs.CL cs.LG
A study of text representations in Hate Speech Detection
National and Kapodistrian University of Athens(雅典国立卡波迪斯特里安大学);NCSR Demokritos(德谟克利特国家科学研究中心)
互联网和社交媒体的普及使仇恨言论内容能够在推特等微博平台上迅速匿名传播。目前欧盟和美国针对仇恨语言的立法,加上这些平台产生的大量数据,导致自动工具成为仇恨语音检测任务和管道的必要组成部分。在这项研究中,我们研究了几种不同的文本表示技术与多个分类算法配对,在自动仇恨语音检测和辱骂性语言歧视任务的性能。我们对二进制和多类数据集进行了实验评估,并进行了显著性测试。我们的研究结果表明,简单的仇恨关键词频率特征(BoW)效果最好,其次是预训练的词嵌入(GLoVe)以及N-gram图(NGG):一种基于图形的表示,证明可以为这项任务产生高效,非常低维但丰富的特征。这些表示与逻辑回归或3层神经网络分类器的组合在微观和宏观F测量方面实现了最佳的检测性能。
2021-02-08 cs.CL
Word Embedding based on Low-Rank Doubly Stochastic Matrix Decomposition
Norwegian University of Science and Technology(挪威科技大学);Aalto University(阿尔托大学)
将单词编码为向量的词嵌入是自然语言处理的重要起点,并且通常用于许多基于文本的机器学习任务。然而,在大多数当前的词嵌入方法中,嵌入空间中的相似性在学习中没有被优化。在本文中,我们提出了一种新的邻居嵌入方法,直接学习嵌入单纯形映射的话之间的相似性是最佳的最小差异的输入邻域。我们的方法是建立在两个步骤的词之间通过主题随机游走,从而能够更好地揭示词之间的主题。实验结果表明,与现有的词嵌入方法相比,该方法更适合于各种查询。
2018-12-12 cs.CL cs.LG stat.ML
Blind signal decomposition of various word embeddings based on join and individual variance explained
Emory University(埃默里大学)
近年来,自然语言处理(NLP)已成为人类生活中最重要的领域之一,并有着广泛的应用。作为最基本的任务,词嵌入领域还需要更多的关注和研究。目前,关于词嵌入的现有工作主要集中在提出新的嵌入算法和降维技术上训练良好的词嵌入。在本文中,我们提出使用一种新的联合信号分离方法- JIVE联合分解各种训练词嵌入到联合和个人的组成部分。通过这个分解框架,我们可以很容易地研究不同词嵌入之间的相似性和差异性。我们对在不同语料库和不同维度上训练的word 2 vec、FastText和GLoVE进行了广泛的实证研究。我们比较了基于Twitter和斯坦福情感树库的情感分析的不同分解组件的性能。我们发现,通过将不同的词嵌入映射到联合组件中,可以大大提高性能较低的原始词嵌入的情感性能。此外,我们发现,通过将不同的组件连接在一起,同一个模型可以实现更好的性能。这些发现为词嵌入的研究提供了新的思路,也为融合生成词嵌入提供了新的思路。
2020-11-30 cs.AI cs.CL stat.ML
Improving Word Embedding Factorization for Compression Using Distilled Nonlinear Neural Decomposition
University of British Columbia(不列颠哥伦比亚大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
词嵌入是自然语言处理(NLP)模型的重要组成部分,并已被广泛研究。然而,它们消耗大量内存,这对边缘部署构成了挑战。嵌入矩阵通常包含语言模型的大部分参数,以及机器翻译系统的大约三分之一。本文提出了一种基于低秩矩阵分解和知识蒸馏的(输入/输出)嵌入压缩方法--蒸馏嵌入。首先,我们通过学习重建完整的预训练词嵌入来初始化分解矩阵的权重,然后对分解的嵌入采用知识蒸馏进行端到端的微调。我们在机器翻译和语言建模上使用不同的压缩率进行了广泛的实验,使用不同的数据集,其中嵌入矩阵和词汇投影矩阵都具有共享的单词嵌入矩阵。我们表明,所提出的技术是简单的复制,与一个固定的参数控制压缩大小,具有较高的BLEU分数的翻译和较低的困惑语言建模相比,复杂的,难以调整的最先进的方法。
2020-11-10 cs.CL cs.LG
One Word at a Time: Incremental Completion Decomposition Breaks LLM Safety
University of Michigan(密歇根大学);University of Toronto(多伦多大学)
本文提出增量完成分解(ICD)策略,通过逐词生成恶意请求相关词来突破LLM安全机制,评估多种变体在多个基准测试中表现优异,并理论解释其有效性。
2026-08-11 cs.CL cs.CR
Beyond Word Importance: Contextual Decomposition to Extract Interactions from LSTMs
University of California, Berkeley(加州大学伯克利分校);Google Brain(谷歌大脑)
LSTM最近成功背后的驱动力是它们学习复杂和非线性关系的能力。因此,我们无法描述这些关系,导致LSTM被描述为黑箱。为此,我们引入了上下文分解(CD),这是一种解释算法,用于分析标准LSTM做出的单个预测,而无需对底层模型进行任何更改。通过分解LSTM的输出,CD捕获单词或变量的组合对LSTM最终预测的贡献。在使用Yelp和SST数据集进行情感分析的任务中,我们展示了CD能够可靠地识别对比情感的单词和短语,以及如何将它们组合起来产生LSTM的最终预测。使用SST中的短语级标签,我们还证明了CD能够成功地从LSTM中提取正负否定,这是以前没有做过的。
2018-04-27 cs.CL cs.LG stat.ML
ADIMA: Abuse Detection In Multilingual Audio
ShareChat
口语文本中的滥用内容检测可以通过执行自动语音识别(ASR)和利用自然语言处理的进步来解决。然而,ASR模型引入了延迟,并且通常对亵渎词表现不佳,因为它们在训练语料库中代表性不足,并且没有清晰或完整地说出。完全在音频领域探索这个问题在很大程度上受到缺乏音频数据集的限制。基于这些挑战,我们提出了ADIMA,这是一个新颖的,语言多样的,道德来源的,专家注释的和平衡的多语言亵渎检测音频数据集,包括10种印度语言的11,775个音频样本,跨越65小时,由6,446个独立用户使用。通过跨单语和跨语言zero-shot设置的定量实验,我们迈出了在印度语言中民主化基于音频的内容审核的第一步,并提出了我们的数据集,为未来的工作铺平道路。
2022-02-16 cs.CL cs.SD eess.AS
CoVeR: Learning Covariate-Specific Vector Representations with Tensor Decompositions
Stanford University(斯坦福大学)
词嵌入是一种在大型文本语料库中获取共现结构的有效方法。然而,除了文本数据本身之外,我们通常还有与单个语料库文档相关的其他协变量-例如作者的人口统计数据,出版时间和地点-我们希望嵌入能够自然地捕获这些信息。我们提出了CoVeR,一个新的张量分解模型的向量嵌入协变量。CoVeR联合学习所有单词的\emph{base}嵌入以及加权对角矩阵,以模拟每个协变量如何影响基础嵌入。例如,为了获得特定于作者或场所的嵌入,我们可以简单地将基础嵌入乘以相关的变换矩阵。我们的方法的主要优点是数据效率和协变量变换的可解释性。我们的实验表明,与仅使用相关数据子集为每个协变量学习单独嵌入的标准方法以及其他相关方法相比,我们的联合模型学习了更好的协变量特定嵌入。此外,CoVeR鼓励嵌入“主题对齐”,因为维度具有特定的独立含义。这使得我们的协变量特定嵌入可以按主题进行比较,从而实现下游差异分析。我们经验性地评估了我们的算法在数据集上的好处,并演示了它如何用于解决许多关于协变量效应的自然问题。本文附带的代码可以在http://github.com/kjtian/CoVeR上找到。
2018-07-07 cs.CL
Compressing Word Embeddings Using Syllables
KU Leuven(鲁汶大学);Leuven.AI - KU Leuven Institute for AI(鲁汶人工智能研究院)
这项工作探讨了使用音节嵌入的可能性,而不是经常使用的$n$ -gram嵌入,作为子词嵌入。我们调查了两种语言:英语和荷兰语。为此,我们还将两个标准的英语词嵌入评估数据集WordSim 353和SemEval-2017翻译成荷兰语。此外,我们还为研究界提供了两种语言的音节分解数据集。我们比较我们的方法,全字和$n$ -gram嵌入。与完整的词嵌入相比,我们获得的英语模型小20到30倍,同时保留80%的性能。对于荷兰人来说,模型小了15倍,性能保持率为70%。虽然不如我们使用的$n$ -gram基线准确,但我们的模型可以在几分钟内完成训练,而$n$ -gram方法则需要数小时。我们确定了一条在未来工作中提升性能的途径。所有代码都是公开的,以及我们收集的英语和荷兰语音节分解和荷兰语评估集翻译。
2022-01-13 cs.AI cs.CL
A decomposition of book structure through ousiometric fluctuations in cumulative word-time
University of Vermont(佛蒙特大学);UC Berkeley(加州大学伯克利分校)
本研究通过累积词时间下的ousiometric波动分解书籍结构,发现长书类似短文本拼接,并提供了数据驱动的去噪方法。
2023-05-12 cs.CL cs.CY physics.soc-ph
Prior-aware Dual Decomposition: Document-specific Topic Inference for Spectral Topic Models
Cornell University(康奈尔大学)
谱主题建模算法对词共现统计的矩阵/张量进行操作,以学习特定于主题的词分布。这种方法消除了对原始文档的依赖,并在效率和可证明的主题推理方面产生了实质性的收益,但代价是:模型不再能够提供有关单个文档的主题组成的信息。最近提出的线性逆(TLI)映射观察到的词的每个文件回到其主题组成。然而,它的线性特性限制了推理质量,没有考虑主题的重要先验信息。在本文中,我们评估简单的概率逆(SPI)方法和新的先验感知的双重分解(PADD),能够学习文档特定的主题组成并行。实验表明,PADD成功地利用主题相关性作为先验,特别是优于TLI和学习质量的主题组成可比吉布斯采样的各种数据。
2017-11-19 cs.CL cs.IR cs.LG
Using eigenvectors of the bigram graph to infer morpheme identity
本文描述了一些实验的结果,探索统计方法来推断句法行为的词和词素从一个原始语料库在一个无监督的方式。它与Brown et al(1992)以及从其发展而来的工作有某些共同点:它采用统计技术来分析句法行为,基于与给定单词相邻的单词。然而,我们使用的特征向量分解的最近邻图产生一个二维渲染的单词的语料库中,相同的句法类别的话往往形成邻里。我们利用这种技术扩展形态学自动学习的价值。特别地,我们通过形态学的无监督学习来查看从语料库中导出的后缀,并且我们询问这些后缀中的哪些具有一致的句法功能(例如,在英语中,-tion主要是名词标记,但-s既标记名词复数又标记动词上的第三人称),我们确定此方法适用于此任务。
2002-07-02 cs.CL
Probabilistic Modelling of Morphologically Rich Languages
Lincoln College(林肯学院)
本文研究了如何在语言的概率模型中考虑词的子结构。这种模型在诸如翻译或语音识别之类的自然语言处理任务中发挥着重要作用,但通常依赖于单词是不透明符号的简单假设。这种假设并不适合形态复杂的语言,其中单词可以具有丰富的内部结构,并且子单词元素在不同的单词形式中共享。我们的方法是将形态学的基本概念编码到三种不同类型的语言模型的假设中,目的是利用共享的子词结构可以提高模型性能,并有助于克服形态学过程中产生的数据稀疏性。在n-gram语言建模的背景下,我们制定了一个新的贝叶斯模型,依赖于复合词的分解,以达到更好的平滑,我们开发了一个新的分布式语言模型,学习矢量表示的语素,并利用它们连接在一起的形态相关的单词。在这两种情况下,我们表明,占字子结构提高了模型的内在性能,并提供了好处时,应用于其他任务,包括机器翻译。然后,我们将重点转移到单词序列的建模之外,并考虑自动学习给定语言的子单词元素是什么的模型,给定一个未注释的单词列表。我们制定了一个新的模型,可以学习不连续的词素除了更传统的连续词素,大多数以前的模型是有限的。这种方法被证明对闪族语言,我们发现,建模不连续的子字结构导致改进的任务分割成其连续的词素的单词。
2015-08-18 cs.CL
Word Representation Models for Morphologically Rich Languages in Neural Machine Translation
University of Melbourne(墨尔本大学);Monash University(莫纳什大学)
形态丰富的语言中复杂的词形处理是语言处理中的一个开放性问题,在翻译中尤为重要。与大多数现代神经系统的翻译,这放弃了罕见的单词的身份,在本文中,我们提出了几个架构学习字表示字符和语素级的字分解。我们将这些表示在一个新的机器翻译模型,共同学习单词对齐和翻译通过硬注意力机制。从几种形态丰富的语言翻译成英语的评估,我们表现出一致的改进强基线方法,1和1.5 BLEU点之间。
2016-06-14 cs.CL cs.NE
Neural Machine Translation by Generating Multiple Linguistic Factors
LIUM, Le Mans University(勒芒大学LIUM实验室)
因子神经机器翻译(FNMT)是基于在神经网络的输出端使用词(因子)的形态和语法分解的思想。这种架构解决了两个众所周知的问题发生在MT,即目标语言词汇的大小和翻译中产生的未知令牌的数量。FNMT系统旨在管理更大的词汇量并减少训练时间(对于具有等效目标语言词汇量的系统)。此外,我们可以产生语法正确的单词,而不是词汇的一部分。FNMT模型在IWEST15英语到法语任务上进行了评估,并与基于单词的基线NMT系统和基于BPE的NMT系统进行了比较。有前途的定性和定量结果(在BLEU和METEOR方面)的报告。
2017-12-05 cs.CL
Low-dimensional Semantic Space: from Text to Word Embedding
Xiamen University(厦门大学);DeepAI Tech Co., Ltd.(深湃信息科技(深圳)有限公司)
本文重点研究词嵌入,这是自然语言处理中的一种特征学习技术,它将词或短语映射到低维向量。本文从语境相似性的语言学理论--“分布假设”和“情景语境”出发,介绍了文本的两种数值表征方式:单热表征和分布表征。此外,本文还介绍了基于语义的语言模型(如共生矩阵和奇异值分解)以及神经网络语言模型(NNLM,如连续词袋和跳格)。本文还分析了词嵌入在词义消歧和历时语言学研究中的应用。
2019-11-03 cs.CL cs.LG
Crosslingual Document Embedding as Reduced-Rank Ridge Regression
EPFL(洛桑联邦理工学院);MIT(麻省理工学院);BlackRock(贝莱德)
最近,人们对将基于向量的单词表示扩展到多种语言非常感兴趣,这样单词就可以跨语言进行比较。在本文中,我们将重点从单词转移到文档,并介绍了一种方法,用于将以任何语言编写的文档嵌入到一个独立于语言的向量空间中。对于训练,我们的方法利用多语言语料库,其中相同的概念以多种语言(但不一定通过精确的翻译)覆盖,例如维基百科。我们的方法Cr5(跨语言降秩岭回归)首先训练一个基于岭回归的分类器,该分类器使用特定于语言的词袋特征来预测给定文档的概念。我们表明,当约束学习的权重矩阵是低秩的,它可以被分解,以获得所需的映射从语言特定的词袋语言无关的嵌入。与大多数先前的方法相反,这些方法使用预先训练的单语词向量,对它们进行后处理以使它们跨语言,最后对词向量进行平均以获得文档向量,Cr5是端到端训练的,因此是原生的跨语言和文档级。此外,由于我们的算法使用奇异值分解作为其核心操作,它是高度可扩展的。实验表明,我们的方法实现了国家的最先进的跨语言文档检索任务的性能。最后,虽然没有经过嵌入句子和单词的训练,但它在跨语言句子和单词检索任务上也取得了有竞争力的表现。
2019-04-08 cs.CL
Factored Neural Machine Translation
LIUM, University of Le Mans(勒芒大学计算机科学实验室)
本文提出了一种新的神经机器翻译方法,该方法在神经网络的输出端使用词(因子)的形态和语法分解。该架构解决了机器翻译中出现的两个主要问题,即处理大的目标语言词汇和词汇外(OOV)单词。通过因子,我们能够处理更大的词汇量,减少训练时间(对于具有等效目标语言词汇量的系统)。此外,我们还可以产生词汇表中没有的新词。我们使用形态分析器来获得每个单词的因子表示(词元,词性标签,时态,人称,性别和数字)。我们扩展了NMT方法与注意力机制,以便有两个不同的输出,一个为引理和其他的因素。最终的翻译是使用某些\textit{a priori}语言信息构建的。我们比较我们的扩展与基于词的NMT系统。在从英语翻译成法语的IWIT15数据集上进行的实验表明,虽然性能并不总是提高,但系统可以管理更大的词汇量并持续降低OOV率。我们观察到高达2%的BLEU点的改进,在一个模拟的域外翻译设置。
2016-09-15 cs.CL
Misogynistic Tweet Detection: Modelling CNN with Small Datasets
Queensland University of Technology(昆士兰科技大学)
近年来,社交媒体平台Twitter上针对妇女的在线虐待行为引起了相当大的关注。一种有效识别厌女症虐待的自动化方法可以提高我们对持续一段时间内与虐待性推文相关的模式、驱动因素和反应有效性的理解。然而,训练一个神经网络(NN)模型与一个小的一组标记的数据来检测厌恶女性的推文是困难的。这部分是由于包含厌恶女性内容的推文的复杂性,以及在NN模型中需要学习的大量参数。我们已经进行了一系列的实验,以探讨如何训练神经网络模型,以有效地检测厌恶女性的推文。特别是,我们已经定制和正则化了卷积神经网络(CNN)架构,并表明在特定任务域上预训练的词向量可以用于在少量标记数据可用时有效地训练CNN模型。以这种方式训练的CNN模型与最先进的模型相比提高了准确性。
2020-08-28 cs.CL cs.LG cs.SI
Word2Vec is a special case of Kernel Correspondence Analysis and Kernels for Natural Language Processing
Okayama University(冈山大学);Kyungpook National University(庆北国立大学)
我们表明,对应分析(CA)是等价于定义一个基尼指数与适当缩放的一热编码。利用这个关系,我们引入了一个非线性核扩展CA。这种扩展的CA通过使用适当列联表的专用内核给出了对自然语言的已知分析。我们提出了一个半监督CA,这是一个特殊情况下的核心扩展CA。由于CA在应用于众多类别时需要过多的内存,因此CA尚未用于自然语言处理。我们解决这个问题,引入延迟评估随机奇异值分解。然后将记忆高效的CA应用于词向量表示任务。我们提出了一个尾切内核,这是一个扩展的跳跃,在内核扩展CA的gram。我们的尾切内核优于现有的词向量表示方法。
2018-11-25 cs.CL cs.LG
Principal Components of the Meaning
University of Leicester(莱斯特大学);Lobachevsky University(罗巴切夫斯基大学)
在本文中,我们认为,(词汇)的科学意义可以表示在一个13维的意义空间。这个空间是使用主成分分析(奇异分解)的矩阵的词类别的相对信息增益,其中的类别是那些使用的Web of Science,和单词是从一个减少的词集从Web of Science的文本。我们表明,这个减少的词集合理地代表了语料库中的所有文本,使主成分分析有一定的客观意义的语料库。我们认为,13个维度足以描述科技文本的意义,并假设的主要成分的定性意义。
2020-09-18 cs.CL cs.LG
On Attribution of Recurrent Neural Network Predictions via Additive Decomposition
Texas A&M University(得克萨斯农工大学)
RNN模型在广泛的文本挖掘任务中取得了最先进的性能。然而,这些模型往往被视为黑箱,并受到批评,由于缺乏可解释性。在本文中,我们通过为RNN预测提供可解释的理由来增强RNN的可解释性。然而,解释RNN是一个具有挑战性的问题。首先,与依赖局部近似的现有方法不同,我们的目标是提供更忠实于RNN模型决策过程的理论基础。其次,灵活的解释方法应该能够将贡献分数分配给不同长度的文本片段,而不仅仅是单个单词。为了应对这些挑战,我们提出了一种新的归因方法,称为REAT,为RNN预测提供解释。REAT将RNN的最终预测分解为输入文本中每个单词的附加贡献。这种加法分解使REAT能够进一步获得短语级归因分数。此外,REAT通常适用于各种RNN架构,包括GRU,LSTM及其双向版本。实验结果表明,所提出的归因方法的忠实性和可解释性。综合分析表明,我们的属性方法可以揭示RNN捕获的有用的语言知识。一些分析进一步表明,我们的方法可以用作调试工具来检查RNN的脆弱性和失败原因,这可能会导致几个有前途的未来方向,以提高RNN的泛化能力。
2019-03-27 cs.CL cs.LG
Towards Hierarchical Importance Attribution: Explaining Compositional Semantics for Neural Sequence Models
University of Southern California(南加州大学);Fudan University(复旦大学)
神经网络在自然语言处理任务中令人印象深刻的性能归因于它们对复杂单词和短语组合进行建模的能力。为了解释模型如何处理语义组合,我们研究了神经网络预测的层次解释。我们确定的非加性和上下文无关的重要性属性在层次结构中作为两个理想的属性,突出单词和短语的组成。我们展示了一些先前的努力,分层解释,例如上下文分解,不满足数学上所需的属性,导致不一致的解释质量在不同的模型。在本文中,我们首先提出了一个正式的和一般的方法来量化每个单词和短语的重要性。在此基础上,提出了采样和上下文分解(SCD)算法和采样和遮挡(SOC)算法。在多个数据集上对LSTM模型和BERT Transformer模型的人类和度量评估表明,我们的算法优于以前的分层解释算法。我们的算法有助于可视化模型捕获的语义组成,提取分类规则,提高人类对模型的信任。项目页面:https://inklab.usc.edu/hiexpl/
2020-06-15 cs.CL cs.LG stat.ML
Explaining Character-Aware Neural Networks for Word-Level Prediction: Do They Discover Linguistic Rules?
IDLab, Ghent University - imec(根特大学-imec IDLab实验室)
当前,在不同的基于神经网络的自然语言处理算法中使用了语义级特征。然而,人们对这些模型学习的字符级模式知之甚少。此外,模型往往只是定量比较,而缺乏定性分析。在本文中,我们研究了神经网络学习哪些字符级模式,以及这些模式是否与手动定义的分词和注释一致。为此,我们将上下文分解技术(Murdoch et al. 2018)扩展到卷积神经网络,这使我们能够比较卷积神经网络和双向长短期记忆网络。我们评估和比较这些模型的任务,形态标记三种不同的语言,并表明这些模型隐含地发现可理解的语言规则。我们的实现可以在https://github.com/FredericGodin/ContextualDecomposition-NLP上找到。
2018-08-28 cs.AI cs.CL cs.LG
Decomposition of surprisal: Unified computational model of ERP components in language processing
University of California Irvine(加州大学欧文分校)
提出一种人脑语言处理的信息论模型,将上下文中词的信息内容(surprisal)分解为对应N400的浅层惊异度和对应P600的深层惊异度,利用现代NLP模型估计二者,成功模拟并预测了六项实验的ERP模式。
2024-11-11 cs.CL cs.IT math.IT
Query Obfuscation Semantic Decomposition
University of Liverpool(利物浦大学)
我们提出了一种方法来保护搜索引擎用户的隐私分解查询使用语义\emph{related}和无关的\emph{distractor}条款。代替单个查询,搜索引擎接收多个分解的查询项。接下来,我们通过聚合针对分解的查询词检索到的搜索结果来重构与原始查询词相关的搜索结果。我们表明,使用分布式表示学习方法学习的词嵌入可以用来找到语义相关和干扰查询项。我们得到的\emph{obfuscity}之间的关系,通过建议的查询匿名化方法和\emph{reconstructability}的原始搜索结果使用分解的查询。我们分析研究了所提出的查询混淆方法下发现搜索引擎用户信息意图的风险,并实证评估其对基于聚类的攻击的鲁棒性。实验结果表明,该方法可以准确地重建用户查询的搜索结果,而不会损害搜索引擎用户的隐私。
2022-04-13 cs.CL cs.CR cs.IR
Taming Wild High Dimensional Text Data with a Fuzzy Lash
University of South Carolina(南卡罗来纳大学)
词袋(BOW)表示一个矩阵中的语料库,其元素是单词的频率。然而,矩阵中的每一行都是一个非常高维的稀疏向量。降维是解决稀疏性和高维性问题的一种常用方法。在开发DR方法的不同策略中,无监督特征变换(UFT)是一种流行的策略,可以在新的基础上映射所有单词来表示BOW。近年来文本数据的增长及其面临的挑战意味着DR领域仍然需要新的视角。虽然已经开发了各种各样的基于UFT策略的方法,但尚未考虑基于该策略的DR的模糊方法。本研究探讨应用模糊聚类作为DR方法的基础上的UFT策略折叠BOW矩阵,以提供一个低维表示的文件,而不是在语料库中的话。定量评估表明,模糊聚类产生优越的性能和功能的主成分分析(PCA)和奇异值分解(SVD),两个流行的DR方法的基础上UFT战略。
2017-12-16 cs.CL cs.IR cs.LG