Defense against Adversarial Attacks in NLP via Dirichlet Neighborhood Ensemble
Fudan University（复旦大学）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
尽管神经网络在许多自然语言处理（NLP）任务上取得了突出的性能，但它们很容易受到对抗性示例的影响。在本文中，我们提出了Dirichlet邻域增强（DNE），一个随机平滑的方法来训练一个强大的模型，以防御基于替换的攻击。在训练过程中，DNE通过从由单词及其同义词构成的凸包中对输入句子中的每个单词的嵌入向量进行采样来形成虚拟句子，并使用训练数据对其进行扩充。通过这种方式，该模型对对抗攻击具有鲁棒性，同时保持原始干净数据的性能。DNE对网络架构是不可知的，并可扩展到NLP应用程序的大型模型。我们通过大量的实验证明，我们的方法始终优于最近提出的防御方法，在不同的网络架构和多个数据集的显着保证金。
2020-06-20 cs.CL cs.LG
Topic Modeling Using Distributed Word Embeddings
University of Southern California（南加州大学）；TopicIQ, Inc.（TopicIQ公司）；IIT Delhi（德里印度理工学院）
我们提出了一个新的主题建模算法，Vec2Topic，确定语料库中的主要主题使用通过高维分布式词嵌入捕获的语义信息。我们的技术是无监督的，并生成一个主题的重要性排名列表。我们发现，它比现有的主题建模技术，如潜在的Dirichlet分配更好地识别用户生成的内容中的关键主题，如电子邮件，聊天等，其中主题在语料库中分散。我们还发现，Vec2Topic同样适用于非用户生成的内容，如论文，报告等，以及用于诸如单个文档的小语料库。
2016-03-15 cs.CL
Dirichlet belief networks for topic structure learning
Monash University（莫纳什大学）；The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近，大量的研究工作已经致力于开发主题模型的深层架构，以学习主题结构。虽然已经提出了几种深度模型来学习更好的文档主题比例，但如何利用深度结构的好处来学习主题的单词分布尚未得到严格的研究。在这里，我们提出了一个新的多层生成过程中的词分布的主题，其中每一层由一组主题和每个主题是从一个混合物的层以上的主题。由于所有层中的主题都可以直接用词来解释，因此该模型能够发现可解释的主题层次结构。作为一个独立的模块，我们的模型可以灵活地适应不同类型的主题模型，以提高其建模的准确性和可解释性。在文本语料库上的大量实验证明了该模型的优越性。
2018-11-02 cs.CL cs.IR cs.LG
Unsupervised Domain Discovery using Latent Dirichlet Allocation for Acoustic Modelling in Speech Recognition
University of Sheffield（谢菲尔德大学）
语音识别系统通常是高度依赖于域的，这是文献中广泛报道的事实。然而，域的概念是复杂的，不受明确标准的约束。因此，通常不清楚数据是否应被视为域外数据。虽然声学模型和语言模型都可以是特定于领域的，但本文的工作集中在声学建模上。我们提出了一种新的方法来执行无监督发现域使用潜在狄利克雷分配（LDA）建模。这里，假设数据中存在一组隐藏域，由此每个音频片段可以被认为是域属性的加权混合。将音频段分类到域中允许创建用于自动语音识别的域特定声学模型。实验是在一个包含广播电视、电话交谈、会议、讲座和朗读等多种语音数据的数据集上进行的，联合训练集为60小时，测试集为6小时。最大后验概率（MAP）适应LDA为基础的领域，以产生相对字出错率（WER）的改善高达16%的相对，相比，汇集的培训，和高达10%，与人类标记的领域知识适应的模型。
2015-09-08 cs.CL
Instance Smoothed Contrastive Learning for Unsupervised Sentence Embedding
Zhejiang University（浙江大学）；School of Engineering, Westlake University（西湖大学工程学院）；Institute of Advanced Technology, Westlake Institute for Advanced Study（西湖高等研究院先进技术研究所）
提出IS-CSE方法，通过动态记忆缓冲区检索正例嵌入组并利用自注意力聚合生成平滑实例嵌入，在标准STS任务上显著超越unsup-SimCSE基线。
2023-05-18 cs.CL cs.LG
Nested Variational Autoencoder for Topic Modeling on Microtexts with Word Vectors
Ho Chi Minh City University of Technology（胡志明市理工大学）
互联网上的大多数信息都以微文本的形式表示，微文本是简短的文本片段，如新闻标题或推文。这些信息来源非常丰富，挖掘这些数据可以发现有意义的见解。主题建模是从文档集合中提取知识的流行方法之一;然而，传统的主题模型，如潜在狄利克雷分配（LDA），无法在短文档上表现良好，主要是由于缺乏嵌入在数据中的单词共现统计。我们的研究的目的是创建一个主题模型，可以在微文本上实现很好的性能，同时需要一个小的运行时间，可扩展到大型数据集。为了解决微文本信息的缺乏，我们允许我们的方法利用词嵌入来获得词之间关系的额外知识。为了提高速度和可扩展性，我们采用自动编码变分贝叶斯，一种可以在概率模型中执行高效黑盒推理的算法。我们的工作的结果是一个新的主题模型称为嵌套的变分自编码器，这是一个分布，考虑到词向量和参数化的神经网络架构。为了优化，模型被训练为近似原始LDA模型的后验分布。实验表明，该模型在微文本上的性能得到了改善，同时也具有运行时间上的优势。
2019-09-15 cs.CL
N-gram-Based Low-Dimensional Representation for Document Classification
Idiap Research Institute（Idiap研究所）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Facebook AI Research（Facebook人工智能研究院）
词袋（BOW）模型是对文档进行分类的常用方法，其中单词被用作训练分类器的特征。这通常涉及大量的特征。一些技术，如潜在语义分析（LSA）或潜在狄利克雷分配（LDA），已被设计为在较低的维度中以最少的语义信息损失来总结文档。然而，一些语义信息总是丢失，因为只考虑单词。相反，我们的目标是使用来自n-gram的信息来克服这一限制，同时保持在低维空间中。许多方法，如Skip-gram模型，可以非常快速地提供良好的词向量表示。我们建议平均这些表示，以获得表示的n-gram。所有的n-gram都被嵌入到同一个语义空间中。K-means聚类可以将它们分组为语义概念。因此，特征的数量大大减少，文档可以表示为一袋语义概念。我们表明，该模型优于LSA和LDA的情感分类任务，并产生类似的结果比传统的BOW模型少得多的功能。
2015-04-10 cs.CL
Topics in Contextualised Attention Embeddings
University of Essex（埃塞克斯大学）；University of Southampton（南安普顿大学）
通过预先训练的语言模型获得的上下文化的词向量编码已经在应用中被利用的各种知识。这些语言模型的补充是概率主题模型，它从文本中学习主题模式。最近的工作已经表明，进行聚类的词级上下文表示从语言模型模仿词集群中发现的潜在主题的词从潜在狄利克雷分配。重要的问题是，当语言模型没有被明确设计为对潜在主题进行建模时，如何通过聚类在该语言模型中自动形成这样的主题词聚类。为了解决这个问题，我们设计了不同的探针实验。使用BERT和DistilBERT，我们发现注意力框架在建模这样的词主题集群中起着关键作用。我们坚信我们的工作为进一步研究概率主题模型和预训练语言模型之间的关系铺平了道路。
2023-01-11 cs.CL cs.IR
Nonparametric Spherical Topic Modeling with Word Embeddings
MIT（麻省理工学院）；Harvard University（哈佛大学）
传统的主题模型没有考虑语言中的语义相关性。最近的分布表示的话表现出语义一致性的方向度量，如余弦相似性。然而，现有的主题模型中使用的分类或高斯观测分布都不适合利用这种相关性。在本文中，我们建议使用冯米塞斯-费舍尔分布模型的密度字在一个单位球。这种表示非常适合于方向数据。我们使用分层狄利克雷过程为我们的基本主题模型，并提出了一个有效的推理算法的基础上随机变分推理。该模型使我们能够自然地利用词嵌入的语义结构，同时灵活地发现主题的数量。实验表明，我们的方法优于竞争对手的方法在两个不同的文本语料库的主题一致性，同时提供有效的推理。
2016-04-01 cs.CL cs.IR cs.LG
n-stage Latent Dirichlet Allocation: A Novel Approach for LDA
Ege University（爱琴大学）；Yildiz Technical University（伊尔迪兹技术大学）；Walmart Global Tech（沃尔玛全球科技）
如今，随着数据量的不断增加，数据分析已经成为一个问题。为了克服文本数据中的这一问题，在自然语言处理中使用了许多模型和方法。主题建模字段就是其中的一种方法。主题建模允许确定文本文档的语义结构。潜在狄利克雷分配（LDA）是主题建模方法中最常用的方法。在这篇文章中，提出的n阶段LDA方法，它可以使LDA方法更有效地使用，详细说明。应用英语和土耳其语的研究证明了该方法的积极效果。由于该方法的重点是减少字典中的单词计数，因此可以独立于语言使用。您可以访问该方法的开源代码和示例：https://github.com/anil1055/n-stage_LDA
2021-10-20 cs.CL cs.IR
Topic Modeling in Embedding Spaces
Columbia University（哥伦比亚大学）；Cambridge University（剑桥大学）
主题建模分析文档以学习有意义的单词模式。然而，现有的主题模型无法学习可解释的主题时，与大型和重尾词汇。为此，我们开发了嵌入式主题模型（ETM），一个生成模型的文件，结婚的传统主题模型与词嵌入。特别地，它用类别分布对每个词进行建模，该类别分布的自然参数是词嵌入与其指定主题的嵌入之间的内积。为了适应ETM，我们开发了一个有效的摊销变分推理算法。ETM发现可解释的主题，即使是包含罕见词和停用词的大型词汇表。在主题质量和预测性能方面，它优于现有的文档模型，如潜在狄利克雷分配（LDA）。
2019-07-08 cs.CL cs.IR cs.LG
Topic Modeling over Short Texts by Incorporating Word Embeddings
Hefei University of Technology（合肥工业大学）；University of Massachusetts Boston（马萨诸塞大学波士顿分校）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
从大量的短文本中推断主题成为许多内容分析任务的关键但具有挑战性的任务，例如内容特征化，用户兴趣分析和新兴主题检测。现有的方法，如概率潜在语义分析（PLSA）和潜在狄利克雷分配（LDA）不能很好地解决这个问题，因为只有非常有限的词共现信息是可用的短文本。本文研究如何将外部词汇相关知识融入到短文中，以提高话题建模的连贯性。基于词嵌入从大规模语料库中学习词的语义表示的最新研究成果，本文提出了一种新的从短文本中学习潜在主题的方法--基于嵌入的主题模型（Embedding-based Topic Model，ETM）。ETM不仅通过将短文本聚合成长伪文本来解决非常有限的词共现信息的问题，而且还利用马尔可夫随机场正则化模型，该模型使相关词有更好的机会被放入同一主题中。在真实数据集上的实验验证了该模型的有效性。
2016-09-27 cs.CL cs.IR cs.LG
Language-Independent Tokenisation Rivals Language-Specific Tokenisation for Word Similarity Prediction
University of Liverpool（利物浦大学）；Amazon（亚马逊公司）
不需要标记语言资源或词典的独立标记化（LIT）方法最近因其在资源贫乏语言中的适用性而受到欢迎。此外，它们使用固定大小的词汇表来表示一种语言，并且可以有效地处理看不见的或罕见的单词。另一方面，语言特定的标记化（LST）方法有着悠久的历史，并且是使用精心创建的词汇和培训资源开发的。与LIT方法产生的子标记不同，LST方法产生有效的形态子字。尽管LIT与LST方法之间存在对比，但它们在下游NLP任务上的性能仍然不清楚。在本文中，我们经验比较这两种方法使用语义相似性测量作为评估任务，在不同的语言。我们的实验结果涵盖八种语言表明，LST一贯优于LIT时，词汇量大，但LIT可以产生可比或更好的结果比LST在许多语言相对较小（即小于10万字）的词汇量，鼓励使用LIT时，语言特定的资源不可用，不完整或需要一个较小的模型。此外，我们发现，平滑逆频率（SIF）是一个准确的方法来创建词嵌入从子词嵌入的多语言语义相似度预测任务。进一步分析的最近邻的令牌表明，语义和句法相关的令牌紧密嵌入子词嵌入空间
2020-02-25 cs.AI cs.CL cs.LG
Topic Modeling on User Stories using Word Mover's Distance
Technische Universität Berlin（柏林工业大学）
需求获取最近得到了基于人群的技术的补充，这些技术不断地涉及到大型的、不同的用户群体，这些用户群体通过各种媒体表达他们的反馈。基于人群的启发在早期与（潜在）用户互动方面具有很大的潜力，但也会导致大量原始和非结构化的反馈。整合和分析这些反馈是将其转化为合理的用户需求的关键挑战。在本文中，我们专注于主题建模作为一种手段，以确定大量的人群生成的用户故事中的主题，并比较三种方法：（1）传统的方法，基于潜在的Dirichlet分配，（2）结合词嵌入和主成分分析，（3）结合词嵌入和词移动器的距离。我们评估了一组公开的2,966个用户故事的方法，这些故事是由人群工作者编写和分类的。我们发现，结合词嵌入和词移动距离是最有前途的。根据我们在方法中使用的词嵌入，我们设法以两种方式对用户故事进行聚类：一种更接近原始分类，另一种允许对数据集进行新的见解，例如找到潜在的新类别。不幸的是，没有任何措施可以客观地评价我们的结果的质量。尽管如此，我们的研究结果为未来分析众包用户故事的工作提供了基础。
2020-07-13 cs.CL cs.IR
The Dynamic Embedded Topic Model
Columbia University（哥伦比亚大学）；University of Cambridge（剑桥大学）
主题建模分析文档以学习有意义的单词模式。对于按顺序收集的文档，动态主题模型捕捉这些模式如何随时间变化。我们开发的动态嵌入主题模型（D-ETM），生成模型的文件，结合动态潜在狄利克雷分配（D-LDA）和词嵌入。D-ETM用类别分布对每个词进行建模，该类别分布由词嵌入与其分配主题的每时间步嵌入表示之间的内积参数化。D-ETM通过在主题的嵌入表示上定义随机游走先验来学习平滑的主题轨迹。我们适合的D-ETM使用结构摊销变分推理与递归神经网络。在三个不同的语料库-联合国辩论的集合，一组ACL摘要，和科学杂志文章的数据集-我们发现，D-ETM优于D-LDA的文件完成任务。我们进一步发现，D-ETM比D-LDA学习更多样化和连贯的主题，同时需要更少的时间来适应。
2019-10-10 cs.CL stat.ML
Learning Topics using Semantic Locality
Syracuse University（雪城大学）
主题建模发现给定文本文档的潜在主题概率。为了生成更有意义的主题，更好地代表给定的文档，我们提出了一种新的特征提取技术，可用于数据预处理阶段。该方法包括三个步骤。首先，它从每个文档中生成单词/单词对。其次，采用双向TF-IDF算法对词/词对进行语义过滤。第三，利用K-means算法对语义相似的词对进行合并。实验在开放电影数据库（OMDb）、路透社数据集和20 NewsGroup数据集上进行。平均平均精度得分用作评估指标。比较我们的结果与其他国家的最先进的主题模型，如潜在的Dirichlet分配和传统的限制玻尔兹曼机。我们提出的数据预处理可以提高生成的主题准确率高达12.99%。
2018-04-11 cs.CL cs.IR cs.LG
Discovering topics with neural topic models built from PLSA assumptions
Dailymotion（Dailymotion公司）
本文提出了一个文本语料库中无监督主题发现的模型。该模型使用文档、单词和主题查找表嵌入作为神经网络模型参数，以构建单词给定主题的概率和主题给定文档的概率。这些概率用于通过边缘化来恢复给定文档的单词的概率。对于文档数量可能达到数十亿的非常大的语料库，使用基于神经自动编码器的文档嵌入比使用传统的查找表嵌入更具可扩展性。因此，我们将基于查找的文档嵌入模型扩展到基于连续自动编码器的模型。我们的模型使用概率潜在语义分析（PLSA）假设进行训练。我们在六个内容丰富的数据集上评估了我们的模型。实验结果表明，所提出的神经主题模型是非常有效的捕获相关的主题。此外，考虑到困惑度量，进行评估基准测试表明，我们的主题模型优于潜在的Dirichlet分配（LDA）模型，这是经典的用于解决主题发现任务。
2019-11-25 cs.CL cs.LG stat.ML
How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding
Carnegie Mellon University（卡内基梅隆大学）；Microsoft Research（微软研究院）
该研究结合数学分析与Wikipedia、LDA合成数据实验，揭示Transformer的嵌入层与自注意力层通过同主题词高内积、高注意力值编码主题结构，为其语义学习机制提供细粒度机制性理解。
2023-07-24 cs.CL cs.LG stat.ML
