Sawtooth Factorial Topic Embeddings Guided Gamma Belief Network
Xidian University(西安电子科技大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
分层主题模型,如伽玛信念网络(GBN)在挖掘多层文档表示和发现可解释的主题分类方面取得了可喜的成果。然而,他们通常假设在每一层的主题是独立地从狄利克雷分布中提取的,忽略了同一层和不同层的主题之间的依赖关系。为了放松这一假设,我们提出了一种基于析因的主题嵌入引导GBN,这是一种文档的深度生成模型,可以捕获嵌入空间中主题之间的依赖关系和语义相似性。具体来说,单词和主题都表示为相同维度的嵌入向量。将每一层的主题矩阵分解为因子加载矩阵和主题嵌入矩阵的乘积,将其转置作为上一层的因子加载矩阵。重复这种特定类型的分解,它在相邻层之间共享组件,导致被称为分解分解的结构。构造了一个自动编码的变分推理网络,通过随机梯度下降优化模型参数。在大型语料库上的实验表明,我们的模型在提取更深层次的可解释主题和获得更好的文档表示方面优于其他神经主题模型。
2021-06-30 cs.CL cs.IR cs.LG
Learning Embedding Representations for Knowledge Inference on Imperfect and Incomplete Repositories
Tsinghua University(清华大学)
本文首次尝试通过嵌入实体和关系的方法,研究了不完全覆盖的大规模不完全知识库的知识推理问题。我们建议IIKE(不完全和不完整的知识嵌入),一种概率模型,其测量在诸如NELL和Freebase的大规模知识库中的每个信念的概率,即$\langle h,r,t\rangle$,我们的目标是为每个实体学习一个更好的低维向量表示($h$和$t$)和关系($r$)在最小化拟合由机器学习(NELL)或众包(crowdsouring)给出的相应置信度的损失的过程中(Freebase),这样我们就可以在进行推理时使用$||{\bf h} + {\bf r} - {\bf t}||$来评估信念的可验证性。我们使用这些不精确的知识库的子集来训练我们的模型,并分别测试链接预测和三重分类对真实信念的性能。大量的实验结果表明,与基线和国家的最先进的方法相比,IIKE取得了显着的改善。
2015-03-27 cs.AI cs.CL
A Probabilistic-Logic based Commonsense Representation Framework for Modelling Inferences with Multiple Antecedents and Varying Likelihoods
Institute of High Performance Computing, A*STAR(新加坡科技研究局高性能计算研究所)
常识知识图(CKG)是构建机器的重要资源,这些机器可以对文本或环境输入进行“推理”,并做出超越感知的推断。虽然目前的CKG编码大量概念的世界知识,并已被有效地用于将常识纳入神经模型中,但它们主要编码陈述性或单条件推理知识,并假设所有概念信念具有相同的可能性。此外,这些CKG利用跨概念共享的关系的有限集合,并且缺乏连贯的知识组织结构,从而导致跨较大知识图谱的冗余以及稀疏。因此,今天的CKG,而有用的第一级推理,不足以捕捉更深层次的人类水平的常识推理,可以更细致入微,并受多种上下文或情境因素的影响。因此,在这项工作中,我们研究如何常识知识可以更好地表示-(一)利用概率逻辑表示方案来模拟复合推理知识,并表示概念的信念与不同的可能性和(ii)将分层概念本体,以确定显着的概念相关的关系和组织的信念在不同的概念层次。我们由此产生的知识表示框架可以编码更广泛的世界知识,并表示信仰灵活地使用接地的概念,以及自由文本短语。因此,该框架既可以用作传统的自由文本知识图谱,也可以用作更适合于神经符号应用的基于接地逻辑的推理系统。我们描述了我们如何扩展PrimeNet知识库与我们的框架,通过众包和专家注释,并展示了其应用程序更可解释的基于语义解析和问答。
2022-12-15 cs.CL
Is Neural Topic Modelling Better than Clustering? An Empirical Study on Clustering with Contextual Embeddings for Topics
University of Technology Sydney(悉尼科技大学);Eindhoven University of Technology(埃因霍温理工大学);University of Wollongong(伍伦贡大学)
最近的工作将预训练的词嵌入(如BERT嵌入)纳入神经主题模型(NTM),生成高度连贯的主题。然而,有了高质量的上下文文档表示,我们真的需要复杂的神经模型来获得连贯和可解释的主题吗?在本文中,我们进行了深入的实验表明,直接聚类高质量的句子嵌入与适当的词选择方法可以产生更多的连贯性和多样性的主题比NTM,也实现了更高的效率和简单性。
2022-04-21 cs.CL
Language Modelling Makes Sense: Propagating Representations through WordNet for Full-Coverage Word Sense Disambiguation
LIAAD - INESC TEC(LIAAD——INESC TEC(葡萄牙系统与计算机工程研究所技术与科学中心));Faculty of Sciences - University of Porto(波尔图大学理学院)
上下文嵌入代表了从神经语言建模(NLM)中学习到的新一代语义表示,其解决了阻碍传统词嵌入的意义合并问题。在这项工作中,我们表明,上下文嵌入可以用来实现前所未有的增益在词义消歧(WSD)的任务。我们的方法专注于创建具有WordNet全覆盖的感觉级嵌入,而不依赖于感觉分布或特定任务建模的明确知识。因此,使用我们的表示的简单最近邻(k-NN)方法能够始终超过使用强大的神经排序模型的先前系统的性能。我们还分析了我们的方法的鲁棒性时,忽略部分的语音和引理功能,需要消除歧义对全意义库存,并揭示有待改进的缺点。最后,我们探讨了我们的意义嵌入的概念层面的分析上下文嵌入和各自的NLM的应用。
2019-06-24 cs.CL
Analyzing Scientific Publications using Domain-Specific Word Embedding and Topic Modelling
SUTD-MIT International Design Centre(新加坡科技设计大学-麻省理工学院国际设计中心);Singapore University of Technology and Design(新加坡科技设计大学)
科学世界正在快速变化,新技术的开发和新趋势的出现越来越频繁。本文提出了一个对学术出版物进行科学分析的框架,这对于监测研究趋势和识别潜在的创新至关重要。该框架采用并结合了自然语言处理的各种技术,如词嵌入和主题建模。词嵌入用于获取特定领域词的语义。我们提出了两个新的科学出版物嵌入,即,PUB-G和PUB-W,能够学习各种研究领域中的通用词和特定领域词的语义。此后,主题建模用于确定这些较大的研究领域内的研究主题集群。我们策划了一个出版物数据集,包括1995年至2020年两个研究领域的两个会议和两种期刊。实验结果表明,我们的PUB-G和PUB-W嵌入优于其他基线嵌入的基础上主题一致性的利润率为~0.18-1.03。
2021-12-24 cs.AI cs.CL
Modelling Commonsense Commonalities with Multi-Facet Concept Embeddings
CRIL CNRS & University of Artois(CRIL 法国国家科学研究中心与阿图瓦大学);University of Shanghai for Science and Technology(上海理工大学);Cardiff University(卡迪夫大学)
针对标准概念嵌入难以捕捉具体方面共性的问题,提出显式建模多方面兴趣的多面概念嵌入方法,有效捕获更多样化的常识属性,并在超细实体类型和本体补全等下游任务中持续提升性能。
2024-06-04 cs.AI cs.CL
MultiWOZ -- A Large-Scale Multi-Domain Wizard-of-Oz Dataset for Task-Oriented Dialogue Modelling
University of Cambridge(剑桥大学);PolyAI
尽管机器学习已经成为对话研究界的主要场景,但真正的突破却被可用数据的规模所阻碍。为了解决这个根本性的障碍,我们引入了多域向导奥兹数据集(MultiWOZ),这是一个跨越多个领域和主题的人与人之间书面对话的完全标记集合。在$10$ k个对话的大小下,它至少比以前所有带注释的面向任务的语料库大一个数量级。除了标记有对话信念状态和对话动作的开源数据集之外,这项工作的贡献是双重的:首先,提供了数据汇集过程的详细描述以及数据结构和分析的摘要。建议的数据收集管道是完全基于众包,而不需要聘请专业的注释者;其次,一组基准结果的信念跟踪,对话行为和响应生成的报告,这表明了数据的可用性,并为未来的研究设定了一个基线。
2020-04-20 cs.CL
Modelling Intertextuality with N-gram Embeddings
Centre for Perceptual and Interactive Intelligence(感知与交互智能中心);The Chinese University of Hong Kong(香港中文大学)
本文提出一种基于n-gram嵌入两两比较与平均的互文性定量模型,在已知文本及267篇文本上验证了其有效性与效率,并通过网络分析揭示中心性与社区结构。
2025-09-09 cs.CL
Embedding Geographic Locations for Modelling the Natural Environment using Flickr Tags and Structured Data
Cardiff University(卡迪夫大学)
Flickr等照片分享网站的元数据可用于获取丰富的地理位置词汇描述,事实证明,这些数据除其他外对生态特征建模和预测很有价值。从以前的工作中获得的一个重要见解是,从Flickr获得的描述往往是对传统科学资源中可用的结构化信息的补充。为了更好地整合这两种不同的信息源,在本文中,我们考虑了一种学习地理位置的向量空间嵌入的方法。我们的实验表明,这种方法改进了现有的方法,特别是在结构化信息可用的情况下。
2018-10-12 cs.CL cs.CV cs.IR
Multilingual and Multimodal Topic Modelling with Pretrained Embeddings
University of Helsinki(赫尔辛基大学)
本文提出了M3 L-Contrast-一种新的多模态多语言(M3 L)神经主题模型,用于将来自多种语言和图像的文本映射到共享的主题空间中。我们的模型在文本和图像上进行联合训练,并利用预训练的文档和图像嵌入来抽象不同语言和模态之间的复杂性。作为一个多语言的主题模型,它产生对齐的语言特定的主题和多模态模型,它推断图像中的语义概念的文本表示。我们证明,我们的模型是有竞争力的zero-shot主题模型预测可比多语言数据的主题分布,并显着优于zero-shot模型预测可比文本和图像的主题分布。我们还表明,我们的模型在未对齐的嵌入上的表现几乎和对齐的嵌入一样好。
2022-11-15 cs.AI cs.CL
A Study on Prompt-based Few-Shot Learning Methods for Belief State Tracking in Task-oriented Dialog Systems
Indian Institute of Technology, Kharagpur(印度理工学院卡拉格普尔分校)
我们解决了面向任务的会话系统的对话信念状态跟踪(DST)问题。最近利用基于transformer的模型来解决这个问题的方法已经取得了很好的效果。然而,训练这些模型在计算资源和时间方面都是昂贵的。此外,收集高质量的注释对话数据集仍然是研究人员面临的挑战,因为训练这些模型需要大量的注释。在最近成功的预训练语言模型和基于样本的学习的推动下,我们探索了基于样本的少样本学习用于对话信念状态跟踪。我们制定的DST问题作为一个2阶段的基于语义的语言建模任务和训练语言模型的任务,并提出了一个全面的实证分析,他们的单独和联合性能。我们展示了基于递归的方法在DST的少样本学习中的潜力,并为未来的改进提供了方向。
2022-04-18 cs.AI cs.CL
Probabilistic Topic Modelling with Transformer Representations
Institute of Mathematics, Clausthal University of Technology(克劳斯塔尔工业大学数学研究所);BASF(巴斯夫公司);Georg-August-Universität Göttingen(哥廷根大学)
本研究提出Transformer表示神经主题模型TNTM,结合Transformer嵌入空间主题表示与概率建模优势,用VAE框架提升性能,在嵌入连贯性上比肩SOTA且主题多样性近乎完美。
2024-03-06 cs.CL cs.LG
A Process for Topic Modelling Via Word Embeddings
本文提出结合BERT词嵌入、UMAP降维与K-Means聚类的无监督主题建模流程,并通过TF-IDF、主题多样性和一致性验证其有效性。
2023-10-06 cs.CL
Learning Sentence Embeddings for Coherence Modelling and Beyond
Western University(韦仕敦大学)
我们提出了一种新颖而有效的技术,用于执行文本连贯性任务,同时促进对数据的更深入了解。尽管获得了不断提高的任务性能,但用于NLP任务的现代深度学习方法通常只为用户提供最终的网络决策,而不会对数据进行额外的理解。在这项工作中,我们表明,通过自我监督学习的一种新型的句子嵌入可以有效地应用于文本连贯性任务,同时作为一个窗口,通过它可以更深入地了解数据。为了生成这些句子嵌入,我们训练一个递归神经网络来获取单个句子,并以位置分布的形式预测它们在文档中的位置。我们证明,这些嵌入,结合简单的视觉识别,可以用来实现性能竞争力与国家的最先进的多个文本连贯性任务,优于更复杂和专业的方法。此外,我们证明,这些嵌入可以提供有用的见解,作家提高写作质量和通知文件结构,并协助读者总结和定位信息。
2019-08-07 cs.CL
Modelling Context with User Embeddings for Sarcasm Detection in Social Media
INESC-ID Lisboa, Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院INESC-ID里斯本);iSchool, University of Texas at Austin(德克萨斯大学奥斯汀分校信息学院)
我们引入了一个深度神经网络的自动讽刺检测。最近的工作强调,需要模型利用上下文功能,超越词汇和句法线索存在于话语。例如,不同的说话者将倾向于采用关于不同主题的讽刺,因此,讽刺检测模型应该对这样的说话者信息进行编码。目前的方法已经通过费力的特征工程实现了这一点。相比之下,我们建议自动学习,然后利用用户嵌入,与词汇信号一起使用,以识别讽刺。我们的方法不需要复杂的特征工程(以及随之而来的数据抓取);拟合用户嵌入只需要他们以前的帖子中的文本。实验结果表明,我们的模型优于一个国家的最先进的方法,利用广泛的一组精心制作的功能。
2016-07-05 cs.AI cs.CL
Topic Modelling on Consumer Financial Protection Bureau Data: An Approach Using BERT Based Embeddings
UpGrad Education(UpGrad教育);Salesforce India(赛富时印度公司);Brane Enterprises(Brane企业公司);Global Logic
客户的评论和意见对于企业了解用户对产品和服务的看法非常重要。然而,需要分析这些数据以评估与主题/方面相关联的情绪,从而提供有效的客户帮助。LDA和LSA无法捕捉语义关系,并且不特定于任何领域。在这项研究中,我们评估BERTopic,一种新的方法,使用句子嵌入消费者金融保护局(CFPB)的数据生成主题。我们的工作表明,与LDA和LSA相比,BERTopic非常灵活,但提供了有意义且多样化的主题。此外,特定领域的预训练嵌入(FinBERT)产生更好的主题。我们评估的主题一致性得分(cv)和UMass。
2022-05-15 cs.AI cs.CL cs.IR
Mining Trends of COVID-19 Vaccine Beliefs on Twitter with Lexical Embeddings
Maharaja Surajmal Institute of Technology, GGSIPU(马哈拉贾苏拉杰马尔技术学院,GGSIPU);Indraprastha Institute of Information Technology Delhi(德里英德拉普拉斯塔信息技术学院);All India Institute of Medical Sciences(全印度医学科学学院)
社交媒体在全球传播新闻方面发挥着关键作用,并成为人们就各种主题发表意见的平台。全球各地的COVID-19疫苗接种活动伴随着各种各样的观点,这些观点往往受到情绪的影响,这些情绪会随着病例的增加、疫苗的批准以及在线讨论的多种因素而变化。本研究的目的是分析不同的情绪类别的时间演变:犹豫,愤怒,悲伤,预期,信仰和满意度的影响因素:疫苗推出,错误信息,健康影响和不公平的词汇类别创建属于五个国家的推文与重要的疫苗推出计划,即印度,美国,巴西,英国和澳大利亚。我们提取了近180万条与COVID-19疫苗接种相关的Twitter帖子的语料库。我们使用选定种子词的余弦距离,扩大了每个类别的词汇量,并跟踪了2020年6月至2021年4月期间其强度的纵向变化。我们使用社区发现算法来发现正相关网络中的模块。我们的研究结果表明,在所有国家中,对疫苗表示犹豫的推文中提到的健康相关影响最多。我们的研究结果表明,犹豫的模式在不同的地理位置是不同的,可以帮助我们学习有针对性的干预措施。我们还观察到,在疫苗批准前后,犹豫和满意等类别的线性趋势发生了显著变化。在冲积图中,愤怒和悲伤等负面情绪的重要性最高。它们与2021年4月印度观察到第二波COVID-19病例时的所有影响因素形成了一个重要模块。情绪和影响因素之间的关系被发现是可变的国家。
2021-07-20 cs.CL cs.SI
Learning Word Embeddings for Hyponymy with Entailment-Based Distributional Semantics
Idiap Research Institute(伊迪亚普研究所)
词汇蕴涵是自然语言语义学中的一个基本问题。本文提出了分布式语义模型,有效地学习蕴涵的词嵌入,使用最近提出的框架,在向量空间建模蕴涵。这些模型假定一个潜在的向量包含两个相邻的词向量的伪短语。我们研究了两个建模词作为证据,他们对这个短语向量的贡献,或作为一个单词短语向量的后验分布,并发现后验向量表现更好。在无监督和半监督实验中,所得到的词嵌入在预测词之间的上下义关系方面优于先前的最佳结果。
2017-10-06 cs.CL
Generalised Spherical Text Embedding
International Institute of Information Technology, Hyderabad(海得拉巴国际信息技术学院);Microsoft India(微软印度)
本文旨在提供一种无监督建模方法,允许更灵活地表示文本嵌入。它将单词和段落联合编码为具有单位Frobenius范数的任意列维数的个体矩阵。该表示也是语言动机与引入一种新的相似性度量。建议的建模和新的相似性度量利用矩阵结构的嵌入。然后,我们继续表明,相同的矩阵可以重塑为单位范数的向量,并将我们的问题转化为球面流形上的优化问题。我们利用流形优化来有效地训练矩阵嵌入。我们还定量验证了我们的文本嵌入的质量,表明他们在文档分类,文档聚类和语义文本相似性基准测试中表现出改进的结果。
2022-11-30 cs.CL
Modelling Multi-relations for Convolutional-based Knowledge Graph Embedding
Murdoch University(莫道克大学);Curtin University(科廷大学)
知识图谱的表示学习旨在将实体和关系嵌入到低维向量中。现有的大多数工作只考虑实体对之间的直接关系或路径。这种方法被认为断开了实体对之间的多关系的语义连接,我们提出了一个卷积和多关系表示学习模型,ConvMR。ConvMR模型从两个方面解决了多关系问题:(1)将实体对之间的多关系编码成一个统一的向量,保持语义连接。(2)由于不是所有的关系是必要的,而加入多个关系,我们提出了一个基于注意力的关系编码器自动分配权重的语义层次的基础上不同的关系。在两个流行的数据集FB 15 k-237和WN 18 RR上的实验结果在平均排名上取得了一致的改善。我们还发现,ConvMR是有效的处理不太频繁的实体。
2022-10-21 cs.AI cs.CL
Modelling Semantic Categories using Conceptual Neighborhood
CRIL - U. Artois - CNRS(法国国家科学研究中心 阿尔图瓦大学 朗斯信息学研究院);Cardiff University(卡迪夫大学)
虽然在自然语言处理领域中已经提出了许多用于学习向量空间嵌入的方法,但是这些方法通常不区分类别和个体。直觉上,如果个体被表示为向量,我们可以将类别视为嵌入空间中的(软)区域。不幸的是,有意义的区域可能很难估计,特别是因为我们通常很少有属于给定类别的个体的例子。为了解决这个问题,我们依赖于不同类别往往高度相互依存的事实。特别是,类别通常有概念邻居,它们与给定类别不相交但密切相关(例如\水果和蔬菜)。我们的假设是,更准确的类别表示可以学习依赖于这样的假设,即代表这些概念邻居的区域应该是相邻的嵌入空间。我们提出了一个简单的方法来确定概念的邻居,然后表明,将这些概念的邻居确实导致更准确的区域为基础的表示。
2019-12-03 cs.AI cs.CL
Jointly modelling the evolution of social structure and language in online communities
针对在线社区互动建模需考虑社会时间语境的问题,提出联合建模社区结构与语言演化的方法,生成动态词与用户表示,在厌女极端群体场景下表现优于缺少单组件的现有模型,还支持新型群体分析。
2025-06-13 cs.CL cs.SI
Forecasting COVID-19 Caseloads Using Unsupervised Embedding Clusters of Social Media Posts
University of Oxford(牛津大学);The Alan Turing Institute(艾伦·图灵研究所)
我们提出了一种新的方法,将基于transformer的语言模型到传染病建模。通过跟踪美国特定州的COVID-19子reddit中Reddit帖子的高密度聚类来量化文本衍生特征。我们将这些聚类嵌入特征与从其他高质量数据集提取的特征进行基准测试。在阈值分类任务中,我们表明它们在预测上升趋势信号方面优于所有其他特征类型,这对于流行病学数据不可靠的地区的传染病建模是一个重要的结果。随后,在时间序列预测任务中,我们充分利用了案例的预测能力,并比较了在基于变换的时间序列模型中使用不同补充数据集作为协变量特征集的相对优势。
2022-05-20 cs.CL cs.SI
LaScA: Language-Conditioned Scalable Modelling of Affective Dynamics
University of Piraeus(比雷埃夫斯大学)
本文提出LaScA框架,利用语言模型作为语义上下文条件器,结合手工制作的情感描述符建模情感变化,通过可解释的面部和声音特征提升预测准确性。
2026-04-08 cs.CL cs.ET
Modelling Latent Skills for Multitask Language Generation
DeepMind(深度思维)
我们提出了一个多任务条件语言生成的生成模型。我们的指导性假设是,一组共享的潜在技能构成了许多不同的语言生成任务的基础,并且在任务嵌入空间中明确地建模这些技能可以帮助跨任务的正迁移和对新任务的有效适应。我们将此任务嵌入空间实例化为潜在变量序列到序列模型中的潜在变量。我们通过策划一系列单语文本到文本语言生成数据集来评估这一假设-涵盖广泛的任务和领域-并比较模型在多任务和Few-Shot制度中的性能。我们表明,我们的潜在任务变量模型优于其他序列到序列的基线平均跨任务的多任务设置。在看不见的测试数据集上的少样本学习设置中(即,一个新的任务),我们证明了模型自适应推理的基础上,在潜在的任务空间是更强大的比标准的微调为基础的参数自适应,并执行在整体性能方面的优势。最后,我们研究了我们的模型学习的潜在任务表示,并表明它们以自然的方式聚类任务。
2020-02-21 cs.CL
Improving Knowledge Graph Embedding Using Simple Constraints
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院)
在连续向量空间中嵌入知识图谱是当前研究的热点。早期的作品通过在KG三元组上开发的简单模型来执行这项任务。最近的尝试集中在设计更复杂的三重评分模型,或纳入额外的信息以外的三重。相比之下,本文研究了使用非常简单的约束来改进KG嵌入的潜力。我们研究了实体表示的非负性约束和关系表示的近似蕴涵约束。前者有助于学习实体的紧凑和可解释的表示。后者进一步将关系之间的逻辑蕴涵编码到它们的分布式表示中。这些约束将先验信念强加在嵌入空间的结构上,而不会对效率或可扩展性产生负面影响。在WordNet、Freebase和DBpedia上的评估表明,我们的方法简单而有效,显著且持续优于竞争对手的基线。所施加的约束确实提高了模型的可解释性,从而大大增加了嵌入空间的结构。代码和数据可在https://github.com/iieir-km/ComplEx-NNE_AER上获得。
2018-05-08 cs.AI cs.CL
CNRL at SemEval-2020 Task 5: Modelling Causal Reasoning in Language with Multi-Head Self-Attention Weights based Counterfactual Detection
BITS Pilani(比尔拉科学技术学院)
在本文中,我们描述了一种方法,通过使用多头自注意权重检测文本中的反事实,在自然语言的因果推理建模。我们使用预训练的Transformer模型从文本中提取上下文嵌入和自我注意力权重。我们展示了卷积层的使用,从这些自我注意力权重中提取特定于任务的特征。此外,我们描述了一个微调的方法与一个共同的基础模型之间的知识共享的两个密切相关的子任务反事实检测。我们在实验中分析和比较了各种Transformer模型的性能。最后,我们进行了定性分析与多头自我注意力的权重来解释我们的模型的动力学。
2020-05-31 cs.CL
Enhancing Context Through Contrast
VNIT(维什瓦拉亚国立理工学院);Johns Hopkins University(约翰斯·霍普金斯大学)
提出基于Barlow Twins损失最大化互信息的上下文增强步骤,将语言视为隐式增强以提升神经机器翻译性能,且适用于任意预训练嵌入。
2024-01-06 cs.AI cs.CL cs.LG
Latent Refinement Decoding: Enhancing Diffusion-Based Language Models by Refining Belief States
King’s College London(伦敦国王学院);The Alan Turing Institute(艾伦·图灵研究所);Centre for AI, Data Science & Artificial Intelligence, BioPharmaceuticals R&D, AstraZeneca(人工智能、数据科学与人工智能研究中心,生物制药研发,阿斯利康);The Chinese University of Hong Kong(香港中文大学);MoE Lab, CUHK(CUHK MoE实验室)
针对自回归生成的高延迟,提出潜在精炼解码(LRD)两阶段框架,通过分布混合和反馈循环精炼信念状态,在编码和推理任务上提升准确率并实现高达10.6倍加速。
2026-11-10 cs.CL
Fusing Sentence Embeddings Into LSTM-based Autoregressive Language Models
Universität des Saarlandes(萨尔大学)
尽管掩蔽语言模型具有很高的性能,并被NLP从业者广泛采用,但它们不能容易地用于自回归语言建模(下一个单词预测和序列概率估计)。我们提出了一个基于LSTM的自回归语言模型,它使用前缀嵌入(从一个预先训练的掩蔽语言模型)通过融合(例如级联),以获得更丰富的上下文表示语言建模。我们发现,融合有助于可靠地降低困惑(16.74 $\rightarrow$ 15.80),这甚至是保存后,从一个不同的域比训练数据的数据集转移。我们还通过将其下一个单词的平均估计与人类阅读时间相关联来评估性能最佳的融合模型。与我们的预期相反,尽管整体困惑度有所改善,但相关性仍然与基线模型相同。最后,虽然我们专注于在文本上预训练的语言模型作为融合的源,但我们的方法可以扩展到将表示为固定大小向量的任何信息融合到自回归语言模型中。这些包括例如为知识库检索的句子外部信息或多模态编码器的表示。
2022-08-05 cs.CL cs.LG
Modelling Radiological Language with Bidirectional Long Short-Term Memory Networks
出于从自由文本放射学报告中自动提取医疗信息的需要,我们提出了一种用于建模放射学语言的双向长短期记忆(BiLSTM)神经网络架构。该模型已被用来解决两个自然语言处理任务:医疗命名实体识别(NER)和否定检测。我们研究了学习几种类型的词嵌入是否会提高BiLSTM在这些任务上的表现。使用一个大型的胸部X光报告数据集,我们将所提出的模型与一个基于基线词典的NER系统和一个否定检测系统进行比较,该系统利用了NegEx算法的手工规则和从Stanford Dependency Parser获得的语法关系。与这些更传统的基于规则的系统相比,我们认为BiLSTM为我们的任务提供了一个强大的替代方案。
2016-09-27 cs.CL stat.ML
Word Embeddings Track Social Group Changes Across 70 Years in China
Institute for Artificial Intelligence, Peking University(人工智能研究院,北京大学);Yuanpei College, Peking University(元培学院,北京大学)
该研究通过分析中国媒体70年的词嵌入数据,揭示了社会群体在官方语言中的演变,强调了非西方视角在计算社会科学中的重要性。
2025-04-12 cs.CL cs.SI
Probing Taxonomic and Thematic Embeddings for Taxonomic Information
ADAPT Centre(ADAPT中心);Technological University Dublin(都柏林理工大学)
建模分类学和主题相关性对于构建具有全面自然语言理解的AI非常重要。本文的目标是了解更多关于分类信息是如何在嵌入结构编码。为此,我们设计了一个新的上位-下位词探测任务,并对分类和主题SGNS和GloVe嵌入进行了比较探测研究。我们的实验表明,这两种类型的嵌入编码一些分类信息,但数量,以及编码的几何属性,是独立相关的编码器架构,以及嵌入训练数据。具体来说,我们发现,只有分类嵌入进行分类信息在其规范,这是由数据中的底层分布。
2023-01-25 cs.AI cs.CL cs.LG
Generating Text through Adversarial Training using Skip-Thought Vectors
BITS Pilani(比尔拉科学技术学院)
GANs已经被证明在与图像生成和风格转移有关的任务上表现得非常好。在语言建模领域,诸如GLoVe和word 2 vec的词嵌入是用于将神经网络模型应用于文本数据的最先进的方法。已经尝试利用具有用于文本生成的词嵌入的GANs。本文提出了一种基于梯度惩罚函数和f-测度的GANs的Skip-Thought句子嵌入文本生成方法。建议的架构旨在再现写作风格的生成文本建模的表达方式在句子层面上的所有作品的作者。在不同的嵌入设置上进行了大量的实验,包括条件文本生成和语言生成。该模型在BLEU-n,METEOR和ROUGE等几个自动评估指标上优于基线文本生成网络。此外,在现实生活中的任务的广泛适用性和有效性证明通过人类的判断分数。
2020-05-16 cs.AI cs.CL cs.LG
Learning Contextualised Cross-lingual Word Embeddings and Alignments for Extremely Low-Resource Languages Using Parallel Corpora
School of Computing and Information Systems, The University of Melbourne(墨尔本大学计算与信息系统学院);NTT Communication Science Laboratories(NTT通信科学实验室);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所革新智能综合研究中心)
我们提出了一种新的方法来学习上下文跨语言的词嵌入的基础上一个小的平行语料库(例如几百个句子对)。我们的方法通过LSTM编码器-解码器模型获得词嵌入,该模型同时翻译和重建输入句子。通过在不同语言之间共享模型参数,我们的模型在一个公共的跨语言空间中联合训练词嵌入。我们还建议结合词和子词嵌入,以利用不同语言的拼写相似性。我们的实验基于濒危语言的真实数据,即永宁纳,Shipibo-Konibo和Griko。我们的双语词典归纳和单词对齐任务的实验表明,我们的模型优于现有的方法,大多数语言对的大幅度。这些结果表明,与通常的看法相反,编码器-解码器翻译模型即使在资源极其有限的情况下也有利于学习跨语言表示。此外,我们的模型在高资源条件下也能很好地工作,在德语-英语单词对齐任务上实现了最先进的性能。
2021-10-20 cs.AI cs.CL cs.LG