Exploiting Syntactic Structure for Natural Language Modeling
本论文尝试利用自然语言的句法结构来改进语音识别的语言模型。结构化语言模型融合了自动解析和语言建模技术,使用移位-归约解析器的原始概率参数化。一个最大似然重新估计过程属于类的期望最大化算法的训练模型。在《华尔街日报》、Switchboard和广播新闻语料库上的实验表明,与标准的3-gram语言模型相比,在困惑度和单词出错率方面都有改善。本论文的意义在于提出了一种新颖的语言建模方法,该方法利用自然语言的层次句法结构来改进现有的用于大词汇量语音识别的3-gram建模技术。
2000-01-24 cs.CL
Conditional Generators of Words Definitions
Joom;Samsung-HSE Laboratory(三星-高等经济学院实验室)
我们探讨最近推出的定义建模技术,提供了不同的分布式矢量表示的单词通过建模字典定义的单词的评价工具。在这项工作中,我们研究了定义建模中的单词歧义问题,并提出了一个可能的解决方案,采用潜变量建模和软注意力机制。我们的定量和定性评估和分析的模型表明,考虑到词的歧义和多义导致性能的改善。
2018-06-26 cs.CL
Mark my Word: A Sequence-to-Sequence Approach to Definition Modeling
Université de Lorraine(洛林大学);CNRS(法国国家科学研究中心);Utrecht University(乌得勒支大学)
在文本上下文中定义单词对于实际目的和深入了解分布式单词表示都是一项有用的任务。基于分布假设,我们认为定义建模最自然的形式化是将其视为序列到序列任务,而不是单词到序列任务:给定带有突出显示单词的输入序列,为其生成上下文适当的定义。我们的建议允许训练上下文和定义生成在一个端到端的方式,这是一个概念上的改进,早期的作品。我们在上下文和非上下文定义建模方面都取得了最先进的成果。
2019-11-13 cs.CL
Rosetta Stone at KSAA-RD Shared Task: A Hop From Language Modeling To Word--Definition Alignment
Microsoft(微软);EPFL(瑞士洛桑联邦理工学院)
本文提出阿拉伯语反向词典共享任务的获胜方案,通过集成微调 Arabic BERT 模型预测词嵌入,并将英语定义翻译为阿拉伯语复用模型,在两个子任务中均取得最高分。
2024-01-21 cs.AI cs.CL
Definition Modeling: Learning to define word embeddings in natural language
Northwestern University(西北大学)
词的分布式表征已被证明可以捕捉词汇语义,这在词相似性和类比关系任务中表现出了有效性。但是,这些任务只是间接地评估词汇语义。在本文中,我们研究是否有可能利用分布式表示来生成单词的字典定义,作为嵌入语义的更直接和透明的表示。我们将介绍定义建模,即为给定单词及其嵌入生成定义的任务。我们提出了几种基于递归神经网络的定义模型架构,并在多个数据集上对模型进行了实验。我们的研究结果表明,控制被定义的单词和定义单词之间的依赖关系的模型表现得更好,并且旨在利用形态学的字符级卷积层可以补充单词级嵌入。最后,一个错误分析表明,由一个定义模型的错误可能会提供洞察词嵌入的缺点。
2016-12-01 cs.CL
Improving Interpretability of Word Embeddings by Generating Definition and Usage
Beijing University of Technology(北京工业大学)
词嵌入在捕捉词之间的语义关系方面是非常成功的。然而,这些词汇语义很难解释。定义建模提供了一种更直观的方法来评估嵌入,利用它们来生成相应单词的自然语言定义。这一任务对于词汇表征的实际应用和深入理解具有重要意义。我们提出了一个新的框架定义建模,它可以产生合理的和可理解的上下文相关的定义。此外,我们介绍了使用建模和研究是否有可能利用嵌入生成例句的话。这些方法更直接、更明确地表达了嵌入的语义,提高了嵌入的可解释性。我们将单任务模型扩展到多任务环境,并研究了几种联合多任务模型,将使用建模和定义建模结合在一起。在现有的Oxford数据集和新收集的Oxford-2019数据集上的实验结果表明,我们的单任务模型在定义建模方面达到了最先进的结果,多任务学习方法有助于提高两个任务的性能。
2020-07-18 cs.CL
Exploiting Syntactic Structure for Better Language Modeling: A Syntactic Distance Approach
Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);Mila(米拉计算科学研究所);McGill University(麦吉尔大学)
人们普遍认为,句法结构的知识应该改善语言建模。然而,有效地和计算高效地将句法结构纳入神经语言模型一直是一个具有挑战性的课题。在本文中,我们使用多任务目标,即,这些模型同时预测单词以及被称为“句法距离”的形式的基本事实解析树,其中这两个单独目标之间的信息共享相同的中间表示。在Penn Treebank和Chinese Treebank数据集上的实验结果表明,当提供Ground Truth解析树作为额外的训练信号时,该模型能够获得较低的困惑度,并诱导出质量更好的树。
2020-05-12 cs.CL
Semantic Role Labeling Meets Definition Modeling: Using Natural Language to Describe Predicate-Argument Structures
Sapienza University of Rome(罗马第一大学);Babelscape(巴贝尔斯凯普)
过去和现在的语义角色标注(SRL)方法的一个共同特点是它们依赖于从预定义的语言库中提取的离散标签来对谓词意义及其论元进行分类。然而,我们认为情况不一定如此。在本文中,我们提出了一种方法,利用定义建模引入一个广义的制定SRL的任务描述谓词参数结构使用自然语言定义,而不是离散的标签。我们的新配方的第一步,把可解释性和灵活性放在首位,但我们的实验和分析PropBank风格和FrameNet风格,依赖性为基础的和跨度为基础的SRL也表明,一个灵活的模型与可解释的输出不一定是以牺牲性能。我们在https://github.com/SapienzaNLP/dsrl上发布我们的软件用于研究目的。
2022-12-02 cs.AI cs.CL cs.LG
LM-Lexicon: Improving Definition Modeling via Harmonizing Semantic Experts
BIGAI;Baidu Inc.(百度公司);Peking University(北京大学)
LM-Lexicon通过语义专家学习和混合架构提升定义建模效果,实现BLEU分数提升7%,并优化领域级路由机制
2026-02-15 cs.CL
BLCU-ICALL at SemEval-2022 Task 1: Cross-Attention Multitasking Framework for Definition Modeling
Beijing Language and Culture University(北京语言大学);Beijing Jiaotong University(北京交通大学)
本文介绍了在SemEval-2022任务1比较词典和词嵌入、定义建模子轨道中使用的BLCU-ICALL系统,在意大利语上获得第一名,在西班牙语和俄语上获得第二名,在英语和法语上获得第三名。我们提出了一个基于transformer的多任务框架来探索任务。该框架通过交叉注意力机制集成了多个嵌入架构,并通过掩蔽语言模型目标捕获注释的结构。此外,我们还研究了一种简单但有效的模型集成策略,以进一步提高鲁棒性。评估结果表明了我们的解决方案的有效性。我们在https://github.com/blcuicall/SemEval2022-Task1-DM上发布代码。
2022-04-16 cs.CL
Multilingual Definition Modeling
National Institute of Advanced Industrial Science and Technology(国家先进工业科学与技术研究院);The University of Tokyo(东京大学)
本文首次对西班牙语、法语、葡萄牙语和德语开展多语言定义建模研究,发现微调多语言模型与英语性能相当但缺乏跨语言协同,LLM零样本表现更优,且该任务可作为多语言LLM基准的轻量替代。
2025-06-02 cs.CL
VCDM: Leveraging Variational Bi-encoding and Deep Contextualized Word Representations for Improved Definition Modeling
Graduate School of Engineering(工程研究生院);The University of Tokyo(东京大学)
在本文中,我们解决了定义建模的任务,其目标是学习生成单词和短语的定义。现有的方法,这一任务是歧视性的,结合分布和词汇语义在一个隐含的,而不是直接的方式。为了解决这个问题,我们提出了一个生成模型的任务,引入了一个连续的潜在变量,明确建模上下文中使用的短语和它的定义之间的潜在关系。我们依靠变分推理进行估计,并利用上下文化的词嵌入来提高性能。我们的方法是评估现有的四个具有挑战性的基准,增加了两个新的数据集,“剑桥”和第一个非英语语料库“罗伯特”,我们发布,以补充我们的实证研究。我们的变分上下文定义建模器(VCDM)在自动和人工评估指标方面实现了最先进的性能,证明了我们方法的有效性。
2020-10-07 cs.CL cs.LG
Vec2Gloss: definition modeling leveraging contextualized vectors with Wordnet gloss
National Taiwan University(台湾大学)
本文提出Vec2Gloss模型,利用中文Wordnet释义模式从上下文嵌入生成词语定义,并设计依存性指标分析生成文本,为上下文嵌入的词汇语义应用提供新视角。
2023-05-29 cs.CL
Evaluating a Multi-sense Definition Generation Model for Multiple Languages
University of New Brunswick(新不伦瑞克大学)
大多数先前的定义建模工作没有考虑到一词多义,或者通过考虑在给定上下文中对目标词的定义建模来实现。相比之下,在这项研究中,我们提出了一个上下文无关的方法来定义建模,基于多意义的词嵌入,这是能够产生多个定义的目标词。此外,与大多数以前的工作,主要集中在英语相比,我们评估了我们提出的方法对15个不同的数据集,涵盖9种语言,从几个语言家族。为了评估我们的方法,我们考虑几个变化的BLEU。我们的结果表明,我们提出的多意义模型优于所有15个数据集上的单意义模型。
2020-06-12 cs.CL cs.LG
Exploiting Low-dimensional Structures to Enhance DNN Based Acoustic Modeling in Speech Recognition
Idiap Research Institute(伊迪亚普研究所);University of Fribourg(弗里堡大学)
我们建议将深度神经网络(DNN)类条件后验概率的声学空间建模为低维子空间的联合。为此,训练后验用于字典学习和稀疏编码。使用该字典的测试后验的稀疏表示使得能够投影到训练数据的空间。依赖于这样的事实,即后验子空间的内在尺寸确实是非常小的,属于一类的所有后验的矩阵具有非常低的秩,我们演示了如何低维结构,使进一步增强后验和纠正虚假的错误,由于失配条件。增强的声学建模方法导致使用混合DNN-HMM(隐马尔可夫模型)框架在干净和噪声条件下的连续语音识别任务的改进,其中实现了高达15.4%的字出错率(WER)的相对降低。
2016-01-22 cs.CL cs.LG stat.ML
Information Screening whilst Exploiting! Multimodal Relation Extraction with Feature Denoising and Multimodal Topic Modeling
National University of Singapore(新加坡国立大学);Singapore Management University(新加坡管理大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文针对多模态关系抽取中内部信息过载与外部信息利用不足的问题,提出融合场景图构建跨模态图、基于信息瓶颈去噪并引入多模态主题建模的新框架,在基准数据集上显著超越现有最佳模型。
2023-05-25 cs.CL cs.CV
Noise-Robust ASR for the third 'CHiME' Challenge Exploiting Time-Frequency Masking based Multi-Channel Speech Enhancement and Recurrent Neural Network
Lingban Technology Co., Ltd.(灵伴科技有限公司)
本文介绍了第三届“CHiME”语音分离与识别挑战赛的Lingban参赛情况。提出了一种基于时频掩蔽的语音增强前端,利用多通道相干性和空间信息抑制环境噪声。最先进的语音识别技术,即基于循环神经网络的声学和语言建模、基于状态空间最小贝叶斯风险的判别声学建模和基于i向量的声学条件建模,被仔细地集成到语音识别后端中。为了充分发挥不同技术的优势,进一步提高系统性能,通过格点合并和重评分得到最终的识别结果。在官方数据集上进行的评估证明了所提出的系统的有效性。与最佳基线结果相比,该系统在真实数据测试集上获得了超过57%的相对字出错率降低的一致改进。
2015-09-24 cs.CL cs.SD
Exploiting Cross-Lingual Knowledge in Unsupervised Acoustic Modeling for Low-Resource Languages
The Chinese University of Hong Kong(香港中文大学)
本文研究了零资源环境下的自动语音识别(ASR)的无监督声学建模(UAM)问题。UAM不仅在解决ASR技术发展中数据稀缺的普遍问题方面非常重要,而且对于许多非主流应用也至关重要,例如语言保护,语言习得和病理性言语评估。本研究集中在两个研究问题。第一个问题涉及在给定语言中的基本(子字级)语音单元的无监督发现。在零资源条件下,可以仅从声学信号推断语音单元,而不需要或涉及任何语言方向和/或约束。第二个问题被称为无监督子字建模。从本质上讲,需要从未转录的语音中学习帧级特征表示。学习的特征表示是子词单元发现的基础。期望它是语言上有区别的,并且对非语言因素是鲁棒的。特别是广泛使用的跨语言知识的子词单元发现和建模是本研究的重点。
2020-07-29 cs.CL cs.SD eess.AS
Open Relation Modeling: Learning to Define Relations between Entities
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University at Buffalo(布法罗大学);NVIDIA(英伟达)
实体之间的关系可以由不同的实例表示,例如,包含知识图谱(KG)中的实体或事实的句子。然而,这些实例可能无法很好地捕捉实体之间的一般关系,可能难以被人类理解,甚至可能由于知识源的不完整而无法被发现。在本文中,我们介绍了开放关系建模问题-给定两个实体,生成一个连贯的句子来描述它们之间的关系。为了解决这个问题,我们建议教机器通过让它们从定义实体中学习来生成类似定义的关系描述。具体来说,我们微调预训练的语言模型(PLM),以产生基于提取的实体对的定义。为了帮助PLM实体之间的原因,并提供额外的关系知识,PLM开放关系建模,我们将推理路径在KG,并包括一个推理路径选择机制。实验结果表明,我们的模型可以生成简洁,但信息量大的关系描述,捕捉实体的代表性特征。
2022-03-03 cs.AI cs.CL
Exploiting Cross-Lingual Speaker and Phonetic Diversity for Unsupervised Subword Modeling
The Chinese University of Hong Kong(香港中文大学)
本研究解决了低资源语言的转录训练数据是缺席的声学建模的问题。我们的目标是学习鲁棒的帧级特征表示,可用于识别和区分子字级语音单元。所提出的特征表示包括通过深度神经网络(MTL-DNN)的多任务学习获得的各种类型的多语言瓶颈特征(BNF)。其中一个关键问题是如何为未转录的训练数据获取高质量的框架标签,以促进有监督的DNN训练。它表明,学习强大的BNF表示可以实现有效地利用转录的语音数据和训练有素的自动语音识别(ASR)系统从一个或多个域外(资源丰富)的语言。域外ASR系统可以应用于使用目标语言的未转录训练数据来执行说话人自适应,并将训练语音解码为用于DNN训练的帧级标签。它也被发现,更好的帧标签,可以通过考虑语音的时间依赖性时,执行帧聚类生成。在ZeroSpeech 2017挑战赛的第1轨道中,对所提出的特征学习方法进行了无监督子词建模的标准任务评估。我们的系统实现的最佳性能是$9.7\%$在跨扬声器三音子最小对ABX错误率,这是最近报道的最好的系统相媲美。最后,我们的调查表明,目标语言和域外语言之间的接近程度以及单个目标语言的可用训练数据量可能对学习特征的良好性产生重大影响。
2019-09-29 cs.CL eess.AS
IRB-NLP at SemEval-2022 Task 1: Exploring the Relationship Between Words and Their Semantic Representations
Ruđer Bošković Institute(鲁杰尔·博什科维奇研究所)
一个词和它的描述,或者一个词和它的嵌入之间的关系是什么?描述和嵌入都是词的语义表征。但是,在这些表征中保留了来自原始词的哪些信息呢?或者更重要的是,这两种表征共享了关于一个词的哪些信息?定义建模和反向词典是解决这些问题的两个相反的学习任务。定义建模任务的目标是研究隐藏在词嵌入中的信息的力量,以人类可理解的方式表达单词的含义-作为字典定义。相反,反向词典任务探索直接从定义预测词嵌入的能力。在本文中,通过处理这两个任务,我们正在探索词和它们的语义表征之间的关系。我们根据对CODWOE数据集进行的描述性、探索性和预测性数据分析提出了我们的研究结果。我们详细介绍了我们为定义建模和反向字典任务设计的系统,并在SemEval-2022 CODWOE挑战赛的几个子任务中获得了最高分。我们希望我们提供的有关预测模型和数据分析的实验结果将被证明对未来单词表示及其关系的探索有用。
2022-05-13 cs.CL
Exploiting BERT for End-to-End Aspect-based Sentiment Analysis
The Chinese University of Hong Kong(香港中文大学);Alibaba DAMO Academy(阿里巴巴达摩院)
在本文中,我们研究了E2 E-ABSA任务中来自预训练语言模型(例如BERT)的上下文嵌入的建模能力。具体来说,我们构建了一系列简单但有见地的神经基线来处理E2 E-ABSA。实验结果表明,即使使用简单的线性分类层,我们基于BERT的架构也可以超越最先进的作品。此外,我们还标准化的比较研究,始终利用一个坚持的验证数据集的模型选择,这是在很大程度上被忽略了以前的工作。因此,我们的工作可以作为一个基于BERT的基准E2 E-ABSA。
2019-10-04 cs.CL
Enriching Word Usage Graphs with Cluster Definitions
University of Oslo(奥斯陆大学);University of Stuttgart(斯图加特大学)
本文提出一个通过微调编码器-解码器模型生成聚类标签作为词义定义来丰富多语言词用图(WUGs)的数据集,人工评估表明其优于WordNet基线,有助于推进可解释的语义变化建模。
2024-03-26 cs.CL
Open Named Entity Modeling from Embedding Distribution
Shanghai Jiao Tong University(上海交通大学);University of Southern California(南加州大学)
在本文中,我们报告了我们的发现命名实体分布在一般的词嵌入空间,这有助于一个开放的定义多语言命名实体的定义,而不是以前的封闭和约束定义命名实体通过命名实体字典,这通常是来自人工劳动和响应时间表更新。我们对单语词嵌入的初步可视化表明,命名实体倾向于聚集在一起,尽管命名实体类型和语言差异,这使我们能够使用嵌入空间内的特定几何结构,即命名实体超球体来建模所有命名实体。对于单语言的情况下,建议的命名实体模型给出了一个开放的描述不同的命名实体类型和不同的语言。对于跨语言的情况下,映射所提出的命名实体模型提供了一种新的方式来构建命名实体数据集的资源贫乏的语言。最后,所提出的命名实体模型可以作为一个方便的线索,以提高国家的最先进的命名实体识别系统一般。
2021-02-10 cs.CL cs.IR
Describing Videos by Exploiting Temporal Structure
Université de Montréal(蒙特利尔大学);École Polytechnique de Montréal(蒙特利尔理工学院);Université de Sherbrooke(舍布鲁克大学)
最近在使用递归神经网络(RNN)进行图像描述方面取得的进展,激发了对其在视频描述中应用的探索。然而,虽然图像是静态的,但处理视频需要对其动态时间结构进行建模,然后将这些信息适当地集成到自然语言描述中。在这种情况下,我们提出了一种方法,成功地考虑到本地和全球的时间结构的视频产生的描述。首先,我们的方法采用了时空3-D卷积神经网络(3-D CNN)表示的短时动态。在视频动作识别任务上训练3-D CNN表示,以便产生针对人类运动和行为调谐的表示。其次,我们提出了一种时间注意机制,允许超越局部时间建模,并学习自动选择最相关的时间段给定的文本生成RNN。我们的方法超过了Youtube2Text数据集上BLEU和METEOR指标的当前最先进水平。我们还展示了一个新的,更大的,更具有挑战性的配对视频和自然语言描述数据集的结果。
2015-10-01 cs.AI cs.CL cs.CV
Definition generation for lexical semantic change detection
University of Oslo(奥斯陆大学)
本文提出用大语言模型生成词语定义作为义项表示,通过比较不同时期定义分布来检测历时词汇语义变化,在五个数据集和三种语言上取得与现有无监督方法相当或更优的效果,并保持可解释性。
2024-07-31 cs.CL
Dict-BERT: Enhancing Language Model Pre-training with Dictionary
Microsoft Cognitive Services Research(微软认知服务研究院);University of Notre Dame(圣母大学);Carnegie Mellon University(卡内基梅隆大学)
预训练语言模型(PLM)旨在通过在大规模语料库上进行自我监督训练任务来学习通用语言表示。由于PLM在不同的上下文中捕获单词语义,单词表示的质量高度依赖于词频,其通常在预训练语料库中遵循重尾分布。因此,尾部的稀有词的嵌入通常优化得很差。在这项工作中,我们专注于通过利用字典中罕见单词的定义来增强语言模型预训练(例如,Wiktionary)。为了将一个罕见词的定义作为输入的一部分,我们从字典中获取它的定义,并将其附加到输入文本序列的末尾。除了使用掩蔽语言建模目标进行训练外,我们还提出了两个新的自监督预训练任务,用于输入文本序列和稀有词定义之间的词和词级对齐,以增强字典的语言建模表示。我们评估建议的Dict-BERT模型上的语言理解基准GLUE和八个专业领域的基准数据集。大量的实验表明,Dict-BERT可以显着提高对稀有词的理解,并提高各种NLP下游任务的模型性能。
2022-03-20 cs.AI cs.CL cs.LG
xSense: Learning Sense-Separated Sparse Representations and Textual Definitions for Explainable Word Sense Networks
National Taiwan University(国立台湾大学)
尽管在各种自然语言处理任务上取得了成功,但由于密集的向量表示,词嵌入难以解释。本文着重于解释嵌入的各个方面,包括意义分离的向量维和定义生成。具体来说,给定一个上下文和一个目标词,该算法首先将目标词嵌入投影到一个高维稀疏向量上,并通过编码的上下文信息选择最能解释目标词语义的维度,从而间接推断出目标词的意义。最后,我们的算法应用RNN以人类可读的形式生成目标词的文本定义,这使得能够直接解释相应的词嵌入。本文还介绍了一个大的,高质量的上下文定义数据集,包括意义定义连同多个例句每个多义词,这是一个有价值的资源定义建模和词义消歧。所进行的实验表明,在BLEU评分和人类评价测试的优越性能。
2018-09-10 cs.CL
Modeling Named Entity Embedding Distribution into Hypersphere
Shanghai Jiao Tong University(上海交通大学);Brown University(布朗大学)
本文从嵌入空间的拓扑结构可视化的角度对命名实体分布进行建模,从而假设一种语言的大多数(如果不是全部的话)命名实体(NE)倾向于聚集在一起,以容纳在嵌入空间中的特定超球体中。因此,我们提出了一个新的开放的定义NE,弥补了明显的缺点,在以前的封闭NE定义与有限的NE字典。然后,我们展示了两个应用与介绍所提出的命名实体超球模型。首先,使用生成对抗神经网络学习两个嵌入空间的转换矩阵,从而方便地确定目标语言中命名实体的分布,表明仅利用嵌入空间之间的同构关系就能快速发现命名实体的潜力。第二,命名实体超球体模型直接与句子上的各种命名实体识别模型集成,以实现最先进的结果。仅假设嵌入是可用的,我们展示了一个有效的命名实体分布描述的先验知识自由的方法。
2019-09-03 cs.CL
Distributional Modeling on a Diet: One-shot Word Learning from Text Only
The University of Texas at Austin(德克萨斯大学奥斯汀分校)
我们测试了分布模型是否可以只从文本中一次性学习定义属性。使用贝叶斯模型,我们发现,第一次学习的总体结构在已知的数据中,在文本上下文和属性中,有助于一次性学习,并且个别上下文项可以是高度信息化的。我们的实验表明,我们的模型可以从一个单一的曝光时,给出了一个信息的话语学习属性。
2017-10-13 cs.CL