首页/论文/1808.05907

arXiv 1808.059072018-08-14cs.CL

Syntree2Vec -一种将句法层次增加到词嵌入中的算法

Syntree2Vec - An algorithm to augment syntactic hierarchy into word embeddings

VIT, Vellore（韦洛尔理工学院）

Shubham Bhardwaj

备注：: 6 pages, 3 figures, (rejected at ACL - initial stage work)

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

摘要英文摘要相关论文

摘要：

词嵌入的目的是将词的意义映射到一个较低维的向量空间，以便对它们进行推理。在领域特定数据上训练嵌入有助于表达与其用例更相关的概念，但当数据较少时，准确性会降低。我们的努力是通过将语法知识注入嵌入来最大限度地减少这一点。我们提出了一个基于图的嵌入算法的灵感来自node 2 vec。实验结果表明，我们的算法提高了语法强度，并给出了少量数据的鲁棒性能。

英文摘要：

Word embeddings aims to map sense of the words into a lower dimensional vector space in order to reason over them. Training embeddings on domain specific data helps express concepts more relevant to their use case but comes at a cost of accuracy when data is less. Our effort is to minimise this by infusing syntactic knowledge into the embeddings. We propose a graph based embedding algorithm inspired from node2vec. Experimental results have shown that our algorithm improves the syntactic strength and gives robust performance on meagre data.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

语法数据增强提高了推理启发式的鲁棒性

Syntactic Data Augmentation Increases Robustness to Inference Heuristics

Johns Hopkins University（约翰斯·霍普金斯大学）；Google Research（谷歌研究院）

预训练的神经模型，如BERT，当被微调以执行自然语言推理（NLI）时，通常在标准数据集上显示出高准确性，但在受控挑战集上显示出惊人的对词序缺乏敏感性。我们假设这个问题主要不是由预训练模型的局限性引起的，而是由于缺乏可能在微调阶段传达句法结构重要性的众包NLI示例。我们探讨了几种方法来增加标准的训练集与句法信息的例子，通过应用句法转换从MNLI语料库的句子。表现最好的增强方法，主语/宾语倒置，提高了BERT的准确性控制的例子，诊断敏感性从0.28到0.73，不影响性能的MNLI测试集。这种改进超出了用于数据增强的特定结构，表明增强导致BERT招募抽象语法表示。

2020-04-24cs.CL

面向释义生成的层次草图归纳

Hierarchical Sketch Induction for Paraphrase Generation

Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）

我们提出了一个生成模型的释义生成，鼓励句法多样性的条件下明确的句法草图。我们介绍了分层细化量化变分自编码器（HRQ-VAE），一种用于学习密集编码分解的方法，作为一系列离散潜变量，使迭代细化的粒度增加。这种代码层次结构是通过端到端训练学习的，并且表示关于输入的从细到粗的粒度信息。我们使用HRQ-VAE编码的句法形式的输入句子的路径通过层次结构，使我们能够更容易地预测句法草图在测试时。包括人类评估在内的大量实验证实，HRQ-VAE学习输入空间的分层表示，并生成比以前的系统更高质量的释义。

2022-03-21cs.CL

低资源僧伽罗语-英语神经机器翻译中词汇表外问题的数据增强

Data Augmentation to Address Out-of-Vocabulary Problem in Low-Resource Sinhala-English Neural Machine Translation

University of Moratuwa（莫拉图瓦大学）

词汇表外（Out-of-Vocabulary，OOV）是神经机器翻译（NMT）的一个难题。OOV指的是在训练数据中出现率低的单词，或者指的是在训练数据中不存在的单词。为了减轻这种情况，已经使用了基于单词或短语的数据增强（DA）技术。然而，现有的DA技术只解决了这些OOV类型之一，并限制考虑语法约束或语义约束。我们提出了一个词和短语的补充为基础的DA技术，考虑这两种类型的OOV，通过增加（1）在现有的平行语料库中的罕见的话，和（2）从双语词典的新词。在增强过程中，我们考虑了词的句法和语义属性，以保证合成句子的流畅性。这种技术是用低资源的僧伽罗语-英语语言对进行实验的。我们观察到，只有语义约束的DA，结果是可比的分数考虑到句法约束，并有利于低资源的语言，缺乏语言工具的支持。此外，通过考虑句法和语义约束，可以进一步改善结果。

2022-05-18cs.CL

基于句法信息的越汉词性标注

Augmenting Part-of-speech Tagging with Syntactic Information for Vietnamese and Chinese

在越南语自然语言处理中，分词和词性标注是下游任务的两个关键的前期工作。实际上，人们在进行分词和词性标注时往往也会考虑短语边界，而不是仅仅从左到右逐词处理。在本文中，我们实现了这一想法，以提高分词和词性标注越南语采用简化的选区分析器。我们的联合分词和词性标注的神经模型具有基于音节的CRF选区解析器的架构。为了降低解析的复杂性，我们用一个表示短语的标签替换所有的组成标签。该模型可以通过其他工具使用预测的词边界和词性标记来增强。由于越南语和汉语有一些相似的语言现象，我们在三个越南基准数据集和六个汉语基准数据集上评估了所提出的模型及其增强版本。我们的实验结果表明，该模型实现了更高的性能比以前的作品为两种语言。

2021-06-16cs.CL

基于句法控制的释义网络的对抗性实例生成

Adversarial Example Generation with Syntactically Controlled Paraphrase Networks

Allen Institute of Artificial Intelligence（艾伦人工智能研究所）；UMass Amherst（马萨诸塞大学阿默斯特分校）；Carnegie Mellon University（卡内基梅隆大学）；Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；University of Washington（华盛顿大学）

我们提出了语法控制的释义网络（SCPNs），并使用它们来生成对抗性的例子。给定一个句子和一个目标句法形式（例如，选区解析）时，SCPN被训练以产生具有期望语法的句子的释义。我们表明，它是可能的，首先做一个非常大的规模的反向翻译，然后使用一个解析器来标记在这个过程中自然发生的语法转换，为这个任务创建训练数据。这些数据允许我们用额外的输入来训练神经编码器-解码器模型，以指定目标语法。自动化和人工评估的组合表明，SCPNs生成的释义遵循其目标规范，而不会降低释义质量相比，基线（不受控制的）释义系统。此外，它们更有能力生成语法对抗性的示例，这些示例（1）“欺骗”预训练模型，（2）在用于增强其训练数据时提高这些模型对语法变化的鲁棒性。

2018-04-17cs.CL

低资源机器翻译中句法分歧的处理

Handling Syntactic Divergence in Low-resource Machine Translation

Carnegie Mellon University（卡内基梅隆大学）

尽管神经机器翻译（NMT）在标准基准测试中取得了令人印象深刻的经验成功，但有限的并行数据阻碍了NMT模型在许多语言对中的应用。诸如反向翻译的数据增强方法使得使用单语数据来帮助缓解这些问题成为可能，但是反向翻译本身在极端低资源情况下失败，特别是对于句法不同的语言。在本文中，我们提出了一个简单而有效的解决方案，即目标语言的句子被重新排序，以匹配源的顺序，并作为一个额外的来源，训练时间的监督。通过模拟低资源日语到英语和真实低资源维吾尔语到英语场景的实验，发现与其他半监督替代方案相比有显着改善。

2019-08-30cs.CL

更多相关论文收起更多论文

HILL：用于层次化文本分类的层次感知无信息损失对比学习

HILL: Hierarchy-aware Information Lossless Contrastive Learning for Hierarchical Text Classification

Beihang University（北京航空航天大学）；Central University of Finance and Economics（中央财经大学）；Zhongguancun Laboratory（中关村实验室）

针对层次化文本分类中自监督对比学习依赖人工增强导致信息失真的问题，提出无信息损失对比学习方法HILL，通过结构编码器提取标签层次句法信息并注入文本表示，在三个数据集上验证了其优越性。

2024-03-26cs.CLcs.ITmath.IT

逐层最小对探测揭示语音表征中的上下文语法-概念层级结构

Layer-wise Minimal Pair Probing Reveals Contextual Grammatical-Conceptual Hierarchy in Speech Representations

Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）

本文首次系统评估多种语音语言模型中的上下文句法与语义特征，通过71个任务的最小对探测发现语音编码器普遍更稳健地编码语法特征而非概念特征。

2025-09-19cs.CLeess.AS

基于实例的句法搜索引导关系抽取器

Bootstrapping Relation Extractors using Syntactic Search by Examples

Allen Institute for AI（艾伦人工智能研究所）；Bar Ilan University（巴伊兰大学）

自然语言处理中神经网络的出现带来了监督式关系抽取的实质性改进。然而，获得足够数量的训练数据仍然是一个关键挑战。在这项工作中，我们提出了一个引导训练数据集的过程，可以由非NLP专家快速执行。我们利用搜索引擎的语法图（如Shlain et al.（2020）），它揭示了一个友好的例子语法。我们使用这些来获得积极的例子，通过搜索的句子，在句法上类似于用户输入的例子。我们将这种技术应用于TACRED和DocRED的关系，并表明所得到的模型与手动注释数据和从远程监督获得的数据上训练的模型具有竞争力。该模型还优于使用NLG数据增强技术训练的模型。使用NLG方法扩展基于搜索的方法进一步改善了结果。

2021-02-09cs.CL

探索多语言句法句子表示

Exploring Multilingual Syntactic Sentence Representations

Wattpad

我们研究学习具有句法结构的句子嵌入的方法。我们专注于学习的方法，通过使用一个多语言的并行语料库增强通用词性标记的句法嵌入。我们通过检查嵌入空间中的最近邻和功能相异性来评估学习嵌入的质量。我们还评估了该方法学习低资源语言的语法嵌入的能力，并证明了迁移学习的有力证据。我们的研究结果表明，语法嵌入可以学习，同时使用更少的训练数据，更少的模型参数，并导致更好的评价指标比国家的最先进的语言模型。

2019-10-25cs.CLcs.LGeess.AS

文本嵌入模型对语法的理解程度如何？

How Well Do Text Embedding Models Understand Syntax?

Zhejiang University（浙江大学）；Angelalign Inc., China（时代天使公司）；National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong, Shenzhen, China（香港中文大学（深圳））；Nanyang Technological University（南洋理工大学）

本研究构建SR评估集，揭示文本嵌入模型在句法理解上的不足，分析原因并提出增强其句法泛化能力的策略。

2023-11-14cs.CL

显式反例对提高神经语言模型句法能力的效用分析

An Analysis of the Utility of Explicit Negative Examples to Improve the Syntactic Abilities of Neural Language Models

Artificial Intelligence Research Center（人工智能研究中心）；AIST（产业技术综合研究所）

我们探讨了显式反例在训练神经语言模型中的效用。这里的反例是句子中不正确的单词，例如“*The dogs barks”中的“barks”。神经语言模型通常只在正例上训练，即训练数据中的一组句子，但最近的研究表明，以这种方式训练的模型不能鲁棒地处理复杂的句法结构，例如长距离协议。在本文中，我们首先使用英语语料，证明了适当地使用关于特定结构的反例（例如，主谓一致）将提高模型对它们的鲁棒性，而困惑的损失可以忽略不计。我们成功的关键是正确单词和错误单词的对数可能性之间的额外裕度损失。然后，我们提供了对训练模型的详细分析。我们的发现之一是RNN的对象关系子句的困难。我们发现，即使我们的直接学习信号的模型仍然遭受解决协议跨对象相关条款。虽然增加了包含主谓结构的训练句，但准确率仍达不到主谓关系分句的水平。虽然没有直接的认知吸引力，但我们的方法可以成为分析神经模型在具有挑战性的语言结构上的真正架构限制的工具。

2020-06-06cs.CL

控制、生成、扩充：一个可扩展的多属性文本生成框架

Control, Generate, Augment: A Scalable Framework for Multi-Attribute Text Generation

ETH Zurich（苏黎世联邦理工学院）；Swisscom（瑞士电信）

我们引入CGA，一个有条件的VAE架构，控制，生成和增强文本。CGA能够通过将对抗学习与上下文感知损失和循环词丢弃例程相结合来生成控制多个语义和句法属性的自然英语句子。我们证明了消融研究中单个模型组件的价值。我们的方法的可扩展性是通过一个单一的可扩展性，独立于属性的数量。我们通过一系列自动和人工评估，在生成的句子中显示出高质量，多样性和属性控制。作为我们工作的主要应用，我们测试了这种新的NLG模型在数据增强场景中的潜力。在下游NLP任务中，我们的CGA模型生成的句子在强大的基线上显示出显着的改进，并且分类性能通常与添加相同数量的额外真实数据相当。

2020-10-02cs.CL

BERT4GCN：使用BERT中间层来增强GCN，用于基于情绪的情感分类

BERT4GCN: Using BERT Intermediate Layers to Augment GCN for Aspect-based Sentiment Classification

Jinan University（暨南大学）；Guangzhou Xuanyuan Research Institute Company, Ltd.（广州轩辕研究院有限公司）；Guangzhou Yunqu Information Technology Company, Ltd.（广州云衢信息技术有限公司）

基于图的基于情感的情感分类（ABSC）方法已经产生了最先进的结果，特别是当配备有来自预训练语言模型（PLM）的上下文词嵌入时。然而，他们忽略了上下文的顺序特征，还没有充分利用PLM。在本文中，我们提出了一种新的模型，BERT 4GCN，它集成了语法序列特征的PLM的BERT，和语法知识的依赖图。BERT 4GCN利用来自BERT的中间层的输出和字之间的位置信息来增强GCN（图卷积网络）以更好地编码用于下游分类的依赖图。实验结果表明，所提出的BERT 4 GCN优于所有国家的最先进的基线，证明GCN与BERT的中间层的语法特征增强可以显着增强ABSC模型。

2021-10-01cs.CL

从句法和语义的角度提高汉语故事的生成能力

Improving Chinese Story Generation via Awareness of Syntactic Dependencies and Semantics

The University of Surrey（萨里大学）；The University of Sheffield（谢菲尔德大学）

故事生成的目的是在给定的输入条件下生成一个长的叙事。尽管之前的作品在应用预训练模型方面取得了成功，但目前用于中文故事的神经模型仍然难以生成高质量的长文本叙事。我们假设，这源于歧义在句法分析的中文语言，没有明确的分隔符分词。因此，神经模型对中文叙事的特征捕捉效率低下。在本文中，我们提出了一个新的生成框架，通过通知生成模型的单词之间的依赖关系，并通过同义词去噪训练，增加语义表示学习，增强了特征捕获机制。我们进行了一系列的实验，结果表明，我们的框架优于国家的最先进的中文生成模型的所有评价指标，证明了增强的依赖性和语义表示学习的好处。

2022-10-19cs.AIcs.CL

面向深度语义角色标注的半监督学习

Towards Semi-Supervised Learning for Deep Semantic Role Labeling

Carnegie Mellon University（卡内基梅隆大学）

神经模型在语义角色标注（SRL）方面表现出了几种最先进的性能。然而，神经模型需要大量的语义角色语料库，因此不适合低资源语言或领域。本文提出了一种半监督的语义角色标注方法，该方法在有限的SRL训练语料库中的性能优于现有技术。该方法基于通过用语法不一致性损失组件增强训练目标来显式地强制执行语法约束，并使用SRL未标记的实例来训练联合目标LSTM。在CoNLL-2012英语部分，提出的半监督训练1%，10% SRL标记数据和不同量的SRL未标记数据分别达到+1.58，+0.78 F1，超过在SOTA架构上使用ELMo对相同SRL标记数据进行训练的预训练模型。此外，通过使用推理时间上的语法不一致性损失，所提出的模型在1%，10% SRL标记的数据上分别比预训练模型达到+3.67，+2.1 F1。

2018-08-28cs.CL

不完整句法会影响韩语语言模型吗？聚焦词序与格标记

Does Incomplete Syntax Influence Korean Language Model? Focusing on Word Order and Case Markers

School of Computing, KAIST（韩国科学技术院计算机学院）

本研究针对韩语灵活词序与格标记省略的日常交流特点，构建SIKO数据集评估韩语语言模型的句法不完整处理能力，证实模型具备相应灵活性，且该数据集可作为有效数据增强技术提升模型表现。

2024-07-12cs.CL

通过嵌入矩阵增强来丰富神经语言模型中的生僻词表示

Enriching Rare Word Representations in Neural Language Models by Embedding Matrix Augmentation

Nanyang Technological University（南洋理工大学）

神经语言模型（NLM）通过学习词的密集表示并利用它们来估计概率分布函数，从而获得很强的泛化能力。然而，学习稀有词的表示是一个具有挑战性的问题，导致NLM产生不可靠的概率估计。为了解决这个问题，我们提出了一种方法来丰富预训练的NLM中稀有词的表示，从而提高其概率估计性能。该方法在保持其他参数不变的情况下，增加了预训练NLM的词嵌入矩阵。具体来说，我们的方法更新的嵌入向量的罕见的话，使用嵌入向量的其他语义和语法相似的话。为了评估所提出的方法，我们丰富了罕见的街道名称在预先训练的NLM和使用它rescore 100最好的假设输出从新加坡英语语音识别系统。与基线NLM相比，丰富的NLM将单词出错率相对降低了6%，并且将稀有单词的识别准确性绝对提高了16%。

2019-07-31cs.CL

论知识增强数据在词嵌入中的作用

On the Effects of Knowledge-Augmented Data in Word Embeddings

University College London（伦敦大学学院）

本文研究了从大型无注释数据语料库中学习到的词嵌入的知识注入技术。这些表示是用词共现统计数据训练的，并且通常不利用来自语言知识库的句法和语义信息，这可能限制了它们对具有不同语言分布或用法的域的可转移性。我们提出了一种新的语言知识注入方法，通过数据增强学习词嵌入，从数据中执行语义关系，并系统地评估其对所产生的表示的影响。我们表明，我们的知识增强方法提高了学习嵌入的内在特征，同时不会显着改变下游文本分类任务的结果。

2020-10-05cs.CLcs.LG

从语言模型中归纳语言结构

Linguistic Structure Induction from Language Models

INSTITUT FÜR INFORMATIK（信息学研究所）

本论文研究从语言模型中无监督地归纳成分和依存句法结构，重点分析StructFormer模型，通过六个实验评估其性能，并参与BabyLM挑战赛，结果表明改造transformer模型以诱导句法结构具有可行性。

2024-03-11cs.AIcs.CL

自然阅读中层级结构与统计的相对强度因测量指标而异

Structure leads and dominates comprehension in naturalistic reading

Department of Brain and Cognitive Sciences, University of Rochester（罗切斯特大学脑科学与认知科学系）；Department of Linguistics and Modern Languages, the Chinese University of Hong Kong（香港中文大学语言学与现代语言系）；Department of Language Science, University of California Irvine（加州大学 Irvine 分校语言科学系）

本研究通过同步脑电图和眼动追踪，结合贝叶斯网络建模和回归分析，探究层级句法结构与统计因素在在线理解中的相对强度，发现层级结构在阅读前即可影响理解，但其强度因行为或神经层面而异。

2026-06-23cs.CLq-bio.NC

是扩大还是不扩大？低资源NLP文本增强技术的比较研究

To Augment or Not to Augment? A Comparative Study on Text Augmentation Techniques for Low-Resource NLP

Technical University of Darmstadt（达姆施塔特工业大学）

数据饥渴的深度神经网络已经成为许多NLP任务的标准，包括传统的序列标记任务。尽管它们在高资源语言上具有最先进的性能，但在低资源场景中仍然落后于统计对手。对付这个问题的一种方法是文本增强，即，从现有数据生成新的合成训练数据点。虽然NLP最近见证了大量的文本增强技术，但该领域仍然缺乏对各种语言和序列标记任务的系统性能分析。为了填补这一空白，我们研究了三种类型的文本增强方法，它们对语法进行更改（例如，裁剪子句子），标记（例如，随机字插入）和字符（例如，字符交换）级别。我们系统地比较了他们的词性标记，依赖性分析和语义角色标注的一组不同的语言家族使用各种模型，包括依赖于预训练的多语言上下文语言模型，如mBERT的架构。增强最显着地提高了依存关系分析，其次是词性标注和语义角色标注。我们发现实验技术是有效的形态丰富的语言，而不是分析语言，如越南语。我们的研究结果表明，增强技术可以进一步改善基于mBERT的强基线。我们确定的字符级的方法是最一致的表演者，而同义词替换和语法增强提供不一致的改进。最后，我们讨论的结果最严重地依赖于任务，语言对，和模型类型。

2021-11-18cs.AIcs.CL

神经网络和乔姆斯基层次

Neural Networks and the Chomsky Hierarchy

DeepMind；Stanford University（斯坦福大学）

可靠的泛化是安全ML和AI的核心。然而，理解神经网络何时以及如何泛化仍然是该领域最重要的未解决问题之一。在这项工作中，我们进行了广泛的实证研究（20'910模型，15个任务），以调查是否从计算理论的见解可以预测在实践中的神经网络泛化的限制。我们证明，根据乔姆斯基层次结构的分组任务，使我们能够预测某些架构是否能够概括的分布输入。这包括负面结果，即使大量的数据和训练时间也不会导致任何非平凡的泛化，尽管模型具有足够的能力来完美地拟合训练数据。我们的研究结果表明，对于我们的任务子集，RNN和Transformers无法概括非常规任务，LSTM可以解决常规和反语言任务，只有结构化记忆（如堆栈或记忆磁带）增强的网络才能成功概括上下文无关和上下文敏感的任务。

2023-02-28cs.AIcs.CLcs.FL

MAGE：用于低资源情感分类的多头注意力引导嵌入

MAGE: Multi-Head Attention Guided Embeddings for Low Resource Sentiment Classification

School of Computer Science and Engineering, Vellore Institute of Technology（韦洛尔理工学院计算机科学与工程学院）；University of Pretoria（比勒陀利亚大学）

针对低资源班图语言数据稀缺问题，提出结合语言无关数据增强与多头注意力加权嵌入的模型，以增强关键数据点，提升文本分类性能，为低资源语言处理奠定基础。

2025-02-25cs.AIcs.CLcs.IR