Unsupervised Full Constituency Parsing with Neighboring Distribution Divergence
Shanghai Jiao Tong University（上海交通大学）
无监督选区分析已经探索了很多，但仍然远远没有得到解决。传统的无监督选区分析器只能捕获句子的未标记结构。对于无监督的全选区解析，我们提出了一个无监督和训练免费标签程序，利用最近推出的度量，相邻分布发散（NDD），它评估前后版本之间的句子语义相似性的属性。为了实现，我们将NDD发展为双POS-NDD（DP-NDD），并建立“模具”来检测句子中的成分及其标签。我们表明，DP-NDD不仅标签成分准确，但也引入更准确的未标记的选区树比以前所有的无监督方法，更简单的规则。通过两个标记选区树推断框架，我们为未标记的F1设置了新的最新技术水平，并为标记的F1设置了强基线。与传统的预测和评估方案相比，我们的方法作为一个合理的例子，反向应用评估指标的预测。
2021-10-29 cs.CL
Unsupervised Sentence Simplification via Dependency Parsing
Monash University（莫纳什大学）
文本简化是重写文本的任务，使其可读性和易于理解。在本文中，我们提出了一个简单而新颖的无监督句子简化系统，利用解析结构与句子嵌入产生语言有效的简化。这意味着我们的模型能够引入实质性的修改来简化句子，同时保持其原始语义和足够的流畅性。我们在TurkCorpus集上建立了39.13 SARI的无监督最先进水平，并在各种质量指标上与监督基线进行了竞争。此外，我们证明了我们的框架的可扩展性，其他语言通过越南数据的概念验证。复制代码发布在\url{https://github.com/isVy08/USDP}上。
2022-06-10 cs.CL
Zero-shot Dependency Parsing with Unsupervised Cross-Lingual Bootstrapping
VISTEC；Chulalongkorn University（朱拉隆功大学）；AI Singapore（AI新加坡）
提出跨语言无监督自举方法增强预训练语言模型句法知识，显著提升低资源语言零样本依存句法分析性能，并增强句法结构识别鲁棒性。
2026-09-30 cs.CL
Combining Generative and Discriminative Approaches to Unsupervised Dependency Parsing via Dual Decomposition
ShanghaiTech University（上海科技大学）
无监督依存句法分析的目标是从无注释的句子中学习依存句法分析器。现有的工作集中在使用期望最大化算法及其变体学习生成模型，或使用判别聚类算法学习判别模型。在本文中，我们提出了一种新的学习策略，学习一个生成模型和判别模型联合基于对偶分解方法。我们的方法是简单和通用的，但有效地捕捉这两个模型的优点，提高他们的学习结果。我们在UD树库上测试了我们的方法，并在30种语言上实现了最先进的性能。
2017-09-24 cs.CL
Improving Unsupervised Constituency Parsing via Maximizing Semantic Information
the University of Tokyo（东京大学）；Imperial College London（帝国理工学院）；the University of Liverpool（利物浦大学）
本文提出最大化语义信息（SemInfo）目标训练无监督成分句法分析器，通过词袋子树模型和TreeCRF模型优化PCFG解析器，在四种语言中平均提升7.85个F1分数。
2025-04-04 cs.CL
Second-Order Unsupervised Neural Dependency Parsing
ShanghaiTech University（上海科技大学）；Chinese Academy of Sciences（中国科学院）；University of Chinese Academy of Sciences（中国科学院大学）；Alibaba DAMO Academy, Alibaba Group（阿里巴巴达摩院，阿里巴巴集团）；National University of Singapore（新加坡国立大学）
大多数无监督依赖解析器都是基于一阶概率生成模型，只考虑局部父子信息。受二阶监督依存句法分析的启发，我们提出了一个二阶扩展的无监督神经依赖模型，将祖父母-子女或兄弟姐妹的信息。我们还提出了一种新的设计的神经参数化和依赖模型的优化方法。在二阶模型中，语法规则的数量随着词汇量的增加而立方地增长，这使得训练可能包含数千个单词的词汇化模型变得困难。为了避免这个问题，同时仍然受益于二阶解析和词汇化，我们使用基于协议的学习框架，共同训练二阶非词汇化模型和一阶词汇化模型。多个数据集上的实验表明，我们的二阶模型的有效性与最近的国家的最先进的方法相比。我们的联合模型在WSJ完整测试集上比以前最先进的解析器提高了10%
2020-10-28 cs.CL
Unsupervised Discontinuous Constituency Parsing with Mildly Context-Sensitive Grammars
ShanghaiTech University（上海科技大学）；MIT（麻省理工学院）
该研究针对无监督不连续成分句法分析问题，采用LCFRS-2文法并优化规则降低推理复杂度，结合张量分解与嵌入参数化扩展非终结符数量，在德荷语上可归纳出有语言学意义的句法树。
2023-06-09 cs.CL
Unsupervised Parsing by Searching for Frequent Word Sequences among Sentences with Equivalent Predicate-Argument Structures
The University of Tokyo（东京大学）；Imperial College London（伦敦帝国学院）；The University of Liverpool（利物浦大学）
本文提出基于频率的无监督成分句法解析器span-overlap，利用PAS等价句子集合中成分对应频繁词序列的特性，通过最大化span-overlap分数识别成分结构，在十种语言中的八种上达到最先进水平，并发现参与者成分与事件成分之间的统计差异。
2024-08-12 cs.CL
Heads-up! Unsupervised Constituency Parsing via Self-Attention Heads
University of Edinburgh（爱丁堡大学）；Seoul National University（首尔国立大学）
基于transformer的预训练语言模型（PLM）在许多任务中显着改善了NLP的最新技术水平。这导致了对分析PLM学习的语法知识的浓厚兴趣。以前解决这个问题的方法是有限的，主要是使用测试套件或探测器。在这里，我们提出了一种新的完全无监督的解析方法，提取选区树PLM注意头。我们根据Transformer注意力头部的固有属性对其进行排名，并创建一个高排名头部的集合来生成最终的树。我们的方法适用于低资源语言，因为它不依赖于开发集，这可能是昂贵的注释。我们的实验表明，所提出的方法往往优于现有的方法，如果没有开发集。我们的无监督解析器也可以用作分析PLM隐式学习的语法的工具。为此，我们使用我们的方法诱导的解析树来训练神经PCFG，并将其与来自人类注释树库的语法进行比较。
2020-10-19 cs.CL
Dynamic Syntax Mapping: A New Approach to Unsupervised Syntax Parsing
University of Charleston（查尔斯顿大学）
本研究提出动态句法映射（DSM），一种利用句法可替换性生成不变句子进行无监督句法解析的新方法，在长距离主谓一致任务上显著优于先前方法，并展现出广泛适用性。
2023-12-18 cs.CL
Unsupervised Dependency Parsing: Let's Use Supervised Parsers
Institute for Logic, Language, and Computation（逻辑、语言与计算研究所）；University of Amsterdam（阿姆斯特丹大学）
我们提出了一个自我训练的方法来无监督依存句法分析，重用现有的监督和无监督解析算法。我们的方法，被称为“迭代重排序”（IR），开始与依赖树生成的无监督解析器，并迭代地提高这些树使用更丰富的概率模型中使用的监督解析，反过来训练这些树。我们的系统在WSJ语料库上的准确率比Spitkovsky et al.（2013）的部分状态解析器高出1.8%。
2015-04-18 cs.CL cs.LG
On the feasibility of dependency parsing of non-human sequences without a gold standard. Is evaluation possible in other species?
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；University of St Andrews（圣安德鲁斯大学）；University of Michigan（密歇根大学）；Western University（韦仕敦大学）
探讨无黄金标准下非人类序列依存句法分析的可行性，应用网络科学进展，发现非人类灵长类动物发声或手势序列因序列长度分布快速衰减，解析器检索正确边比例高，可无黄金标准评估，人类语言序列则不然。
2026-07-09 cs.CL
Open Intent Discovery through Unsupervised Semantic Clustering and Dependency Parsing
SpeechX Limited（SpeechX有限公司）；The Chinese University of Hong Kong（香港中文大学）；Centre for Perceptual and Interactive Intelligence（感知与交互智能中心）
意图理解在对话系统中起着重要的作用，并且通常被公式化为监督学习问题。然而，从头开始为新领域设计意图是具有挑战性和耗时的，这通常需要领域专家的大量手动工作。本文提出了一种无监督的两阶段方法来发现意图和自动生成有意义的意图标签从一个领域中的未标记的话语的集合。在第一阶段，我们的目标是生成一组语义连贯的集群，其中每个集群内的话语传达相同的意图。我们从各种预训练的句子嵌入中获得话语表示，并提出了一个平衡得分的度量来确定平衡数据集的K-均值聚类中的最佳聚类数。在第二阶段，目标是为每个聚类自动生成意图标签。我们使用依赖解析器从每个话语中提取动作-对象对，并在每个聚类中取最频繁的对，例如，book-restaurant作为生成的intent标签。实验结果表明，该方法可以自动生成有意义的意图标签，并在话语聚类和意图发现中实现高精度和召回率。
2021-12-14 cs.CL
Rule Augmented Unsupervised Constituency Parsing
IIT Bombay（印度理工学院孟买分校）；The University of Texas at Dallas（德克萨斯大学达拉斯分校）
近年来，句法树的无监督分析得到了广泛的关注。这种无监督解析的原型方法采用强化学习和自动编码器。然而，没有机制确保学习的模型利用了良好理解的语言语法。我们提出了一种方法，利用非常通用的语言知识的语法规则的形式存在的语言，从而诱导更好的句法结构。我们介绍了一种新的配方，利用的句法语法规则，是独立的基础系统。我们在两个基准数据集MNLI和WSJ上取得了新的最先进的结果。该论文的源代码可在https://github.com/anshuln/Diora_with_rules上获得。
2021-05-21 cs.CL cs.LG
Unsupervised Mutual Learning of Discourse Parsing and Topic Segmentation in Dialogue
针对对话中话语解析与主题分割的监督标注昂贵及无监督方法忽视二者交互的问题，提出统一表示与两个语言学假设，构建无监督互学习框架UMLF，联合建模修辞与主题结构，在多个数据集上超越强基线并有效提升大语言模型的话语结构建模。
2025-02-24 cs.CL
Improved Latent Tree Induction with Distant Supervision via Span Constraints
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
三十多年来，研究人员已经开发和分析了潜在树归纳方法作为无监督句法分析的一种方法。尽管如此，与有监督的对应系统相比，现代系统的性能仍然不够好，无法作为文本的结构化注释。在这项工作中，我们提出了一种技术，使用远程监督的形式跨度约束（即短语括号），以提高性能，在无监督选区解析。使用相对较少的跨度约束，我们可以大大提高DIORA，已经有竞争力的无监督解析系统的输出。与完整的解析树注释相比，可以以最小的努力获得跨度约束，例如使用来自维基百科的词典，以找到精确的文本匹配。我们的实验表明，基于实体的跨度约束提高了英语WSJ Penn Treebank上的选区解析超过5个F1。此外，我们的方法扩展到任何领域的跨度约束是很容易实现的，作为一个案例研究，我们证明了它的有效性，从CRAFT数据集解析生物医学文本。
2021-11-01 cs.CL
PPT: Parsimonious Parser Transfer for Unsupervised Cross-Lingual Adaptation
University of Melbourne（墨尔本大学）；Amazon Research（亚马逊研究院）
跨语言迁移是在缺乏显式监督的情况下解析低资源语言的主要技术。基于多语言输入编码的简单“直接转移”学习模型提供了一个强有力的基准。本文提出了一种无监督跨语言迁移的方法，通过使用它们的输出作为隐式监督的一部分，在目标语言的无标记文本的自我训练，改进了直接迁移系统。该方法假设最少的资源，并提供最大的灵活性，通过（a）接受任何预先训练的弧因子依赖解析器;（b）假设没有访问源语言数据;（c）支持投射和非投射解析;和（d）支持多源传输。以英语作为源语言，我们显示出显着的改进，在国家的最先进的传输模型上的遥远和附近的语言，尽管我们的概念更简单的方法。我们分析了多源传输的源语言选择以及非投射解析的优势。我们的代码可在线获取。
2021-01-27 cs.CL
Knowledge-guided Unsupervised Rhetorical Parsing for Text Summarization
Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）
由于深度学习的最新进展和大规模语料库的可用性，自动文本摘要（ATS）最近取得了令人印象深刻的性能。为了提高自动文摘系统的自动文摘结果的可信度，提出了一种结合修辞结构理论、深度神经模型和领域知识关注的无监督自动文摘方法。该体系结构主要包括三个部分：基于表示学习的领域知识库构建、修辞分析的注意编码解码器模型和基于子例程的文本摘要模型。领域知识可以有效地用于无监督的修辞分析，从而为每个文档的修辞结构树可以得到。在无监督修辞句法分析模块中，采用了翻译的思想来缓解数据不足的问题。基于子例程的摘要模型完全依赖于派生的修辞结构树，可以生成内容平衡的结果。为了在没有金标准的情况下对摘要结果进行评价，提出了一种无监督的评价指标，其超参数由监督学习调整。实验结果表明，在大规模中文数据集上，该方法可以获得与现有方法相当的性能。
2019-10-14 cs.AI cs.CL
Unsupervised Dual Paraphrasing for Two-stage Semantic Parsing
MoE Key Lab of Artificial Intelligence（教育部人工智能重点实验室）；Department of Computer Science and Engineering（计算机科学与工程系）；AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院）
语义解析的一个令人生畏的问题是注释的缺乏。为了减少非平凡的人力劳动，我们提出了一个两阶段的语义解析框架，其中第一阶段利用一个无监督的释义模型，将一个未标记的自然语言话语转换为规范的话语。下游朴素语义解析器接受中间输出并返回目标逻辑形式。此外，整个训练过程分为两个阶段：预训练和循环学习。在整个训练过程中引入了三个定制的自监督任务来激活无监督释义模型。在基准测试Overnight和GeoGranno上的实验结果表明，我们的框架是有效的，并且与监督训练兼容。
2020-12-22 cs.CL cs.LG
A Critical Analysis of Biased Parsers in Unsupervised Parsing
DeepMind（深度思维）
最近的一系列论文使用了Shen等人的解析算法。（2018）基于“句法深度”的代理来恢复短语结构树。“这些代理深度是从循环语言模型学习的表示中获得的，这些模型增强了鼓励（无监督）发现自然语言句子中潜在的层次结构的机制。使用相同的解析器，我们表明，从传统LSTM语言模型派生的代理生成的树与之前工作中使用的专用架构相当。然而，我们也提供了一个详细的分析算法，显示（1），它是不完整的-也就是说，它只能恢复一小部分可能的树-和（2），它有一个显着的偏见，右分支结构，导致膨胀的性能在右分支语言，如英语。我们的分析表明，有偏见的分析算法的评估可以膨胀的语言模型的表观结构能力。
2019-09-20 cs.CL cs.LG
Cascading and Direct Approaches to Unsupervised Constituency Parsing on Spoken Sentences
National Taiwan University（国立台湾大学）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
本文首次研究口语语句的无监督成分句法分析，比较级联ASR与直接训练两种方法，发现级联方法更优，且准确分割足以解析口语，直接方法能无偏学习头部方向性。
2023-05-09 cs.CL eess.AS
Unsupervised Inference of Data-Driven Discourse Structures using a Tree Auto-Encoder
University of British Columbia（不列颠哥伦比亚大学）
随着在许多下游任务和现实世界的应用中对健壮和通用的话语结构的需求不断增长，目前缺乏高质量，高数量的话语树构成了严重的缺点。为了缓解这一限制，我们提出了一种新的策略来生成树结构在一个任务不可知的，无监督的方式通过扩展一个潜在的树感应框架与自动编码的目标。该方法适用于任何树型结构的目标，如句法分析、篇章分析等。然而，由于特别困难的注释过程中产生的话语树，我们最初开发这样的方法，以补充特定任务的模型，在产生更大，更多样化的话语树库。
2022-10-18 cs.CL
Empirical Analysis for Unsupervised Universal Dependency Parse Tree Aggregation
Iowa State University（爱荷华州立大学）
针对依存分析器跨领域和语言质量不稳定的问题，本文通过广泛实证研究比较多种无监督后处理聚合方法，以识别最合适的依存树结构聚合方案。
2024-04-03 cs.CL
A Hierarchical Transformer for Unsupervised Parsing
BenevolentAI
自然语言的底层结构是分层的;单词组合成短语，短语又形成子句。这种层次结构的意识可以帮助机器学习模型执行许多语言任务。然而，大多数这样的模型只是顺序地处理文本，并且没有偏向于学习编码到其架构中的层次结构。在本文中，我们扩展了最近的Transformer模型（Vaswani等人，2017年）通过使其能够学习分层表示。为了实现这一点，我们采用了Shen等人介绍的排序机制，2018年，到了Transformer架构的自我关注模块。我们训练我们的新模型的语言建模，然后将其应用到无监督解析的任务。我们在WSJ 10数据集的免费子集上获得了合理的结果，F1分数约为50%。
2020-03-30 cs.CL cs.LG
An Unsupervised Joint System for Text Generation from Knowledge Graphs and Semantic Parsing
LMU Munich（慕尼黑大学）；Siemens AG（西门子股份公司）
知识图谱（KG）可以从一个领域到另一个领域有很大的不同。因此，图到文本生成和文本到图知识提取（语义解析）的监督方法总是会受到特定于域的并行图-文本数据的短缺的影响;同时，由于实体和关系中很少或根本没有重叠，调整在不同域上训练的模型通常是不可能的。这种情况需要一种方法，该方法（1）不需要大量的注释数据，因此（2）不需要依赖于领域自适应技术来在不同的领域中很好地工作。为此，我们提出了第一种方法，从KG无监督文本生成，并同时显示它可以用于无监督语义解析。我们评估我们的方法WebNLG v2.1和一个新的基准利用场景图从Visual基因组。我们的系统优于两个文本$\leftrightarrow$图形转换任务的强基线，而无需从一个数据集到另一个数据集进行任何手动调整。在其他实验中，我们研究了使用不同的无监督目标的影响。
2020-11-17 cs.AI cs.CL
Unsupervised Parsing via Constituency Tests
Computer Science Division（计算机科学系）；University of California, Berkeley（加利福尼亚大学伯克利分校）
我们提出了一种基于语言概念的选区测试的无监督解析方法。一种类型的选民测试涉及通过一些转换来修改句子（例如用代词替换跨度），然后判断结果（例如检查它是否符合语法）。基于这个想法，我们设计了一个无监督的解析器，通过指定一组转换，并使用一个无监督的神经接受模型来做出语法决定。为了生成一个给定句子的树，我们通过聚合其选区测试判断来对每个跨度进行评分，并选择总分最高的二叉树。虽然这种方法已经在当前方法的范围内实现了性能，但我们通过细化过程微调语法模型来进一步提高准确性，在该过程中，我们在改进估计树和改进语法模型之间进行交替。改进后的模型在Penn Treebank测试集上达到了62.8 F1，比之前公布的最佳结果绝对提高了7.6分。
2020-10-07 cs.CL cs.LG
Ensemble Distillation for Unsupervised Constituency Parsing
University of Alberta（阿尔伯塔大学）；Borealis AI；Ingenuity Labs Research Institute, Queen’s University（英吉利蒂实验室研究所（女王大学））；McGill University（麦吉尔大学）；Quebec Artificial Intelligence Institute (MILA)（魁北克人工智能研究所（MILA））
本文研究无监督成分句法分析，提出基于“树平均”的集成方法并蒸馏到学生模型以提升效率，有效缓解多教师蒸馏的过度平滑问题，在多种条件下超越已有方法。
2024-04-26 cs.AI cs.CL cs.LG
Syntactic Substitutability as Unsupervised Dependency Syntax
Stanford University（斯坦福大学）；Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）；McGill University（麦吉尔大学）；Facebook（脸书）
本文提出一种与理论无关的新方法，通过在语言模型注意力分布中建模句法可替代性来归纳无监督依存结构，显著提升了长距离主谓一致解析的召回率并展现出跨设置泛化能力。
2023-10-20 cs.CL
Holographic Neural PCFG for Unsupervised Parsing
Ritsumeikan University（立命馆大学）；The Institute of Statistical Mathematics（统计数学研究所）；Kyoto University（京都大学）
研究无监督成分句法分析，提出全息神经PCFG，将规则评分转为代数关系建模，采用全息嵌入赋予规则概率封闭形式。该方法在六种语言中达最优性能，大幅减少参数且训练稳定，还能直接从字符解析日语。
2026-07-10 cs.CL cs.LG
Parsing Universal Dependencies without training
Univ. Paris Diderot（巴黎狄德罗大学）；Sorbonne Paris Cité（索邦巴黎西岱大学）；Alpage；INRIA（法国国家信息与自动化研究所）；IT University of Copenhagen（哥本哈根信息技术大学）；University of Groningen（格罗宁根大学）；University of Copenhagen（哥本哈根大学）
我们提出了UDP，第一个训练免费解析器的通用语法（UD）。我们的算法是基于PageRank和一个小的头部连接规则。它的特点是两步解码，以确保功能词作为叶节点。该解析器不需要训练，并且它与非词汇化的转换系统竞争。UDP为UD的跨语言解析提供了一种语言上合理的无监督替代方案，可以用作此类系统的基线。该解析器的参数非常少，并且对于跨语言的域更改具有明显的健壮性。
2017-01-11 cs.CL
Error Diversity Matters: An Error-Resistant Ensemble Method for Unsupervised Dependency Parsing
University of Alberta（阿尔伯塔大学）；McGill University（麦吉尔大学）
针对无监督依存句法分析，提出一种考虑错误多样性的集成选择方法，通过事后聚合多种模型输出，避免错误累积，提升性能与鲁棒性。
2025-02-06 cs.AI cs.CL cs.LG
StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked Language Modeling
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Google Research（谷歌研究院）
自然语言语法有两大类--依赖性语法（dependency grammar）和选区语法（constituency grammar），依赖性语法对单词之间的一对一对应关系进行建模，选区语法对一个或多个对应单词的组合进行建模。虽然以前的无监督解析方法主要集中在只诱导一类语法，我们引入了一种新的模型，StructFormer，可以同时诱导依赖和选区结构。为了实现这一点，我们提出了一个新的解析框架，可以联合生成一个选区树和依赖图。然后通过一种新的依赖约束的自注意力机制，以可微的方式将诱导的依赖关系集成到Transformer中。实验结果表明，该模型可以同时实现无监督选区句法分析、无监督依存句法分析和掩蔽语言建模。
2021-07-11 cs.AI cs.CL cs.LG
Tree-Averaging Algorithms for Ensemble-Based Unsupervised Discontinuous Constituency Parsing
University of Alberta（阿尔伯塔大学）；Alberta Machine Intelligence Institute（阿尔伯塔机器智能研究所）
针对无监督非连续成分句法分析中现有模型性能高方差的问题，提出基于树平均的集成方法，并给出计算复杂度分析与高效精确算法，在三个数据集上全面超越基线。
2024-11-05 cs.AI cs.CL cs.LG
Unsupervised Vision-Language Parsing: Seamlessly Bridging Visual Scene Graphs with Language Structures via Dependency Relationships
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；ShanghaiTech University（上海科技大学）
理解真实感视觉场景图像和语言描述是实现通用视觉理解的基本任务。先前的工作已经通过为视觉场景构建层次结构（例如，场景图）和自然语言（例如，独立树）。然而，如何构建一个联合的视觉语言（VL）结构几乎没有研究。更具挑战性但值得一提的是，我们引入了一个新的任务，目标是以无监督的方式诱导这种联合VL结构。我们的目标是无缝地连接视觉场景图和语言依赖树。由于缺乏VL结构数据，我们首先构建一个新的数据集VLParse。与其从头开始使用劳动密集型的标记，我们提出了一个自动对齐过程来产生粗糙的结构，然后进行人工细化以产生高质量的结构。此外，我们提出了一个基于对比学习（CL）的框架VLGAE，简称视觉语言图形自动编码器，我们的数据集基准。我们的模型在两个衍生任务上获得了优异的性能，即，语言语法归纳和VL短语的基础。烧蚀显示了视觉线索和依赖关系对细粒度VL结构构建的有效性。
2022-06-01 cs.CL cs.CV
Genre as Weak Supervision for Cross-lingual Dependency Parsing
IT University of Copenhagen（哥本哈根信息技术大学）
最近的工作表明，单语掩蔽的语言模型学习表示数据驱动的语言变化的概念，可用于针对域的训练数据选择。数据集类型标签已经经常可用，但在跨语言设置中仍然很大程度上未被探索。我们利用这种流派元数据作为一个弱的监督信号，有针对性的数据选择zero-shot依存句法分析。具体来说，我们将树库级别的体裁信息投影到更细粒度的句子级别，目标是放大隐式存储在无监督上下文表示中的信息。我们证明，体裁是可恢复的多语言的上下文嵌入，它提供了一个有效的信号，在跨语言的训练数据选择，zero-shot方案。对于12个低资源语言树库，其中6个仅用于测试，我们的特定类型方法显著优于竞争基线以及最近的基于嵌入的数据选择方法。此外，基于体裁的数据选择为这些目标语言中的三种提供了新的最先进的结果。
2021-09-10 cs.CL
Probability Distribution Collapse: A Critical Bottleneck to Compact Unsupervised Neural Grammar Induction
本文针对无监督神经文法归纳中的概率分布坍缩问题，提出坍缩松弛神经参数化方法，在提升句法分析性能的同时实现更紧凑的文法表示。
2025-09-25 cs.CL
PCFGs Can Do Better: Inducing Probabilistic Context-Free Grammars with Many Symbols
Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）；ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Edinburgh（爱丁堡大学）；University of Chinese Academy of Sciences（中国科学院大学）
具有神经参数化的概率上下文无关文法（PCFG）在无监督短语结构文法归纳中已被证明是有效的。然而，由于PCFG表示和解析的立方计算复杂性，先前的方法不能扩展到相对大量的（非终结符和前终结符）符号。在这项工作中，我们提出了一种新的参数化形式的PCFG的张量分解的基础上，它具有最多的二次计算复杂性的符号数，因此允许我们使用更大数量的符号。我们进一步使用神经参数化的新形式，以提高无监督解析性能。我们在十种语言中评估了我们的模型，并以经验证明了使用更多符号的有效性。我们的代码：https://github.com/sustcsonglin/TN-PCFG
2021-04-28 cs.CL
Multilingual Constituency Parsing with Self-Attention and Pre-Training
University of California, Berkeley（加州大学伯克利分校）
我们表明，选区解析受益于无监督的预训练在各种语言和一系列的预训练条件。我们首先比较了无预训练、fastText、ELMo和BERT对英语的好处，发现BERT优于ELMo，这在很大程度上是由于模型容量的增加，而ELMo反过来又优于非上下文的fastText嵌入。我们还发现，预训练在所有11种测试语言中都是有益的;然而，大的模型大小（超过1亿个参数）使得为每种语言训练单独的模型在计算上非常昂贵。为了解决这个缺点，我们证明了联合多语言预训练和微调允许在最终模型中共享10种语言之间的所有参数，但只有少数参数。与每种语言微调一个模型相比，模型大小减少10倍，只会导致总体相对误差增加3.2%。我们进一步探讨了联合微调的想法，并表明它为低资源语言提供了一种从其他语言的更大数据集中受益的方法。最后，我们展示了11种语言的最新结果，包括英语（95.8 F1）和中文（91.8 F1）。
2019-06-04 cs.CL
Unsupervised Learning of Syntactic Structure with Invertible Neural Projections
Language Technologies Institute（语言技术研究所）；School of Computer Science（计算机科学学院）；Carnegie Mellon University（卡内基梅隆大学）
句法结构的无监督学习通常使用具有离散潜变量和多项式参数的生成模型来执行。在大多数情况下，这些模型没有利用连续的单词表示。在这项工作中，我们提出了一种新的生成模型，共同学习离散的句法结构和连续的单词表示在无监督的方式级联可逆神经网络与结构化的生成先验。我们表明，可逆性条件允许有效的精确推理和边际似然计算在我们的模型中，只要事先是良好的行为。在实验中，我们实例化我们的方法与马尔可夫和树结构的先验，评估两个任务：部分的语音（POS）的归纳，和无监督的依存句法分析没有黄金POS注释。在Penn Treebank上，我们的马尔可夫结构模型超越了POS归纳的最新结果。同样，我们发现，我们的树结构模型在无监督依存句法分析上实现了最先进的性能，因为在困难的训练条件下，既没有黄金POS注释，也没有基于标点的约束。
2018-08-28 cs.CL cs.LG
Training Naturalized Semantic Parsers with Very Little Data
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Amazon Alexa AI（亚马逊Alexa人工智能部门）
语义解析是一个重要的NLP问题，特别是对于Alexa和Google Assistant等语音助手。最先进的（SOTA）语义解析器是基于大语言模型的seq 2seq架构，这些模型已经在大量文本上进行了预训练。为了更好地利用预训练，最近的工作探索了语义解析的重新表述，其中输出序列本身是自然语言句子，但在自然语言的受控片段中。这种方法提供了强大的结果，特别是对于Few-Shot语义解析，这是在实践中的关键重要性，我们的论文的重点。我们通过引入一种自动化方法来推进这一工作，该方法通过利用少量的未注释数据（通常很容易获得）来提供非常显著的额外改进。我们的方法是基于一种新的合成四种技术：联合训练与辅助无监督任务;约束解码;自我训练;和释义。我们表明，这种方法提供了新的SOTA Few-Shot性能的隔夜数据集，特别是在非常低的资源设置，和非常引人注目的Few-Shot结果的一个新的语义解析数据集。
2022-05-04 cs.CL
The Limitations of Limited Context for Constituency Parsing
Carnegie Mellon University（卡内基梅隆大学）
在NLP中将语法转化为神经方法具有许多实际和科学的好处。例如，一个语法感知的语言模型可能能够产生更好的样本;甚至像BERT这样带有语法模块的判别模型也可以用于核心NLP任务，如无监督句法分析。近年来的快速进展可以说是由解析-阅读-预测架构的经验成功所刺激的（Shen et al.，2018 a），后来被（Shen et al.，2019年）。最值得注意的是，这是神经方法第一次能够成功地执行无监督的句法分析（通过F-1评分等各种指标进行评估）。然而，即使是启发式的（更少的完全数学）理解这些架构为什么以及何时工作也严重落后。在这项工作中，我们回答了（Shen et al.，2018 a，2019），以及一些基于转换的语法感知语言模型（Dyer等人，2016）：什么样的句法结构可以目前的神经句法方法表示？具体地说，我们接地这个问题的概率上下文无关文法（PCFG）的沙箱，并确定这些方法的代表性的权力的一个关键方面：预测器的数量和方向性的上下文时，被迫作出解析决定。我们表明，有限的上下文（无论是有界的，或单向的），有PCFG，这些方法不能代表的最大似然解析;相反，如果上下文是无限的，他们可以代表任何PCFG的最大似然解析。
2021-06-03 cs.CL cs.LG
Latent Tree Learning with Ordered Neurons: What Parses Does It Produce?
New York University（纽约大学）；Dept. of Computer Science（计算机科学系）
最近的潜在树学习模型可以学习选区解析，而无需暴露于人类注释的树结构。一个这样的模型是ON-LSTM（Shen等人，2019年），它在语言建模方面进行了训练，在无监督解析方面具有接近最先进的性能。为了更好地理解模型的性能和一致性，以及它生成的解析与黄金标准PTB解析的不同之处，我们用不同的重启复制模型并检查它们的解析。我们发现（1）该模型在不同的重新启动过程中具有合理一致的句法分析行为;（2）该模型难以处理复杂名词短语的内部结构;（3）该模型有高估动词前分裂点高度的倾向。我们推测，这两个问题都可以通过采用不同的训练任务而不是单向语言建模来解决。
2020-10-10 cs.CL
Structural Optimization Ambiguity and Simplicity Bias in Unsupervised Neural Grammar Induction
AI Graduate School（AI研究生院）；Gwangju Institute of Science and Technology（光州科学技术院）
本文分析了无监督神经语法归纳中的结构优化歧义与简单性偏置问题，提出逐句分析聚焦方法，利用预训练解析器的结构偏置减少损失评估的分析池，显著提升了性能并降低了方差与简单性偏置。
2024-07-23 cs.CL
Fill it up: Exploiting partial dependency annotations in a minimum spanning tree parser
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
依存句法分析的无监督模型通常需要大量干净的、未标记的数据以及黄金标准的词性标记。添加间接监督（例如语言共性和规则）可以有所帮助，但我们表明，获得少量的直接监督-在这里，部分依赖注释-提供了一个强大的零和完全监督之间的平衡。我们适应无监督的ConvexMST依赖解析器学习部分依赖表示的图形片段语言。与不到24小时的总注释，我们获得了7%和17%的绝对改善，在未标记的依赖分数为英语和西班牙语，分别相比，相同的解析器，只使用通用语法约束。
2016-11-26 cs.CL
Learning Syntax from Naturally-Occurring Bracketings
Cornell University（康奈尔大学）；Bloomberg L.P.（彭博有限合伙企业）
自然出现的括号，如自然语言问题的答案片段和网页上的超链接，可以反映人类对短语边界的句法直觉。它们的可用性和近似对应的语法，使他们有吸引力的远程信息源纳入无监督选区解析。但它们是嘈杂的和不完整的，为了解决这个挑战，我们开发了一个部分括号意识到结构化斜坡损失的学习。实验表明，我们在自然发生的括号数据上训练的远程监督模型在诱导句法结构方面比竞争的无监督系统更准确。在英文WSJ语料库上，我们的模型实现了68.9的未标记的F1分数选区解析。
2021-04-28 cs.AI cs.CL
Parameterizing Context: Unleashing the Power of Parameter-Efficient Fine-Tuning and In-Context Tuning for Continual Table Semantic Parsing
Southeast University（东南大学）
针对持续表格语义解析中少样本过拟合和灾难性遗忘问题，提出融合PEFT与ICT的师生框架，通过冻结主干微调提示规避遗忘，利用ICT获取上下文并压缩至提示，无需存储样本，性能优于主流基线。
2023-10-07 cs.CL
Improving Unsupervised Question Answering via Summarization-Informed Question Generation
Dublin City University（都柏林城市大学）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）；Trinity College Dublin（都柏林大学三一学院）
问题生成（QG）是为给定的<passage，answer>对生成合理问题的任务。基于模板的QG使用基于语言的语法将陈述句转换为疑问句，而有监督的QG使用现有的问答（QA）数据集来训练系统以生成给定段落和答案的问题。启发式方法的缺点是生成的问题与其声明性对应物紧密相关。监督方法的缺点是它们严重依赖于用作训练数据的QA数据集的域/语言。为了克服这些缺点，我们提出了一个无监督的QG方法，它使用的问题，从摘要作为一个QG系统的训练数据的来源，启发式地产生。我们利用免费提供的新闻摘要数据，转换成适当的问题，使用依存句法分析，命名实体识别和语义角色标注告知的语法学的陈述性摘要句子。然后，将产生的问题与原始新闻文章相结合，以训练端到端的神经QG模型。我们使用无监督QA来评估我们的方法：我们的QG模型用于生成合成QA对以训练QA模型。实验结果表明，仅用20 k个基于英语维基百科的合成QA对训练，QA模型在三个域内数据集（SQuAD 1.1，Natural Questions，TriviaQA）和三个域外数据集（NewsQA，BioASQ，DuoRC）上的性能大大优于以前的无监督模型，证明了该方法的可移植性。
2021-09-16 cs.CL
Co-training an Unsupervised Constituency Parser with Weak Supervision
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
我们介绍了一种无监督的解析方法，依赖于引导分类器来确定一个节点是否占主导地位的一个句子中的特定跨度。有两种类型的分类器，一种是作用于跨度的内部分类器，另一种是作用于给定跨度之外的所有内容的外部分类器。通过两个分类器的自我训练和联合训练，我们表明它们之间的相互作用有助于提高两者的准确性，从而有效地解析。种子自举技术准备数据来训练这些分类器。我们的分析进一步验证了这种方法结合弱监督使用已知语言的先验分支知识（左/右分支）和最小的语法分析注入强归纳偏见的分析器，实现63.1 F $_1$的英语（PTB）测试集。此外，我们通过对中文树库（CTB）和日文树库（KTB）的评估，展示了我们的架构的有效性，并取得了新的最先进的结果。我们的代码和预培训模型可在https://github.com/Nickil21/weakly-supervised-parsing上获得。
2022-03-18 cs.AI cs.CL cs.LG
Compositional pre-training for neural semantic parsing
Stanford University（斯坦福大学）
语义解析是将自然语言语句转换成逻辑形式的过程，它有许多重要的应用，如问答和指令遵循。序列到序列模型在许多NLP任务中非常成功。然而，缺乏特定于任务的先验知识可能对这些模型的性能不利。先前的工作已经使用框架来在训练样本上归纳语法，这些样本捕获模型可以利用的条件独立属性。受最近成功案例（如BERT）的启发，我们开始将此增强框架扩展为两个阶段。第一阶段是以无监督的方式使用增强示例的语料库进行预训练。第二阶段是针对特定领域的任务进行微调。此外，由于预训练阶段与主要任务的训练是分开的，我们还扩展了可能的增强范围，而不会导致灾难性的推断。我们还提出了一种新的数据增强策略，该策略交换在相似上下文中共同出现的标记以产生新的训练对。我们证明，建议的两阶段框架是有益的，提高解析精度的标准数据集称为GeoQuery的任务，从一组关于美国地理的问题生成逻辑形式。
2019-05-27 cs.CL cs.LG
On Eliciting Syntax from Language Models via Hashing
National Institute of Information and Communications Technology (NICT)（日本信息通信研究机构（NICT））
该研究探索利用二值表示的信息保留能力从语言模型提取句法，通过升级比特级CKY、采用无监督对比哈希训练及新型损失函数，实现低成本获取高质量句法分析树。
2024-10-05 cs.AI cs.CL cs.LG
Unsupervised Recurrent Neural Network Grammars
Harvard University（哈佛大学）；University of Oxford（牛津大学）；DeepMind（深度思维）
循环神经网络语法（RNNG）是语言的生成模型，其通过以自上而下、从左到右的顺序递增地生成语法树和句子来联合地建模语法和表面结构。监督RNNG实现了强大的语言建模和解析性能，但需要一个注释的解析树语料库。在这项工作中，我们实验了RNGs的无监督学习。由于直接在潜在树空间上边缘化是难以处理的，我们转而应用摊销变分推理。为了最大限度地提高证据下限，我们开发了一个推理网络参数化的神经CRF选区解析器。在语言建模方面，无监督RNNG在英语和汉语的基准测试中表现得与有监督RNNG一样好。在选区语法归纳方面，他们与最近的神经语言模型竞争，后者通过注意力机制从单词中归纳出树结构。
2019-08-05 cs.CL stat.ML
Visually Grounded Neural Syntax Acquisition
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）；ITCS, Institute for Interdisciplinary Information Sciences, Tsinghua University（清华大学交叉信息研究院）
我们提出了视觉接地神经网络学习器（VG-NSL），学习句法表示和结构的方法，没有任何明确的监督。该模型通过查看自然图像和阅读成对的标题来学习。VG-NSL生成文本的选区解析树，递归地组成成分的表示，并将它们与图像进行匹配。我们定义的具体性成分的匹配分数与图像，并使用它来指导文本的分析。MSCOCO数据集上的实验表明，VG-NSL优于各种无监督的解析方法，不使用视觉接地，在F1分数对黄金解析树。我们发现，VGNSL是更稳定的随机初始化的选择和训练数据的量。我们还发现，获得的具体性的VG-NSL的相关性以及与语言学家定义的类似措施。最后，我们还将VG-NSL应用于Multi 30 K数据集中的多种语言，表明我们的模型始终优于以前的无监督方法。
2019-09-24 cs.CL cs.CV
Do Transformers Parse while Predicting the Masked Word?
Princeton University（普林斯顿大学）；Duke University（杜克大学）
本文研究 Transformer 是否真正进行句法解析，证明中等规模掩码语言模型可近似执行 Inside-Outside 算法，并构造特定 Transformer 在 PTB 上实现高 F1 分数，揭示其隐式解析能力。
2023-10-16 cs.CL cs.LG
FlauBERT: Unsupervised Language Model Pre-training for French
Univ. Grenoble Alpes（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；E.S.P.C.I（巴黎市政工程工业学院）；LAMSADE, PSL Research University（巴黎文理研究大学LAMSADE实验室）
语言模型已经成为许多不同的自然语言处理（NLP）任务中实现最先进结果的关键步骤。利用目前可用的大量未标记文本，它们提供了一种有效的方法来预训练连续的单词表示，这些单词表示可以针对下游任务进行微调，以及它们在句子级别的上下文化。这已经被广泛证明为英语使用语境化表示（戴和乐，2015年;彼得斯等人，2018; Howard和Ruder，2018; Radford等人，2018; Devlin等人，2019年; Yang等人，2019年b）。在本文中，我们介绍并分享FlauBERT，这是一个在非常大的异构法语语料库上学习的模型。不同大小的模型使用新的CNRS（法国国家科学研究中心）Jean Zay超级计算机进行训练。我们将我们的法语语言模型应用于不同的NLP任务（文本分类，释义，自然语言推理，解析，词义消歧），并表明大多数情况下它们优于其他预训练方法。不同版本的FlauBERT以及用于下游任务的统一评估协议，称为FLUE（法语语言理解评估），被分享给研究社区，以进一步在法语NLP中进行可重复的实验。
2020-03-12 cs.CL cs.LG
