Stability of Syntactic Dialect Classification Over Space and Time
New Zealand Institute for Language, Brain and Behaviour（新西兰语言、大脑与行为研究所）；University of Canterbury（坎特伯雷大学）；Geospatial Research Institute Toi Hangarau（Toi Hangarau地理空间研究所）
本文分析了基于句法表征的方言量词在时空上的稳定程度。虽然以前的工作已经表明，语法归纳和地理空间文本分类的组合产生强大的方言模型，我们不知道什么影响变化的语法和变化的人口对方言模型。本文为12种英语方言构建了一个测试集，时间跨度为三年，每月一次，在1,120个城市中具有固定的空间分布。句法表征是在基于用法的构式语法范式（CxG）内制定的。随着时间的推移，每种方言的分类性能的衰减率，使我们能够确定正在发生语法变化的地区。分类准确率在方言区域内的分布使我们能够确定方言语法内部异质性的程度。本文的主要贡献是表明，严格的评估方言分类模型可以用来找到随时间的变化，随空间的变化。
2022-09-11 cs.CL
Supervised Grammar Induction Using Training Data with Limited Constituent Information
基于语料库的语法归纳通常依赖于手工解析的训练数据来学习语言的结构。不幸的是，构建大型注释语料库的成本非常昂贵。针对训练数据中标签较少的情况，改进了归纳策略。我们发现，信息量最大的语言成分是在解析树中的较高节点，通常表示复杂的名词短语和重复子句。他们只占所有选民的20%。为了从稀疏标记的训练数据（例如，只有更高级别的成分标签），我们提出了一个适应策略，它产生的语法，解析几乎以及语法从完全标记语料库诱导。我们的研究结果表明，部分解析器，以取代人类注释，它必须能够自动提取更高级别的成分，而不是基础名词短语。
1999-05-02 cs.CL
Probability Distribution Collapse: A Critical Bottleneck to Compact Unsupervised Neural Grammar Induction
本文针对无监督神经文法归纳中的概率分布坍缩问题，提出坍缩松弛神经参数化方法，在提升句法分析性能的同时实现更紧凑的文法表示。
2025-09-25 cs.CL
Production vs Perception: The Role of Individuality in Usage-Based Grammar Induction
University of Canterbury（坎特伯雷大学）；University of Manchester（曼彻斯特大学）
本文问是否生产为基础的和基于感知的语法归纳之间的区别影响（一）语法和词汇的增长曲线或（ii）从语料库的独立子集学习的表示之间的相似性。基于生产的模型是在单个个体的使用上训练的，从而模拟单个说话者的语法知识。基于感知的模型是在许多个体的集合上训练的，从而模拟从接触许多不同的说话者中学习到的语法概括。为了确保鲁棒性，实验在两个书面英语寄存器中重复，另外四个寄存器保留作为对照。一组三个计算实验表明，生产为基础的语法是显着不同的感知为基础的语法在所有条件下，具有陡峭的增长曲线，可以解释为大量的个体间的语法差异。
2021-04-19 cs.CL
A weakly supervised sequence tagging and grammar induction approach to semantic frame slot filling
University of Antwerp（安特卫普大学）；TEXTGAIN
本文介绍了语义框架槽填充的命令和控制任务，使用弱监督的方法继续工作。我们研究了使用再训练技术的优点，该技术将分层隐马尔可夫模型的输出作为两种归纳方法的输入：（1）基于条件随机场和基于记忆的学习的判别序列标记器和（2）概率上下文无关文法归纳。实验结果表明，这种设置可以显着提高F分数，而不需要额外的信息源。此外，定性分析表明，弱监督技术是能够自动诱导一个易于解释和语法适当的领域和任务在手的语法。
2019-06-15 cs.CL
Structural Optimization Ambiguity and Simplicity Bias in Unsupervised Neural Grammar Induction
AI Graduate School（AI研究生院）；Gwangju Institute of Science and Technology（光州科学技术院）
本文分析了无监督神经语法归纳中的结构优化歧义与简单性偏置问题，提出逐句分析聚焦方法，利用预训练解析器的结构偏置减少损失评估的分析池，显著提升了性能并降低了方差与简单性偏置。
2024-07-23 cs.CL
Dependency Grammar Induction with Neural Lexicalization and Big Training Data
School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
我们研究了大模型（词汇化程度）和大数据（训练语料库大小）对依存语法归纳的影响。我们用L-DMV和L-NDMV进行了实验，L-DMV是配价依赖模型的词汇化版本，L-NDMV是配价神经依赖模型的词汇化扩展。我们发现，L-DMV只受益于非常小程度的词汇化和中等规模的训练语料库。L-NDMV可以受益于大的训练数据和更大程度的词汇化，特别是当用良好的模型初始化来增强时，并且它实现了与当前最先进技术竞争的结果。
2017-08-02 cs.CL
Dependency Grammar Induction with a Neural Variational Transition-based Parser
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
依存语法归纳是在没有带注释的训练数据的情况下学习依存语法的任务。传统的基于图的全局推理模型在此任务上实现了最先进的结果，但它们需要$O(n^3)$运行时间。基于转换的模型可以通过$O(n)$时间复杂度实现更快的推理，但其性能仍然落后。在这项工作中，我们提出了一个基于神经转换的依存语法归纳分析器，其推理过程利用了丰富的神经功能与$O(n)$时间复杂度。我们训练的分析器与变分推理，后验正则化和方差减少技术的集成。由此产生的框架优于以前的无监督的过渡为基础的依赖解析器，并实现性能媲美基于图形的模型，无论是在英语Penn树库和通用Dependency树库。在实证比较中，我们表明，我们的方法大大提高了基于图的模型的解析速度。
2018-11-14 cs.CL
Montague Grammar Induction
University of Rochester（罗切斯特大学）
我们提出了一个计算建模框架，从任意的行为数据诱导组合范畴语法。这个框架提供了分析师细粒度控制的假设，诱导语法应该符合：（i）什么是原始类型;（ii）复杂类型是如何构造的;（iii）什么组合子可以用来组合类型;（iv）是否（和什么）的类型的一些词汇项目应该是固定的。在概念验证实验中，我们部署我们的框架用于分布式分析。我们专注于s（emantic）-选择和c（ategory）-选择之间的关系，作为输入的词汇规模的可接受性判断数据集集中在英语动词的句法分布（MegaAcceptability数据集）和强制执行标准的假设，从语义文献的诱导语法。
2020-10-15 cs.CL
Joint learning of ontology and semantic parser from text
Jožef Stefan International Postgraduate School（约热夫·斯特凡国际研究生院）
语义解析方法用于捕获和表示文本的语义。捕捉文本中所有概念的意义表示可能并不总是可用的，或者可能不够完整。本体提供了一种结构化和推理能力的方式来建模文本集合的内容。在这项工作中，我们提出了一种新的方法来联合学习的本体和语义分析器从文本。该方法是基于半自动归纳的上下文无关文法从语义注释的文本。语法将文本解析成语义树。语法和语义树都用于在多个级别上学习本体-类，实例，分类和非分类关系。该方法在维基百科描述人物的页面的第一句话上进行了评估。
2016-01-05 cs.AI cs.CL
Compound Probabilistic Context-Free Grammars for Grammar Induction
Harvard University（哈佛大学）；DeepMind（深度思维）
我们研究的语法归纳问题，模型的句子是由一个复合概率上下文无关文法生成的形式化。与学习单个随机语法的传统公式相反，我们的语法的规则概率由每句连续潜变量调制，这会导致超出传统上下文无关假设的边际依赖性。在这种语法中的推理是由折叠变分推理，其中一个摊销变分后被放置在连续变量，和潜在的树被边缘化的动态规划。英文和中文的实验表明，我们的方法相比，最近的国家的最先进的方法进行评估时，无监督分析的有效性。
2020-03-29 cs.CL stat.ML
Complexity of Grammar Induction for Quantum Types
École Normale Supérieure（巴黎高等师范学院）
大多数范畴意义模型使用从句法范畴到语义范畴的函子。当语义信息是可用的，语法归纳的问题，因此可以被定义为寻找在这个健忘函子下的语义类型的原像，提升信息流从语义层面的有效减少在句法层面。我们研究了语法归纳的复杂性，并证明了对于各种类型系统，包括枢轴和紧闭范畴，语法归纳问题是NP-完全的。我们的方法可以扩展到语言类型系统，如自治或双闭范畴。
2014-12-30 cs.CL math.CT
A Computational Operationalisation of Competing Maturational Theories of Syntactic Development via Statistical Grammar Induction
Department of Computer Science & Technology, University of Cambridge（计算机科学与技术系，剑桥大学）
本文探讨了儿童在第一语言发展中获得中间语法类别及其顺序，通过统计语法诱导验证不同成熟理论的预测，发现GROWING模型在三个评估指标上显著优于INWARD模型。
2026-05-08 cs.CL
Finding Dataset Shortcuts with Grammar Induction
Princeton University（普林斯顿大学）
许多NLP数据集被发现包含捷径：简单的决策规则，实现惊人的高准确性。但是，很难自动发现快捷方式。之前关于自动快捷方式检测的工作主要集中在枚举像unigrams或bigrams这样的特征，这些特征只能找到低级别的快捷方式，或者依赖于像显着图这样的事后模型可解释性方法，这些方法可以在没有明确统计解释的情况下揭示定性模式。在这项工作中，我们建议使用概率语法来描述和发现NLP数据集中的捷径。具体来说，我们使用一个上下文无关文法模型的句子分类数据集的模式，并使用一个同步的上下文无关文法模型的数据集涉及句子对。由此产生的语法揭示了有趣的快捷功能，在一些数据集，包括简单的和高层次的功能，并自动识别组的测试示例上，传统的分类失败。最后，我们发现的功能，我们可以用来生成诊断对比的例子，并纳入标准的鲁棒优化方法，以提高最坏的组的准确性。
2022-10-20 cs.CL
Reframing linguistic bootstrapping as joint inference using visually-grounded grammar induction models
HEC Montréal（蒙特利尔高等商学院）；McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
该研究提出句法与语义自举均依赖联合学习策略，通过视觉锚定语法归纳模型验证同时学习二者时自举效应最强，为认知科学与AI的语言习得研究提供了新方向。
2024-06-17 cs.CL
Greedy Grammar Induction with Indirect Negative Evidence
London, United Kingdom（伦敦，英国）
提出一种非词汇化语法归纳程序，通过规则覆盖界和间接负面证据区分观察呈现与假设生成串，给出贪婪搜索算法并证明条件弱恢复定理。
2026-06-08 cs.CL
Video-aided Unsupervised Grammar Induction
University of Rochester（罗切斯特大学）；Tencent AI Lab（腾讯AI实验室）
我们研究了视频辅助语法归纳，它从未标记的文本及其相应的视频中学习选区解析器。现有的多模态语法归纳方法主要集中在从文本-图像对中学习语法，结果表明，来自静态图像的信息在归纳中是有用的。然而，视频提供了更丰富的信息，不仅包括静态对象，还包括对诱导动词短语有用的动作和状态变化。在本文中，我们探索丰富的功能（如动作，对象，场景，音频，人脸，OCR和语音）的视频，最近的复合PCFG模型作为基线。我们进一步提出了一个多模态复合PCFG模型（MMC-PCFG），有效地聚合这些丰富的功能，从不同的模态。我们提出的MMC-PCFG是端到端训练的，并且在三个基准上（即DiDeMo，YouCook 2和MSRVTT）优于每个单独的模态和以前最先进的系统，证实了利用视频信息进行无监督语法归纳的有效性。
2021-05-04 cs.CL cs.CV
Fast-R2D2: A Pretrained Recursive Neural Network based on Pruned CKY for Grammar Induction and Text Representation
Ant Group（蚂蚁集团）；Shandong University（山东大学）；Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
近年来，基于CKY的模型在无监督语法归纳中显示出巨大的潜力，这要归功于它们类似于人类的编码范式，它递归地、层次地运行，但需要$O(n^3)$时间复杂度。基于可微树的递归Transformer（R2D2）通过引入启发式剪枝方法，使得即使使用复杂的树编码器也可以扩展到大语言模型预训练。然而，基于规则的剪枝方法存在局部最优和推理速度慢的问题。在本文中，我们解决这些问题在一个统一的方法。我们建议使用一个自顶向下的解析器作为基于模型的修剪方法，这也使并行编码在推理。通常，我们的解析器将解析转换为分割点评分任务，首先对给定句子的所有分割点进行评分，然后通过选择当前跨度中得分最高的分割点将跨度递归地分为两个。拆分的相反顺序被认为是R2D2编码器中的修剪顺序。除了双向语言模型损失外，我们还通过最小化解析器和R2D2的树概率之间的KL距离来优化解析器。我们的实验表明，我们的Fast-R2D2在语法归纳方面显着提高了性能，并在下游分类任务中取得了有竞争力的结果。
2022-11-02 cs.CL
A Neural Model for Regular Grammar Induction
ETH Zürich（苏黎世联邦理工学院）
语法推理是计算学习理论中的一个经典问题，也是自然语言处理中一个有着广泛影响的课题。我们把语法作为一个模型的计算，并提出了一种新的神经方法，从积极和消极的例子归纳规则的语法。我们的模型是完全可解释的，它的中间结果可以直接解释为部分解析，当提供足够的数据时，它可以用来学习任意的正则语法。我们发现，我们的方法在一系列不同复杂度的测试中始终达到高召回率和准确率。
2022-10-01 cs.CL cs.LG
Discovering Textual Structures: Generative Grammar Induction using Template Trees
Computer Science Department, Leuven AI（鲁汶人工智能计算机科学系）；KU Leuven（鲁汶大学）
自然语言生成为设计人员提供了自动生成文本的方法，例如用于创建摘要、聊天机器人和游戏内容。在实践中，文本生成器通常要么是学习和难以解释的，要么是使用语法和模板等技术手工创建的。在本文中，我们介绍了一种新的语法归纳算法学习可解释的语法生成的目的，称为Gitta。我们还引入了新的概念，模板树发现潜在的模板语料库中派生这些生成语法。通过使用现有的人类创建的语法，我们发现，该算法可以合理地近似这些语法使用只有几个例子。这些结果表明，Gitta可以用来自动学习可解释和易于修改的语法，从而为人机共同创建生成模型提供了一个垫脚石。
2020-09-09 cs.AI cs.CL
Benchmarking Neural Network Generalization for Grammar Induction
Ecole Normale Supérieure（巴黎高等师范学院）；Tel Aviv University（特拉维夫大学）
该研究针对语法归纳任务中神经网络泛化能力评估不充分的问题，提出基于形式语言的泛化得分衡量方法与基准，验证了MDL目标训练的网络泛化更优、数据效率更高。
2023-08-25 cs.CL
VLGrammar: Grounded Grammar Induction of Vision and Language
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
认知语法认为语言语法的习得是建立在视觉结构的基础上的。语法是自然语言的基本表征，但它也普遍存在于视觉中，表现了部分-整体的层次结构。在这项工作中，我们研究接地语法归纳的视觉和语言的联合学习框架。具体来说，我们提出了VLGrammar，一种方法，使用复合概率上下文无关文法（复合PCFG），同时归纳的语言语法和图像语法。我们提出了一个新的对比学习框架来指导这两个模块的联合学习。为了提供一个基准的接地语法归纳任务，我们收集了一个大规模的数据集，\textsc{PartIt}，其中包含人类写的句子，描述部分级语义的3D对象。在\textsc{PartIt}数据集上的实验表明，VLGrammar在图像语法归纳和语言语法归纳方面优于所有基线。学习的VLGrammar自然会使相关的下游任务受益。具体来说，该算法将图像无监督聚类的准确率提高了30%，在图像检索和文本检索中表现良好。值得注意的是，归纳语法表现出优越的概括性，很容易概括到看不见的类别。
2021-03-24 cs.AI cs.CL cs.CV
Guiding Symbolic Natural Language Grammar Induction via Transformer-Based Sequence Probabilities
SingularityNET Foundation（奇点网基金会）；The Hong Kong Polytechnic University（香港理工大学）
提出了一种基于Transformer神经网络语言模型分配给句子（以及可能更长的单词序列）的概率来指导聚类和规则归纳等符号学习过程的自然语言句法规则自动学习的新方法。这种方法利用Transformers学习的语言知识，没有任何参考他们的内部表示，因此，该技术很容易适应更强大的语言模型的连续出现。我们展示了我们所提出的技术的概念验证示例，使用它来指导从我们先前的研究中得出的无监督符号链接语法归纳方法。
2020-05-26 cs.AI cs.CL
Leveraging Grammar Induction for Language Understanding and Generation
Shanghai Jiao Tong University（上海交通大学）
本研究提出一种无监督语法归纳方法，将归纳的语法特征作为句法掩码融入Transformer引导自注意力，在机器翻译与自然语言理解任务上性能优于基线模型，且适用于从零训练和预训练场景。
2024-10-07 cs.AI cs.CL
Bayesian Grammar Induction for Language Modeling
我们描述了一个基于语料库的概率上下文无关文法的归纳算法。该算法采用贝叶斯框架内的贪婪启发式搜索，并使用内部-外部算法的后传递。我们比较了我们的算法的性能，n-gram模型和内-外算法在三个语言建模任务。在两个任务中，训练数据是由概率上下文无关语法生成的，在这两个任务中，我们的算法优于其他技术。第三个任务涉及自然发生的数据，在这个任务中，我们的算法的性能不如n-gram模型，但大大优于Inside-Outside算法。
1995-05-01 cmp-lg cs.CL
Unsupervised Grammar Induction with Depth-bounded PCFG
The Ohio State University（俄亥俄州立大学）；Harvard University（哈佛大学）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近人们对在递归深度上应用认知或经验动机的界限来限制语法归纳模型的搜索空间感兴趣（Ponvert等人，2011; Noji和Johnson，2016; Shain等人，2016年）。这项工作扩展了这种深度绑定方法的概率上下文无关文法归纳（DB-PCFG），它具有比层次序列模型更小的参数空间，因此更充分地利用了空间减少的深度绑定。结果为这个模型的语法习得从转录的儿童导向的语音和新闻通讯文本超过或具有竞争力的分析准确性评估时，与其他模型。此外，从这个模型中获得的语法标记表明了对类别标签的一致使用，这是其他习得模型所没有证明的。
2018-02-26 cs.AI cs.CL
Towards Understanding Language through Perception in Situated Human-Robot Interaction: From Word Grounding to Grammar Induction
Ritsumeikan University（立命馆大学）
机器人在不同的任务中与人类用户广泛合作，这些任务需要高水平的认知功能，使它们能够发现周围的环境。我们在这篇短文中强调的一个困难的挑战是推断语言的潜在语法结构，其中包括基础词性（例如，动词、名词、形容词和介词），并对短语进行组合范畴语法（CCG）归纳。这为基础短语铺平了道路，以便使机器人能够在交互过程中适当地理解人类指令。
2020-03-13 cs.AI cs.CL
Grammar Induction from Visual, Speech and Text
Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））；National University of Singapore（新加坡国立大学）
本文提出无监督视觉-音频-文本语法归纳任务 VAT-GI 及无文本设置，构建 VaTiora 框架融合多模态互补信息解析成分语法树，并在两个基准上取得新的最先进性能。
2025-02-20 cs.AI cs.CL
Re-evaluating the Need for Multimodal Signals in Unsupervised Grammar Induction
UC Berkeley（加州大学伯克利分校）；University of Copenhagen（哥本哈根大学）；Cornell University（康奈尔大学）
针对此前多模态语法归纳的提升源于弱纯文本基线的问题，提出融合大语言模型嵌入的纯文本LC-PCFG模型，在四个基准上性能优于最优多模态方法且效率更高，表明多模态输入对语法归纳或非必需。
2024-04-12 cs.AI cs.CL cs.LG
Constructing a Family Tree of Ten Indo-European Languages with Delexicalized Cross-linguistic Transfer Patterns
Peking University（北京大学）
历史语言学家和语言类型学家提出的语言差异模式反映了人类语言的局限性，因而在某种程度上与二语习得是一致的。在本文中，我们验证了这一假设的10个印欧语言。我们形式化的非词汇化的传输作为可解释的树到字符串和树到树的模式，可以通过应用神经句法分析和语法归纳技术从Web数据自动诱导。这使我们能够定量地探讨跨语言迁移，并扩大调查的第二语言习得。我们扩展现有的作品，利用混合功能，并支持脱词汇化的跨语言迁移和历史比较范式产生的系统发育结构之间的协议。
2020-07-17 cs.CL
Matroids Hitting Sets and Unsupervised Dependency Grammar Induction
Dept of Computer Science, Univ of British Columbia（不列颠哥伦比亚大学计算机科学系）；Systems Biology Dept, Harvard Medical School（哈佛医学院系统生物学系）；Dept of Computer Science, MIT（麻省理工学院计算机科学系）；Google（谷歌）
本文提出了一个新的图问题：在一个全连通图中求最小边子集，使得所得到的图包含一组指定子图的所有生成树。这种提法的动机是一个无监督的语法归纳问题，从计算语言学。我们提出了一个减少一些已知的问题和算法从图论，提供计算复杂性的结果，并描述了一个近似算法。
2017-07-15 cs.CL cs.DM cs.DS
Depth-bounding is effective: Improvements and evaluation of unsupervised PCFG induction
The Ohio State University（俄亥俄州立大学）；Harvard University（哈佛大学）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近已经有几种尝试通过限制归纳模型的递归复杂性来提高语法归纳系统的准确性（Ponvert等人，2011; Noji和Johnson，2016; Shain等人，2016; Jin等人，2018年）。现代的深度有界语法归纳器已经被证明比早期的无界PCFG归纳器更准确，但这种技术从未在同一系统中与无界归纳进行过比较，部分原因是大多数以前的深度有界模型都是围绕序列模型构建的，其复杂性随着最大允许深度呈指数增长。相反，本工作在基于图表的贝叶斯PCFG诱导器内应用深度界限（Johnson等人，2007 b），其中可以打开和关闭绑定，然后在有和没有绑定的情况下对树进行采样。结果表明，深度绑定确实是显着有效的限制诱导器的搜索空间，从而提高了分析模型的准确性。此外，英语，汉语和德语的分析结果表明，这种有界模型与一个新的推理技术是能够更准确地产生分析树比或竞争力与国家的最先进的基于成分的语法归纳模型。
2018-09-10 cs.CL
Are Pre-trained Language Models Aware of Phrases? Simple but Strong Baselines for Grammar Induction
Seoul National University（首尔国立大学）；University of Chicago（芝加哥大学）
随着预训练语言模型（LM）在自然语言处理中的成功和流行，人们越来越多地努力了解其内部工作原理。在这样的兴趣，我们提出了一种新的方法，帮助我们在何种程度上预先训练的LM捕获的句法概念的选区调查。我们的方法提供了一种有效的方法提取选区树从预先训练的LM没有训练。此外，我们在诱导树中报告了有趣的发现，包括预先训练的LM在正确划分句子中的副词短语方面优于其他方法。
2020-01-30 cs.AI cs.CL cs.LG
Inducing Regular Grammars Using Recurrent Neural Networks
Tel-Aviv University（特拉维夫大学）
语法归纳是从一组例子中学习语法的任务。最近，神经网络已被证明是强大的学习机器，可以识别数据流中的模式。在这项工作中，我们调查他们的有效性，从数据中归纳出一个规则的语法，没有任何假设的语法。我们训练一个递归神经网络来区分正则语言中或正则语言外的字符串，并利用一种算法来提取学习到的有限状态自动机。我们将这种方法应用到几个正则语言，并发现意外的结果，网络的状态之间的连接，可以被视为证据的泛化。
2018-06-26 cs.CL
The Return of Lexical Dependencies: Neural Lexicalized PCFGs
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
在本文中，我们证明了$\textit{context free grammar (CFG) based methods for grammar induction benefit from modeling lexical dependencies}$。这与当前最流行的语法归纳方法形成对比，该方法专注于发现$\textit{either}$成分$\textit{or}$依赖性。以前的方法来结婚这两个不同的句法形式主义（例如词汇化PCFG）一直困扰着稀疏，使他们不适合无监督语法归纳。然而，在这项工作中，我们提出了新的词汇化PCFG的神经模型，使我们能够克服稀疏性问题，并有效地在一个单一的模型内诱导成分和依赖关系。实验表明，这种统一的框架结果在两个表示比单独建模时实现的形式主义更强的结果。代码可在https://github.com/neulab/neural-lpcfg上获得。
2020-07-29 cs.CL cs.LG
Evaluating Induced CCG Parsers on Grounded Semantic Parsing
University of Southern California（南加州大学）；University of Edinburgh（爱丁堡大学）；Google（谷歌）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
我们比较了四种不同的句法CCG解析器的语义槽填充任务的有效性，探讨有多少句法监督需要下游语义分析。这种外在的，基于任务的评估提供了一个独特的窗口，探索无监督语法归纳系统所捕获的语义的优点和缺点。我们发布了一个新的Freebase语义解析数据集，称为SPADES（DECLARATIVE Sentences的语义解析），包含93K的完形填空式问题与答案配对。我们在这个数据集上评估我们所有的模型。我们的代码和数据可在https://github.com/sivareddyg/graph-parser上获得。
2017-01-31 cs.AI cs.CL
Learned Construction Grammars Converge Across Registers Given Increased Exposure
University of Canterbury（坎特伯雷大学）；University of Sheffield（谢菲尔德大学）
本文测量了增加曝光的影响，学习的构造语法是否收敛到共享表示时，从不同的寄存器的数据进行训练。语域影响构式的使用频率，有些构式在正式场合常见，但在非正式场合却不常见。我们期望，一个语法归纳算法暴露于不同的寄存器将获得不同的结构。在多大程度上增加曝光导致特定于寄存器的语法的收敛？本文的实验模拟了12种语言（一半是日耳曼语，一半是罗曼语）的语言学习，语料库代表三个寄存器（Twitter，维基百科，Web）。这些模拟随着暴露量的增加而重复，从10万到200万字，以测量暴露对语法收敛的影响。结果表明，增加接触确实会导致所有语言的语法趋同。此外，在不断增加的暴露量中，登记册通用结构的共同核心保持不变。
2021-10-12 cs.CL
Neural Bi-Lexicalized PCFG Induction
Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程研究中心）；ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Edinburgh（爱丁堡大学）；University of Chinese Academy of Sciences（中国科学院大学）
神经词汇化的PCFG（L-PCFG）在语法归纳中被证明是有效的。然而，为了降低计算复杂性，他们对子词的生成做了很强的独立性假设，从而忽略了双词依赖性。在本文中，我们提出了一种方法，参数化L-PCFG没有令人难以置信的独立性假设。我们的方法直接模型的双语依赖，同时降低了学习和表示的L-PCFG的复杂性。在英文WSJ数据集上的实验结果证实了该方法在提高运行速度和无监督句法分析性能方面的有效性。
2021-05-31 cs.CL
PCFGs Can Do Better: Inducing Probabilistic Context-Free Grammars with Many Symbols
Shanghai Engineering Research Center of Intelligent Vision and Imaging（上海智能视觉与成像工程技术研究中心）；ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Edinburgh（爱丁堡大学）；University of Chinese Academy of Sciences（中国科学院大学）
具有神经参数化的概率上下文无关文法（PCFG）在无监督短语结构文法归纳中已被证明是有效的。然而，由于PCFG表示和解析的立方计算复杂性，先前的方法不能扩展到相对大量的（非终结符和前终结符）符号。在这项工作中，我们提出了一种新的参数化形式的PCFG的张量分解的基础上，它具有最多的二次计算复杂性的符号数，因此允许我们使用更大数量的符号。我们进一步使用神经参数化的新形式，以提高无监督解析性能。我们在十种语言中评估了我们的模型，并以经验证明了使用更多符号的有效性。我们的代码：https://github.com/sustcsonglin/TN-PCFG
2021-04-28 cs.CL
Fence - An Efficient Parser with Ambiguity Support for Model-Driven Language Specification
University of Granada（格拉纳达大学）
基于模型的语言规范在语言处理器的实现、特定领域语言的设计、模型驱动的软件开发、数据集成、文本挖掘、自然语言处理和基于语料库的模型归纳中有应用。基于模型的语言规范将语言设计从语言处理中分离出来，与传统的语法驱动方法不同，它将语言设计者限制在特定类型的语法中，它需要能够处理歧义的通用解析器生成器。在本文中，我们提出了围栏，一个有效的自下而上的解析算法，词汇和句法歧义的支持，使使用基于模型的语言规范在实践中。
2011-10-07 cs.CL
Fine-Grained Prediction of Syntactic Typology: Discovering Latent Structure with Supervised Learning
Johns Hopkins University（约翰斯·霍普金斯大学）
我们展示了如何预测的基本语序事实的一种新的语言只给出一个语料库的词性（POS）序列。我们预测了直接宾语跟随动词的频率，形容词跟随名词的频率，以及所有依赖关系的方向性。这种类型学特征有助于语法归纳。虽然这样的问题通常被认为是无监督学习，我们的创新是将其视为监督学习，使用大量的现实合成语言作为训练数据。监督学习者必须识别语言的POS序列的表面特征（手工设计或神经特征），这些特征与语言的深层结构（潜在树）相关。在实验中，我们表明：1）给定一个小的真实语言集，它有助于添加许多合成语言的训练数据。2)我们的系统是强大的，即使POS序列包括噪声。3)我们的系统在这项任务上的表现远远优于语法归纳基线。
2017-10-11 cs.CL
Unsupervised Recurrent Neural Network Grammars
Harvard University（哈佛大学）；University of Oxford（牛津大学）；DeepMind（深度思维）
循环神经网络语法（RNNG）是语言的生成模型，其通过以自上而下、从左到右的顺序递增地生成语法树和句子来联合地建模语法和表面结构。监督RNNG实现了强大的语言建模和解析性能，但需要一个注释的解析树语料库。在这项工作中，我们实验了RNGs的无监督学习。由于直接在潜在树空间上边缘化是难以处理的，我们转而应用摊销变分推理。为了最大限度地提高证据下限，我们开发了一个推理网络参数化的神经CRF选区解析器。在语言建模方面，无监督RNNG在英语和汉语的基准测试中表现得与有监督RNNG一样好。在选区语法归纳方面，他们与最近的神经语言模型竞争，后者通过注意力机制从单词中归纳出树结构。
2019-08-05 cs.CL stat.ML
Constructive Type-Logical Supertagging with Self-Attention Networks
Utrecht University（乌得勒支大学）
我们提出了一个新的应用程序的自我注意网络语法归纳。我们提出了一个注意力为基础的supertagger的一个精致的类型逻辑语法，训练建设类型归纳。除了实现高的整体类型准确性，我们的模型能够学习语法的类型系统的语法及其指称语义。这提升了词汇化语法超标注者通常所做的封闭世界假设，大大增强了其泛化潜力。这一点可以通过它对稀疏词类型的足够准确性以及它正确构建训练期间从未见过的复杂类型的能力来证明，据我们所知，这是尚未完成的。
2019-05-31 cs.CL cs.LG
Learning a Grammar Inducer from Massive Uncurated Instructional Videos
University of Rochester（罗切斯特大学）；Tencent AI Lab（腾讯人工智能实验室）
视频辅助语法归纳旨在利用视频信息为伴随文本找到更准确的语法。虽然以前的工作重点是建立系统，诱导语法的文本，以及与视频内容一致，我们调查的情况下，文本和视频只是在松散的对应关系。此类数据在网上可以找到大量，弱对应性类似于语言习得中研究的不确定性问题。此外，我们建立了一个新的模型，可以更好地学习视频跨度的相关性，而无需手动设计的功能采用以前的工作。实验表明，我们的模型只在大规模YouTube数据上训练，没有文本视频对齐，尽管存在域偏移和噪声标签问题，但在三个看不见的数据集上表现出强大而稳健的性能。此外，我们的模型比以前在域内数据上训练的最先进的系统产生更高的F1分数。
2022-10-22 cs.CL cs.CV cs.MM
The Grammar of Emergent Languages
University of Amsterdam（阿姆斯特丹大学）；Institute of Cognitive Science（认知科学研究所）；University of Osnabruek（奥斯纳布吕克大学）；Institute for Logic, Language and Computation（逻辑、语言与计算研究所）
在本文中，我们考虑的语法属性出现在参考游戏中，使用无监督语法归纳（UGI）技术最初设计用于分析自然语言。我们认为UGI技术是适当的分析新兴的语言，然后我们研究，如果出现在一个典型的参考游戏设置的语言表现出句法结构，并在何种程度上这取决于最大的消息长度和数量的符号，代理商被允许使用。我们的实验表明，一定的消息长度和词汇量的结构出现所需的，但他们也说明，需要更复杂的游戏场景，以获得更类似于人类语言中观察到的句法属性。我们认为，UGI技术应该是分析新兴语言的标准工具包的一部分，并发布一个全面的库，以方便未来的研究人员进行这种分析。
2020-10-09 cs.AI cs.CL
Unsupervised Language Acquisition: Theory and Practice
在这篇论文中，我提出了各种算法的无监督机器学习方面的自然语言使用各种统计模型。这项工作的科学目标是检验所谓的刺激贫困论证的有效性，该论证支持人类具有语言特异性先天知识的命题。我首先检查一个先验的论点，黄金定理的基础上，旨在证明自然语言不能学习，和一些正式的问题有关的统计语法，而不是符号语法的选择。我提出了三个新的算法学习自然语言的各个部分：第一，一个算法的归纳句法类别从未标记的文本使用分布信息，可以处理歧义和罕见的话;第二，一组算法学习形态过程中的各种语言，包括语言，如阿拉伯语与非连接形态;第三，一种用于从标记文本无监督地归纳上下文无关文法的算法。我仔细研究了各个组件之间的相互作用，并展示了这些算法如何形成语言习得的数学模型的基础。因此，我的结论是，从刺激贫困的论点是不支持的证据。
2002-12-10 cs.CL cs.LG
Semantic RL with Action Grammars: Data-Efficient Learning of Hierarchical Task Abstractions
Einstein Center for Neurosciences Berlin（柏林爱因斯坦神经科学中心）；Technical University Berlin（柏林工业大学）；Imperial College London（帝国理工学院）
分层强化学习算法已经成功地应用于具有稀疏奖励信号的时间信用分配问题。然而，国家的最先进的算法需要手动规范的子任务结构，一个样本效率低下的探索阶段或缺乏语义可解释性。另一方面，人类可以有效地检测由周围环境引起的层次子结构。有人认为，这种推理过程普遍适用于语言，逻辑推理以及运动控制。因此，我们提出了一个认知启发的强化学习架构，它使用语法归纳来识别子目标策略。通过将政策轨迹视为从环境的政策条件语言中采样的句子，我们在无监督语法推理的帮助下识别分层成分。由此产生的一组时间抽象被称为动作语法（Pastra & Aloimonos，2012），并将符号和连接主义方法统一到强化学习中。它可以用来促进有效的模仿、迁移和在线学习。
2019-09-23 cs.AI cs.CL cs.LG
Visually Grounded Compound PCFGs
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
利用视觉基础来理解语言理解近年来受到了广泛的关注。在这项工作中，我们研究视觉接地语法归纳和学习选区分析器从无标签的文本及其视觉接地。关于这项任务的现有工作（Shi等人，2019）通过Reinforce优化解析器，并仅从图像和句子的对齐中获得学习信号。虽然他们的模型总体上相对准确，但其误差分布非常不均匀，对某些成分类型的性能较低（例如，26.2%的回忆动词短语，VP）和高的其他（例如，名词短语的回忆率为79.6%。这并不奇怪，因为学习信号可能不足以导出短语结构语法的所有方面，并且梯度估计是有噪声的。我们表明，使用概率上下文无关文法模型的扩展，我们可以做完全可区分的端到端的视觉接地学习。此外，这使我们能够用语言建模目标来补充图文对齐损失。在MSCOCO测试标题，我们的模型建立了一个新的国家的艺术，优于其非接地版本，从而证实了选区语法归纳视觉接地的有效性。它也大大优于以前的扎根模型，在更“抽象”的类别上有最大的改进（例如，VP的回忆率为+55.1%）。
2020-09-25 cs.CL cs.CV
On Eliciting Syntax from Language Models via Hashing
National Institute of Information and Communications Technology (NICT)（日本信息通信研究机构（NICT））
该研究探索利用二值表示的信息保留能力从语言模型提取句法，通过升级比特级CKY、采用无监督对比哈希训练及新型损失函数，实现低成本获取高质量句法分析树。
2024-10-05 cs.AI cs.CL cs.LG
Neural Generative Rhetorical Structure Parsing
DeepMind（深度思维）；University of Cambridge（剑桥大学）
修辞结构树已被证明是有用的几个文档级的任务，包括摘要和文档分类。以前的方法来解析数据集使用判别模型;然而，这些模型比生成模型的样本效率低，并且解析数据集通常很小。在本文中，我们提出了第一个生成式模型的句法分析。我们的模型是一个文档级的RNN语法（RNNG），具有自底向上的遍历顺序。我们表明，我们的解析器的遍历顺序，以前的束搜索算法的RNNG有一个左分支的偏见，这是不适合的RNNG解析。我们开发了一种新的束搜索算法，跟踪结构和单词生成的行动，而不表现出这种分支的偏见，并导致在6.8和2.9的绝对改善未标记和标记的F1比以前的算法。总的来说，我们的生成模型比具有相同特征的判别模型高出2.6个F1点，并达到了与最先进水平相当的性能，优于最近一项不使用额外训练数据的复制研究中所有已发布的解析器。
2019-09-24 cs.CL
Computational Induction of Prosodic Structure
Bielefeld University（比勒费尔德大学）
本研究有两个目标与韵律的语法，理解为语音的节奏和旋律。首先，概述了可计算的语法和语音的韵律分析方法，使用假设演绎的方法，是基于学习解释学的直觉语言。其次，提出了一个建议，在物理信号中的感应接地，其中韵律结构推断使用语言无关的方法从低频谱的语音信号。概述包括标准生成和生成后模型的计算方面的讨论，并建议重新制定这些形成归纳的方法。还包括讨论的语言语音学方法来分析注释（对语音单元标签与时间戳）记录的口语。该提案介绍了节奏形式化理论（RFT）的归纳方法和相关的节奏形式化分析（RFA）方法，其目的是通过建立一个独立于语言的语音信号分析归纳程序来完成语言假设演绎循环中的空白。该方法的有效性进行了论证，并适用于朗读普通话的节奏模式，发现与英语的差异，这是有关的语言之间的词汇和语法的差异，以及个人的变化。总的结论是：（1）考虑到由于体裁和风格差异以及话语动态而产生的各种语言内部因素，规范的语言与语言之间的节奏的语音或语音比较（例如汉语和英语）过于简单化;（2）需要语言独立的物理信号中的节奏经验基础。
2019-12-15 cs.CL cs.SD eess.AS
The Generation-Recognition Asymmetry: Six Dimensions of a Fundamental Divide in Formal Language Theory
Independent Researcher（独立研究者）
本文探讨了生成和识别在形式语言理论中的不对称性，通过六个维度分析生成和识别之间的差异，并指出生成和识别在计算复杂性、歧义性、方向性、信息可用性、语法推断和时间性等方面存在显著差异。
2026-05-20 cs.AI cs.CC cs.CL
Audio-Visual Neural Syntax Acquisition
MIT（麻省理工学院）；TTIC（丰田技术学院）；UT Austin（德克萨斯大学奥斯汀分校）；UC Santa Barbara（加州大学圣巴巴拉分校）；MIT-IBM Watson AI Lab（麻省理工学院-IBM沃森人工智能实验室）
该研究提出视听神经句法学习器（AV-NSL），通过听音频和看图像归纳短语结构，无需文本，在英语和德语上达到与文本解析器相当的性能，弥合了语音习得与基础语法归纳的差距。
2023-10-11 cs.CL cs.LG cs.SD
Unsupervised Vision-Language Parsing: Seamlessly Bridging Visual Scene Graphs with Language Structures via Dependency Relationships
Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）；ShanghaiTech University（上海科技大学）
理解真实感视觉场景图像和语言描述是实现通用视觉理解的基本任务。先前的工作已经通过为视觉场景构建层次结构（例如，场景图）和自然语言（例如，独立树）。然而，如何构建一个联合的视觉语言（VL）结构几乎没有研究。更具挑战性但值得一提的是，我们引入了一个新的任务，目标是以无监督的方式诱导这种联合VL结构。我们的目标是无缝地连接视觉场景图和语言依赖树。由于缺乏VL结构数据，我们首先构建一个新的数据集VLParse。与其从头开始使用劳动密集型的标记，我们提出了一个自动对齐过程来产生粗糙的结构，然后进行人工细化以产生高质量的结构。此外，我们提出了一个基于对比学习（CL）的框架VLGAE，简称视觉语言图形自动编码器，我们的数据集基准。我们的模型在两个衍生任务上获得了优异的性能，即，语言语法归纳和VL短语的基础。烧蚀显示了视觉线索和依赖关系对细粒度VL结构构建的有效性。
2022-06-01 cs.CL cs.CV
