Grammar Induction for Minimalist Grammars using Variational Bayesian Inference : A Technical Report
Stanford University（斯坦福大学）；McGill University（麦吉尔大学）；École Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）
下面的技术报告提出了一个正式的方法，概率最低限度的语法参数估计。我们描述了一个形式化的最低限度的语法。然后，我们提出了一个算法的应用变分贝叶斯推理，这种形式化。
2019-08-29 cs.CL
VLGrammar: Grounded Grammar Induction of Vision and Language
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
认知语法认为语言语法的习得是建立在视觉结构的基础上的。语法是自然语言的基本表征，但它也普遍存在于视觉中，表现了部分-整体的层次结构。在这项工作中，我们研究接地语法归纳的视觉和语言的联合学习框架。具体来说，我们提出了VLGrammar，一种方法，使用复合概率上下文无关文法（复合PCFG），同时归纳的语言语法和图像语法。我们提出了一个新的对比学习框架来指导这两个模块的联合学习。为了提供一个基准的接地语法归纳任务，我们收集了一个大规模的数据集，\textsc{PartIt}，其中包含人类写的句子，描述部分级语义的3D对象。在\textsc{PartIt}数据集上的实验表明，VLGrammar在图像语法归纳和语言语法归纳方面优于所有基线。学习的VLGrammar自然会使相关的下游任务受益。具体来说，该算法将图像无监督聚类的准确率提高了30%，在图像检索和文本检索中表现良好。值得注意的是，归纳语法表现出优越的概括性，很容易概括到看不见的类别。
2021-03-24 cs.AI cs.CL cs.CV
Re-evaluating the Need for Multimodal Signals in Unsupervised Grammar Induction
UC Berkeley（加州大学伯克利分校）；University of Copenhagen（哥本哈根大学）；Cornell University（康奈尔大学）
针对此前多模态语法归纳的提升源于弱纯文本基线的问题，提出融合大语言模型嵌入的纯文本LC-PCFG模型，在四个基准上性能优于最优多模态方法且效率更高，表明多模态输入对语法归纳或非必需。
2024-04-12 cs.AI cs.CL cs.LG
Compound Probabilistic Context-Free Grammars for Grammar Induction
Harvard University（哈佛大学）；DeepMind（深度思维）
我们研究的语法归纳问题，模型的句子是由一个复合概率上下文无关文法生成的形式化。与学习单个随机语法的传统公式相反，我们的语法的规则概率由每句连续潜变量调制，这会导致超出传统上下文无关假设的边际依赖性。在这种语法中的推理是由折叠变分推理，其中一个摊销变分后被放置在连续变量，和潜在的树被边缘化的动态规划。英文和中文的实验表明，我们的方法相比，最近的国家的最先进的方法进行评估时，无监督分析的有效性。
2020-03-29 cs.CL stat.ML
Supervised Grammar Induction Using Training Data with Limited Constituent Information
基于语料库的语法归纳通常依赖于手工解析的训练数据来学习语言的结构。不幸的是，构建大型注释语料库的成本非常昂贵。针对训练数据中标签较少的情况，改进了归纳策略。我们发现，信息量最大的语言成分是在解析树中的较高节点，通常表示复杂的名词短语和重复子句。他们只占所有选民的20%。为了从稀疏标记的训练数据（例如，只有更高级别的成分标签），我们提出了一个适应策略，它产生的语法，解析几乎以及语法从完全标记语料库诱导。我们的研究结果表明，部分解析器，以取代人类注释，它必须能够自动提取更高级别的成分，而不是基础名词短语。
1999-05-02 cs.CL
Complexity of Grammar Induction for Quantum Types
École Normale Supérieure（巴黎高等师范学院）
大多数范畴意义模型使用从句法范畴到语义范畴的函子。当语义信息是可用的，语法归纳的问题，因此可以被定义为寻找在这个健忘函子下的语义类型的原像，提升信息流从语义层面的有效减少在句法层面。我们研究了语法归纳的复杂性，并证明了对于各种类型系统，包括枢轴和紧闭范畴，语法归纳问题是NP-完全的。我们的方法可以扩展到语言类型系统，如自治或双闭范畴。
2014-12-30 cs.CL math.CT
Probability Distribution Collapse: A Critical Bottleneck to Compact Unsupervised Neural Grammar Induction
本文针对无监督神经文法归纳中的概率分布坍缩问题，提出坍缩松弛神经参数化方法，在提升句法分析性能的同时实现更紧凑的文法表示。
2025-09-25 cs.CL
Production vs Perception: The Role of Individuality in Usage-Based Grammar Induction
University of Canterbury（坎特伯雷大学）；University of Manchester（曼彻斯特大学）
本文问是否生产为基础的和基于感知的语法归纳之间的区别影响（一）语法和词汇的增长曲线或（ii）从语料库的独立子集学习的表示之间的相似性。基于生产的模型是在单个个体的使用上训练的，从而模拟单个说话者的语法知识。基于感知的模型是在许多个体的集合上训练的，从而模拟从接触许多不同的说话者中学习到的语法概括。为了确保鲁棒性，实验在两个书面英语寄存器中重复，另外四个寄存器保留作为对照。一组三个计算实验表明，生产为基础的语法是显着不同的感知为基础的语法在所有条件下，具有陡峭的增长曲线，可以解释为大量的个体间的语法差异。
2021-04-19 cs.CL
A weakly supervised sequence tagging and grammar induction approach to semantic frame slot filling
University of Antwerp（安特卫普大学）；TEXTGAIN
本文介绍了语义框架槽填充的命令和控制任务，使用弱监督的方法继续工作。我们研究了使用再训练技术的优点，该技术将分层隐马尔可夫模型的输出作为两种归纳方法的输入：（1）基于条件随机场和基于记忆的学习的判别序列标记器和（2）概率上下文无关文法归纳。实验结果表明，这种设置可以显着提高F分数，而不需要额外的信息源。此外，定性分析表明，弱监督技术是能够自动诱导一个易于解释和语法适当的领域和任务在手的语法。
2019-06-15 cs.CL
Dependency Induction Through the Lens of Visual Perception
Electrical and Computer Engineering, Carnegie Mellon University（卡内基梅隆大学电气与计算机工程系）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
以前的大多数语法归纳工作都集中在纯粹从文本中学习短语或依存结构。然而，由于单独由文本提供的信号是有限的，最近推出的视觉接地语法模型利用多模态信息，从而提高性能的选区语法归纳。然而，与依赖语法相比，选区语法不提供一种直接的方法来合并视觉信息，而不强制执行特定于语言的语法。在本文中，我们提出了一个无监督的语法归纳模型，利用词的具体性和基于结构视觉的启发式，共同学习成分结构和依赖结构语法。我们的实验发现，具体性是学习依赖语法的一个强有力的指标，与在纯文本上训练的最先进模型相比，直接依恋得分（DAS）提高了50%以上。接下来，我们提出了一个扩展我们的模型，利用词的具体性和视觉语义角色标签的选区和依存句法分析。我们的实验表明，所提出的扩展优于目前国家的最先进的视觉接地模型在选区分析，即使具有较小的语法大小。
2021-09-20 cs.CL
Video-aided Unsupervised Grammar Induction
University of Rochester（罗切斯特大学）；Tencent AI Lab（腾讯AI实验室）
我们研究了视频辅助语法归纳，它从未标记的文本及其相应的视频中学习选区解析器。现有的多模态语法归纳方法主要集中在从文本-图像对中学习语法，结果表明，来自静态图像的信息在归纳中是有用的。然而，视频提供了更丰富的信息，不仅包括静态对象，还包括对诱导动词短语有用的动作和状态变化。在本文中，我们探索丰富的功能（如动作，对象，场景，音频，人脸，OCR和语音）的视频，最近的复合PCFG模型作为基线。我们进一步提出了一个多模态复合PCFG模型（MMC-PCFG），有效地聚合这些丰富的功能，从不同的模态。我们提出的MMC-PCFG是端到端训练的，并且在三个基准上（即DiDeMo，YouCook 2和MSRVTT）优于每个单独的模态和以前最先进的系统，证实了利用视频信息进行无监督语法归纳的有效性。
2021-05-04 cs.CL cs.CV
A Neural Model for Regular Grammar Induction
ETH Zürich（苏黎世联邦理工学院）
语法推理是计算学习理论中的一个经典问题，也是自然语言处理中一个有着广泛影响的课题。我们把语法作为一个模型的计算，并提出了一种新的神经方法，从积极和消极的例子归纳规则的语法。我们的模型是完全可解释的，它的中间结果可以直接解释为部分解析，当提供足够的数据时，它可以用来学习任意的正则语法。我们发现，我们的方法在一系列不同复杂度的测试中始终达到高召回率和准确率。
2022-10-01 cs.CL cs.LG
Structural Optimization Ambiguity and Simplicity Bias in Unsupervised Neural Grammar Induction
AI Graduate School（AI研究生院）；Gwangju Institute of Science and Technology（光州科学技术院）
本文分析了无监督神经语法归纳中的结构优化歧义与简单性偏置问题，提出逐句分析聚焦方法，利用预训练解析器的结构偏置减少损失评估的分析池，显著提升了性能并降低了方差与简单性偏置。
2024-07-23 cs.CL
Dependency Grammar Induction with Neural Lexicalization and Big Training Data
School of Information Science and Technology（信息科学与技术学院）；ShanghaiTech University（上海科技大学）
我们研究了大模型（词汇化程度）和大数据（训练语料库大小）对依存语法归纳的影响。我们用L-DMV和L-NDMV进行了实验，L-DMV是配价依赖模型的词汇化版本，L-NDMV是配价神经依赖模型的词汇化扩展。我们发现，L-DMV只受益于非常小程度的词汇化和中等规模的训练语料库。L-NDMV可以受益于大的训练数据和更大程度的词汇化，特别是当用良好的模型初始化来增强时，并且它实现了与当前最先进技术竞争的结果。
2017-08-02 cs.CL
Dependency Grammar Induction with a Neural Variational Transition-based Parser
Institute for Language, Cognition and Computation（语言、认知与计算研究所）；School of Informatics, University of Edinburgh（爱丁堡大学信息学院）
依存语法归纳是在没有带注释的训练数据的情况下学习依存语法的任务。传统的基于图的全局推理模型在此任务上实现了最先进的结果，但它们需要$O(n^3)$运行时间。基于转换的模型可以通过$O(n)$时间复杂度实现更快的推理，但其性能仍然落后。在这项工作中，我们提出了一个基于神经转换的依存语法归纳分析器，其推理过程利用了丰富的神经功能与$O(n)$时间复杂度。我们训练的分析器与变分推理，后验正则化和方差减少技术的集成。由此产生的框架优于以前的无监督的过渡为基础的依赖解析器，并实现性能媲美基于图形的模型，无论是在英语Penn树库和通用Dependency树库。在实证比较中，我们表明，我们的方法大大提高了基于图的模型的解析速度。
2018-11-14 cs.CL
Montague Grammar Induction
University of Rochester（罗切斯特大学）
我们提出了一个计算建模框架，从任意的行为数据诱导组合范畴语法。这个框架提供了分析师细粒度控制的假设，诱导语法应该符合：（i）什么是原始类型;（ii）复杂类型是如何构造的;（iii）什么组合子可以用来组合类型;（iv）是否（和什么）的类型的一些词汇项目应该是固定的。在概念验证实验中，我们部署我们的框架用于分布式分析。我们专注于s（emantic）-选择和c（ategory）-选择之间的关系，作为输入的词汇规模的可接受性判断数据集集中在英语动词的句法分布（MegaAcceptability数据集）和强制执行标准的假设，从语义文献的诱导语法。
2020-10-15 cs.CL
Are Pre-trained Language Models Aware of Phrases? Simple but Strong Baselines for Grammar Induction
Seoul National University（首尔国立大学）；University of Chicago（芝加哥大学）
随着预训练语言模型（LM）在自然语言处理中的成功和流行，人们越来越多地努力了解其内部工作原理。在这样的兴趣，我们提出了一种新的方法，帮助我们在何种程度上预先训练的LM捕获的句法概念的选区调查。我们的方法提供了一种有效的方法提取选区树从预先训练的LM没有训练。此外，我们在诱导树中报告了有趣的发现，包括预先训练的LM在正确划分句子中的副词短语方面优于其他方法。
2020-01-30 cs.AI cs.CL cs.LG
Bayesian Grammar Induction for Language Modeling
我们描述了一个基于语料库的概率上下文无关文法的归纳算法。该算法采用贝叶斯框架内的贪婪启发式搜索，并使用内部-外部算法的后传递。我们比较了我们的算法的性能，n-gram模型和内-外算法在三个语言建模任务。在两个任务中，训练数据是由概率上下文无关语法生成的，在这两个任务中，我们的算法优于其他技术。第三个任务涉及自然发生的数据，在这个任务中，我们的算法的性能不如n-gram模型，但大大优于Inside-Outside算法。
1995-05-01 cmp-lg cs.CL
Matroids Hitting Sets and Unsupervised Dependency Grammar Induction
Dept of Computer Science, Univ of British Columbia（不列颠哥伦比亚大学计算机科学系）；Systems Biology Dept, Harvard Medical School（哈佛医学院系统生物学系）；Dept of Computer Science, MIT（麻省理工学院计算机科学系）；Google（谷歌）
本文提出了一个新的图问题：在一个全连通图中求最小边子集，使得所得到的图包含一组指定子图的所有生成树。这种提法的动机是一个无监督的语法归纳问题，从计算语言学。我们提出了一个减少一些已知的问题和算法从图论，提供计算复杂性的结果，并描述了一个近似算法。
2017-07-15 cs.CL cs.DM cs.DS
Grammar Induction with Neural Language Models: An Unusual Replication
New York University（纽约大学）
最近关于潜在树学习的大量工作尝试开发具有解析值潜在变量的神经网络模型，并在非解析任务上对它们进行训练，希望它们能发现可解释的树结构。在最近的一篇论文中，Shen et al.（2018）介绍了这样一个模型，并报告了语言建模目标任务的最新结果，以及选区解析的第一个强潜在树学习结果。在尝试重现这些结果时，我们发现了使原始结果难以信任的问题，包括调整甚至训练有效的测试集。在这里，我们试图在一个公平的实验中重现这些结果，并将其扩展到两个新的数据集。我们发现这项工作的结果是稳健的：所研究的模型的所有变体都优于所有潜在树学习基线，并且与符号语法归纳系统竞争。我们发现，这个模型代表了第一个经验的成功，潜在树学习，和神经网络语言建模值得进一步研究的语法归纳设置。
2018-08-29 cs.CL
A Computational Operationalisation of Competing Maturational Theories of Syntactic Development via Statistical Grammar Induction
Department of Computer Science & Technology, University of Cambridge（计算机科学与技术系，剑桥大学）
本文探讨了儿童在第一语言发展中获得中间语法类别及其顺序，通过统计语法诱导验证不同成熟理论的预测，发现GROWING模型在三个评估指标上显著优于INWARD模型。
2026-05-08 cs.CL
Finding Dataset Shortcuts with Grammar Induction
Princeton University（普林斯顿大学）
许多NLP数据集被发现包含捷径：简单的决策规则，实现惊人的高准确性。但是，很难自动发现快捷方式。之前关于自动快捷方式检测的工作主要集中在枚举像unigrams或bigrams这样的特征，这些特征只能找到低级别的快捷方式，或者依赖于像显着图这样的事后模型可解释性方法，这些方法可以在没有明确统计解释的情况下揭示定性模式。在这项工作中，我们建议使用概率语法来描述和发现NLP数据集中的捷径。具体来说，我们使用一个上下文无关文法模型的句子分类数据集的模式，并使用一个同步的上下文无关文法模型的数据集涉及句子对。由此产生的语法揭示了有趣的快捷功能，在一些数据集，包括简单的和高层次的功能，并自动识别组的测试示例上，传统的分类失败。最后，我们发现的功能，我们可以用来生成诊断对比的例子，并纳入标准的鲁棒优化方法，以提高最坏的组的准确性。
2022-10-20 cs.CL
Reframing linguistic bootstrapping as joint inference using visually-grounded grammar induction models
HEC Montréal（蒙特利尔高等商学院）；McGill University（麦吉尔大学）；Mila - Quebec AI Institute（米拉-魁北克人工智能研究所）
该研究提出句法与语义自举均依赖联合学习策略，通过视觉锚定语法归纳模型验证同时学习二者时自举效应最强，为认知科学与AI的语言习得研究提供了新方向。
2024-06-17 cs.CL
Greedy Grammar Induction with Indirect Negative Evidence
London, United Kingdom（伦敦，英国）
提出一种非词汇化语法归纳程序，通过规则覆盖界和间接负面证据区分观察呈现与假设生成串，给出贪婪搜索算法并证明条件弱恢复定理。
2026-06-08 cs.CL
StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked Language Modeling
Mila（米拉研究所）；Université de Montréal（蒙特利尔大学）；Google Research（谷歌研究院）
自然语言语法有两大类--依赖性语法（dependency grammar）和选区语法（constituency grammar），依赖性语法对单词之间的一对一对应关系进行建模，选区语法对一个或多个对应单词的组合进行建模。虽然以前的无监督解析方法主要集中在只诱导一类语法，我们引入了一种新的模型，StructFormer，可以同时诱导依赖和选区结构。为了实现这一点，我们提出了一个新的解析框架，可以联合生成一个选区树和依赖图。然后通过一种新的依赖约束的自注意力机制，以可微的方式将诱导的依赖关系集成到Transformer中。实验结果表明，该模型可以同时实现无监督选区句法分析、无监督依存句法分析和掩蔽语言建模。
2021-07-11 cs.AI cs.CL cs.LG
Fast-R2D2: A Pretrained Recursive Neural Network based on Pruned CKY for Grammar Induction and Text Representation
Ant Group（蚂蚁集团）；Shandong University（山东大学）；Hasso Plattner Institute（哈索·普拉特纳研究所）；University of Potsdam（波茨坦大学）
近年来，基于CKY的模型在无监督语法归纳中显示出巨大的潜力，这要归功于它们类似于人类的编码范式，它递归地、层次地运行，但需要$O(n^3)$时间复杂度。基于可微树的递归Transformer（R2D2）通过引入启发式剪枝方法，使得即使使用复杂的树编码器也可以扩展到大语言模型预训练。然而，基于规则的剪枝方法存在局部最优和推理速度慢的问题。在本文中，我们解决这些问题在一个统一的方法。我们建议使用一个自顶向下的解析器作为基于模型的修剪方法，这也使并行编码在推理。通常，我们的解析器将解析转换为分割点评分任务，首先对给定句子的所有分割点进行评分，然后通过选择当前跨度中得分最高的分割点将跨度递归地分为两个。拆分的相反顺序被认为是R2D2编码器中的修剪顺序。除了双向语言模型损失外，我们还通过最小化解析器和R2D2的树概率之间的KL距离来优化解析器。我们的实验表明，我们的Fast-R2D2在语法归纳方面显着提高了性能，并在下游分类任务中取得了有竞争力的结果。
2022-11-02 cs.CL
Benchmarking Neural Network Generalization for Grammar Induction
Ecole Normale Supérieure（巴黎高等师范学院）；Tel Aviv University（特拉维夫大学）
该研究针对语法归纳任务中神经网络泛化能力评估不充分的问题，提出基于形式语言的泛化得分衡量方法与基准，验证了MDL目标训练的网络泛化更优、数据效率更高。
2023-08-25 cs.CL
Depth-bounding is effective: Improvements and evaluation of unsupervised PCFG induction
The Ohio State University（俄亥俄州立大学）；Harvard University（哈佛大学）；Boston Children’s Hospital（波士顿儿童医院）；Harvard Medical School（哈佛医学院）；University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
最近已经有几种尝试通过限制归纳模型的递归复杂性来提高语法归纳系统的准确性（Ponvert等人，2011; Noji和Johnson，2016; Shain等人，2016; Jin等人，2018年）。现代的深度有界语法归纳器已经被证明比早期的无界PCFG归纳器更准确，但这种技术从未在同一系统中与无界归纳进行过比较，部分原因是大多数以前的深度有界模型都是围绕序列模型构建的，其复杂性随着最大允许深度呈指数增长。相反，本工作在基于图表的贝叶斯PCFG诱导器内应用深度界限（Johnson等人，2007 b），其中可以打开和关闭绑定，然后在有和没有绑定的情况下对树进行采样。结果表明，深度绑定确实是显着有效的限制诱导器的搜索空间，从而提高了分析模型的准确性。此外，英语，汉语和德语的分析结果表明，这种有界模型与一个新的推理技术是能够更准确地产生分析树比或竞争力与国家的最先进的基于成分的语法归纳模型。
2018-09-10 cs.CL
The Return of Lexical Dependencies: Neural Lexicalized PCFGs
Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
在本文中，我们证明了$\textit{context free grammar (CFG) based methods for grammar induction benefit from modeling lexical dependencies}$。这与当前最流行的语法归纳方法形成对比，该方法专注于发现$\textit{either}$成分$\textit{or}$依赖性。以前的方法来结婚这两个不同的句法形式主义（例如词汇化PCFG）一直困扰着稀疏，使他们不适合无监督语法归纳。然而，在这项工作中，我们提出了新的词汇化PCFG的神经模型，使我们能够克服稀疏性问题，并有效地在一个单一的模型内诱导成分和依赖关系。实验表明，这种统一的框架结果在两个表示比单独建模时实现的形式主义更强的结果。代码可在https://github.com/neulab/neural-lpcfg上获得。
2020-07-29 cs.CL cs.LG
Inducing Regular Grammars Using Recurrent Neural Networks
Tel-Aviv University（特拉维夫大学）
语法归纳是从一组例子中学习语法的任务。最近，神经网络已被证明是强大的学习机器，可以识别数据流中的模式。在这项工作中，我们调查他们的有效性，从数据中归纳出一个规则的语法，没有任何假设的语法。我们训练一个递归神经网络来区分正则语言中或正则语言外的字符串，并利用一种算法来提取学习到的有限状态自动机。我们将这种方法应用到几个正则语言，并发现意外的结果，网络的状态之间的连接，可以被视为证据的泛化。
2018-06-26 cs.CL
The Grammar of Emergent Languages
University of Amsterdam（阿姆斯特丹大学）；Institute of Cognitive Science（认知科学研究所）；University of Osnabruek（奥斯纳布吕克大学）；Institute for Logic, Language and Computation（逻辑、语言与计算研究所）
在本文中，我们考虑的语法属性出现在参考游戏中，使用无监督语法归纳（UGI）技术最初设计用于分析自然语言。我们认为UGI技术是适当的分析新兴的语言，然后我们研究，如果出现在一个典型的参考游戏设置的语言表现出句法结构，并在何种程度上这取决于最大的消息长度和数量的符号，代理商被允许使用。我们的实验表明，一定的消息长度和词汇量的结构出现所需的，但他们也说明，需要更复杂的游戏场景，以获得更类似于人类语言中观察到的句法属性。我们认为，UGI技术应该是分析新兴语言的标准工具包的一部分，并发布一个全面的库，以方便未来的研究人员进行这种分析。
2020-10-09 cs.AI cs.CL
Path-dependent program induction under resource constraints explains human sequence learning
University of Tübingen（蒂宾根大学）；Center for Cognitive Science, Technical University Darmstadt（达姆施塔特工业大学认知科学中心）；Department of Computational Neuroscience, Max Planck Institute for Biological Cybernetics（马克斯·普朗克生物控制论研究所计算神经科学系）
通过整合率失真理论与程序归纳，提出分层适应文法（HAG）模型，在记忆和计算约束下解释人类如何从序列经验中构建抽象知识，实验表明HAG优于固定文法，并拟合了人类回忆错误和反应时间模式。
2026-06-23 cs.AI cs.CL cs.LG
Learned Construction Grammars Converge Across Registers Given Increased Exposure
University of Canterbury（坎特伯雷大学）；University of Sheffield（谢菲尔德大学）
本文测量了增加曝光的影响，学习的构造语法是否收敛到共享表示时，从不同的寄存器的数据进行训练。语域影响构式的使用频率，有些构式在正式场合常见，但在非正式场合却不常见。我们期望，一个语法归纳算法暴露于不同的寄存器将获得不同的结构。在多大程度上增加曝光导致特定于寄存器的语法的收敛？本文的实验模拟了12种语言（一半是日耳曼语，一半是罗曼语）的语言学习，语料库代表三个寄存器（Twitter，维基百科，Web）。这些模拟随着暴露量的增加而重复，从10万到200万字，以测量暴露对语法收敛的影响。结果表明，增加接触确实会导致所有语言的语法趋同。此外，在不断增加的暴露量中，登记册通用结构的共同核心保持不变。
2021-10-12 cs.CL
Semantic RL with Action Grammars: Data-Efficient Learning of Hierarchical Task Abstractions
Einstein Center for Neurosciences Berlin（柏林爱因斯坦神经科学中心）；Technical University Berlin（柏林工业大学）；Imperial College London（帝国理工学院）
分层强化学习算法已经成功地应用于具有稀疏奖励信号的时间信用分配问题。然而，国家的最先进的算法需要手动规范的子任务结构，一个样本效率低下的探索阶段或缺乏语义可解释性。另一方面，人类可以有效地检测由周围环境引起的层次子结构。有人认为，这种推理过程普遍适用于语言，逻辑推理以及运动控制。因此，我们提出了一个认知启发的强化学习架构，它使用语法归纳来识别子目标策略。通过将政策轨迹视为从环境的政策条件语言中采样的句子，我们在无监督语法推理的帮助下识别分层成分。由此产生的一组时间抽象被称为动作语法（Pastra & Aloimonos，2012），并将符号和连接主义方法统一到强化学习中。它可以用来促进有效的模仿、迁移和在线学习。
2019-09-23 cs.AI cs.CL cs.LG
Unsupervised Discontinuous Constituency Parsing with Mildly Context-Sensitive Grammars
ShanghaiTech University（上海科技大学）；MIT（麻省理工学院）
该研究针对无监督不连续成分句法分析问题，采用LCFRS-2文法并优化规则降低推理复杂度，结合张量分解与嵌入参数化扩展非终结符数量，在德荷语上可归纳出有语言学意义的句法树。
2023-06-09 cs.CL
Unsupervised Recurrent Neural Network Grammars
Harvard University（哈佛大学）；University of Oxford（牛津大学）；DeepMind（深度思维）
循环神经网络语法（RNNG）是语言的生成模型，其通过以自上而下、从左到右的顺序递增地生成语法树和句子来联合地建模语法和表面结构。监督RNNG实现了强大的语言建模和解析性能，但需要一个注释的解析树语料库。在这项工作中，我们实验了RNGs的无监督学习。由于直接在潜在树空间上边缘化是难以处理的，我们转而应用摊销变分推理。为了最大限度地提高证据下限，我们开发了一个推理网络参数化的神经CRF选区解析器。在语言建模方面，无监督RNNG在英语和汉语的基准测试中表现得与有监督RNNG一样好。在选区语法归纳方面，他们与最近的神经语言模型竞争，后者通过注意力机制从单词中归纳出树结构。
2019-08-05 cs.CL stat.ML
Constructive Type-Logical Supertagging with Self-Attention Networks
Utrecht University（乌得勒支大学）
我们提出了一个新的应用程序的自我注意网络语法归纳。我们提出了一个注意力为基础的supertagger的一个精致的类型逻辑语法，训练建设类型归纳。除了实现高的整体类型准确性，我们的模型能够学习语法的类型系统的语法及其指称语义。这提升了词汇化语法超标注者通常所做的封闭世界假设，大大增强了其泛化潜力。这一点可以通过它对稀疏词类型的足够准确性以及它正确构建训练期间从未见过的复杂类型的能力来证明，据我们所知，这是尚未完成的。
2019-05-31 cs.CL cs.LG
Fence - An Efficient Parser with Ambiguity Support for Model-Driven Language Specification
University of Granada（格拉纳达大学）
基于模型的语言规范在语言处理器的实现、特定领域语言的设计、模型驱动的软件开发、数据集成、文本挖掘、自然语言处理和基于语料库的模型归纳中有应用。基于模型的语言规范将语言设计从语言处理中分离出来，与传统的语法驱动方法不同，它将语言设计者限制在特定类型的语法中，它需要能够处理歧义的通用解析器生成器。在本文中，我们提出了围栏，一个有效的自下而上的解析算法，词汇和句法歧义的支持，使使用基于模型的语言规范在实践中。
2011-10-07 cs.CL
Unsupervised Language Acquisition: Theory and Practice
在这篇论文中，我提出了各种算法的无监督机器学习方面的自然语言使用各种统计模型。这项工作的科学目标是检验所谓的刺激贫困论证的有效性，该论证支持人类具有语言特异性先天知识的命题。我首先检查一个先验的论点，黄金定理的基础上，旨在证明自然语言不能学习，和一些正式的问题有关的统计语法，而不是符号语法的选择。我提出了三个新的算法学习自然语言的各个部分：第一，一个算法的归纳句法类别从未标记的文本使用分布信息，可以处理歧义和罕见的话;第二，一组算法学习形态过程中的各种语言，包括语言，如阿拉伯语与非连接形态;第三，一种用于从标记文本无监督地归纳上下文无关文法的算法。我仔细研究了各个组件之间的相互作用，并展示了这些算法如何形成语言习得的数学模型的基础。因此，我的结论是，从刺激贫困的论点是不支持的证据。
2002-12-10 cs.CL cs.LG
Fine-Grained Prediction of Syntactic Typology: Discovering Latent Structure with Supervised Learning
Johns Hopkins University（约翰斯·霍普金斯大学）
我们展示了如何预测的基本语序事实的一种新的语言只给出一个语料库的词性（POS）序列。我们预测了直接宾语跟随动词的频率，形容词跟随名词的频率，以及所有依赖关系的方向性。这种类型学特征有助于语法归纳。虽然这样的问题通常被认为是无监督学习，我们的创新是将其视为监督学习，使用大量的现实合成语言作为训练数据。监督学习者必须识别语言的POS序列的表面特征（手工设计或神经特征），这些特征与语言的深层结构（潜在树）相关。在实验中，我们表明：1）给定一个小的真实语言集，它有助于添加许多合成语言的训练数据。2)我们的系统是强大的，即使POS序列包括噪声。3)我们的系统在这项任务上的表现远远优于语法归纳基线。
2017-10-11 cs.CL
Visually Grounded Compound PCFGs
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
利用视觉基础来理解语言理解近年来受到了广泛的关注。在这项工作中，我们研究视觉接地语法归纳和学习选区分析器从无标签的文本及其视觉接地。关于这项任务的现有工作（Shi等人，2019）通过Reinforce优化解析器，并仅从图像和句子的对齐中获得学习信号。虽然他们的模型总体上相对准确，但其误差分布非常不均匀，对某些成分类型的性能较低（例如，26.2%的回忆动词短语，VP）和高的其他（例如，名词短语的回忆率为79.6%。这并不奇怪，因为学习信号可能不足以导出短语结构语法的所有方面，并且梯度估计是有噪声的。我们表明，使用概率上下文无关文法模型的扩展，我们可以做完全可区分的端到端的视觉接地学习。此外，这使我们能够用语言建模目标来补充图文对齐损失。在MSCOCO测试标题，我们的模型建立了一个新的国家的艺术，优于其非接地版本，从而证实了选区语法归纳视觉接地的有效性。它也大大优于以前的扎根模型，在更“抽象”的类别上有最大的改进（例如，VP的回忆率为+55.1%）。
2020-09-25 cs.CL cs.CV
On Eliciting Syntax from Language Models via Hashing
National Institute of Information and Communications Technology (NICT)（日本信息通信研究机构（NICT））
该研究探索利用二值表示的信息保留能力从语言模型提取句法，通过升级比特级CKY、采用无监督对比哈希训练及新型损失函数，实现低成本获取高质量句法分析树。
2024-10-05 cs.AI cs.CL cs.LG
The Generation-Recognition Asymmetry: Six Dimensions of a Fundamental Divide in Formal Language Theory
Independent Researcher（独立研究者）
本文探讨了生成和识别在形式语言理论中的不对称性，通过六个维度分析生成和识别之间的差异，并指出生成和识别在计算复杂性、歧义性、方向性、信息可用性、语法推断和时间性等方面存在显著差异。
2026-05-20 cs.AI cs.CC cs.CL
The Unsupervised Acquisition of a Lexicon from Continuous Speech
我们提出了一种无监督学习算法，从原始语音中获取自然语言词典。该算法基于MDL框架中符号序列的最佳编码，并使用语言的分层表示，克服了许多阻碍以前的语法归纳过程的问题。从符号序列到语音流的前向映射使用基于发音手势的特征来建模。我们目前的结果，从原始语音，文本和语音成绩单的词汇和语言模型的收购，并证明我们的算法相比，非常有利的分割性能和统计效率方面的其他报告的结果。
1995-12-13 cmp-lg cs.CL
Lost in Space: Finding the Right Tokens for Structured Output
Department of Information Science（信息科学系）；Cornell University（康奈尔大学）
本研究针对大语言模型结构化输出会不可预测降低下游性能的问题，测试不同模型、输出格式与基准，发现符合惯例的格式及带前导空格的token可提升性能，并给出零样本分类的最佳实践。
2025-08-01 cs.CL
Computational Induction of Prosodic Structure
Bielefeld University（比勒费尔德大学）
本研究有两个目标与韵律的语法，理解为语音的节奏和旋律。首先，概述了可计算的语法和语音的韵律分析方法，使用假设演绎的方法，是基于学习解释学的直觉语言。其次，提出了一个建议，在物理信号中的感应接地，其中韵律结构推断使用语言无关的方法从低频谱的语音信号。概述包括标准生成和生成后模型的计算方面的讨论，并建议重新制定这些形成归纳的方法。还包括讨论的语言语音学方法来分析注释（对语音单元标签与时间戳）记录的口语。该提案介绍了节奏形式化理论（RFT）的归纳方法和相关的节奏形式化分析（RFA）方法，其目的是通过建立一个独立于语言的语音信号分析归纳程序来完成语言假设演绎循环中的空白。该方法的有效性进行了论证，并适用于朗读普通话的节奏模式，发现与英语的差异，这是有关的语言之间的词汇和语法的差异，以及个人的变化。总的结论是：（1）考虑到由于体裁和风格差异以及话语动态而产生的各种语言内部因素，规范的语言与语言之间的节奏的语音或语音比较（例如汉语和英语）过于简单化;（2）需要语言独立的物理信号中的节奏经验基础。
2019-12-15 cs.CL cs.SD eess.AS
Building Probabilistic Models for Natural Language
在这篇论文中，我们研究了三个涉及语言概率建模的问题：平滑n-gram模型，统计语法归纳和双语句子对齐。这三个问题在三个不同的语言层次上使用模型;它们分别涉及基于单词的模型，基于成分的模型和基于句子的模型。我们描述的技术，以提高语言的建模在每个这些级别，并超越现有算法的性能为每个问题。我们使用三种不同的框架来处理这三个问题。我们将这些框架中的每一个与贝叶斯范式相关联，并展示了为什么每个框架都适用于给定的问题。最后，我们展示了我们的研究如何解决概率建模中的两个核心问题：稀疏数据问题和诱导隐藏结构的问题。
1996-06-11 cmp-lg cs.CL
Generative Pretrained Structured Transformers: Unsupervised Syntactic Language Models at Scale
Ant Group（蚂蚁集团）；ShanghaiTech University（上海科技大学）
本文提出大规模无监督句法语言模型GPST，通过表示代理和硬EM实现句法建模与组合模型的并行预训练，在语言理解、生成及语法归纳上优于GPT-2和现有无监督SLM，并显著加速训练。
2024-06-17 cs.AI cs.CL
Learning a Natural Language Interface with Neural Programmer
Google Brain（谷歌大脑）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；OpenAI
学习数据库表的自然语言接口是一项具有挑战性的任务，涉及深度语言理解和多步推理。该任务通常通过将自然语言查询映射到逻辑形式或程序来实现，这些逻辑形式或程序在数据库上执行时提供所需的响应。据我们所知，本文提出了第一个弱监督，端到端的神经网络模型，以诱导这样的程序在现实世界的数据集。我们增强了Neural Programmer的目标函数，这是一个内置离散操作的神经网络，并将其应用于WikiTableQuestions，一个自然语言问答数据集。该模型是端到端训练的，对问题-答案对的监督很弱，并且不需要特定于领域的语法，规则或注释，这些都是以前程序归纳方法中的关键元素。本文的主要实验结果是，单个神经程序模型在弱监督的情况下仅使用10，000个示例就达到了34.2%的准确率。一个集成的15个模型，一个平凡的组合技术，达到37.7%的准确率，这是竞争力的当前国家的最先进的准确率为37.1%，由传统的自然语言语义解析器。
2017-03-02 cs.CL cs.LG stat.ML
A Sequential Optimal Learning Approach to Automated Prompt Engineering in Large Language Models
Northwestern University（西北大学）；Stevens Institute of Technology（史蒂文斯理工学院）
本文提出基于特征表示、贝叶斯回归与 Knowledge-Gradient 序贯学习的自动化提示工程框架，可在有限评估预算下高效搜索提示，并在指令归纳任务上显著优于基准策略。
2025-01-07 cs.CL
