Flexible and Efficient Grammar-Constrained Decoding
ucsd(加州大学圣地亚哥分校)
提出一种新型语法约束解码算法,在保证可靠性的同时,将离线预处理速度提升17.71倍,并保持在线掩码计算的最先进效率。
2025-07-15 cs.AI cs.CL
$K$-MSHC: Unmasking Minimally Sufficient Head Circuits in Large Language Models with Experiments on Syntactic Classification Tasks
Dartmouth College(达特茅斯学院)
本文提出$K$-MSHC方法及Search-K-MSHC算法,用于识别大语言模型中执行分类任务所需的最小注意力头集合,并在Gemma-9B上通过三类句法任务实验揭示了任务特定的头电路组织与跨任务重叠模式。
2025-06-05 cs.CL cs.LG
On the Inductive Bias of Masked Language Modeling: From Statistical to Syntactic Dependencies
Stanford University(斯坦福大学)
我们研究了如何以无监督的方式掩蔽和预测令牌可以产生语言结构和下游性能增益。最近的理论表明,预训练的语言模型通过隐含地充当下游任务的完形填空缩减的掩码来获得有用的归纳偏差。虽然有吸引力,我们表明,在实践中使用的随机掩蔽策略的成功,不能解释这样的完形填空式的面具。我们使用三个不同分类数据集的特定任务词典构建了类似完形填空的掩码,并表明大多数预训练的性能增益来自与词典无关的通用掩码。为了解释这些通用面具的经验成功,我们证明了掩蔽语言模型(MLM)的目标和现有的方法之间的对应关系,学习统计依赖的图形模型。使用此,我们推导出一种方法,用于提取这些学习的统计依赖MLMs,并表明这些依赖编码有用的归纳偏见的形式的句法结构。在无监督解析评估中,简单地在隐含的统计依赖结构上形成最小生成树优于无监督解析的经典方法(58.74 vs. 55.91 UUAS)。
2021-04-12 cs.AI cs.CL cs.LG
Are Pre-trained Language Models Aware of Phrases? Simple but Strong Baselines for Grammar Induction
Seoul National University(首尔国立大学);University of Chicago(芝加哥大学)
随着预训练语言模型(LM)在自然语言处理中的成功和流行,人们越来越多地努力了解其内部工作原理。在这样的兴趣,我们提出了一种新的方法,帮助我们在何种程度上预先训练的LM捕获的句法概念的选区调查。我们的方法提供了一种有效的方法提取选区树从预先训练的LM没有训练。此外,我们在诱导树中报告了有趣的发现,包括预先训练的LM在正确划分句子中的副词短语方面优于其他方法。
2020-01-30 cs.AI cs.CL cs.LG
Extending Confidence-Based Text2Cypher with Grammar and Schema Aware Filtering
Neo4j(Neo4j公司)
本文研究如何在文本到Cypher推理中利用结构约束提高查询正确性,通过扩展置信度框架加入序列过滤过程,结合置信度评分、语法验证和模式约束,提升生成查询的可靠性。
2026-05-11 cs.CL
Have Attention Heads in BERT Learned Constituency Grammar?
Uppsala University(乌普萨拉大学)
近年来,随着预训练语言模型的成功,越来越多的研究者开始关注如何打开这些模型的“黑箱”。基于这种兴趣,我们对BERT和RoBERTa的注意中心语中的选区语法进行了定性和定量分析。我们采用句法距离的方法来提取隐含的选区语法的注意力权重的每个头。我们的研究结果表明,存在的头,可以诱导一些语法类型比基线好得多,这表明,一些头作为选民语法的代理。我们还分析了在句子语义相似性(SMS)和自然语言推理(NLI)两种任务下,注意中心成分语法诱导(CGI)能力在微调后的变化。我们的结果表明SMS任务降低了上层的平均CGI能力,而NLI任务提高了上层的平均CGI能力。最后,我们考察了QQP和MNLI任务中CGI能力与自然语言理解能力之间的关系。
2021-06-02 cs.CL
Preserving Structure, Strengthening Signals: A Grammar-Driven Approach to Optimize the Trade-off Between Quality and Detectability in Code Watermarking
Southeast University(东南大学);Tsinghua University(清华大学)
针对大语言模型代码生成中质量与可检测性权衡难题,提出语法驱动水印方法(GDW),通过语法引导机制和角色感知调制注入水印,设计加权检测统计量,实验表明其在多方面优于现有方法且具鲁棒性。
2026-10-14 cs.CL cs.CR
Evaluating In-Context Translation with Synchronous Context-Free Grammar Transduction
New York University(纽约大学)
本文研究LLM在低资源语言翻译中的挑战,通过构建形式文法模型评估翻译性能,发现语法规模、句子长度及语言差异显著影响翻译准确性。
2026-04-08 cs.AI cs.CL
$\texttt{SEM-CTRL}$: Semantically Controlled Decoding
本文提出SEM-CTRL,通过集成基于答案集语法的约束,使LLM在不微调的情况下保证输出的语法和语义正确性,实验显示其在多种任务中优于现有模型。
2026-04-09 cs.AI cs.CL cs.LG
Tractable Hierarchical Control of Autoregressive Language Models
University of Edinburgh(爱丁堡大学)
研究如何约束自回归大语言模型生成,核心方法是将其提炼为可处理概率模型,利用有限时长$LR(k)$文法可多项式时间计算满足情况的特性,实现对LLM生成的有效约束与引导,确保输出满足形式句法约束。
2026-07-24 cs.AI
CodeIP: A Grammar-Guided Multi-Bit Watermark for Large Language Models of Code
Huazhong University of Science and Technology(华中科技大学);University of Leeds(利兹大学);Chongqing University(重庆大学);Lehigh University(理海大学)
本文提出CodeIP多比特水印技术,通过语法引导约束采样在LLM生成代码中嵌入供应商ID等溯源信息,实验证明其能在保持代码语法正确性的同时有效保护知识产权。
2024-12-30 cs.CL
HyGenar: An LLM-Driven Hybrid Genetic Algorithm for Few-Shot Grammar Generation
University of Edinburgh(爱丁堡大学)
本文研究并提升LLMs在少样本语法生成中的能力,提出LLM驱动的混合遗传算法HyGenar,在包含540个挑战的新数据集上显著提升了生成语法的句法和语义正确性。
2025-06-01 cs.AI cs.PL
Grammaticality Judgments in Humans and Language Models: Revisiting Generative Grammar with LLMs
National Library of Norway(挪威国家图书馆)
本文通过测试LLMs在主谓倒装和寄生缺口许可任务中的表现,揭示了LLMs对句法结构的敏感性,表明其在无显式编码的情况下能通过预测训练捕捉到生成语法的结构特征。
2025-12-11 cs.CL
Do Large Language Models Grasp The Grammar? Evidence from Grammar-Book-Guided Probing in Luxembourgish
University of Luxembourg(卢森堡大学);Luxembourg Institute of Science and Technology(卢森堡科学与技术研究院)
本研究通过卢森堡语语法书引导探测,探讨大型语言模型对语法规则的理解,发现翻译性能与语法规则理解弱相关,大模型在语义上表现良好但句法和形态学能力较弱,推理能力有助于提升语法规则理解。
2026-02-21 cs.CL
Structure-Aware NL-to-SQL for SFC Provisioning via AST-Masking Empowered Language Models
School of Electrical Engineering and Computer Science, University of Ottawa(奥克大学电气工程与计算机科学学院);Ciena(Ciena公司)
本文提出AST遮蔽方法,通过结构感知微调提升自然语言到SQL的转换精度,提高SFC配置的可解释性和效率。
2026-01-24 cs.CL cs.LG cs.NI
Grammar-Based Code Representation: Is It a Worthy Pursuit for LLMs?
School of Computer Science, Peking University(北京大学计算机科学学院);Kuaishou Technology(快手科技);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Department of Computer Science and Engineering, Southern University of Science and Technology(南方科技大学计算机科学与工程系)
本文探讨了基于语法的代码表示在大语言模型中的有效性,通过实验表明其在提升代码生成准确性和区分细微代码差异方面具有价值。
2025-12-10 cs.AI cs.PL
SAGE:Specification-Aware Grammar Extraction for Automated Test Case Generation with LLMs
University of Seoul, South Korea(首尔大学,韩国);Yonsei University, South Korea(延世大学,韩国)
针对有限监督下从自然语言规范生成有效通用语法的难题,提出SAGE方法,通过微调开源LLM结合GRPO强化学习及迭代反馈归纳CCFG,在语法有效性和测试效果上均显著优于现有LLM。
2025-06-04 cs.CL
Syntactic Analysis by Local Grammars Automata: an Efficient Algorithm
局部文法可以用自动机以一种非常方便的方式表示。本文描述和说明了一个有效的算法,应用本地语法把这种形式的lemmatized文本。
1994-07-04 cmp-lg cs.CL
Syntactic Variation Across the Grammar: Modelling a Complex Adaptive System
New Zealand Institute for Language, Brain and Behaviour(新西兰语言、大脑与行为研究所);University of Canterbury(坎特伯雷大学)
本文通过建模16个国家49个英语群体的方言变异,发现孤立语法节点的分类效果不如整个语法,揭示句法变异主要来自语法不同部分之间的交互,且方言相似性取决于所观察的语法子集。
2023-09-21 cs.CL
The Grammar of Transformers: A Systematic Review of Interpretability Research on Syntactic Knowledge in Language Models
Universitat Pompeu Fabra(巴塞罗那庞培乌法布拉大学);ICREA(加泰罗尼亚国家研究委员会)
通过对337篇文章的系统综述,评估基于Transformer的语言模型(TLM)的句法能力,发现TLM编码了非平凡的句法知识,但句法-语义接口现象表现较弱,且研究集中在英语和BERT类模型上。
2026-09-01 cs.AI cs.CL
Separating Surface Order and Syntactic Relations in a Dependency Grammar
本文提出了将依赖树与词序解耦,使得表面排序不是通过遍历依赖树来确定的。我们开发了一个\emph{word order domain structure}的概念,它是链接的,但在结构上不同的语法依赖树。该建议的结果在词汇化,声明性,和正式的词序精确的描述,功能缺乏以前的建议依赖语法。相反,其他词汇化的方法,词序,我们的建议不需要词汇歧义排序的替代品。
1998-08-25 cmp-lg cs.CL
A Layered Grammar Model: Using Tree-Adjoining Grammars to Build a Common Syntactic Kernel for Related Dialects
GRIMAAG;Université des Antilles et de la Guyane(安的列斯-圭亚那大学)
本文描述了一组相关方言的核心语法的通用句法描述的设计。通用描述不依赖于抽象的子语言结构,如元语法:它包含在单个FS-LTAG中,其中实际的特定语言作为为特征定义的属性类型集中的属性之一。当lang属性被实例化时,所选的语法子集等价于一种方言的语法。当它不是,我们有一个混合多方言语言系统的模型。这一原则适用于西大西洋地区的一组克里奥尔语,即海地,瓜德罗普岛,马提尼克岛和法属圭亚那的法语克里奥尔语。
2008-10-07 cs.CL
Transformer Grammars: Augmenting Transformer Language Models with Syntactic Inductive Biases at Scale
DeepMind(深度思维);University of Oxford(牛津大学)
我们介绍了Transformer语法(TG),一类新的Transformer语言模型,结合(i)的表达能力,可扩展性,和强大的性能的Transformers和(ii)递归语法组合,这在这里是通过一个特殊的注意掩码和确定性变换的线性树。我们发现,TG优于各种强大的基线上的高级语言建模的困惑,以及多个语法敏感的语言建模评估指标。此外,我们发现,递归的句法组合瓶颈,代表每个句子作为一个单一的向量损害困惑的文档级语言建模,提供证据表明,一种不同的记忆机制-一个是独立的组成的句法表示-在当前成功的模型中起着重要作用的长文本。
2022-12-06 cs.CL
A Computational Operationalisation of Competing Maturational Theories of Syntactic Development via Statistical Grammar Induction
Department of Computer Science & Technology, University of Cambridge(计算机科学与技术系,剑桥大学)
本文探讨了儿童在第一语言发展中获得中间语法类别及其顺序,通过统计语法诱导验证不同成熟理论的预测,发现GROWING模型在三个评估指标上显著优于INWARD模型。
2026-05-08 cs.CL
Three studies of grammar-based surface-syntactic parsing of unrestricted English text. A summary and orientation
本文研究了无约束英语文本自动表层句法分析的语法设计。它包括一个摘要和三篇文章。{ \it Morphological disambiguation}记录了在Fred Karlsson提出的约束语法框架内进行的英语形态(或词性)消歧的语法。消歧器试图丢弃那些由词法分析器提出的上下文不合法的替代形态分析。这1,100个约束表达了大约23个一般的、基本上是句法的陈述,作为对形态标记线性顺序的限制。形态学消歧器的错误率比另一种最先进的概率消歧器的错误率小大约十倍,因为两者都允许留下一些最难的歧义未解决。这种准确性表明了基于语法的自然语言解析方法的可行性,因此也有助于更广泛的关于概率与语言技巧{ \it Experiments with Analogistics}解决了如何解决那些在形态消歧器中仍然存在的歧义的问题。两种方法提出和经验评估:(i)启发式消歧的约束条件和(ii)从完全消歧的语料库的一部分,然后应用这些信息来解决剩余的歧义学习技术。
1994-06-27 cmp-lg cs.CL
Syntactic Analyses for Parallel Grammars: Auxiliaries and Genitive NPs
本文从平行语法发展的角度出发,着重讨论德语句法的两个不同方面。作为一个合作项目的一部分,我们提出了一个创新的方法,助剂和多个属格NP在德国。基于LFG的实现避免了不必要的结构复杂性表示的助动词的挑战传统的分析助动词提高。为多个属格NP开发的方法提供了与名物化动词相关的属格词的更抽象、独立于语言的表示。这两种方法合在一起,代表了为不同语言提供统一适用的处理方法的一个步骤,从而减轻了机器翻译的负担。
1996-04-24 cmp-lg cs.CL
Collocational Grammar
一个统计语言模型的角度,强调其搭配方面的主张。建议将字符串一般化为关系类而不是对象类。这种模型最重要的一个特征是比较模式的机制。当模式被完全泛化时,语法类的自然定义就作为关系类的子集出现了。这些搭配句法类应该是对传统句法类的明确划分。
1996-04-19 cmp-lg cs.CL
Graphes paramétrés et outils de lexicalisation
IGM – Université de Marne-la-Vallée(马恩拉瓦莱大学IGM研究所);LADL(语言自动处理实验室)
转换到词汇化语法可以减少解析错误的数量,并改善应用程序的结果。然而,这样的操作影响句法分析器的所有方面。我们的研究目标之一是设计一个现实的语法词汇化模型。我们进行了实验,我们使用的语法与一个非常简单的内容和形式主义,和一个非常翔实的句法词汇,词汇语法的法语详细的LADL。词汇化是通过应用参数化图的方法。我们的研究结果表明,词汇语法中的大部分信息都可以转化为语法,并成功地用于句子的句法分析。
2007-11-21 cs.CL
The Grammar of Emergent Languages
University of Amsterdam(阿姆斯特丹大学);Institute of Cognitive Science(认知科学研究所);University of Osnabruek(奥斯纳布吕克大学);Institute for Logic, Language and Computation(逻辑、语言与计算研究所)
在本文中,我们考虑的语法属性出现在参考游戏中,使用无监督语法归纳(UGI)技术最初设计用于分析自然语言。我们认为UGI技术是适当的分析新兴的语言,然后我们研究,如果出现在一个典型的参考游戏设置的语言表现出句法结构,并在何种程度上这取决于最大的消息长度和数量的符号,代理商被允许使用。我们的实验表明,一定的消息长度和词汇量的结构出现所需的,但他们也说明,需要更复杂的游戏场景,以获得更类似于人类语言中观察到的句法属性。我们认为,UGI技术应该是分析新兴语言的标准工具包的一部分,并发布一个全面的库,以方便未来的研究人员进行这种分析。
2020-10-09 cs.AI cs.CL
Automatic Inference of Minimalist Grammars using an SMT-Solver
MIT(麻省理工学院)
我们介绍(1)一种新的最简语法(MG),编码为一个系统的一阶逻辑公式,可以使用SMT求解器进行评估,和(2)一个新的程序推断最简语法使用这个解析器。这个过程的输入是一个句子序列,这些句子已经用语义角色标签(将参数连接到谓词)和主谓一致等句法关系进行了注释。该过程的输出是一组最简语法,其中的每一个都能够解析输入序列中的句子,使得对句子的解析具有与在该句子的注释中指定的那些句法关系相同的句法关系。我们将此过程应用到一组句子注释的句法关系和评估的推断语法使用成本函数的启发,最小描述长度原则和子集原则。推断的语法,这些成本函数的某些组合是最佳的,与当代理论的句法。
2019-05-08 cs.CL
Stability of Syntactic Dialect Classification Over Space and Time
New Zealand Institute for Language, Brain and Behaviour(新西兰语言、大脑与行为研究所);University of Canterbury(坎特伯雷大学);Geospatial Research Institute Toi Hangarau(Toi Hangarau地理空间研究所)
本文分析了基于句法表征的方言量词在时空上的稳定程度。虽然以前的工作已经表明,语法归纳和地理空间文本分类的组合产生强大的方言模型,我们不知道什么影响变化的语法和变化的人口对方言模型。本文为12种英语方言构建了一个测试集,时间跨度为三年,每月一次,在1,120个城市中具有固定的空间分布。句法表征是在基于用法的构式语法范式(CxG)内制定的。随着时间的推移,每种方言的分类性能的衰减率,使我们能够确定正在发生语法变化的地区。分类准确率在方言区域内的分布使我们能够确定方言语法内部异质性的程度。本文的主要贡献是表明,严格的评估方言分类模型可以用来找到随时间的变化,随空间的变化。
2022-09-11 cs.CL
Evaluating Syntactic Properties of Seq2seq Output with a Broad Coverage HPSG: A Case Study on Machine Translation
College of Natural Sciences(自然科学学院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Department of Computer Science(计算机科学系);San Jose State University(圣何塞州立大学);Department of Linguistics(语言学系);College of Information and Computer Sciences(信息与计算机科学学院)
序列到序列(seq 2seq)模型通常用于目标输出是自然语言的设置中。然而,从这些模型生成的语言的语法属性还没有得到很好的理解。我们探讨这种输出是否属于一个正式的和现实的语法,采用英语资源语法(ERG),一个广泛的覆盖面,语言精确的HPSG为基础的语法英语。从法语到英语的平行语料库,我们分析了可解析性和语法结构发生在输出从seq 2seq翻译模型。超过93%的模型翻译是可解析的,这表明它学习生成符合语法的翻译。该模型在学习稀有语法规则的分布方面遇到了困难,我们确定了几个结构,这些结构可以区分参考文献和我们的模型之间的翻译。
2018-09-06 cs.CL
Grammar Assistance Using Syntactic Structures (GAUSS)
Universidade da Coruña(拉科鲁尼亚大学);CITIC(CITIC研究院);Universidade de Santiago de Compostela(圣地亚哥-德孔波斯特拉大学)
提出西班牙语语法辅导系统GAUSS,结合丰富语言形式化体系与快速解析算法,提供信息丰富反馈,减少对高成本神经方法的依赖,推动绿色AI与全球教育包容性。
2024-06-26 cs.CL
Generative Statistical Models with Self-Emergent Grammar of Chord Sequences
Kyoto University(京都大学);RIKEN AIP(理化学研究所先进智能项目中心)
和弦序列的生成统计模型在音乐处理中起着至关重要的作用。为了捕捉某些和弦之间的句法相似性(例如,在C大调,G和G7之间,F和Dm之间),我们研究隐马尔可夫模型和概率上下文无关文法模型与潜在变量描述的和弦符号的句法类别和它们的无监督学习技术,从数据中归纳出潜在的语法。令人惊讶的是,我们发现,这些模型往往优于传统的马尔可夫模型的预测能力,和自我涌现的类别往往对应于传统的调和函数。这意味着从信息学的角度来看,和声模型中需要和弦类别。
2018-03-02 cs.AI cs.CL cs.SD
The Grammar and Syntax Based Corpus Analysis Tool For The Ukrainian Language
NASK National Research Institute(NASK国家研究院)
本文介绍了扩展至乌克兰语的文本挖掘工具StyloMetrix,基于手动设计的指标分析语法和句法模式,并展示了其在文本分类任务上的实验及局限性。
2023-05-22 cs.AI cs.CL
A Unified Representation for Continuity and Discontinuity: Syntactic and Computational Motivations
University of Kansas(堪萨斯大学);Indian Institute of Technology Hyderabad(海得拉巴印度理工学院)
本文提出对应原则,将短语结构语法、依存语法和范畴语法统一为一种语言结构表征,并以土耳其语非连续从属子句为例,证明该统一表征可简化连续与非连续句的句法分析和神经认知加工的计算复杂性。
2025-06-06 cs.CL
Does Traversal Order Matter? A Systematic Study of Tree Traversal Methods in Transformer Grammars
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院)
本文系统研究了Transformer语法中不同树遍历方法(深度优先、广度优先及新提出的产生式规则遍历)对语言建模、句法泛化和摘要生成的影响,揭示了嵌套组合与全局前瞻之间的权衡。
2026-06-16 cs.CL
The Grail theorem prover: Type theory for syntax and semantics
LIRMM, Montpellier University(蒙彼利埃大学LIRMM);CNRS, LaBRI, Bordeaux University(波尔多大学LaBRI,法国国家科学研究中心)
顾名思义,类型逻辑语法是一种基于逻辑和类型论的语法形式。从语法设计的角度来看,类型逻辑语法发展的句法和语义方面的语言现象手牵手,让一个表达式的预期语义通知句法类型,反之亦然。类型逻辑语法成功应用于语法语义接口的典型例子包括协调、量词作用域和extraction.This章介绍了Grail定理证明器,这是一系列用于设计和测试各种现代类型逻辑语法中的语法的工具。本章中描述的所有工具都是免费提供的。
2016-08-26 cs.CL
Complexity of Grammar Induction for Quantum Types
École Normale Supérieure(巴黎高等师范学院)
大多数范畴意义模型使用从句法范畴到语义范畴的函子。当语义信息是可用的,语法归纳的问题,因此可以被定义为寻找在这个健忘函子下的语义类型的原像,提升信息流从语义层面的有效减少在句法层面。我们研究了语法归纳的复杂性,并证明了对于各种类型系统,包括枢轴和紧闭范畴,语法归纳问题是NP-完全的。我们的方法可以扩展到语言类型系统,如自治或双闭范畴。
2014-12-30 cs.CL math.CT
Evaluation of a Grammar of French Determiners
Université Paris-Est(巴黎东部大学);Institut Gaspard-Monge(加斯帕尔·蒙日学院);Laboratoire d'Informatique de l'Institut Gaspard-Monge(加斯帕尔·蒙日学院计算机实验室)
现有的自然语言的句法语法,即使覆盖面远远不够,也是复杂的对象。对此类语法的部分质量的评估对于验证其构造非常有用。我们评估了法国决定因素的语法,采取递归过渡网络的形式的质量。这种局部语法的应用结果给出了比组块或树库中可用的信息更深的句法信息。我们进行了评价,通过与语料库独立注释的信息限定词进行比较。我们获得了86%的准确率和92%的召回率的文本没有标记的词性。
2007-11-21 cs.CL
Memory limitations are hidden in grammar
Universidade da Coruña(拉科鲁尼亚大学);Cornell University(康奈尔大学);Aarhus University(奥胡斯大学);Universitat Politècnica de Catalunya (UPC)(加泰罗尼亚理工大学)
产生和理解无限数量的不同句子的能力是人类语言的标志。语言学家试图使用形式语法来定义这种生成能力的本质,这些语法描述了成分之间的句法依赖关系,独立于人脑的计算限制。在这里,我们评估这个独立性假设采样句子均匀的空间可能的句法结构。我们发现,平均依存关系之间的距离句法相关的话,记忆限制的代理,是小于预期的机会,在一个国家的最先进的类依赖语法的集合。我们的研究结果表明,记忆的局限性已经渗透到语法描述,这表明它可能是不可能建立一个简约的理论,人类的语言生产力独立的非语言认知约束。
2022-04-05 cs.CL cs.DM
Verbal behavior without syntactic structures: beyond Skinner and Chomsky
Cornell University(康奈尔大学)
了解语言意味着什么?自乔姆斯基革命以来,对这个问题的一个流行的回答是:拥有一种专门许可某些句法结构的生成语法。几十年过去了,对于任何一种语言来说,甚至连一种近似的语法都没有形成;语法是普遍的、天生特定的观点已经证明是徒劳的;试图说明如何从经验中学习语法的努力总是失败的。为了走出这一僵局,我们必须重新发现语言在多大程度上与其他人类行为一样:动态的、社会的、多模态的、模式化的和有目的的,其目的是促进他人和自我的可取行为(或思想)。最近的心理学,计算,神经生物学和进化的见解的形成和结构的行为可能会指向我们对语言的一个新的,可行的帐户。
2023-03-11 cs.CL q-bio.NC
Abstract categorial grammars with island constraints and effective decidability
一个众所周知的方法来处理语法岛的限制,在设置的Lambek语法包括在添加特定的括号模态的逻辑。我们适应这种方法抽象范畴语法(ACG)。因此,我们定义了括号(蕴涵)线性逻辑,括号内的代数演算,并最终,括号内ACG的基础上括号内的$λ$演算。这使得我们至少可以在相对化的背景下对最简单的岛屿约束进行建模。接下来,我们确定特定的安全括号ACG,就像普通的(无括号)二阶ACG生成有效的可判定的语言,但足够灵活的模型一些高阶现象,如相对化和正确处理语法岛,至少在简单的玩具的例子。
2020-05-20 cs.CL math.LO
A generic tool to generate a lexicon for NLP from Lexicon-Grammar tables
Université Paris-Est(巴黎东部大学)
词汇语法表是一种覆盖率很高的语法词典,但由于其依赖于隐含信息,不能直接应用于自然语言处理(NLP)中。在本文中,我们介绍了LGExtract,一个通用的工具,用于从词汇语法表中生成NLP的语法词典。它基于一个包含未定义信息的全局表和一个包含对所有表执行的所有操作的唯一提取脚本。我们还提出了一个实验,已进行生成一个新的法语动词和谓词名词的词汇。
2010-05-31 cs.CL
Learning Context-Free Grammars for Grammar-Constrained Decoding via Declarative Agentic Programming with Guarantees
Amazon Web Services(亚马逊云科技);Purdue University(普渡大学)
本研究提出名为Autogrammar的声明式智能体,可从文档和执行数据自动学习上下文无关文法,用于语法约束解码,在三种DSLs上的实验显示其生成的文法性能优于现有基线,能显著提升端到端LM的真实任务表现。
2026-08-07 cs.AI cs.CL cs.PL
Syntactic Enhancement to VSIMM for Roadmap Based Anomalous Trajectory Detection: A Natural Language Processing Approach
Cornell University(康奈尔大学)
句法跟踪的目的是使用自然语言处理模型对目标运动的时空模式进行分类。在本文中,我们概括了早期的工作,考虑一个受约束的随机上下文无关文法(CSCFG)建模模式局限于路线图。受约束的语法有助于在路线图中对特定方向和道路名称进行建模。我们提出了一种新的粒子滤波算法,利用CSCFG模型估计目标的模式。该元级算法与基本级跟踪算法结合操作。大量的数值模拟结果表明,使用模拟地面动目标指示器(GMTI)雷达测量目标跟踪精度的显着改善。
2018-08-04 cs.CL
Reinforcement Learning of Minimalist Numeral Grammars
Brandenburgische Technische Universität Cottbus – Senftenberg(科特布斯-森夫滕堡勃兰登堡工业大学)
语音控制的用户界面方便了外行人操作设备和家庭功能。最先进的语言技术扫描声学分析的语音信号以寻找相关的关键字,这些关键字随后被插入到语义槽中以解释用户的意图。为了开发适当的认知信息和通信技术,简单的槽填充应取代话语意义转换器(UMT)的基础上的语义分析器和\emph{mental lexicon},包括句法,语音和语义特征的语言正在考虑。这个词汇必须在与用户交互的过程中由认知主体获得。我们概述了一个强化学习算法的英语数字的句法形态和算术语义的收购,最低限度的语法(MG),最近的计算实现生成语言学的基础上。数字单词由教师以话语意义对(UMP)的形式呈现给智能体,其中意义被编码为来自合适的术语代数的算术术语。由于MG通过推理规则编码普遍的语言能力,从而将先天的语言知识与偶然获得的词汇分开,因此我们的方法将生成语法和强化学习结合起来,从而可能解决仍然悬而未决的Chomsky-Skinner争议。
2019-06-11 cs.AI cs.CL
French parsing enhanced with a word clustering method based on a syntactic lexicon
Université Paris-Est(巴黎-est大学);LIGM(语言与信息学实验室)
本文通过将法语句法词典(Lexicon-Grammar)的数据整合到概率解析器中,并应用聚类方法于法语树库的动词,提高了基于概率上下文无关文法的解析性能。
2026-05-30 cs.CL cs.LG
A Multilingual FrameNet-based Grammar and Lexicon for Controlled Natural Language
University of Gothenburg(哥德堡大学);University of Latvia(拉脱维亚大学)
Berkeley FrameNet是基于框架语义学理论的英语词汇语义资源库。它已被广泛用于自然语言处理应用程序中,并启发了许多语言的框架网的开发。我们提出了一种方法论的方法来提取和生成一个计算多语言的基于FrameNet的语法和词汇。该方法利用FrameNet标注语料库自动提取一组跨语言语义-句法配价模式。基于伯克利框架网和瑞典框架网的数据,所提出的方法已经实现了语法框架(GF),一个类别的语法形式主义专门为多语言语法。语法和词典的实现由FrameNet的设计支持,在GF资源语法库已经提供的语际语法API之上提供框架语义抽象层,语际语义API(应用程序编程接口)。对习得的语法和词汇的评价表明了该方法的可行性。此外,我们说明了如何在两个不同的多语言控制的自然语言的应用程序中利用基于FrameNet的语法和词典。所生成的资源在开源许可证下可用。
2015-11-12 cs.CL
Proposing TAGbank as a Corpus of Tree-Adjoining Grammar Derivations
The University of British Columbia(不列颠哥伦比亚大学)
为填补词汇化语法形式缺乏大规模语料库的空白,本文提出从现有句法树库自动提取TAG推导的TAGbank语料库,概述映射方法并讨论挑战,支持句法分析等任务并计划扩展多语言语料库。
2025-04-13 cs.CL
DPH Parser: A Bottom-Up Grammar-Driven Parser for Joint Constituency and Dependency Analysis
本文提出DPH解析器,一种基于语法的自底向上无监督解析框架,通过特征规则和中心语标注联合生成成分与依存结构,在UD语料上验证了透明解析的可行性。
2026-09-09 cs.CL
Reframing linguistic bootstrapping as joint inference using visually-grounded grammar induction models
HEC Montréal(蒙特利尔高等商学院);McGill University(麦吉尔大学);Mila - Quebec AI Institute(米拉-魁北克人工智能研究所)
该研究提出句法与语义自举均依赖联合学习策略,通过视觉锚定语法归纳模型验证同时学习二者时自举效应最强,为认知科学与AI的语言习得研究提供了新方向。
2024-06-17 cs.CL
Guiding Symbolic Natural Language Grammar Induction via Transformer-Based Sequence Probabilities
SingularityNET Foundation(奇点网基金会);The Hong Kong Polytechnic University(香港理工大学)
提出了一种基于Transformer神经网络语言模型分配给句子(以及可能更长的单词序列)的概率来指导聚类和规则归纳等符号学习过程的自然语言句法规则自动学习的新方法。这种方法利用Transformers学习的语言知识,没有任何参考他们的内部表示,因此,该技术很容易适应更强大的语言模型的连续出现。我们展示了我们所提出的技术的概念验证示例,使用它来指导从我们先前的研究中得出的无监督符号链接语法归纳方法。
2020-05-26 cs.AI cs.CL
We can still parse using syntactic rules
Independent Researcher(独立研究者)
本文提出了一种基于语法理论的新解析方法,通过改进解析算法和规则,实现更准确的依赖和构成解析,适用于自然语言处理任务。
2026-02-15 cs.CL