Supervised Grammar Induction Using Training Data with Limited Constituent Information
基于语料库的语法归纳通常依赖于手工解析的训练数据来学习语言的结构。不幸的是，构建大型注释语料库的成本非常昂贵。针对训练数据中标签较少的情况，改进了归纳策略。我们发现，信息量最大的语言成分是在解析树中的较高节点，通常表示复杂的名词短语和重复子句。他们只占所有选民的20%。为了从稀疏标记的训练数据（例如，只有更高级别的成分标签），我们提出了一个适应策略，它产生的语法，解析几乎以及语法从完全标记语料库诱导。我们的研究结果表明，部分解析器，以取代人类注释，它必须能够自动提取更高级别的成分，而不是基础名词短语。
1999-05-02 cs.CL
The acquisition of English irregular inflections by Yemeni L1 Arabic learners: A Universal Grammar approach
Ibb University（伊卜大学）
本研究探讨阿拉伯语学习者学习英语不规则屈折时的习得过程，发现L1影响和L2发展因素共同作用，但有效的语言输入和教学是促进UG驱动特征重组的关键。
2026-02-14 cs.CL
Learned Construction Grammars Converge Across Registers Given Increased Exposure
University of Canterbury（坎特伯雷大学）；University of Sheffield（谢菲尔德大学）
本文测量了增加曝光的影响，学习的构造语法是否收敛到共享表示时，从不同的寄存器的数据进行训练。语域影响构式的使用频率，有些构式在正式场合常见，但在非正式场合却不常见。我们期望，一个语法归纳算法暴露于不同的寄存器将获得不同的结构。在多大程度上增加曝光导致特定于寄存器的语法的收敛？本文的实验模拟了12种语言（一半是日耳曼语，一半是罗曼语）的语言学习，语料库代表三个寄存器（Twitter，维基百科，Web）。这些模拟随着暴露量的增加而重复，从10万到200万字，以测量暴露对语法收敛的影响。结果表明，增加接触确实会导致所有语言的语法趋同。此外，在不断增加的暴露量中，登记册通用结构的共同核心保持不变。
2021-10-12 cs.CL
Reinforcement Learning of Minimalist Numeral Grammars
Brandenburgische Technische Universität Cottbus – Senftenberg（科特布斯-森夫滕堡勃兰登堡工业大学）
语音控制的用户界面方便了外行人操作设备和家庭功能。最先进的语言技术扫描声学分析的语音信号以寻找相关的关键字，这些关键字随后被插入到语义槽中以解释用户的意图。为了开发适当的认知信息和通信技术，简单的槽填充应取代话语意义转换器（UMT）的基础上的语义分析器和\emph{mental lexicon}，包括句法，语音和语义特征的语言正在考虑。这个词汇必须在与用户交互的过程中由认知主体获得。我们概述了一个强化学习算法的英语数字的句法形态和算术语义的收购，最低限度的语法（MG），最近的计算实现生成语言学的基础上。数字单词由教师以话语意义对（UMP）的形式呈现给智能体，其中意义被编码为来自合适的术语代数的算术术语。由于MG通过推理规则编码普遍的语言能力，从而将先天的语言知识与偶然获得的词汇分开，因此我们的方法将生成语法和强化学习结合起来，从而可能解决仍然悬而未决的Chomsky-Skinner争议。
2019-06-11 cs.AI cs.CL
Semantic RL with Action Grammars: Data-Efficient Learning of Hierarchical Task Abstractions
Einstein Center for Neurosciences Berlin（柏林爱因斯坦神经科学中心）；Technical University Berlin（柏林工业大学）；Imperial College London（帝国理工学院）
分层强化学习算法已经成功地应用于具有稀疏奖励信号的时间信用分配问题。然而，国家的最先进的算法需要手动规范的子任务结构，一个样本效率低下的探索阶段或缺乏语义可解释性。另一方面，人类可以有效地检测由周围环境引起的层次子结构。有人认为，这种推理过程普遍适用于语言，逻辑推理以及运动控制。因此，我们提出了一个认知启发的强化学习架构，它使用语法归纳来识别子目标策略。通过将政策轨迹视为从环境的政策条件语言中采样的句子，我们在无监督语法推理的帮助下识别分层成分。由此产生的一组时间抽象被称为动作语法（Pastra & Aloimonos，2012），并将符号和连接主义方法统一到强化学习中。它可以用来促进有效的模仿、迁移和在线学习。
2019-09-23 cs.AI cs.CL cs.LG
Basic Classes of Grammars with Prohibition
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）
在形式语法和语言的背景下，开发了一个实用的自然语言建模和人机交互开发工具。本文介绍了一种新的形式文法--禁止文法。与传统的形式语法相比，禁止语法为自然语言的生成提供了更强有力的工具，更好地描述了语言学习的过程。在这里，我们研究的语言之间的关系所产生的不同的语法禁止的基础上，传统类型的形式语法，如上下文无关或上下文敏感的语法。此外，我们还比较了由不同的禁止文法生成的语言和由常规形式文法生成的语言。特别是，它表明，他们有本质上更高的计算能力和表达的可能性相比，传统的形式语法。因此，虽然传统的形式文法是递归和次递归算法，但许多禁止的文法是超递归算法。在这项工作中提出的结果是针对发展的人机交互，建模自然语言，授权的程序设计语言，计算机模拟，更好的软件系统，和递归理论。
2013-02-21 cs.CL cs.FL
LLM Agents as Computational Typologists
University of British Columbia（不列颠哥伦比亚大学）；University of Waterloo（滑铁卢大学）；Vector Institute（矢量研究院）
本文提出AUTOTYPOLOGIST，一种基于LLM的智能体，通过检索语法章节、分析IGT并采用ReAct工作流，实现基于证据的类型学分析，在特征编码和假设检验任务中展现潜力，但仍需专家验证。
2026-09-09 cs.CL
DT-grams: Structured Dependency Grammar Stylometry for Cross-Language Authorship Attribution
Universität Innsbruck（因斯布鲁克大学）
跨语言的作者归属问题依赖于翻译，使使用单一语言的功能，或语言无关的特征提取方法。直到最近，缺乏数据集的这个问题阻碍了后者的发展，和单一语言的解决方案进行机器翻译语料库。在本文中，我们提出了一种新的独立于语言的功能，作者分析依赖图和通用部分的语音标签的基础上，被称为DT-gram（依赖树图），这是通过选择特定的子部分的依赖图的句子。我们通过对双语作者的未翻译数据集进行跨语言作者归属来评估DT-gram，结果表明，平均而言，它们在五种不同语言对中的宏观平均F1得分比以前的方法高出0.081。此外，通过提供不同特征集的结果进行比较，我们为以前未翻译的跨语言作者归属任务提供了一个基线。
2021-06-10 cs.CL
Using Higher-Order Logic Programming for Semantic Interpretation of Coordinate Constructs
许多语义解释理论都使用了词项操作来计算句子的成分意义。这些理论通常是在一种语言中实现的，如Prolog，它可以模拟一阶统一的双项运算。然而，对于一些有趣的情况下，如组合范畴语法帐户的协调结构，这只能通过模糊的基础语言学理论与实施所需的“技巧”。本文展示了如何使用抽象语法允许高阶逻辑编程允许优雅的实现组合范畴语法的语义，包括其处理的协调结构。
1995-06-06 cmp-lg cs.CL
Inconsistent Tokenizations Cause Language Models to be Perplexed by Japanese Grammar
University of Tokyo（东京大学）
本研究通过日语第一人称心理谓词限制语法点，发现分词不一致影响语言模型困惑度，Weblab 因均匀较差分词表现良好，且 Llama 3 困惑度可降低 28 倍，模型会改用替代语法模式。
2025-05-26 cs.AI cs.CL cs.LG
Principles of semantic and functional efficiency in grammatical patterning
Department of Translation and Language Sciences（翻译与语言科学系）；Universitat Pompeu Fabra（庞培法布拉大学）
本研究将语义编码与一致性可预测性统一为认知约束下的信息论目标，证明语法组织源自感知属性，并揭示语法优先促进高效语言处理而非语义编码。
2025-06-20 cs.CL
Left-corner Methods for Syntactic Modeling with Universal Structural Constraints
SOKENDAI Graduate University for Advanced Studies（综合研究大学院大学）
本论文的主要目标是识别更好的句法约束或偏向，即独立于语言，但在句子处理过程中也有效地利用。我们专注于一个特殊的句法结构称为中心嵌入，这是很好的研究，在心理语言学，并指出，造成特殊的理解困难。由于人们使用语言作为沟通的工具，人们希望避免这种复杂的结构，以提高沟通效率。从计算的角度来看，中心嵌入与左角解析算法密切相关，左角解析算法可以捕获正在构建的解析树的中心嵌入程度。这种联系表明，左上角的方法可以是一种工具，利用普遍的句法约束，人们避免产生中心嵌入结构。我们通过一些理论和实证研究，广泛地探索了中心嵌入和左角方法的实用性。我们的主要任务是无监督语法归纳。在这个任务中，算法的输入是一组句子，模型试图从中提取它们的显著模式作为语法。这是一个特别困难的问题，尽管我们预计通用约束可能有助于提高性能，因为它可以有效地限制模型可能的搜索空间。我们建立的模型，有效地制表的搜索空间除了那些涉及中心嵌入到一个特定的程度，通过扩展的左角解析算法。我们研究了我们的方法在许多树库上的有效性，并证明了我们的约束往往会导致更好的解析性能。因此，我们得出结论，左上角的方法是特别有用的面向语法的系统，因为它可以有效地利用语言中固有的普遍约束。
2016-08-01 cs.CL
Verbal behavior without syntactic structures: beyond Skinner and Chomsky
Cornell University（康奈尔大学）
了解语言意味着什么？自乔姆斯基革命以来，对这个问题的一个流行的回答是：拥有一种专门许可某些句法结构的生成语法。几十年过去了，对于任何一种语言来说，甚至连一种近似的语法都没有形成;语法是普遍的、天生特定的观点已经证明是徒劳的;试图说明如何从经验中学习语法的努力总是失败的。为了走出这一僵局，我们必须重新发现语言在多大程度上与其他人类行为一样：动态的、社会的、多模态的、模式化的和有目的的，其目的是促进他人和自我的可取行为（或思想）。最近的心理学，计算，神经生物学和进化的见解的形成和结构的行为可能会指向我们对语言的一个新的，可行的帐户。
2023-03-11 cs.CL q-bio.NC
Distilling Text into Circuits
Quantinuum, Quantum Compositional Intelligence, Oxford（Quantinuum，量子组合智能，牛津）；Oxford University, Department of Computer Science（牛津大学计算机科学系）
本文关注的是自然语言中的意义结构。早些时候，一个名为DisCoCirc的框架被勾画出来，它（1）是组合和分布的（a.k.a.（2）适用于一般文本;（3）捕捉意义之间的语言“联系”（参见语法）（4）随着文本的进展更新词义;（5）构建句子类型;（6）适应歧义。在这里，我们意识到DisCoCirc是英语的一个重要片段。当传递到DisCoCirc的文本电路时，一些“语法官僚主义”被消除，也就是说，DisCoCirc显示出很大程度的语言间和语言内独立性。也就是说，独立于不同语言之间不同的词序惯例，以及独立于许多短句与少数长句的选择。这种语言间的独立性意味着我们的文本循环应该延续到其他语言，而不像类别语法的语言特定类型。因此，文本回路是“文本的实际内容”的精益结构，也就是说，文本中的含义在几个表达层之间的内部运作（参见。单词、句子、文本），并可能捕捉到语法之下真正普遍的东西。消除语法官僚主义也解释了为什么DisCoCirc：（8）适用于语言之外，例如空间，视觉和其他认知模式。虽然人类无法通过文字电路进行口头交流，但机器可以。我们首先定义一个“混合语法”的英语片段，即一个有目的的，最小的语法形式主义需要获得文本电路。然后，我们详细的翻译过程，使所有的文本生成的语法产生一个文本电路。相反，对于任何通过自由组合生成元而获得的文本回路，存在一个产生它的文本（具有混合语法）。因此：（9）文本回路对于文本…
2023-01-25 cs.AI cs.CL cs.LO
Reasoning over Grammar: Can Synthetic Linguistic Reasoning Traces Enhance Low-Resource Machine Translation?
ELLIS Institute Finland（芬兰ELLIS研究所）；University of Turku（图尔库大学）；Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）
本文提出自动生成语言推理轨迹的方法，通过上下文学习、监督微调和强化微调评估其对低资源机器翻译的影响，发现推理轨迹在推理时指导效果显著，但作为训练数据收益有限。
2026-09-01 cs.CL
Minimally Supervised Written-to-Spoken Text Normalization
Google（谷歌）
在诸如文本到语音（TTS）或自动语音识别（ASR）的语音应用中，\emph{text normalization}指的是从\emph{written}表示转换成文本将如何是\emph{spoken}的表示的任务。在所有真实世界的语音应用程序中，文本规范化引擎都是手工开发的。例如，可以使用手工构建的语法来列举在给定语言中说出给定标记的可能方式，并且使用统计模型来选择上下文中最适当的发音。在这项研究中，我们研究了在文本规范化引擎中使用或多或少特定于语言的领域知识的权衡。在数据最丰富的场景中，我们可以访问精心构建的手工构建的规范化语法，对于任何给定的token，该语法都会为该token生成一组所有可能的动词化。我们还假设了一个语料库对齐的书面-口语话语，从中我们可以训练一个排名模型，选择适当的动词化为给定的上下文。作为精心构造的语法的替代品，我们还考虑了一种具有语言通用规范化\emph{covering grammar}的场景，其中开发人员只需要提供一组特定于该语言的词汇项。作为对齐语料库的替代，我们还考虑了一种情况，其中只有口语侧，并且通过用反向规范化语法组成口语侧来“幻觉化”相应的书面侧。我们调查的准确性的文本规范化引擎在这些情况下。我们报告的实验结果英语和俄语。
2016-09-21 cs.CL
Beam Search, Self-Consistency, and the Limits of Inference-Time Scaling for Grammar-Constrained Text-to-SQL in Small Language Models
Deep Network Understanding Lab（深度网络理解实验室）；Dickinson College（狄金森学院）
本文针对语法约束下的小语言模型文本到SQL任务，研究了模型规模与推理计算的权衡，发现受约束权衡表现不同，束搜索优于采样+投票，且增大模型规模比增加推理计算更有利。
2026-08-27 cs.AI cs.CL
Higher-order Linear Logic Programming of Categorial Deduction
我们展示了如何范畴演绎可以实现在高阶（线性）逻辑编程，从而实现解析为演绎的关联和非关联的Lambek演算。这为Lambek范畴文法的句法分析问题提供了一种解决方法，它适用于Lambek范畴文法的各种扩展。
1995-02-17 cmp-lg cs.CL
Traduction des Grammaires Catégorielles de Lambek dans les Grammaires Catégorielles Abstraites
Loria（洛里亚研究所）
Lambek文法（LG）是一种基于非交换组合类型的自然语言计算模型。它已经被广泛研究，特别是对于语法起主要作用的语言（如英语）。这份实习报告的目的是证明每一个Lambek语法都可以用抽象范畴语法（ACG）来表达，虽然不完全，但很有效。后者是一种新的建模的基础上高阶签名同态（使用$λ$ -演算），旨在统一目前使用的模型。其主要思想是通过擦除引入和消除规则并生成足够的公理以满足切割规则的要求，将LG的类型重写系统转换为上下文无关文法（CFG）的类型重写系统。这种迭代方法保留了推导，并使我们能够在任何步骤停止可能的无限生成过程。虽然底层的算法没有完全实现，这个证明提供了另一个论据，有利于ACG在自然语言处理的相关性。
2020-01-23 cs.CL cs.LO
The "negative end" of change in grammar: terminology, concepts and causes
University of Gdańsk（格但斯克大学）
本文系统梳理语法变化“负向终点”的术语、概念与成因，将丧失、衰退和废弃现象置于语言变化框架中，并分析构式使用频率持续下降直至消失或仅存化石化形式的可能原因。
2025-02-07 cs.CL cs.CY
Geometry of Language
Eindhoven University of Technology（埃因霍温理工大学）
在这篇文章中，我们提出了一个关于语言的新观点，结合了各种来源的思想，但混合在一个新的合成。正如在最简纲领中一样，问题在于我们是否能够制定一种优雅的形式主义、一种普遍的语法或一种解释人类语言能力的重要方面的机制，而这反过来又可以被认为是人类各种语言进化和部署的自然倾向。我们描述了这样一种机制，它不同于现有的逻辑和语法的方法，其几何性质。我们的主要贡献是探索句子识别发生的假设，形成链的令牌代表的话，然后匹配这些链与预先存在的链表示语法词序。标记的对齐链产生二维和三维复合物。由此产生的模型提供了一个替代的微妙的规则，传统上使用范畴语法形式化的介绍。
2023-03-09 cs.CL
Universal Syntactic Structures: Modeling Syntax for Various Natural Languages
本文提出一种新的句法表示建模方法，旨在揭示所有自然语言共有的通用句法结构，并通过分析英语和韩语语料库展示其普遍性，进而探讨关键期假说和普遍语法等理论，以加深对人脑语言机制的理解。
2023-12-28 cs.CL
Synthesising Sign Language from semantics, approaching "from the target and back"
CNRS (LIMSI) Université Paris Saclay（法国国家科学研究中心（LIMSI）巴黎萨克雷大学）；Université de Genève CUI（日内瓦大学 CUI）
我们提出了一个手语建模方法，允许建立语法和创建语言输入符号合成通过化身。我们评论的语法类型，它允许建立，并观察所产生的表达式和传统的语义表示之间的相似之处。比较的方式，设计的范例，我们的名字和对比两个本质上不同的策略，建立更高层次的语言输入：“源和转发”与“目标和回”。最后，我们倾向于后者，承认能够自动生成输出从语义相关的输入直接到目标语言的发音的力量。
2017-07-25 cs.CL
Towards Language Agnostic Universal Representations
Microsoft（微软）
当一个双语学生学习解决数学中的应用题时，我们希望学生能够用学生流利的两种语言解决这些问题，即使数学课只用一种语言教授。然而，机器学习中的当前表示是依赖于语言的。在这项工作中，我们提出了一种方法，通过学习语言不可知的表示，从而允许在一种语言中训练模型，并以zero shot方式应用于不同的语言，从而将语言与问题解耦。我们通过从语言学中汲取灵感并将普遍语法形式化为优化过程来学习这些表示（Chomsky，2014; Montague，1970）。我们通过展示使用语言不可知表示在单一语言上训练的模型在其他语言中达到非常相似的准确性来展示这些表示的能力。
2018-09-23 cs.CL cs.LG stat.ML
Fill it up: Exploiting partial dependency annotations in a minimum spanning tree parser
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
依存句法分析的无监督模型通常需要大量干净的、未标记的数据以及黄金标准的词性标记。添加间接监督（例如语言共性和规则）可以有所帮助，但我们表明，获得少量的直接监督-在这里，部分依赖注释-提供了一个强大的零和完全监督之间的平衡。我们适应无监督的ConvexMST依赖解析器学习部分依赖表示的图形片段语言。与不到24小时的总注释，我们获得了7%和17%的绝对改善，在未标记的依赖分数为英语和西班牙语，分别相比，相同的解析器，只使用通用语法约束。
2016-11-26 cs.CL
The Neural State Pushdown Automata
Penn State University（宾夕法尼亚州立大学）；Rochester Institute of Technology（罗切斯特理工学院）
为了学习复杂的语法，递归神经网络（RNN）需要足够的计算资源来确保正确的语法识别。一种广泛使用的扩展模型容量的方法是将RNN耦合到外部内存堆栈。在这里，我们介绍了一个“神经状态”的下推自动机（NSPDA），它由一个数字堆栈，而不是一个模拟的，这是耦合到一个神经网络状态机。我们的经验表明，它的有效性，在识别各种上下文无关文法（CFGs）。首先，我们开发了所提出的高阶递归网络的底层机制及其堆栈操作，以及如何稳定地编程其底层下推自动机（PDA）以实现所需的有限状态网络动态。接下来，我们介绍了高阶（张量）网络的噪声正则化方案，据我们所知，这是同类中的第一个，并设计了一个改进的增量学习算法。最后，我们设计了一种方法插入语法规则到一个NSPDA和经验表明，这种先验知识提高了一个数量级的训练收敛时间，并在某些情况下，导致更好的泛化。NSPDA还比较了一个经典的模拟堆栈神经网络下推自动机（NNPDA），以及一系列的一阶和二阶RNN，有和没有外部存储器，使用不同的学习算法训练。我们的研究结果表明，对于Dyck（2）语言，基于规则的先验知识对于优化收敛和确保在测试时推广到更长的序列是至关重要的。我们观察到，许多有记忆和没有记忆的RNN，但没有先验知识，无法收敛，并且在CFG上推广得很差。
2019-09-19 cs.CL cs.LG cs.NE
Individual Biases, Cultural Evolution, and the Statistical Nature of Language Universals: The Case of Colour Naming Systems
City University London（伦敦城市大学）；Sapienza Università di Roma（罗马大学）；Institute for Scientific Interchange (ISI)（科学交流研究所（ISI））；SONY Computer Science Lab (SONY-CSL)（索尼计算机科学实验室（SONY-CSL））；CNR-ISC（意大利国家研究委员会复杂系统研究所（CNR-ISC））
语言普遍性一直被认为是一种先天的普遍语法。另一种解释是，语言共性在每种语言中独立出现，以回应共同的认知或感知偏见。最近的计算模型表明，这可能是这种情况下，集中在颜色命名模式的普遍属性的范例，并产生与实验数据定量一致的结果。在这里，我们调查的作用，个人的感知偏见的框架模型。我们研究了偏见的结构如何以及在多大程度上影响相应的语言普遍模式。我们表明，一组扬声器的文化历史介绍了人口的具体限制，对压力的统一所产生的个人偏见，我们澄清这两种力量之间的相互作用。
2015-06-23 cs.CL cs.MA physics.soc-ph
Automatic Extraction of Rules Governing Morphological Agreement
Carnegie Mellon University（卡内基梅隆大学）；George Mason University（乔治梅森大学）
建立语言的描述文法是语言文档化和保存的一个必不可少的步骤。然而，与此同时，这是一项繁琐、耗时的任务。在本文中，我们采取步骤自动化这一过程，设计一个自动化的框架，从原始文本中提取一个简明的，人类和机器可读的格式的第一遍语法规范。我们专注于提取规则描述协议，在世界上许多语言的语法的核心形态句法现象。我们将我们的框架应用于Universal Advertisement项目中包含的所有语言，并取得了可喜的成果。使用跨语言迁移，即使在感兴趣的语言中没有专家注释，我们的框架也提取了语法规范，该语法规范几乎等同于使用大量黄金标准注释数据创建的语法规范。我们通过人类专家对我们的框架产生的规则进行评估来证实这一发现，其平均准确率为78%。我们在https://neulab.github.io/lase/上发布了一个界面来演示提取的规则。
2020-10-06 cs.CL
Scaling limit of the Random Language Model
Department of Physics, Toronto Metropolitan University（物理系，多伦多 Metropolitan 大学）
研究随机语言模型在隐藏符号数趋于无穷、语法温度趋于零的标度极限下的相变行为，发现规则使用在临界值x_c=1/8处发生凝聚转变，并推导出熵等可观测量的标度律。
2026-11-13 cond-mat.dis-nn cond-mat.stat-mech cs.CL
Word class representations spontaneously emerge in a deep neural network trained on next word prediction
University Hospital Hamburg（汉堡大学医院）；University Hospital Erlangen（埃尔兰根大学医院）；University Erlangen-Nuremberg（埃尔兰根-纽伦堡大学）
人类是如何学习语言的？第一语言到底能不能学会？这些基本问题仍在激烈辩论中。在当代语言学中，有两个主要的思想流派给出了完全相反的答案。根据乔姆斯基的普遍语法理论，语言不能被学习，因为儿童没有接触到足够的数据，在他们的语言环境。相反，基于使用的语言模型假设语言结构和语言使用之间存在深刻的关系。特别是，语境心理加工和心理表征被认为具有认知能力，以捕捉实际语言使用的复杂性在各个层面上。最好的例子是语法，即，单词组合成句子等更大单位的规则。典型地，句法规则被表示为词类的序列。然而，目前还不清楚是否词类是先天的，所暗示的普遍语法，或者他们是否出现在语言习得过程中，所建议的使用为基础的方法。在这里，我们从机器学习和自然语言处理的角度来解决这个问题。特别是，我们训练了一个人工深度神经网络来预测下一个单词，并提供了连续单词的序列作为输入。随后，我们分析了神经网络隐藏层中出现的激活模式。引人注目的是，我们发现，9个单词的输入序列的内部表示聚类根据第十个单词的词类预测输出，即使神经网络没有收到任何明确的信息，在训练过程中的语法规则或词类。这一令人惊讶的结果表明，在人类大脑中，抽象的表征类别（如词类）也可能是语言习得过程中预测编码和处理的结果。
2023-02-15 cs.AI cs.CL q-bio.NC
LuxBank: The First Universal Dependency Treebank for Luxembourgish
University of Luxembourg（卢森堡大学）
本文介绍 LuxBank，首个卢森堡语通用依存树库，建立标注指南，支持句法分析、工具开发及语言模型训练，促进西日耳曼语系研究。
2024-11-07 cs.CL
Language Modelling For Task-Oriented Domains
本文主要研究面向任务领域的语言建模，并对Dialogos口语对话系统所获得的话语进行了准确的分析。Dialogos允许通过公共网络使用电话访问意大利铁路时刻表。语言建模方面的特异性和行为罕见的事件进行了研究。提出了一种基于语法生成的句子的语言模型的鲁棒性技术。实验结果表明，所提出的技术的好处。当训练材料的数量有限时，使用语法创建的语言模型和通常的语言模型之间的性能增量更高。因此，这种技术可以提供一个优势，特别是在一个新的领域的语言模型的发展。
1997-11-19 cmp-lg cs.CL
MaiBaam: A Multi-Dialectal Bavarian Universal Dependency Treebank
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心）；IT University of Copenhagen（哥本哈根信息技术大学）
本文构建了首个多方言巴伐利亚语UD树库MaiBaam，含1.5万词元，覆盖多体裁与三国方言，揭示其与德语的形态句法差异，并公开数据与基线结果以促进研究。
2024-03-15 cs.CL
Is Structure Dependence Shaped for Efficient Communication?: A Case Study on Coordination
The University of Tokyo（东京大学）；NINJAL（日本国立国语研究所）
本文以并列结构为例，通过设计三种人工语言并量化其通信效率，发现具有结构依赖缩减操作的语言通信效率显著优于反事实语言，证明结构依赖性可由高效通信压力解释。
2024-10-14 cs.CL
Formalized Lambek Calculus in Higher Order Logic (HOL4)
在这个项目中，一个相当完整的证明理论形式化的Lambek演算（非关联的任意扩展）已经从Coq证明辅助移植到HOL4定理证明器，并进行了一些改进和新的定理。定义了Lambek演算的三个演绎系统（句法演算、自然演绎和序列演算），并证明了许多相关定理。形式上证明了这些系统之间的等价性。最后，在HOL4中设计并实现了序列微积分证明的形式化（其中Coq具有内置支持）。一些基本结果，包括所谓的“割自由”证明的子公式的性质进行了形式证明。这项工作可以被认为是对语言解析器的基础上的类别语法，这是不是多模态的，但仍然有能力支持上下文敏感的语言，通过自定义的扩展的初步工作。
2017-05-20 cs.CL cs.LO
