Using Priming to Uncover the Organization of Syntactic Representations in Neural Language Models
Johns Hopkins University（约翰斯·霍普金斯大学）；Cornell University（康奈尔大学）
神经语言模型（LM）在需要对句法结构敏感的任务上表现良好。借鉴心理语言学的句法启动范式，我们提出了一种新的技术来分析表征，使这种成功。通过建立结构之间的梯度相似性度量，该技术允许我们重建LM的句法表征空间的组织。我们使用这种技术来证明LSTM LM对不同类型的带有关系从句的句子的表示是以语言可解释的方式分层组织的，这表明LM跟踪句子的抽象属性。
2019-09-23 cs.CL
Robust Reading Comprehension with Linguistic Constraints via Posterior Regularization
Tsinghua University（清华大学）；Institute for Artificial Intelligence（人工智能研究院）；State Key Lab of Intelligent Technology and Systems（智能技术与系统国家重点实验室）；Beijing National Research Center for Information Science and Technology（北京信息科学与技术国家研究中心）
尽管机器阅读理解（RC）取得了很大的进步，但现有的RC模型仍然很脆弱，对不同类型的对抗性示例不鲁棒。神经模型过度自信地预测语义不同的对抗性示例的错误答案，而过度敏感地预测语义等效的对抗性示例的错误答案。现有的方法，提高这种神经模型的鲁棒性，只是减轻了两个问题之一，但忽略了另一个。在本文中，我们解决了过度自信的问题和过度敏感的问题，同时存在于现有的RC模型与外部语言知识的帮助。我们首先将外部知识施加不同的语言约束（实体约束，词汇约束和谓词约束），然后通过后验正则化RC模型。语言约束对语义不同和语义等价的对抗样本都有更合理的预测，后验正则化提供了一种有效的机制来结合这些约束。我们的方法可以应用到任何现有的神经RC模型，包括国家的最先进的BERT模型。大量的实验表明，我们的方法显着提高了基础RC模型的鲁棒性，更好地同时处理这两个问题。
2019-11-16 cs.CL
Do Language Models Encode Knowledge of Linguistic Constraint Violations?
IMS, University of Stuttgart, Stuttgart, Germany（斯图加特大学IMS研究所，斯图加特，德国）
研究探讨语言模型是否在参数中编码语言约束违规的表示，通过稀疏自编码器分析激活特征，发现未满足统一违规检测器的条件。
2026-05-14 cs.CL
A Large-Scale Multilingual Study of Visual Constraints on Linguistic Selection of Descriptions
The Hebrew University of Jerusalem（耶路撒冷希伯来大学）；University of Melbourne（墨尔本大学）
我们提出了一个大型的，多语种的研究如何限制语言的选择，涵盖四种语言和五个语言特性，如动词的及物性或使用的数字。我们提出了一种新的方法，利用现有的语料库的图像与标题写的母语人士，并将其应用到9个语料库，包括600K的图像和3M的标题。我们通过训练分类器来预测从原始图像表达属性的概率，研究视觉输入和语言选择之间的关系，并找到支持语言属性受跨语言视觉上下文约束的证据。我们补充这一调查与语料库研究，采取测试的情况下，数字。具体来说，我们使用现有的注释（对象的数量或类型），以调查不同的视觉条件对标题中使用的数字表达式的影响，并显示出类似的模式出现在不同的语言。我们的方法和发现都证实和扩展了认知文献中的现有研究。我们还讨论了可能的应用程序语言生成。
2023-02-09 cs.CL
TopoLM: brain-like spatio-functional organization in a topographic language model
EPFL（瑞士联邦理工学院）；Stanford University（斯坦福大学）；Georgia Institute of Technology（佐治亚理工学院）；Harvard University（哈佛大学）
本文提出TopoLM，通过下一token预测与空间平滑性损失使transformer形成类脑的语义功能集群，从而解释并预测人类语言皮层的空间-功能组织。
2025-05-15 cs.CL
Integration Of Visual Inter-word Constraints And Linguistic Knowledge In Degraded Text Recognition
降级文本识别是一项艰巨的任务。给定一个有噪声的文本图像，可以应用单词识别器来为每个单词图像生成几个候选。然后，可以使用高级知识源从每个单词图像的候选集合中选择决策。在本文中，我们提出，视觉字间的限制，可以用来促进候选人的选择。视觉词间约束提供了一种在文本页面内链接词图像并系统地解释它们的方法。
1994-05-06 cmp-lg cs.CL
Modeling Drug-Disease Relations with Linguistic and Knowledge Graph Constraints
Roam Analytics；Stanford University（斯坦福大学）
FDA药品标签是关于药物和药物-疾病关系的丰富信息来源，但其复杂性使其具有挑战性，难以单独分析。为了克服这一点，我们将这些标签放置在两个健康知识图谱中：一个是从关于药物和疾病的精确结构化信息构建的，另一个是使用简单的探试法完全从临床叙述文本数据库构建的。我们表明，在这些图上定义的概率软逻辑模型优于纯文本和仅关系的变体，并且临床叙述图几乎不需要手动操作就可以提供出色的结果。最后，我们发布了一个新的药物标签数据集，其中包含五种不同药物-疾病关系的注释。
2019-03-31 cs.CL
Network analysis of a corpus of undeciphered Indus civilization inscriptions indicates syntactic organization
The Institute of Mathematical Sciences（数学科学研究所）；Helsinki University of Technology（赫尔辛基工业大学）
在巴基斯坦和印度西北部的印度河流域文明（公元前2500-1900年）遗址的考古发掘中，出土了大量由数百个不同符号组成的铭文文物。迄今为止，这些符号序列还没有被普遍接受的解释，有人认为这些符号可能是非语言的。在这里，我们应用复杂的网络分析技术，以检测模式指示的句法组织的目的，现有的印度河铭文的数据库。我们的研究结果显示了模式的存在，例如，递归结构的分割树的序列，这表明存在一个语法基础这些铭文。
2010-05-27 cs.CL physics.data-an physics.soc-ph
Counter-fitting Word Vectors to Linguistic Constraints
University of Cambridge（剑桥大学）；Apple Inc.（苹果公司）
在这项工作中，我们提出了一种新的反拟合方法，注入反义和同义词的限制，以提高向量的能力，判断语义相似性的向量空间表示。将这种方法应用于公开的预训练词向量，可以在SimLex-999数据集上实现最新的性能。我们还展示了如何使用该方法来定制对话状态跟踪的下游任务的词向量空间，从而在不同的对话域中实现鲁棒的改进。
2016-03-02 cs.CL cs.LG
Multilingual Language Models Encode Script Over Linguistic Structure
Indian Institute of Technology Delhi（印度理工学院德里）
研究揭示多语言模型通过表面形式而非语言结构组织表示，发现正字法影响显著，深层结构逐渐显现。
2026-04-20 cs.CL cs.LG
Quantification and object perception in Multimodal Large Language Models and human linguistic cognition
Universitat Autònoma de Barcelona（巴塞罗那自治大学）；Institució Catalana de Recerca i Estudis Avançats (ICREA)（加泰罗尼亚高级科研与研究机构（ICREA））
本文研究多模态大语言模型和人类在量化中的关键特征，探讨其在模型架构中的编码差异及语言影响。
2026-03-25 cs.CL
Learning Correlations between Linguistic Indicators and Semantic Constraints: Reuse of Context-Dependent Descriptions of Entities
本文介绍了一项研究的结果施加在词汇选择的某些语境指标的语义约束。我们展示了如何计算这些指标，以及如何使用监督学习自动建立它们之间的相关性和命名实体的名词短语描述的选择。基于这种相关性，我们已经开发出一种技术，在文本生成中的实体描述的自动词汇选择。我们讨论了选择一个适当的描述，在自动生成的文本和描述本身的语义的特定目的的语用之间的潜在关系。我们提出了我们的工作框架中的更一般的概念，自动提取大型语料库的语言结构的重用。我们提出了一个正式的评估我们的方法，我们得出结论，我们的方法的潜在应用的一些想法。
1998-05-31 cmp-lg cs.CL
Interfacing Constraint-Based Grammars and Generation Algorithms
原则上，基于约束的语法可以作为分析和生成的主要语言知识源。表面生成从输入语义表示开始，输入语义表示可能会因语法而异。对于许多声明性语法来说，内置的中隐含的派生概念就是解析的概念。因此，它们可能无法由生成算法解释。我们表明，语言上合理的语义分析可能会导致严重的问题，语义头驱动的方法生成（SHDG）。我们使用SeReal，SHDG的变体和德语的DISCO语法作为我们的例子来源。我们提出了一种新的，一般的方法，明确占语法和生成算法之间的接口，通过添加一个面向控制的层的语言知识库，重组的语义在一种适合生成。
2000-08-07 cs.CL
Formal Constraints on Dependency Syntax
Universidade da Coruña（拉科鲁尼亚大学）；CITIC；Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）
研究依赖语法树结构的约束条件，以更准确描述语言现象，提高解析效率并理解语言演变。
2026-04-06 cs.CL
Linguistics Theory Meets LLM: Code-Switched Text Generation via Equivalence Constrained Large Language Models
Boston University（波士顿大学）；Deccan AI（德干人工智能公司）；Monash University Indonesia（莫纳什大学印度尼西亚分校）；Capital One（第一资本金融公司）
本研究提出融合等价约束理论与大语言模型的EZSwitch框架，生成符合语言学规则的流畅语码转换文本，构建CSPref人类偏好数据集，验证了语言学约束可提升生成质量与人类对齐度。
2024-10-30 cs.CL
Mark My Words! Linguistic Style Accommodation in Social Media
Cornell University（康奈尔大学）；Microsoft Research（微软研究院）
心理语言学的交际调节理论解释了人们的普遍观察，即会话参与者倾向于趋同于彼此的交际行为：他们在各种维度上协调，包括词语的选择、句法、话语长度、音高和手势。在其存在的近40年里，这一理论一直只通过小规模或受控的实验室研究得到经验支持。在这里，我们在Twitter对话的背景下解决这一现象。毫无疑问，这种情况不同于其他任何观察到调节的情况，因此对理论提出了挑战。它的新颖性不仅来自于它的大小，还来自于对话的非实时性，来自于140个字符长度的限制，来自于各种各样的社会关系类型，以及来自于一个最初根本不面向对话的设计。考虑到这些限制因素，在这种新环境的限制下，先验地不清楚适应是否足够稳健。为了研究这一点，我们开发了一个概率框架，可以模拟住宿和衡量其影响。我们将其应用于专门为此任务开发的大型Twitter会话数据集。这是第一次在大规模的现实世界中检验（和验证）语言风格调节的假设。此外，在研究诸如风格影响和调节对称性等概念时，我们发现了以前从未观察到的现象的复杂性。我们还探讨了文体的影响力和网络功能通常与社会地位之间的潜在关系。
2011-05-03 cs.CL cs.SI
Human-like Linguistic Biases in Neural Speech Models: Phonetic Categorization and Phonotactic Constraints in Wav2Vec2.0
Institute for Logic, Language and Computation, University of Amsterdam（阿姆斯特丹大学逻辑、语言与计算研究所）
本文借鉴人类语音感知实验，通过/l/-/r/声学连续体受控刺激研究Wav2Vec2如何解析音位配列约束，发现模型在早期Transformer层即表现出类人的音位配列可接受性偏见，且ASR微调会放大该效应。
2024-07-03 cs.AI cs.CL cs.SD
Beyond Zipf's law: Modeling the structure of human language
IFISC (CSIC-UIB) Instituto de Física Interdisciplinar y Sistemas Complejos（IFISC（西班牙国家研究委员会-巴利阿里群岛大学）跨学科物理与复杂系统研究所）；Indiana University（印第安纳大学）；ISI Foundation（ISI基金会）
人类语言是人类历史上最强大的交流系统，与认知密切相关。书面文本是语言的基本表现形式之一，对它的普遍性的研究可以为我们的大脑如何处理信息以及我们作为一个社会如何组织和分享信息提供线索。相比之下，其他基本属性，如存在的突发罕见的话，在特定的文件，主题组织的集合，或次线性增长的词汇量与文件的长度，只被研究了一个接一个，主要是应用启发式方法，而不是基本原则和一般机制。因此，缺乏对语言过程作为复杂的涌现现象的理解。除了Zipf的词频定律之外，这里我们关注的是Heaps定律，突发性和文档集合的主题性，这些文档集合编码了随机空模型中不存在的文档内部和跨文档的相关性。我们介绍并验证了生成模型，解释了所有这些模式的同时出现，从简单的规则。因此，我们发现罕见的单词的突发性和文本的主题组织之间的连接，并确定动态字排名和记忆跨文件的关键机制，解释非平凡的书面文本的组织。我们的研究可以在计算机科学、认知科学和语言学中具有广泛的意义和实际应用。
2009-02-03 cs.CL physics.soc-ph
Statistical Patterns in Written Language
在过去的几十年里，定量语言学已经被允许在复杂系统领域的公认的模糊边界内。越来越多的应用数学家和统计物理学家利用从统计学和信息论中借用的技术，致力于揭示语言流的相关性、模式和结构特性。总的来说，结果仍然可以被归类为适度的，但前景是有希望的：人类语言组织中的中期和长期特征-这超出了传统语言学的范围-已经从这种分析中出现，并继续被报道，为我们理解这个最复杂的交流系统提供了新的视角。这本简短的书旨在回顾其中一些最近的贡献。
2017-08-23 cs.CL
Conceptual Networks for Cross-Linguistic Idiomatic Expressions: A Feature-Based Graph Approach
University of Eastern Finland（东芬兰大学）；Indian Institute of Technology Ropar（印度理工学院罗帕尔分校）
该研究提出基于网络的框架表示八种语言的习语和比喻意义，用概念特征注释构建加权图，通过社区检测发现习语按概念模式聚类，网络能捕获独特语义信息，跨语言转移实验有提升，消融研究表明多特征维度有贡献，提供了可解释的习语意义表示。
2026-07-14 cs.AI cs.CL cs.ET
What can linguistics and deep learning contribute to each other?
Johns Hopkins University（约翰斯·霍普金斯大学）
Joe Pater的目标文章呼吁神经网络研究和语言学之间更大的互动。我扩大这一呼吁，并显示如何这种互动可以使这两个领域。语言学家可以通过清晰地描述这种系统的语言能力，并通过构建可以确定是否满足这些要求的受控实验范式，为语言技术的神经网络研究做出贡献。在另一个方向，神经网络可以通过为模拟人类句子处理和评估特定先天约束对语言习得的必要性提供基础设施来有益于语言的科学研究。
2018-09-14 cs.CL
A Probabilistic Approach in Historical Linguistics Word Order Change in Infinitival Clauses: from Latin to Old French
本研究通过使用计算语言学、自然语言处理、贝叶斯统计和社会语言学方法，为语言学领域提供了一种新的跨学科方法。本文考察了拉丁语和古法语中不定式从句从宾语-动词（OV）到动词-宾语（VO）的语序变化。本文运用变异论的方法，考察了语言演变过程中各个阶段的共时语序变异，并由此推断出历时变异的特征、分期和制约因素。我还表明，在话语配置的语言，如拉丁语和早期古法语，它是可能的，以确定语用中立的情况下，使用信息结构注释。我进一步认为，通过映射到一个句法结构的语用类别，我们可以检测如何词序变化展开。在这项调查中，数据是从注释语料库中提取的，这些语料库跨越了几个世纪的拉丁语和古法语，以及使用计算语言学方法创建的其他资源。然后，这些数据被进一步编纂为各种语用，语义，句法和社会语言学因素。本研究还评估了先前提出的解释语序交替和变化的因素。我展示了信息结构和句法约束如何随着时间的推移而变化，并提出了一种方法，使研究人员能够区分一个稳定的词序交替交替表示变化。最后，我提出了一个三阶段的词序变化的概率模型，这也符合传统的语言变化模式。
2020-11-16 cs.CL
Constructing a Family Tree of Ten Indo-European Languages with Delexicalized Cross-linguistic Transfer Patterns
Peking University（北京大学）
历史语言学家和语言类型学家提出的语言差异模式反映了人类语言的局限性，因而在某种程度上与二语习得是一致的。在本文中，我们验证了这一假设的10个印欧语言。我们形式化的非词汇化的传输作为可解释的树到字符串和树到树的模式，可以通过应用神经句法分析和语法归纳技术从Web数据自动诱导。这使我们能够定量地探讨跨语言迁移，并扩大调查的第二语言习得。我们扩展现有的作品，利用混合功能，并支持脱词汇化的跨语言迁移和历史比较范式产生的系统发育结构之间的协议。
2020-07-17 cs.CL
Including Signed Languages in Natural Language Processing
Carnegie Mellon University（卡内基梅隆大学）；Bar-Ilan University（巴伊兰大学）；Gallaudet University（加劳德特大学）；Allen Institute for AI（艾伦人工智能研究所）；University of Pittsburgh（匹兹堡大学）
手语是许多聋人和重听人的主要交流手段。由于符号语言表现出自然语言的所有基本语言特性，我们认为自然语言处理（NLP）的工具和理论对其建模至关重要。然而，现有的研究在手语处理（SLP）很少尝试探索和利用的手语的语言组织。这份立场文件呼吁NLP社区将手语作为具有高度社会和科学影响的研究领域。我们首先讨论了在建模过程中要考虑的符号语言的语言属性。然后，我们回顾了当前SLP模型的局限性，并确定了将NLP扩展到签名语言的开放性挑战。最后，我们敦促（1）采用有效的标记化方法;（2）开发语言信息模型;（3）收集真实世界的手语数据;（4）将当地手语社区作为研究方向的积极和主导声音。
2021-07-22 cs.AI cs.CL cs.LG
Linguistic Laws Meet Protein Sequences: A Comparative Analysis of Subword Tokenization Methods
Boğaziçi University（博阿齐奇大学）
本研究比较分析BPE、WordPiece和SentencePiece三种子词分词方法在不同词汇量下处理蛋白质序列的效果，发现其在结构域保留和语言定律遵循上存在差异，强调需开发蛋白质专用分词策略。
2024-11-26 cs.CL q-bio.QM
SYNTAGMA. A Linguistic Approach to Parsing
SYNTAGMA是一个基于规则的句法分析系统，分为两个层次：通用的句法分析引擎和特定语言的语法。解析引擎是一个独立于语言的程序，而语法和语言特定的规则和资源是作为文本文件给出的，包括一个组成结构列表和一个词汇数据库与词义相关的功能和约束。由于其理论背景主要是Tesniere的语法元素，语法强调论元结构（配价）在约束满足中的作用，并允许水平边界，例如处理协调。Pro、迹、空语类等概念源于生成语法，一些解决方案虽然是自主研究的结果，但与管辖约束理论接近。这些属性允许SYNTAGMA管理复杂的语法配置和分析工程中众所周知的弱点。一个重要的资源是语义网络，它用于消歧任务。解析过程遵循自下而上的规则驱动策略。它的行为是可以控制和微调的。
2016-01-21 cs.CL
Hierarchical Contextual Manifold Alignment for Structuring Latent Representations in Large Language Models
提出分层上下文流形对齐方法，在不改动模型权重下重构词元嵌入，提升稀有词元检索、对抗鲁棒性与长距离依赖追踪，兼顾表示质量与计算效率。
2025-03-25 cs.CL
The Role of Dataset Linguistic Structure in the Cultural Awareness of Large Language Models
University College London（伦敦大学学院）；Queen’s University Belfast（贝尔法斯特女王大学）；The University of Tokyo（东京大学）；University of Bisha（比沙大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；AI Centre, University College London（伦敦大学学院人工智能中心）
本文研究了数据集语言结构对大型语言模型文化表现的影响，发现词汇导向的成分在不同模型中表现更稳定，而语义或多样性极端成分可能产生中性或有害效果。
2026-09-22 cs.CL
Hierarchical Lexical Manifold Projection in Large Language Models: A Novel Mechanism for Multi-Scale Semantic Representation
提出一种将分层嵌入投影到结构化流形的新机制，在保持计算效率的同时增强多尺度语义表示，提升语言基准准确性和鲁棒性。
2025-03-25 cs.CL
Umwelt Engineering: Designing the Cognitive Worlds of Linguistic Agents
本文提出Umwelt工程作为代理设计栈的第三层，通过两个实验探讨改变推理媒介对认知的影响，发现约束语言模型在伦理推理和分类任务中表现更优，且通过认知重构和多样化机制提升性能。
2026-03-29 cs.AI cs.CL
Linguistic Patterns in Pandemic-Related Content: A Comparative Analysis of COVID-19, Constraint, and Monkeypox Datasets
Manchester Metropolitan University（曼彻斯特城市大学）
本研究通过比较 COVID-19 虚假叙事、一般 COVID-19 内容和猴痘帖子三个语料库，发现 misinformation 具有更低可读性、更多恐惧与说服性词汇及更少感叹号，为数字健康 misinformation 检测和危机沟通提供语言指标参考。
2025-10-08 cs.AI cs.CL cs.LG
Register Variation Remains Stable Across 60 Languages
University of Canterbury（坎特伯雷大学）；University of Manchester（曼彻斯特大学）
本文对语域间变异的稳定性进行了度量。语域是一种与语言外语境相联系的语言变体。语域与语境之间的关系是功能性的：构成语域的语言特征受交际情境的需要和制约。这一观点假设语域应该是普遍的，因此我们期望在定义语域的语言外语境和语域所包含的语言特征之间有一种稳定的关系。在本文中，寄存器变化的普遍性和鲁棒性进行了测试，通过比较变化内与寄存器之间的特定语料库中的60种语言使用语料库中产生的可比的通信情况：推特和维基百科的文章。我们的研究结果证实了语域变异实际上是普遍存在的这一预测。
2022-09-20 cs.CL
The Harmonic Structure of Information Contours
ETH Zürich（苏黎世联邦理工学院）；TTIC；Georgetown（乔治城大学）；UCSD（加州大学圣迭戈分校）
本文提出用谐波回归和时间缩放方法检测信息率的周期性波动，在六种语言文本中发现与语篇结构对齐的周期性模式，揭示了信息率波动背后的隐性周期性语言压力。
2025-06-04 cs.CL
Trivial Vocabulary Bans Improve LLM Reasoning More Than Deep Linguistic Constraints
研究通过对比不同词汇禁令对语言模型推理的影响，发现简单禁令比深层语言约束更有效，揭示了输出正则化机制对推理提升的作用。
2026-04-03 cs.AI cs.CL
Standards for Language Resources
Vassar College（瓦萨学院）；LORIA/INRIA（洛里亚/法国国家信息与自动化研究所）
本文提出了一个抽象的数据模型的语言注释和它的实现使用XML，RDF和相关标准，并概述了一个新成立的国际标准化组织（ISO），ISO/TC 37/SC 4语言资源管理委员会的工作，将使用这项工作作为其出发点。提出后者的主要动机是请研究界成员参与，为委员会的工作作出贡献。
2009-09-15 cs.CL
Target Language-Aware Constrained Inference for Cross-lingual Dependency Parsing
University of California, Los Angeles（加州大学洛杉矶分校）；University of Southern California（南加州大学）
以前的跨语言依存句法分析的工作往往侧重于捕捉源语言和目标语言之间的共性，而忽略了利用语言的语言特性来促进迁移的潜力。在本文中，我们表明，弱监督的语言知识的目标语言，可以大大提高跨语言的基于图的依赖分析器。具体来说，我们探讨了几种类型的语料库语言统计数据，并将它们编译成语料库的约束，以指导在测试期间的推理过程。我们采用两种技术，拉格朗日松弛和后验正则化，进行推断与语料库统计约束。实验结果表明，拉格朗日松弛和后验正则化推理分别提高了15和17个目标语言的性能。这些改进对于具有与源语言不同的词序特征的目标语言尤其重要。
2019-09-03 cs.CL
Zero-shot Cross-Linguistic Learning of Event Semantics
Indiana University（印第安纳大学）；Rutgers University（罗格斯大学）；University of Pittsburgh（匹兹堡大学）；University of Edinburgh（爱丁堡大学）；New York University Abu Dhabi（纽约大学阿布扎比分校）
类型多样的语言提供了词汇和语法方面的系统，使说话者能够专注于事件结构的各个方面，这些方面与他们所面临的特定交际环境和话语限制相一致。在本文中，我们特别关注阿拉伯语，汉语，波斯语，德语，俄语和土耳其语的图像标题，并描述了一个用于预测词汇方面的计算模型。尽管这些语言的异质性，以及在其标题语料库中对独特语言资源的显著调用，但这些语言的使用者在构建图像内容的方式上表现出惊人的相似性。我们利用这一观察结果进行zero-shot跨语言学习，并表明尽管根本没有观察到这种语言的任何注释数据，但可以预测给定语言的词汇方面。
2022-07-05 cs.CL
Self-organizing Pattern in Multilayer Network for Words and Syllables
National Tsing Hua University（国立清华大学）
语言学家的最终目标之一是找到人类语言的共性。虽然单词通常被认为是代表语言形式和意义之间的任意映射，我们提出了一个新的普遍规律，突出了音节，这是补充齐普夫的同样重要的作用。通过绘制英汉语料库的词和音节的等级-等级频率分布图，可以看到明显的线条，并可以拟合成一条主曲线。我们发现基于这种分析的词和音节的多层网络表现出自组织的特征，这在很大程度上依赖于音节及其连接的包含。本文推导了网络俚语流行度的解析表达式，并将其应用于网络俚语流行度的量化分析，为进化语言学提供了一种新的工具。
2020-05-05 cs.CL nlin.AO
Natural Language Syntax Complies with the Free-Energy Principle
McGovern Medical School, University of Texas Health Science Center（德克萨斯大学健康科学中心麦戈文医学院）；Texas Institute for Restorative Neurotechnologies, University of Texas Health Science Center（德克萨斯大学健康科学中心德克萨斯恢复性神经技术研究所）；University College London（伦敦大学学院）；UCL Queen Square Institute of Neurology（伦敦大学学院皇后广场神经病学研究所）
自然语言语法产生一个无限的层次结构表达式数组。我们声称，这些都是用于主动推理的服务，符合自由能原理（FEP）。虽然概念上的进步以及建模和仿真工作已经试图连接语音分割和语言通信的FEP，我们扩展这个程序的基础计算负责生成语法对象。我们认为，最近提出的原则，经济的语言设计-如“最小搜索”的标准，从理论语法-坚持FEP。这为FEP提供了更大程度的解释力-关于更高的语言功能-并为语言学提供了关于可计算性的第一原则的基础。我们展示了如何树的几何深度和柯尔莫哥洛夫复杂性估计（招募Lempel-Ziv压缩算法）可以用来准确地预测法律操作的语法语法，直接在变分自由能最小化的配方。这是用来激发语言设计的一般原则，我们称之为图灵-乔姆斯基压缩（TCC）。我们使用TCC对齐关注的语言学家与FEP提供的自组织的规范性帐户，通过编组证据从理论语言学和心理语言学地面的核心原则，有效的句法计算内主动推理。
2022-10-27 cs.CL
ELEGANCE: Efficient LLM Guidance for Audio-Visual Target Speech Extraction
本文提出ELEGANCE框架，通过输出约束、中间预测和输入先验三种策略将大语言模型的语言知识融入音视频目标语音提取模型，在视觉受损、语言未见、说话人切换等困难场景下显著提升性能。
2025-11-09 cs.CL cs.MM cs.SD
Complexity-entropy analysis at different levels of organization in written language
University of Havana（哈瓦那大学）
书面语言是复杂的。书面文本可以被认为是试图传达一个有意义的信息，最终受到语言规则，上下文依赖和高度冗余的资源使用的限制。尽管有这些限制，但不可预测性是自然语言的基本要素。在这里，我们提出了使用熵的措施，以维护书面文本的可预测性和惊喜之间的平衡。简而言之，可以在文档中度量创新和上下文保持。它表明，这也可以在不同层次的组织的文本。所提出的分析类型是相当普遍的，也可以用于分析其他复杂信息中的相同平衡，例如DNA，其中已知存在组织层次结构。
2019-03-14 cs.CL
Pixology: Probing the Linguistic and Visual Capabilities of Pixel-based Language Models
KU Leuven（鲁汶大学）；Sailplane AI
本研究通过多种语言和视觉任务探测基于像素的语言模型PIXEL，发现其视觉与语言理解存在显著差距，低层捕获视觉特征而高层学习句法语义，并揭示输入正字法约束可促进早期表面特征学习。
2024-10-15 cs.CL
Human Variability vs. Machine Consistency: A Linguistic Analysis of Texts Generated by Humans and Large Language Models
University of Konstanz（康斯坦茨大学）
本文基于M4数据集和250个语言特征，结合LFTK、句法深度、语义与情感度量及PCA分析，识别人类与LLM文本在特征变异性、认知负荷和内容丰富度上的差异。
2024-12-04 cs.CL
A commentary on "The now-or-never bottleneck: a fundamental constraint on language", by Christiansen and Chater (2016)
Universitat Politècnica de Catalunya (UPC)（加泰罗尼亚理工大学）
在最近的一篇文章中，Christiansen和Chater（2016）提出了对语言的基本约束，即从我们短暂的记忆中产生的现在或永远不会出现的瓶颈，并探讨了其含义，例如，分块和传递处理，概述了一个框架，承诺统一不同领域的研究。在这里，我们探索额外的支持，这一限制，并建议从定量语言学和信息论进一步连接。
2017-07-14 cs.CL
Developing a hybrid NP parser
我们描述了使用能量函数优化非常浅的句法分析。该方法可以使用语言规则和基于语料库的统计数据，因此可以将语言和统计方法的优势结合在一个框架中。这些规则是上下文约束，用于解决表示为替代标签的句法歧义，并且统计语言模型由基于语料库的句法标签的n-gram组成。的成功的混合句法消歧器进行了评估，对一个举行了基准语料库。此外，语言和统计语言模型的混合模型的贡献进行了估计。
1997-04-24 cmp-lg cs.CL
Weak subsumption Constraints for Type Diagnosis: An Incremental Algorithm
我们引入了高阶并发约束语言的类型检查所需的约束，并用增量算法求解。我们的约束系统通过约束x $\subseteq$ y扩展了有理统一，即“$x$至少具有$y$”的结构，由树之间的弱实例关系建模。这种实例的概念是经过精心选择的，比通常的使半统一不可判定的概念要弱。半统一已不止一次地用于连接类型推理和计算语言学中考虑的统一问题。正如多态递归对应于包容通过半统一问题，我们的类型约束问题对应于弱包容的特征图在语言学。Dörre~ \cite{Doerre:WeakSubsumption:94}解决了特征图\WhatsIt的可判定性问题。\nocite{RuppRosnerJohnson:94}与Dörre的算法相反，我们的算法是完全增量的，不涉及有限状态自动机。我们的算法也更加灵活。它允许许多扩展（记录，排序，析取类型，类型声明等），使其适合于成熟的编程语言的类型推断。
1995-11-20 cmp-lg cs.CL
Feature-Refined Unsupervised Model for Loanword Detection
LLACAN, CNRS（法国国家科学研究中心，语言、非洲语言与文化实验室）
针对现有借词检测依赖外部信息的局限，提出仅用语言内部信息的无监督模型，通过特征提取与概率映射迭代优化，在六种印欧语数据集上优于基线且跨语言扩展性能提升显著。
2025-08-25 cs.CL
Breaking Physical and Linguistic Borders: Multilingual Federated Prompt Tuning for Low-Resource Languages
University of Cambridge（剑桥大学）；University College London（伦敦大学学院）；Samsung AI Center（三星人工智能中心）；Flower Labs（Flower实验室）
本文提出多语言联邦提示微调范式，在遵守数据共享限制的同时利用参数高效微调，实验表明其相比传统本地跨语言迁移方法准确率提升6.9%，并显著改善低资源语言的数据效率和跨语言互增强能力。
2025-07-02 cs.CL
Cross-Linguistic Effects in Bilingual Phoneme BabyLMs
National Technical University of Athens（雅典国立技术大学）；Instituto de Telecomunicações（电信研究所）
本研究训练以音素输入的双语BabyLM，固定英语为二语，变化一语为德语、瑞典语、波斯语和巴斯克语，发现音素输入下语法学习轨迹的跨语言效应更强，早期词汇差异与音素库相似性相关。
2026-09-30 cs.CL
The Effect of Different Writing Tasks on Linguistic Style: A Case Study of the ROC Story Cloze Task
University of Washington（华盛顿大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
一个作家的风格不仅取决于个人特质，还取决于她的意图和精神状态。在本文中，我们展示了如何相同的写作任务的变体可以导致可测量的写作风格的差异。我们提出了一个基于故事完形填空任务的案例研究（Mostafazadeh et al.，2016 a），其中注释者被分配了具有不同约束的类似写作任务：（1）编写整个故事，（2）为给定的故事上下文添加故事结局，以及（3）为故事添加不连贯的结局。我们表明，一个简单的线性分类通知文体特征是能够成功区分这三种情况下，甚至不看的故事背景。此外，将我们的文体特征与语言模型预测相结合，达到了故事完形填空的最佳表现。我们的研究结果表明，不同的任务框架可以显着影响人们的写作方式。
2017-07-13 cs.CL
Memoization of Coroutined Constraints
有些语言约束在句法分析过程中不能在它们最自然引入的位置有效地解决。本文展示了如何在memoizing解析器（如图表解析器）中以与变量绑定相同的方式传播约束，并提供了memoizing中约束协程的一般处理。Prolog代码的一个简单的应用程序，我们的技术Bouma和范诺德（1994年）的类别语法分析荷兰提供。
1995-05-15 cmp-lg cs.CL
GTAE: Graph-Transformer based Auto-Encoders for Linguistic-Constrained Text Style Transfer
近年来，非平行语篇风格迁移引起了越来越多的研究兴趣。尽管在基于编码器-解码器框架的风格转换方面取得了成功，但目前的方法仍然缺乏保留原始句子的内容甚至逻辑的能力，这主要是由于大的无约束模型空间或对潜在嵌入空间的过于简化的假设。由于语言本身是人类使用特定语法的智能产品，并且本质上具有有限的基于规则的模型空间，因此缓解这个问题需要协调深层神经网络的模型容量与人类语言规则的内在模型约束。为此，我们提出了一种称为基于图Transformer的自动编码器（GTAE）的方法，该方法将句子建模为语言图，并在图级别上执行特征提取和风格转换，以最大限度地保留原始句子的内容和语言结构。三个非平行文本风格迁移任务的定量实验结果表明，我们的模型优于国家的最先进的方法，在内容保存，同时实现了相当的性能，转移的准确性和句子的自然。
2021-02-01 cs.AI cs.CL cs.CV
Emergent Communication for Understanding Human Language Evolution: What's Missing?
Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）；Tel Aviv University（特拉维夫大学）；University of Glasgow（格拉斯哥大学）
人类和人工神经网络代理之间的紧急通信协议还没有共享相同的属性，并且在结果中显示出一些关键的不匹配。我们描述了关于组合性的出现和益处的三个重要现象：易于学习、泛化和群体规模效应（即，更大的群体创造更系统的语言）。后两个没有完全复制与神经代理，这阻碍了使用神经涌现通信语言进化研究。我们认为，这些不匹配的一个可能的原因是，人类的关键认知和沟通的限制尚未整合。具体来说，在人类中，记忆约束和说话者和听话者角色之间的交替是语言结构出现的基础，但这些约束在神经模拟中通常不存在。我们认为，引入这样的沟通和认知的限制，将促进更多的语言合理的行为与神经代理。
2022-04-22 cs.CL cs.LG cs.NE
