Language Models as Models of Language
Macquarie University（麦考瑞大学）
本章批判性探讨现代语言模型对理论语言学的潜在价值，回顾实证证据表明其可习得层级句法等语言知识，指出用能力/表现区分否定其相关性为时过早，提出控制条件结合因果干预的实验可约束语言习得假说，呼吁跨学科合作以推动语言天赋论辩论。
2024-08-13 cs.CL
Syntactic Structure from Deep Learning
John Hopkins University（约翰·霍普金斯大学）；Facebook AI Research（Facebook人工智能研究院）；Catalan Institute for Research and Advanced Studies（加泰罗尼亚研究与高等研究院）；Universitat Pompeu Fabra（庞培法布拉大学）
现代深度神经网络在需要广泛语言技能的工程应用中取得了令人印象深刻的性能，例如机器翻译。这一成功引发了人们对探索这些模型是否能从它们接触到的原始数据中诱导出类似人类的语法知识的兴趣，因此，它们是否能为关于语言习得所需的先天结构的长期争论提供新的线索。在这篇文章中，我们回顾了深度网络句法能力的代表性研究，并讨论了这项工作对理论语言学的更广泛的影响。
2020-04-22 cs.CL
The Grammar-Learning Trajectories of Neural Language Models
Hebrew University of Jerusalem（希伯来大学）
人类语言现象的学习轨迹提供了对语言表征的洞察，超越了从观察成年人说话者的行为中所能收集到的。为了应用类似的方法来分析神经语言模型（NLM），首先需要确定不同的模型在它们所做的概括中足够相似。在本文中，我们表明，NLM与不同的初始化，架构，和训练数据获得语言现象以类似的顺序，尽管他们不同的最终性能。这些发现表明，这些模型对语言现象的学习存在着某种相互诱导的偏见。从心理语言学的启示，我们认为，研究这种归纳偏见是一个机会，研究隐含在NLM的语言表征。利用这些发现，我们比较了在不同学习阶段与更简单的参考模型对不同现象的相对表现。结果表明，NLM表现出一致的“发展”阶段。此外，我们发现学习轨迹近似是一维的：给定一个具有一定整体性能的NLM，可以预测它已经获得了哪些语言概括。这些阶段的初步分析提出了现象集群（特别是形态的），其性能一致的进展，这表明它们背后的概括之间的潜在联系。
2022-04-06 cs.AI cs.CL cs.LG
Recurrent Neural Network Language Models Always Learn English-Like Relative Clause Attachment
Cornell University（康奈尔大学）
评估语言模型的标准方法分析模型如何将概率分配给有效与无效的句法结构（即，语法句子比不语法句子更有可能）。我们的工作使用歧义关系从句附件扩展这样的评估的情况下，多个同时有效的解释，其中明显的语法差异是缺席。我们比较了英语和西班牙语的模型性能，结果表明RNN LM中的非语言偏见与英语而不是西班牙语的句法结构有利地重叠。因此，英语模型可能会获得类似人类的句法偏好，而在西班牙语上训练的模型则无法获得类似人类的偏好。最后，我们将这些结果与理解（即典型的语言模型用例）和生成（生成语言模型的训练数据）之间的关系联系起来，这表明训练信号中根本不存在必要的语言偏见。
2020-05-07 cs.CL
Universal linguistic inductive biases via meta-learning
Johns Hopkins University（约翰斯·霍普金斯大学）；University of California, Berkeley（加州大学伯克利分校）；Microsoft Research AI（微软人工智能研究院）；Princeton University（普林斯顿大学）
学习者如何从有限的数据中习得语言？这一过程必然涉及一些归纳偏见--影响学习者如何概括的因素--但目前还不清楚哪些归纳偏见可以解释语言习得中观察到的模式。为了促进旨在解决这个问题的计算建模，我们引入了一个框架，使特定的语言归纳偏见的神经网络模型，这样的模型，然后可以用来实证探索这些归纳偏见的影响。这个框架将编码在神经网络参数初始值中的普遍归纳偏差与非普遍因素分开，神经网络必须从给定语言的数据中学习非普遍因素。编码归纳偏差的初始状态是通过元学习发现的，元学习是一种技术，通过这种技术，模型发现如何通过接触许多可能的语言来更容易地获得新语言。通过控制元学习过程中使用的语言的属性，我们可以控制元学习带来的归纳偏差。我们证明了这个框架的基础上音节结构的案例研究。首先，我们指定打算赋予模型的归纳偏差，然后将这些归纳偏差翻译成模型可以从中进行元学习的语言空间。最后，使用现有的分析技术，我们验证了我们的方法，它是为了传授语言归纳偏见。
2020-06-29 cs.CL cs.LG
A Formal Framework for Linguistic Annotation (revised version)
“语言注释”包括适用于原始语言数据的任何描述性或分析性符号。基本数据可以是时间函数的形式-音频、视频和/或生理记录-或者它可以是文本。增加的注释可能包括各种类型的音译（从语音特征到话语结构）、词性和意义标注、句法分析、“命名实体”识别、共指注释等。虽然目前正在努力为这些注释提供格式和工具并出版注释语言数据库，但缺乏广泛接受的标准正成为一个关键问题。现有的拟议标准都侧重于文件格式。本文的重点是语言注释的逻辑结构。我们调查了各种现有的注释格式，并展示了一个共同的概念核心，注释图。这为构造、维护和搜索语言注释提供了一个正式的框架，同时与许多替代的数据结构和文件格式保持一致。
2000-10-26 cs.CL cs.DB cs.DS
Blur the Linguistic Boundary: Interpreting Chinese Buddhist Sutra in English via Neural Machine Translation
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）；University of Electronic Science and Technology of China（电子科技大学）
佛教是一个有着悠久历史和深刻哲理的有影响的宗教。当今世界，越来越多的人渴望学习佛教的精髓，重视佛教的传播。然而，用文言文写的佛经对大多数人和机器翻译应用来说都是晦涩难懂的。例如，一般的汉英神经机器翻译（NMT）在这一领域失败了。在本文中，我们提出了一种新的方法来建立一个实用的NMT模型的佛经。我们的翻译管道的性能在三个标准下的烧蚀实验中获得了非常有希望的结果。
2022-09-30 cs.AI cs.CL
Emergence of Linguistic Communication from Referential Games with Symbolic and Pixel Input
DeepMind（深度思维）
算法进化或学习（组合）通信协议的能力传统上在语言进化文献中通过使用紧急通信任务进行研究。在这里，我们通过使用当代深度学习方法和在参考通信游戏上训练学习神经网络代理来扩大这项研究。我们扩展了以前的工作，其中代理在符号环境中进行训练，通过开发能够从原始像素数据中学习的代理，一个更具挑战性和现实的输入表示。我们发现，在输入数据中发现的结构的程度会影响出现的协议的性质，从而证实了这一假设，即结构化的组成语言是最有可能出现时，代理感知世界的结构。
2018-04-11 cs.AI cs.CL cs.LG
Fully Convolutional Speech Recognition
Facebook A.I. Research（脸书人工智能研究院）；PSL Research University（巴黎文理研究大学）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；EHESS（法国高等社会科学研究院）；INRIA（法国国家信息与自动化研究所）
当前最先进的语音识别系统建立在用于声学和/或语言建模的递归神经网络上，并且依赖于特征提取流水线来提取梅尔滤波器组或倒谱系数。在本文中，我们提出了一种替代方法，完全基于卷积神经网络，利用声学模型的最新进展，从原始波形和语言建模。这种完全卷积的方法是端到端训练的，以从原始波形中预测字符，完全去除了特征提取步骤。使用外部卷积语言模型来解码单词。在《华尔街日报》上，我们的模型与当前最先进的模型相匹配。在Librispeech上，我们报告了端到端模型的最先进性能，包括使用12倍以上声学数据和更多语言数据训练的Deep Speech 2。
2019-04-09 cs.CL
Discourse structure interacts with reference but not syntax in neural language models
Cornell University（康奈尔大学）
在大量文本上训练的语言模型（LM）被认为可以获得抽象的语言表示。我们的工作测试的鲁棒性，这些抽象的LMs学习不同的语言表示之间的相互作用的能力。特别是，我们利用刺激心理语言学研究表明，人类可以条件参考（即共指消解）和句法处理相同的话语结构（隐含的因果关系）。我们比较了Transformer和长短期记忆LM，发现与人类相反，尽管模型表征编码了必要的话语信息，但隐式因果关系仅影响LM行为以供参考，而不是句法。我们的研究结果进一步表明，LM的行为可以矛盾，不仅学到的话语表示，但也句法协议，指出标准的语言建模的缺点。
2020-10-10 cs.CL
Is neural language acquisition similar to natural? A chronological probing study
AIRI；HSE University（高等经济大学）；DeepPavlov；SberDevices
探测方法允许人们使用外部分类器和统计分析来获得存储在神经网络的内层中的语言现象的部分表示。预训练的基于transformer的语言模型被广泛用于自然语言理解（NLU）和自然语言生成（NLG）任务，使得它们最常用于下游应用。然而，几乎没有进行分析，无论是模型预先训练足够或包含与语言理论相关的知识。我们正在介绍Transformer英文模型的时间顺序探索研究，如MultiBERT和T5。在语料库的训练过程中，我们依次比较了模型学习到的语言信息。结果表明：1）语言信息是在训练的早期阶段获得的; 2）两种语言模型都表现出从语言的各个层面捕捉各种特征的能力，包括词法、句法甚至话语，但它们也可能在被认为很容易的任务上失败。我们还介绍了开放源代码框架的时间顺序探测研究，与其他基于transformer的模型兼容。https://github.com/EkaterinaVoloshina/chronological_probing
2022-07-01 cs.CL
Injecting linguistic knowledge into BERT for Dialogue State Tracking
the Chinese University of Hong Kong（香港中文大学）
针对对话状态跟踪模型数据需求大、可解释性弱的问题，提出用无监督框架提取语言知识注入BERT的方法，借助CPM提取关联句法语义的特征，在多任务基准上实现准确率提升并增强模型可解释性。
2024-07-03 cs.AI cs.CL cs.LG
The Zero Resource Speech Benchmark 2021: Metrics and baselines for unsupervised spoken language modeling
Facebook AI Research（Facebook人工智能研究院）；EHESS（社会科学高等学院）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
我们引入了一个新的无监督任务，口语建模：从没有任何标签的原始音频信号中学习语言表示，以及零资源语音基准2021：一套4个黑盒，zero-shot指标，在4个语言水平上探索学习模型的质量：语音，词汇，语法和语义。我们展示了由三个无监督系统串联而成的复合基线的结果和分析：自监督对比表示学习（CPC），聚类（k-means）和语言建模（LSTM或BERT）。语言模型基于从聚类学习的表示导出的伪文本进行学习。这个简单的流水线在所有四个指标上都表现出了优于机会的性能，证明了从原始语音进行口语建模的可行性。与在相同数据上训练的基于文本的“背线”系统相比，它的性能也更差，描绘了由更复杂的端到端模型探索的空间。
2020-12-01 cs.CL cs.SD eess.AS
A GAN and LLM-Driven Data Augmentation Framework for Dynamic Linguistic Pattern Modeling in Chinese Sarcasm Detection
School of Cyber Science and Engineering, Sichuan University（四川大学网络空间安全学院）；State Key Laboratory of Fluid Power and Mechatronic Systems, Zhejiang University（浙江大学流体动力与机电系统国家重点实验室）；Law School, Sichuan University（四川大学法学院）
本文提出基于GAN和LLM的数据增强框架，动态建模用户语言模式以提升中文讽刺检测效果，通过合成SinaSarc数据集并扩展BERT架构，实验表明模型在非讽刺和讽刺类别中均取得最高F1分数。
2026-04-09 cs.AI cs.CL
What Artificial Neural Networks Can Tell Us About Human Language Acquisition
本文探讨了人工神经网络与人类语言习得的关联，指出当前模型因数据量等不公平优势难以提供有效证据，提出需训练无显著优势的模型，并探索多模态刺激与多智能体交互以提升有限输入下的学习效率，从而严格测试语言习得的内在知识需求。
2024-02-11 cs.CL
Recurrent babbling: evaluating the acquisition of grammar from limited input data
CIMeC（认知科学与技术跨学科研究中心）；University of Trento（特伦托大学）；DISI（信息工程与计算机科学系）
本文通过在符合现实规模的儿童导向输入子集上训练LSTM网络，并提出量化模型生成输出语法抽象水平的新方法，评估了从有限输入数据中习得语法的能力。
2020-10-09 cs.CL
Cognitive Science in the era of Artificial Intelligence: A roadmap for reverse-engineering the infant language-learner
EHESS（高等社会科学研究院）；ENS（高等师范学校）；PSL Research University（巴黎文理研究大学）；CNRS（法国国家科学研究中心）；INRIA（法国国家信息与自动化研究所）
在他们生命的最初几年，婴儿以惊人的速度学习他们环境中的语言，尽管在可用语言输入的数量和复杂性方面存在很大的跨文化差异。理解这个简单的事实仍然超越了当前的认知和语言学理论。近年来，工程科学的巨大进步，特别是机器学习和可穿戴技术，为认知发展研究带来了革命性的希望。机器学习提供了强大的学习算法，可以在许多语言任务上实现类似人类的性能。可穿戴传感器可以捕获大量数据，从而能够重建婴儿在自然环境中的感官体验。“逆向工程”语言开发项目，即，因此，建立一个模仿婴儿成就的有效系统似乎是可以实现的。在这里，我们分析的条件下，这样一个项目可以有助于我们对早期语言发展的科学理解。我们认为，而不是定义一个子问题或简化数据，计算模型应该解决的学习情况的全部复杂性，并作为输入的原始感官信号提供给婴儿。这意味着（1）建立并广泛共享可访问但保护隐私的家庭数据存储库，（2）通过机器和人类都可以通过的心理语言学测试基准，在不同的语言水平上评估模型，（3）使用机器学习的概率/优化原则，将语言和心理上合理的学习架构扩展到真实数据。我们讨论了这种方法的可行性，并提出了初步的结果。
2018-02-14 cs.AI cs.CL cs.LG
Dialect vs Demographics: Quantifying LLM Bias from Implicit Linguistic Signals vs. Explicit User Profiles
University of Washington（华盛顿大学）
研究通过对比显式身份声明与隐含方言信号，揭示LLM在不同敏感领域中的偏见来源，发现隐含方言可降低拒绝率但影响内容安全。
2026-04-22 cs.AI cs.CL cs.CY
Translators as Invisible Teachers of AI: Copyright, Translation Memory, and the Political Economy of Linguistic Data
College and Graduate School of Intercultural Communication, Rikkyo University（文化交流研究生院，立命馆大学）
本文研究译者劳动如何转化为人工智能的基础数据资本，提出“无消费的挪用”和“译者的无形教师化”两个概念，并探讨版权框架下的数据供应链与再分配设计方向。
2026-10-26 cs.CL cs.CY
Learning Unification-Based Natural Language Grammars
当解析非限制性语言时，广泛覆盖的语法通常生成不足。可以通过句子纠正或语法纠正来解决未成年人问题。本论文主要研究自动语法纠正（或语法的机器学习）作为解决未成年人问题的一种方法。一般来说，语法校正方法可以分为{ \it数据驱动}或{ \it基于模型}。数据驱动型学习者使用数据密集型方法来获取语法。它们通常使用不适合实际文本处理需要的语法形式主义，并且不能保证所得到的语法足以用于随后的语义解释。也就是说，数据驱动的学习者获得的语法生成的字符串，人类会判断为语法错误的（他们{ \it过度生成}），并且无法分配语言上合理的解析。基于模型的学习者是知识密集型的，并且成功依赖于语法性的{ \it模型}的完整性。但在实践中，该模型将是不完整的。鉴于在这篇论文中，我们通过学习来处理未成年人，我们假设数据驱动和基于模型的学习的结合使用将允许数据驱动学习来补偿基于模型的学习的不完整性，而基于模型的学习将补偿数据驱动学习的不健全性。我们描述了一个系统，我们已经用来测试的假设经验。该系统将数据驱动和基于模型的学习相结合，以获得更适合于实际文本分析的基于统一的语法。本文以英语口语语料库为语料，通过对欠生成、过生成和句法可译性的定量测量，证明了这一假设的正确性。
1995-02-03 cmp-lg cs.CL
Deep Sound Change: Deep and Iterative Learning, Convolutional Neural Networks, and Language Change
Department of Linguistics, University of California, Berkeley（加利福尼亚大学伯克利分校语言学系）
本文提出了一种结合深度学习和迭代学习的声音变化建模框架。语音的获取和传输通过在未注释的原始语音数据上训练生成对抗网络（GANs）来建模。本文认为，几个属性的声音变化出现从建议的架构。GANs（Goodfellow et al. 2014 arXiv：1406.2661，Donahue et al. 2019 arXiv：1705.07904）是唯一适合建模语言变化的网络，因为网络是在原始的无监督声学数据上训练的，不包含语言特定的特征，并且正如Beguplant（2020 arXiv：2006.03965）所认为的那样，在其潜在空间中编码语音和音位表示，并生成语言信息丰富的创新数据。第一代网络是在TIMIT的人类语音中的相关序列上训练的。随后的几代不是在TIMIT上训练的，而是在上一代生成的输出上训练的，因此在迭代学习任务中开始相互学习。初始的allophonic分布随着每一代逐渐丢失，这可能是由于来自训练数据中的吸气的全局分布的压力。这些网络显示出语音目标逐渐转移的迹象，这是语音逐渐变化的特征。在端点，输出表面上类似于语音变化--规则丢失。
2021-09-22 cs.CL cs.SD eess.AS
How to Make the Most of LLMs' Grammatical Knowledge for Acceptability Judgments
Nara Institute of Science and Technology（奈良科学技术研究所）
本文通过提示和模板比较九种判断方法，发现in-template LP和Yes/No概率计算两种方法在英汉语法可接受性判断上优于传统方法，且二者集成效果更佳。
2025-02-07 cs.AI cs.CL
