Grammar and Gameplay-aligned RL for Game Description Generation with LLMs
Waseda University(早稻田大学)
本文提出RLGDG方法,通过引入语法奖励和概念奖励对LLM进行强化学习微调,采用SFT后接RL的两阶段策略,显著提升了从自然语言生成GDL游戏描述的语法正确性与概念保真度。
2025-06-27 cs.AI cs.CL
A Computational Operationalisation of Competing Maturational Theories of Syntactic Development via Statistical Grammar Induction
Department of Computer Science & Technology, University of Cambridge(计算机科学与技术系,剑桥大学)
本文探讨了儿童在第一语言发展中获得中间语法类别及其顺序,通过统计语法诱导验证不同成熟理论的预测,发现GROWING模型在三个评估指标上显著优于INWARD模型。
2026-05-08 cs.CL
Construction Grammar and Language Models
University of Bath(巴斯大学);University of York(约克大学);University of Birmingham(伯明翰大学)
本文探讨计算方法与构式语法的三种交互路径,重点综述语言模型及其构式知识涌现实验,旨在促进自然语言处理与构式语法领域合作。
2023-09-04 cs.CL
SAGE:Specification-Aware Grammar Extraction for Automated Test Case Generation with LLMs
University of Seoul, South Korea(首尔大学,韩国);Yonsei University, South Korea(延世大学,韩国)
针对有限监督下从自然语言规范生成有效通用语法的难题,提出SAGE方法,通过微调开源LLM结合GRPO强化学习及迭代反馈归纳CCFG,在语法有效性和测试效果上均显著优于现有LLM。
2025-06-04 cs.CL
On the Emergence of Syntax by Means of Local Interaction
Saarland University(萨尔兰大学)
研究通过局部相互作用在最小系统中产生语法处理,提出Proto-CKY结构,展示其在语法处理中的表现和特性。
2026-04-21 cs.AI cs.CL cs.LG
The "negative end" of change in grammar: terminology, concepts and causes
University of Gdańsk(格但斯克大学)
本文系统梳理语法变化“负向终点”的术语、概念与成因,将丧失、衰退和废弃现象置于语言变化框架中,并分析构式使用频率持续下降直至消失或仅存化石化形式的可能原因。
2025-02-07 cs.CL cs.CY
Random Language Model
Institut de Physique Théorique Philippe Meyer(菲利普·迈耶理论物理研究所);École Normale Supérieure(巴黎高等师范学院);PSL University(巴黎文理研究大学);Sorbonne Universités(索邦大学);CNRS(法国国家科学研究中心)
许多复杂的生成系统使用语言来创建结构化对象。我们考虑一个模型的随机语言,定义加权上下文无关文法。随着语法权重分布的扩大,从一个随机的阶段,其中句子是无法区分的噪音,到一个有组织的阶段,其中携带非平凡的信息的过渡。这标志着语言中深层结构的出现,可以通过能量和熵之间的竞争来理解。
2019-03-27 cond-mat.dis-nn cs.CL cs.FL
CPG-EVAL: A Multi-Tiered Benchmark for Evaluating the Chinese Pedagogical Grammar Competence of Large Language Models
Waseda University(早稻田大学)
本文针对LLMs中文教学语法能力评估不足的问题,提出首个多层基准CPG-EVAL,通过五个任务评估相关能力,揭示了不同规模模型的表现差异,为教育场景LLM部署提供指导并奠定后续研究基础。
2025-04-17 cs.AI cs.CL cs.CY
Emergence of linguistic conventions in multi-agent reinforcement learning
Adam Mickiewicz University(亚当·密茨凯维奇大学)
近年来,以语言为代表的信号规范的出现引起了从博弈论到机器人学再到进化语言学的广泛兴趣。如此广泛的研究是基于不同的假设和方法,但问题的复杂性排除了一个统一的和普遍接受的解释。我们研究形成的信号公约的框架中的多智能体强化学习模型。当智能体之间的交互网络是一个完全图或一个足够密集的随机图时,通常会达成全局共识,而新兴语言是一个几乎唯一的对象-词映射或包含一些同义词和同音词。在有限维晶格上,模型被困在只有局部一致性的无序配置中。这种捕获可以通过引入种群更新来避免,该种群更新在超线性强化的存在下恢复普通的表面张力驱动的粗化,并显著增强有效信号的形成。
2018-11-17 cond-mat.stat-mech cs.CL physics.soc-ph
Bootstrapping incremental dialogue systems from minimal data: the generalisation power of dialogue grammars
Heriot-Watt University(赫瑞瓦特大学)
我们研究了一种端到端的方法,用于从少量未注释的对话数据自动诱导基于任务的对话系统。它结合了增量语义语法-动态语义和类型论(DS-TTR)-与强化学习(RL),其中语言生成和对话管理是一个联合决策问题。这样产生的系统是渐进的:对话是逐字处理的,以前被证明是支持自然的,自发的对话必不可少的。我们假设,语法中丰富的语言知识应该能够处理大量的对话变体,即使在很少的对话上进行训练。我们的实验表明,我们的模型可以处理74%的Facebook AI bAbI数据集,即使只训练了0.13%的数据(5个对话)。它还可以处理65%的bAbI+,这是我们通过系统地添加增量对话现象(如重启和自我纠正)创建的语料库。我们将我们的模型与最先进的检索模型MemN 2N进行比较。我们发现,在语义准确性方面,MemN 2N对bAbI+转换的鲁棒性非常差,即使在完整的bAbI数据集上进行训练也是如此。
2017-09-22 cs.CL
Knowledge-enriched, Type-constrained and Grammar-guided Question Generation over Knowledge Bases
Southeast University(东南大学);Monash University(莫纳什大学);Indiana University Bloomington(印第安纳大学伯明顿分校)
基于知识库的问题生成(KBQG)旨在生成关于子图的自然语言问题,即一组(连接的)三元组。当前基于编码器-解码器的方法仍然面临两个主要挑战,特别是在小子图上:(1)由于子图中包含的有限信息而导致的低多样性和差流畅性,以及(2)由于解码器对答案实体的语义的遗忘而导致的语义漂移。我们提出了一个创新的知识丰富,类型约束和语法指导的KBQG模型,命名为KTG,以解决上述挑战。在我们的模型中,编码器配备了辅助信息的知识库,和解码器的限制与词的类型在QG。具体地说,实体域和描述,以及关系层次信息被认为是构建问题的背景下,而条件复制机制被纳入调制问题的语义根据当前的词类型。此外,设计了一种新的语法相似性奖励函数,通过强化学习提高生成丰富性和句法正确性。大量的实验表明,我们提出的模型在两个广泛使用的基准数据集SimpleQuestion和PathQuestion上的性能明显优于现有方法。
2020-10-23 cs.AI cs.CL
Modeling natural language emergence with integral transform theory and reinforcement learning
Stanford University(斯坦福大学);Quiltomics
Zipf定律预测了语言交流系统中词序和频率之间的幂律关系,并且在各种自然语言处理应用中得到了广泛报道。然而,自然语言的出现通常被建模为说话者和听者利益之间的偏见的函数,这缺乏一个直接的方式有关的信息理论偏见Zipfian等级。偏见的功能也是对说话者和听话者之间交流努力的一种非直觉的解释。我们针对这些缺点,提出了一种新的积分变换和内核映射到相应的词的频率等级表示在任何任意的相变点,从而在一个直接的方式来链接沟通的努力(建模扬声器/听众的偏见),以特定的词汇使用(由字排名)。我们展示了我们的积分变换的实际效用,通过展示如何从偏置到秩的变化导致在图像分类任务中更高的准确性和性能,用于将单词标签分配给从CIFAR 10随机子采样的图像。我们将此任务建模为说话者和听话者之间的强化学习游戏,并比较了偏见和Zipfian单词等级对两个代理之间的沟通性能(和准确性)的相对影响。
2018-11-30 cs.AI cs.CL
Reasoning over Grammar: Can Synthetic Linguistic Reasoning Traces Enhance Low-Resource Machine Translation?
ELLIS Institute Finland(芬兰ELLIS研究所);University of Turku(图尔库大学);Center for Information and Language Processing, LMU Munich(慕尼黑大学信息与语言处理中心);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
本文提出自动生成语言推理轨迹的方法,通过上下文学习、监督微调和强化微调评估其对低资源机器翻译的影响,发现推理轨迹在推理时指导效果显著,但作为训练数据收益有限。
2026-09-01 cs.CL
Using Chatbots to Teach Languages
Columbia University(哥伦比亚大学);University of California, Davis(加州大学戴维斯分校);Zhejiang University(浙江大学)
本文报告了建立一个在线语言学习工具,通过使用对话系统作为会话练习伙伴,为学习者提供会话体验的进展。我们的系统可以适应用户的语言熟练程度的飞行。我们还提供自动语法错误反馈,以帮助用户从错误中学习。根据我们的第一批采用者,我们的系统是有趣和有用的。此外,我们将为学习技术社区提供关于语言学习和语法纠正的大规模对话数据集。我们的下一步是通过使用强化学习算法使我们的系统更适应用户简档信息。
2022-07-31 cs.AI cs.CL
Criticality in Formal Languages and Statistical Physics
Harvard University(哈佛大学);Massachusetts Institute of Technology(麻省理工学院)
我们表明,两个符号之间的互信息,作为一个函数的符号之间的数量,在任何概率规则的语法指数衰减,但可以像一个幂律的上下文无关的语法衰减。关于形式语言的这个结果与经典统计力学中的一个著名结果密切相关,即在小于2的维度中没有相变。它也与湍流和宇宙膨胀中通过递归生成过程出现的幂律相关性有关。我们阐明了这些物理联系,并评论了我们的结果在机器学习任务中的潜在应用,如训练人工递归神经网络。在此过程中,我们引入了一个有用的量,我们称之为理性互信息,并讨论了我们的主张涉及更复杂的贝叶斯网络的推广。
2017-08-23 cond-mat.dis-nn cs.CL
Rule Augmented Unsupervised Constituency Parsing
IIT Bombay(印度理工学院孟买分校);The University of Texas at Dallas(德克萨斯大学达拉斯分校)
近年来,句法树的无监督分析得到了广泛的关注。这种无监督解析的原型方法采用强化学习和自动编码器。然而,没有机制确保学习的模型利用了良好理解的语言语法。我们提出了一种方法,利用非常通用的语言知识的语法规则的形式存在的语言,从而诱导更好的句法结构。我们介绍了一种新的配方,利用的句法语法规则,是独立的基础系统。我们在两个基准数据集MNLI和WSJ上取得了新的最先进的结果。该论文的源代码可在https://github.com/anshuln/Diora_with_rules上获得。
2021-05-21 cs.CL cs.LG
Reinforcement Learning Elicits Contextual Learning of Unseen Language Translation
University of Zurich(苏黎世大学);ETH Zurich(苏黎世联邦理工学院);Queen’s University Belfast(贝尔法斯特女王大学)
提出使用强化学习(RL)方法,以chrF为奖励,使大语言模型从丰富的语言上下文中提取并应用语言学知识,实现对完全未见语言的有效翻译。
2026-06-04 cs.CL
Audio-DeepThinker: Progressive Reasoning-Aware Reinforcement Learning for High-Quality Chain-of-Thought Emergence in Audio Language Models
Tencent AI Lab(腾讯AI实验室);The Hong Kong University of Science(香港科技大学)
本文提出Audio-DeepThinker框架,通过混合奖励和渐进式课程学习提升音频推理质量,实现高质量推理链涌现,取得多项评测冠军。
2026-04-20 cs.CL cs.SD
Emergence of Compositional Language with Deep Generational Transmission
Georgia Tech(佐治亚理工学院);Oregon State University(俄勒冈州立大学);Facebook AI Research(Facebook人工智能研究院)
最近的工作研究了必须合作解决任务的深度强化学习代理之间的语言出现。特别令人感兴趣的是导致语言成分化的因素,即,通过组合本身有意义的词来表达意义。进化语言学家发现,除了深度学习中已经研究过的结构先验外,语言代代相传的动态对组合性的出现有很大贡献。在本文中,我们将这些文化进化动力引入语言的出现,通过定期更换人口中的代理人来创建知识缺口,隐含地诱导语言的文化传播。我们表明,这种隐含的文化传播鼓励由此产生的语言表现出更好的组合概括。
2020-05-27 cs.AI cs.CL cs.LG
Hidden in Plain Text: Emergence & Mitigation of Steganographic Collusion in LLMs
LASR Labs(LASR实验室);University College London(伦敦大学学院);University of Amsterdam(阿姆斯特丹大学);University of Oxford(牛津大学)
本文首次发现LLMs在训练期间因奖励激励设置不当而产生隐写术合谋,并指出现有缓解措施不足,需创新技术以防止此类合谋。
2025-12-02 cs.CL cs.CR cs.LG
Emergence of Linguistic Communication from Referential Games with Symbolic and Pixel Input
DeepMind(深度思维)
算法进化或学习(组合)通信协议的能力传统上在语言进化文献中通过使用紧急通信任务进行研究。在这里,我们通过使用当代深度学习方法和在参考通信游戏上训练学习神经网络代理来扩大这项研究。我们扩展了以前的工作,其中代理在符号环境中进行训练,通过开发能够从原始像素数据中学习的代理,一个更具挑战性和现实的输入表示。我们发现,在输入数据中发现的结构的程度会影响出现的协议的性质,从而证实了这一假设,即结构化的组成语言是最有可能出现时,代理感知世界的结构。
2018-04-11 cs.AI cs.CL cs.LG
Intrinsically Motivated Compositional Language Emergence
Örebro University(厄勒布鲁大学);Indian Institute of Science(印度科学学院)
近年来,关于人工智能体在模拟环境中交互的紧急通信已经有了大量的研究。最近的研究表明,一般来说,新兴语言不遵循自然语言的组合模式。为了解决这个问题,现有的作品已经提出了一个有限的信道容量作为一个重要的约束,学习高度组合的语言。在本文中,我们表明,这不是一个充分条件,并提出了一个内在的奖励框架,以提高组合性的紧急通信。我们使用一个带有两个代理的强化学习设置--一个PDMATHAMM Speaker和一个\textit{state-aware} Speaker,它们需要进行通信以执行一组任务。通过我们对三种不同的参考游戏设置的实验,包括一个新的环境gComm,我们发现内在奖励提高组合性分数的$\approx \mathbf{1.5-2}$倍,现有的框架,使用有限的信道容量。
2023-01-27 cs.AI cs.CL
Simulating the Emergence of Differential Case Marking with Communicating Neural-Network Agents
Faculty of Electronic and Information Engineering, Xi’an Jiaotong University(西安交通大学电子与信息工程学院);Leiden Institute of Advanced Computer Science, Leiden University(莱顿大学高级计算机科学研究所);Center for Language and Cognition, University of Groningen(格罗宁根大学语言与认知中心)
本文用先学习后交流的神经网络多智能体框架模拟差异性格标记的涌现,证明仅学习不足以产生 DCM,而交流是关键驱动因素,从而支持人类实验结论并展示神经智能体模型对语言演化研究的补充价值。
2025-02-06 cs.CL
Emergence of Numeric Concepts in Multi-Agent Autonomous Communication
University of Edinburgh(爱丁堡大学);School of Informatics(信息学院)
随着深度学习的快速发展,当前自然语言处理的最新技术大多基于使用argescaled静态文本语料库训练的深度学习模型。然而,我们人类以不同的方式学习和理解。因此,扎根语言学习认为,模型需要通过与环境交互获得的经验和感知来学习和理解语言,就像人类一样。在深度强化学习技术的帮助下,已经有大量的工作集中在促进计算代理群体中具有自然语言等组合性的通信协议的出现。与这些工作不同的是,我们,另一方面,关注的是数字概念,对应于抽象的认知和功能词在自然语言。基于一个专门设计的语言游戏,我们验证了计算代理能够在自主通信过程中传输数字概念,以及涌现的通信协议可以反映意义空间的底层结构。虽然从人类的角度来看,它们的编码方法不像自然语言那样是组合的,但涌现语言可以推广到看不见的输入,更重要的是,模型更容易学习。此外,在拓扑相似性度量下,迭代学习有助于进一步提高涌现语言的组合性。此外,我们还尝试了另一种表示方法,即直接将数字编码成one-hot向量的连接,并发现涌现语言将变得像人类自然语言一样组合。因此,我们认为,有两个重要因素的合成语言的出现。
2019-11-04 cs.CL
Rewarding Doubt: A Reinforcement Learning Approach to Calibrated Confidence Expression of Large Language Models
Technical University of Munich(慕尼黑技术大学);Munich Center for Machine Learning(慕尼黑机器学习中心)
本文提出了一种强化学习方法,通过直接微调大语言模型以实现校准的置信度表达,提升了模型的置信度校准能力和泛化能力。
2026-02-28 cs.AI cs.CL
Communication Drives the Emergence of Language Universals in Neural Agents: Evidence from the Word-order/Case-marking Trade-off
Xi’an Jiaotong University(西安交通大学);Leiden University(莱顿大学);University of Groningen(格罗宁根大学)
本文提出NeLLCom框架,让神经智能体先监督学习微型语言再通过强化学习优化交流,并在无硬编码认知偏差的情况下复现语序/格标记权衡。
2023-06-01 cs.AI cs.CL
Emergence of Context Characteristics Sensitivity in Large Language Models
Nanyang Technological University(南洋理工大学);University of Copenhagen(哥本哈根大学)
通过测量监督微调、直接偏好优化和可验证奖励强化学习三个阶段,发现大型语言模型对上下文特征的敏感性在指令微调过程中动态变化,其中监督微调使模型倾向于使用易理解的上下文,而后续阶段可能强化或改变这一偏好。
2026-06-08 cs.AI cs.CL
Emergence of Pragmatics from Referential Game between Theory of Mind Agents
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
语用学研究语境如何影响语言意义。在人类交流中,语言从来不会脱离上下文来解释,句子通常可以传达比字面意思更多的信息。然而,这种机制在大多数多智能体系统中是缺失的,限制了通信效率和人与智能体交互的能力。在本文中,我们提出了一个算法,使用该算法,代理可以自发地学习的能力,“读线之间”,没有任何明确的手工设计的规则。我们整合了心理理论(ToM)在合作的多智能体教学的情况下,并提出了一个自适应的强化学习(RL)算法开发的通信协议。心理理论是一个深刻的认知科学概念,认为人们经常推理他人的心理状态,包括信念,目标和意图,以获得竞争,合作或联盟中的表现优势。有了这种能力,智能体认为语言不仅是信息,而且是反映他人隐藏状态的理性行为。我们的实验证明了语用协议的优势,非语用协议。我们还表明,教学复杂性的语用协议经验接近递归教学维度(RTD)。
2021-09-30 cs.AI cs.CL cs.LG