Neural Constituency Parsing of Speech Transcripts
Macquarie University（麦考瑞大学）
本文研究了一种神经自注意句法分析器对转录语音的分析性能。语音呈现出书面文本中不存在的解析挑战，例如缺少标点符号和存在语音不流畅（包括填充停顿，重复，更正等）。对于传统的语法分析器来说，不流利性尤其成问题，因为它通常根本找不到任何编辑过的不流利性节点。这激发了特殊的不流利检测系统的开发，以及专门处理不流利的分析器的特殊机制。然而，我们在这里表明，神经解析器可以找到编辑的不流利节点，最好的神经解析器找到它们的准确性超过了专门的不流利检测系统，从而使这些专门的机制不必要。本文还研究了一种修改后的损失函数，把更多的重量编辑节点。它还描述了树转换，简化了不流利检测任务，提供替代编码的不流利和句法信息。
2020-04-10 cs.CL
Investigating Non-local Features for Neural Constituency Parsing
Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
由于神经编码器的强大表示能力，基于神经图表的解析器通过使用局部特征实现了极具竞争力的性能。最近，它已被证明，CRF结构中的非本地功能导致的改善。在本文中，我们研究注入非本地功能的本地跨度为基础的分析器的训练过程中，通过预测成分n-gram非本地模式，并确保非本地模式和本地成分之间的一致性。结果表明，我们的简单的方法给出了更好的结果比自我关注的分析器上的PTB和CTB。此外，我们的方法在PTB上实现了最先进的基于BERT的性能（95.92 F1），在CTB上实现了强大的性能（92.31 F1）。我们的解析器也取得了更好的或有竞争力的性能，在多语言和zero-shot跨域设置相比，基线。
2022-03-28 cs.CL
Strongly Incremental Constituency Parsing with Graph Neural Networks
Princeton University（普林斯顿大学）
将句子解析成语法树可以使NLP中的下游应用受益。基于转换的解析器通过在状态转换系统中执行动作来构建树。它们在计算上是高效的，并且可以利用机器学习来预测基于部分树的动作。然而，现有的基于转换的解析器主要基于移位-归约转换系统，这与人类已知的解析句子的方式不一致。心理语言学研究表明，人类的解析是强烈的增量：人类通过在每一步添加一个标记来生长一个解析树。在本文中，我们提出了一种新的过渡系统称为附加并置。它是强增量的;它使用一棵树表示一个部分句子;每个动作只向部分树中添加一个标记。基于我们的转换系统，我们开发了一个强增量解析器。在每一步中，它使用图神经网络对部分树进行编码，并预测动作。我们在Penn树库（PTB）和中文树库（CTB）上对我们的解析器进行了评估。在PTB上，它优于仅用选区树训练的现有解析器;并且它的性能与使用依赖树作为附加训练数据的最先进解析器相当。在CTB上，我们的解析器建立了一个新的技术状态。代码可以在https://github.com/princeton-vl/attach-juxtapose-parser上获得。
2020-10-27 cs.CL
Fast Rule-Based Decoding: Revisiting Syntactic Rules in Neural Constituency Parsing
Sun Yat-sen University（中山大学）
最近的研究集中在编码器结构的神经选区解析，而很少的发展致力于解码器。以前的研究表明，基于句法规则的概率统计方法在选区分析中特别有效，而在以前的工作中，可能由于其巨大的计算需求，在神经模型的训练过程中不使用句法规则。在本文中，我们首先实现了一个快速CKY解码过程利用GPU加速，在此基础上，我们进一步推导出一个语法规则为基础的（规则约束）CKY解码。在实验中，我们的方法在PTB和CTB数据集上分别获得了95.89和92.52的F1，与以前的方法相比，这表明了显着的改善。此外，我们的解析器实现强大的和有竞争力的跨域性能在zero-shot设置。
2022-12-16 cs.AI cs.CL cs.LG
Inducing Constituency Trees through Neural Machine Translation
New York University（纽约大学）
潜在树学习（LTL）方法学习仅使用来自下游任务的间接监督来解析句子。潜在树学习的最新进展使得通过使用语言建模或自动编码目标进行训练来恢复中等高质量的树结构成为可能。在这项工作中，我们探讨的假设，解码在机器翻译，作为一个有条件的语言建模任务，将产生更好的树结构，因为它提供了一个类似的训练信号的语言建模，但更多的语义信号。我们调整了两个现有的潜在树语言模型-PRPN和ON-LSTM-用于翻译。我们发现，他们确实恢复了F1分数比WSJ测试集上语言建模中看到的更好的树，同时保持了强大的翻译质量。我们观察到，翻译是一个更好的目标比语言建模诱导树，标志着第一次成功的潜在树学习使用机器翻译目标。此外，我们的研究结果表明，虽然翻译提供了更好的信号诱导树比语言建模，翻译模型可以表现良好，而不利用潜在的树结构。
2019-09-22 cs.CL
Lexicalized Constituency Parsing for Middle Dutch: Low-resource Training and Cross-Domain Generalization
Universiteit Gent, Université Paris Cité \& Laboratoire de linguistique formelle
本文提出基于变压器的神经解析器用于中古荷兰语成分句法解析，通过联合训练高资源语言提升F1分数，并探索特征分离技术以增强跨领域泛化能力。
2026-01-11 cs.CL
Representations of Syntax [MASK] Useful: Effects of Constituency and Dependency Structure in Recursive LSTMs
Johns Hopkins University（约翰斯·霍普金斯大学）
基于序列的神经网络对句法结构表现出显著的敏感性，但它们在句法任务上的表现仍然不如基于树的网络。这样的基于树的网络可以被提供有选区解析、依赖性解析或两者。我们评估这两个代表性的计划更有效地介绍了偏见的句法结构，提高性能的主谓一致预测任务。我们发现，一个基于成分的网络比一个基于依赖关系的网络更强大的概括，并结合这两种类型的结构不会产生进一步的改善。最后，我们表明，顺序模型的语法鲁棒性可以大大提高微调少量的构建数据，这表明数据增强是一个可行的替代显式选区结构给予顺序模型缺乏的语法偏见。
2020-04-30 cs.CL
Straight to the Tree: Constituency Parsing with Neural Syntactic Distance
MILA（蒙特利尔学习算法研究所）；University of Montréal（蒙特利尔大学）；AdeptMind Scholar；University of Waterloo（滑铁卢大学）；Microsoft Research（微软研究院）
在这项工作中，我们提出了一种新的选区解析方案。该模型预测一个向量的实值标量，命名为句法距离，在输入句子中的每个分裂位置。语法距离指定选择拆分点的顺序，以自上而下的方式递归地划分输入。与传统的移位-归约解析方案相比，我们的方法不存在复合错误的潜在问题，同时更快，更容易并行化。我们的模型在PTB数据集中的单个模型，判别式解析器中实现了有竞争力的性能，并且在CTB数据集中优于以前的模型。
2018-06-11 cs.AI cs.CL cs.LG
DPH Parser: A Bottom-Up Grammar-Driven Parser for Joint Constituency and Dependency Analysis
本文提出DPH解析器，一种基于语法的自底向上无监督解析框架，通过特征规则和中心语标注联合生成成分与依存结构，在UD语料上验证了透明解析的可行性。
2026-09-09 cs.CL
Self-Attentive Constituency Parsing for UCCA-based Semantic Parsing
Alparslan Türkeş Science and Technology University（阿尔帕斯兰·蒂尔凯什科技大学）；Research Institute in Information and Language Processing（信息与语言处理研究所）；University of Wolverhampton（伍尔弗汉普顿大学）
语义解析提供了一种提取机器能够理解的文本语义结构的方法。它用于各种需要文本理解的NLP应用程序，如摘要和问答。图表示是表达文本语义结构的一种语义表示方法。这样的表示生成表达和适当的基于图的目标结构。在本文中，我们主要关注基于UCCA图的语义表示。本文不仅介绍了现有的UCCA表示方法，而且提出了一种新的自注意神经元分析模型的UCCA表示。我们提出的结果为单语言和跨语言的任务使用zero-shot和少样本学习的低资源的语言。
2021-10-01 cs.CL
Heads-up! Unsupervised Constituency Parsing via Self-Attention Heads
University of Edinburgh（爱丁堡大学）；Seoul National University（首尔国立大学）
基于transformer的预训练语言模型（PLM）在许多任务中显着改善了NLP的最新技术水平。这导致了对分析PLM学习的语法知识的浓厚兴趣。以前解决这个问题的方法是有限的，主要是使用测试套件或探测器。在这里，我们提出了一种新的完全无监督的解析方法，提取选区树PLM注意头。我们根据Transformer注意力头部的固有属性对其进行排名，并创建一个高排名头部的集合来生成最终的树。我们的方法适用于低资源语言，因为它不依赖于开发集，这可能是昂贵的注释。我们的实验表明，所提出的方法往往优于现有的方法，如果没有开发集。我们的无监督解析器也可以用作分析PLM隐式学习的语法的工具。为此，我们使用我们的方法诱导的解析树来训练神经PCFG，并将其与来自人类注释树库的语法进行比较。
2020-10-19 cs.CL
Order-sensitive Neural Constituency Parsing
Sun Yat-sen University（中山大学）
我们提出了一种新的算法，改进了以前的神经跨度为基础的CKY解码器选区解析。与传统的基于跨度的解码，其中跨度仅根据其分数的总和进行组合相比，我们引入了顺序敏感的策略，其中跨度组合分数更仔细地从顺序敏感的基础上导出。我们的解码器可以被看作是一个泛化在现有的基于跨度的解码器，在确定一个更细粒度的评分方案的组合较低级别的跨度到较高级别的跨度，其中我们强调的顺序较低级别的跨度和使用顺序敏感的跨度分数以及顺序敏感的组合语法规则分数，以提高预测精度。我们实现了利用GPU并行性的解码策略，并实现了与最先进的基于跨度的解析器相当的解码速度。使用以前的最先进的模型，没有额外的数据作为我们的基线，我们的表现优于它，并将Penn Treebank数据集上的F1得分提高了0.26%，将中国Treebank数据集上的F1得分提高了0.35%。
2022-11-01 cs.AI cs.CL cs.LG
Fine-tuning of Large Language Models for Constituency Parsing Using a Sequence to Sequence Approach
University of Murcia（穆尔西亚大学）
本文通过序列到序列方式微调多个 Hugging Face 大语言模型，利用 AnCora-ES 语料库生成训练数据，以 F1 评估并提升西班牙语句法教学工具 MiSintaxis 的短语结构分析能力。
2025-10-18 cs.CL
Encoding Syntactic Constituency Paths for Frame-Semantic Parsing with Graph Convolutional Networks
Heriot-Watt University（赫瑞-瓦特大学）
我们研究的问题，从选区树的句法信息集成到一个神经模型中的框架语义解析的子任务，即目标识别（TI），框架识别（FI），和语义角色标注（SRL）。我们使用图卷积网络来学习成分的特定表示，使得每个成分被描述为它对应的产生式语法规则。我们利用这些表示来构建句子中每个单词的句法特征，计算为单词和树中特定任务节点之间路径上的所有成分的总和，例如SRL的目标谓词。当在FrameNet 1.5上测试时，我们的方法在TI和SRL上分别提高了约1%和约3.5%的最新结果（以BERT作为输入获得了+2.5%的额外点），同时在CoNLL 05数据集上产生了与其他语法感知系统相当的结果。
2020-11-26 cs.CL cs.LG
Syntactic Multi-view Learning for Open Information Extraction
Nanyang Technological University（南洋理工大学）
开放信息抽取（OpenIE）旨在从开放域句子中抽取关系元组。传统的基于规则或统计的模型是基于句子的句法结构开发的，由句法分析器识别。然而，之前的神经OpenIE模型没有充分探索有用的语法信息。在本文中，我们将选区和依赖树建模为单词级图，并使神经OpenIE能够从语法结构中学习。为了更好地融合来自两个图的异构信息，我们采用多视图学习来捕获它们之间的多种关系。最后，微调的选区和依赖表示聚合与元组生成的基本语义表示。实验结果表明，选区和依赖信息，以及多视图学习是有效的。
2022-12-05 cs.AI cs.CL
Top-down Tree Structured Decoding with Syntactic Connections for Neural Machine Translation and Parsing
Simon Fraser University（西蒙弗雷泽大学）
在神经机器翻译（NMT）系统中增加句法感知解码需要有效的树结构神经网络、句法感知注意模型和对句子结构敏感的语言生成模型。我们利用Alvarez-Melis和Jaakola（2017）首次提出的自上而下的树结构模型DRNN（双循环神经网络）来创建一个名为Seq 2DRNN的NMT模型，该模型将顺序编码器与增强了语法感知注意力模型的树结构解码相结合。与以前的方法，基于语法的NMT使用依存句法分析模型，我们的方法使用选区分析，我们认为提供了有用的信息翻译。此外，我们使用句子的句法结构来添加新的连接到树结构的解码器神经网络（Seq 2DRNN +SynC）。我们比较我们的NMT模型与顺序和最先进的基于语法的NMT模型，并表明我们的模型产生更流畅的翻译，更好的重新排序。由于我们的模型能够同时进行翻译和选区解析，我们还将我们的解析准确率与其他神经解析模型进行了比较。
2018-09-06 cs.CL
Transformer-Based Neural Text Generation with Syntactic Guidance
Georgia Institute of Technology（佐治亚理工学院）
我们研究的问题，使用（部分）选区解析树的句法指导控制文本生成。现有的方法使用递归结构，这不仅遭受长期依赖问题，而且在建模的语法指导的树结构的不足。我们建议利用Transformer的并行性来更好地结合解析树。我们的方法首先扩展一个部分模板选区解析树到一个完整的解析树为输入源文本量身定制，然后使用扩展的树来指导文本生成。在这个过程中，我们的模型的有效性取决于两个新的注意力机制：1）路径注意力机制，迫使一个节点只关注位于语法树中的路径中的其他节点，以更好地结合语法指导; 2）多编码器注意力机制，允许解码器动态地关注来自多个编码器的信息。我们在受控释义任务中的实验表明，我们的方法在语义和语法上都优于SOTA模型，将最佳基线的BLEU分数从11.83提高到26.27。
2020-10-05 cs.CL
Unsupervised Recurrent Neural Network Grammars
Harvard University（哈佛大学）；University of Oxford（牛津大学）；DeepMind（深度思维）
循环神经网络语法（RNNG）是语言的生成模型，其通过以自上而下、从左到右的顺序递增地生成语法树和句子来联合地建模语法和表面结构。监督RNNG实现了强大的语言建模和解析性能，但需要一个注释的解析树语料库。在这项工作中，我们实验了RNGs的无监督学习。由于直接在潜在树空间上边缘化是难以处理的，我们转而应用摊销变分推理。为了最大限度地提高证据下限，我们开发了一个推理网络参数化的神经CRF选区解析器。在语言建模方面，无监督RNNG在英语和汉语的基准测试中表现得与有监督RNNG一样好。在选区语法归纳方面，他们与最近的神经语言模型竞争，后者通过注意力机制从单词中归纳出树结构。
2019-08-05 cs.CL stat.ML
An Attempt to Develop a Neural Parser based on Simplified Head-Driven Phrase Structure Grammar on Vietnamese
Faculty of Information Science and Engineering, University of Information Technology, Ho Chi Minh City, Vietnam（信息科学与工程学院，信息技术大学，胡志明市，越南）；Laboratory of Multimedia Communications, University of Information Technology, Ho Chi Minh City, Vietnam（多媒体通信实验室，信息技术大学，胡志明市，越南）；Vietnam National University, Ho Chi Minh City, Vietnam（越南国家大学，胡志明市，越南）
本文基于简化HPSG开发越南语神经分析器，通过排列样本使其符合语法规则并替换为PhoBERT/XLM-RoBERTa模型，在成分分析上取得82%的最优F-score，依存分析UAS提升，但LAS因未改标签而较低。
2025-04-28 cs.CL
The Limitations of Limited Context for Constituency Parsing
Carnegie Mellon University（卡内基梅隆大学）
在NLP中将语法转化为神经方法具有许多实际和科学的好处。例如，一个语法感知的语言模型可能能够产生更好的样本;甚至像BERT这样带有语法模块的判别模型也可以用于核心NLP任务，如无监督句法分析。近年来的快速进展可以说是由解析-阅读-预测架构的经验成功所刺激的（Shen et al.，2018 a），后来被（Shen et al.，2019年）。最值得注意的是，这是神经方法第一次能够成功地执行无监督的句法分析（通过F-1评分等各种指标进行评估）。然而，即使是启发式的（更少的完全数学）理解这些架构为什么以及何时工作也严重落后。在这项工作中，我们回答了（Shen et al.，2018 a，2019），以及一些基于转换的语法感知语言模型（Dyer等人，2016）：什么样的句法结构可以目前的神经句法方法表示？具体地说，我们接地这个问题的概率上下文无关文法（PCFG）的沙箱，并确定这些方法的代表性的权力的一个关键方面：预测器的数量和方向性的上下文时，被迫作出解析决定。我们表明，有限的上下文（无论是有界的，或单向的），有PCFG，这些方法不能代表的最大似然解析;相反，如果上下文是无限的，他们可以代表任何PCFG的最大似然解析。
2021-06-03 cs.CL cs.LG
Towards String-to-Tree Neural Machine Translation
Bar-Ilan University（巴伊兰大学）
我们提出了一个简单的方法，将目标语言的句法信息在神经机器翻译系统中，通过转换成线性化，词汇化的选区树。WMT16德英新闻翻译任务的实验结果表明，与在相同数据集上训练的语法不可知的NMT基线相比，BLEU得分有所提高。对来自语法感知系统的翻译的分析表明，与基线相比，它在翻译期间执行更多的重新排序。一个小规模的人类评估也显示了语法感知系统的优势。
2017-05-06 cs.CL
Improving Tree-LSTM with Tree Attention
University of Western Ontario（西安大略大学）
在自然语言处理中，经常需要从树的拓扑结构中提取信息。句子结构可以通过依赖树或选区树结构来表示。出于这个原因，LSTM的一个变体，名为Tree-LSTM，被提出来处理树拓扑。在本文中，我们通过在Tree-LSTM单元中编码可分解注意力的变体，为依赖树和选区树设计了一个广义注意力框架。我们在语义相关性任务上评估了我们的模型，与基于Tree-LSTM的方法相比，取得了显着的结果，没有注意力，以及其他神经和非神经方法，与基于Tree-LSTM的方法相比，注意力效果良好。
2019-01-01 cs.CL cs.LG
Effective Inference for Generative Neural Parsing
University of California, Berkeley（加州大学伯克利分校）
生成神经模型最近取得了国家的最先进的成果选区解析。然而，由于没有一个可行的搜索过程，它们的使用到目前为止仅限于重新排序解码更容易处理的外部解析器的输出。我们描述了一种替代传统的动作级束搜索用于判别神经模型，使我们能够直接在这些生成模型解码。然后，我们表明，通过改进我们的基本候选人选择策略，并使用粗修剪功能，我们可以提高准确性，同时探索显着更少的搜索空间。应用于Choe和Charniak（2016）的模型，我们的推理程序在Penn Treebank的第23节上获得了92.56 F1，超过了单模型系统的现有最先进结果。
2017-07-27 cs.CL
Neural Extractive Text Summarization with Syntactic Compression
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
最近的神经网络摘要方法主要是基于选择的提取或基于生成的抽象。在这项工作中，我们提出了一个基于联合提取和句法压缩的单文档摘要的神经模型。我们的模型从文档中选择句子，根据选区分析识别可能的压缩，并使用神经模型对这些压缩进行评分，以生成最终摘要。对于学习，我们构建了Oracle提取压缩摘要，然后通过这种监督来学习我们的两个组件。在CNN/Daily Mail和New York Times数据集上的实验结果表明，根据ROUGE的评估，我们的模型实现了强大的性能（与最先进的系统相当）。此外，我们的方法优于现成的压缩模块，人工和手动评估表明，我们的模型的输出通常保持语法。
2019-09-09 cs.CL
Structural Embedding of Syntactic Trees for Machine Comprehension
Carnegie Mellon University（卡内基梅隆大学）
用于机器理解的深度神经网络通常仅利用单词或字符嵌入，而不显式地利用结构化的语言信息，例如选区树和依赖树。在本文中，我们提出了结构嵌入的语法树（SEST），算法框架，利用结构化的信息，并将其编码成向量表示，可以提高机器理解算法的性能。我们使用SQuAD数据集上最先进的神经注意力模型来评估我们的方法。实验结果表明，我们的模型可以准确地识别句子的语法边界，并提取出比基线方法在语法上连贯的答案。
2017-08-31 cs.CL
Linguistic Frameworks Go Toe-to-Toe at Neuro-Symbolic Language Modeling
Georgetown University（乔治城大学）；The University of Hong Kong（香港大学）
研究探讨了语言图表示如何提升神经语言模型性能，发现语义短语结构最有效，且词性类别影响效果差异。
2022-05-11 cs.AI cs.CL
Augmenting Part-of-speech Tagging with Syntactic Information for Vietnamese and Chinese
在越南语自然语言处理中，分词和词性标注是下游任务的两个关键的前期工作。实际上，人们在进行分词和词性标注时往往也会考虑短语边界，而不是仅仅从左到右逐词处理。在本文中，我们实现了这一想法，以提高分词和词性标注越南语采用简化的选区分析器。我们的联合分词和词性标注的神经模型具有基于音节的CRF选区解析器的架构。为了降低解析的复杂性，我们用一个表示短语的标签替换所有的组成标签。该模型可以通过其他工具使用预测的词边界和词性标记来增强。由于越南语和汉语有一些相似的语言现象，我们在三个越南基准数据集和六个汉语基准数据集上评估了所提出的模型及其增强版本。我们的实验结果表明，该模型实现了更高的性能比以前的作品为两种语言。
2021-06-16 cs.CL
Probing Causes of Hallucinations in Neural Machine Translations
WeChat AI, Tencent（腾讯微信人工智能）
幻觉是困扰神经机器翻译的一种病理翻译现象，近年来引起了人们的广泛关注。简而言之，幻觉翻译是流畅的句子，但几乎与源输入无关。可以说，幻觉是如何发生的仍然是一个悬而未决的问题。在本文中，我们建议使用探测的方法来调查幻觉的原因，从模型架构的角度来看，旨在避免此类问题在未来的架构设计。通过在各种NMT数据集上进行实验，我们发现幻觉通常伴随着有缺陷的编码器，特别是嵌入和脆弱的交叉注意，而有趣的是，交叉注意减轻了编码器引起的一些错误。
2022-06-25 cs.CL
Explicit Syntactic Guidance for Neural Text Generation
Tencent AI Lab（腾讯人工智能实验室）；Zhejiang University（浙江大学）；Westlake University（西湖大学）；Westlake Institute for Advanced Study（西湖高等研究院）
提出一种基于成分句法树自顶向下指导的文本生成模式及结构化束搜索方法，在复述生成与机器翻译任务中优于自回归基线，并提升了可解释性、可控性与多样性。
2023-06-25 cs.CL
Probing Linguistic Features of Sentence-Level Representations in Neural Relation Extraction
German Research Center for Artificial Intelligence (DFKI)（德国人工智能研究中心（DFKI））
尽管最近的进展，很少有人知道的最先进的神经关系抽取（RE）模型所捕获的功能。常见的方法是在对关系进行分类之前，根据实体提及情况对源句进行编码。然而，任务的复杂性使得很难理解编码器架构和支持语言知识如何影响编码器学习的特征。我们引入了14个针对RE相关语言属性的探测任务，并使用它们来研究在两个数据集TACRED和SemEval 2010 Task 8上训练的40多种不同编码器架构和语言特征组合所学习的表示。我们发现，由结构和语言特征的包含引起的偏见在探测任务的表现中得到了明确的表达。例如，添加上下文化的单词表示大大提高了探测任务的性能，重点是命名实体和词性信息，并在RE中产生更好的结果。相比之下，实体掩码提高了RE，但大大降低了实体类型相关探测任务的性能。
2020-04-17 cs.CL
Probing Neural Language Models for Human Tacit Assumptions
Johns Hopkins University（约翰斯·霍普金斯大学）
人类带有刻板的隐性假设（STA）（Prince，1978），或关于一般概念的命题信念。这种关联对于理解自然语言至关重要。我们构建了一个诊断集的单词预测提示，以评估最近的神经上下文语言模型训练的大型文本语料库捕获STA。我们的提示是基于对概念联想的心理学研究中的人类反应。我们发现模型在检索相关属性的概念时非常有效。我们的研究结果表明，经验证据表明，刻板的概念表征被捕获的神经模型来自半监督的语言曝光。
2020-06-16 cs.CL
Code-Switched Language Models Using Neural Based Synthetic Data from Parallel Sentences
Center for Artificial Intelligence Research (CAiRE)（人工智能研究中心）；The Hong Kong University of Science and Technology（香港科技大学）
由于缺乏数据和语法结构的复杂性，训练码转换语言模型是困难的。几十年来，语言约束理论一直被用来生成人工语码转换句子来解决这个问题。然而，这需要外部单词对齐或选区解析器，这会在遥远的语言上产生错误的结果。我们提出了一个序列到序列的模型，使用复制机制来生成代码转换数据，利用并行单语翻译从有限的代码转换数据源。该模型学习如何从平行句子中组合单词，并确定何时将一种语言切换到另一种语言。此外，它通过关注和对齐输入中的单词来捕获语码转换约束，而不需要任何外部知识。基于实验结果，用生成的句子训练的语言模型达到了最先进的性能，并提高了端到端的自动语音识别。
2019-09-18 cs.CL
A Tree-based Decoder for Neural Machine Translation
Carnegie Mellon University（卡内基梅隆大学）；Google Brain（谷歌大脑）
神经机器翻译（NMT）的最新进展表明，向NMT系统中添加句法信息可以提高其翻译质量。大多数现有的工作利用一些特定类型的语言启发的树结构，如选区和依赖解析树。这通常通过对线性化目标树结构进行操作的标准RNN解码器来完成。然而，这是一个悬而未决的问题，具体的语言形式主义，如果有的话，是最好的结构表示NMT。在本文中，我们（1）提出了一个NMT模型，可以自然地产生一个任意的树结构的拓扑结构在目标端，（2）实验与各种目标树结构。我们的实验显示了令人惊讶的结果，即我们的模型在没有任何语言知识的情况下构建了平衡二叉树，从而提供了最佳的改进;该模型比标准seq 2seq模型的性能高出2.1个BLEU点，并且比其他方法的性能高出0.7个BLEU点。
2018-08-28 cs.CL
Measuring Memorization Effect in Word-Level Neural Networks Probing
Charles University（查理大学）
多项研究探讨了在为端到端NLP任务训练的神经网络中出现的表征，并研究了哪些单词级别的语言信息可能被编码在表征中。在经典的探测中，分类器在表示上进行训练以提取目标语言信息。然而，存在分类器简单地记忆单个单词的语言标签而不是从表示中提取语言抽象的威胁，从而报告假阳性结果。虽然已经做出了相当大的努力，以尽量减少记忆的问题，实际测量的分类器中发生的记忆量的任务一直研究不足。在我们的工作中，我们提出了一种测量记忆效果的简单通用方法，该方法基于对称选择训练中可见和未可见的可比较测试单词集。我们的方法可以用来明确量化的记忆量发生在探测设置，以便可以选择一个适当的设置和探测的结果可以解释与可靠性估计。我们通过展示我们的方法在一个经过训练的神经机器翻译编码器中探测语音部分的案例研究来证明这一点。
2020-06-29 cs.CL
Is neural language acquisition similar to natural? A chronological probing study
AIRI；HSE University（高等经济大学）；DeepPavlov；SberDevices
探测方法允许人们使用外部分类器和统计分析来获得存储在神经网络的内层中的语言现象的部分表示。预训练的基于transformer的语言模型被广泛用于自然语言理解（NLU）和自然语言生成（NLG）任务，使得它们最常用于下游应用。然而，几乎没有进行分析，无论是模型预先训练足够或包含与语言理论相关的知识。我们正在介绍Transformer英文模型的时间顺序探索研究，如MultiBERT和T5。在语料库的训练过程中，我们依次比较了模型学习到的语言信息。结果表明：1）语言信息是在训练的早期阶段获得的; 2）两种语言模型都表现出从语言的各个层面捕捉各种特征的能力，包括词法、句法甚至话语，但它们也可能在被认为很容易的任务上失败。我们还介绍了开放源代码框架的时间顺序探测研究，与其他基于transformer的模型兼容。https://github.com/EkaterinaVoloshina/chronological_probing
2022-07-01 cs.CL
Grammar Induction with Neural Language Models: An Unusual Replication
New York University（纽约大学）
最近关于潜在树学习的大量工作尝试开发具有解析值潜在变量的神经网络模型，并在非解析任务上对它们进行训练，希望它们能发现可解释的树结构。在最近的一篇论文中，Shen et al.（2018）介绍了这样一个模型，并报告了语言建模目标任务的最新结果，以及选区解析的第一个强潜在树学习结果。在尝试重现这些结果时，我们发现了使原始结果难以信任的问题，包括调整甚至训练有效的测试集。在这里，我们试图在一个公平的实验中重现这些结果，并将其扩展到两个新的数据集。我们发现这项工作的结果是稳健的：所研究的模型的所有变体都优于所有潜在树学习基线，并且与符号语法归纳系统竞争。我们发现，这个模型代表了第一个经验的成功，潜在树学习，和神经网络语言建模值得进一步研究的语法归纳设置。
2018-08-29 cs.CL
Correlating neural and symbolic representations of language
Tilburg University（蒂尔堡大学）
本文提出基于RSA和TK的分析方法，用于量化神经激活与句法树等符号结构之间的对应关系，并在合成算术语言及英语句子成分句法树上验证应用。
2019-06-05 cs.CL cs.LG
Probing Neural Network Comprehension of Natural Language Arguments
National Cheng Kung University（国立成功大学）
我们惊讶地发现，BERT在论证推理理解任务中的峰值表现为77%，仅比未经训练的人类平均基线低3分。然而，我们表明，这一结果是完全占利用虚假的统计线索的数据集。我们分析了这些线索的性质，并证明了一系列的模型都利用它们。这种分析为构建对抗性数据集提供了信息，所有模型都可以在该数据集上实现随机精度。我们的对抗性数据集提供了一个更强大的参数理解评估，应该在未来的工作中作为标准。
2019-09-16 cs.CL
How to best use Syntax in Semantic Role Labelling
Macquarie University（麦考瑞大学）；CSIRO Data61（联邦科学与工业研究组织数据61所）；The University of New South Wales（新南威尔士大学）
在NLP任务中，有许多不同的方式可以使用外部信息。本文研究了如何在语义角色标注任务中最有效地利用外部句法信息。我们评估三种不同的方式编码的语法分析和三种不同的方式将它们注入到一个国家的最先进的神经ELMO为基础的SRL序列标记模型。我们表明，使用选区表示作为输入功能提高性能最多，实现了一个新的国家的最先进的非集成SRL模型在域CoNLL'05和CoNLL'12基准。
2019-06-01 cs.CL
What can Neural Referential Form Selectors Learn?
Utrecht University（乌得勒支大学）；University of Cologne（科隆大学）
尽管取得了令人鼓舞的结果，但神经指称表达生成模型通常被认为缺乏透明度。我们探讨了神经参照形式选择（RFS）模型，以了解影响RE形式的语言特征在多大程度上被最先进的RFS模型所学习和捕获。8个探测任务的结果表明，所有定义的功能都在一定程度上学习。与指称状态和句法位置有关的探测任务表现出最高的性能。最低的性能达到了探测模型，旨在预测超出句子水平的话语结构属性。
2021-08-15 cs.CL
Probing the Probing Paradigm: Does Probing Accuracy Entail Task Relevance?
Carnegie Mellon University（卡内基梅隆大学）；Technion -- Israel Institute of Technology（以色列理工学院）
尽管神经模型在几个NLP基准测试中取得了令人印象深刻的结果，但人们对它们用于执行语言任务的机制知之甚少。因此，最近的注意力一直致力于分析神经编码器学习的句子表征，通过“探测”任务的镜头。然而，通过探测发现的句子表征中编码的信息在多大程度上被模型用来执行任务？在这项工作中，我们通过自然语言推理的案例研究来研究这种探索范式，表明模型可以学习编码语言属性，即使它们对于模型训练的任务来说是不需要的。我们进一步确定，预训练的词嵌入在编码这些属性中发挥了相当大的作用，而不是训练任务本身，突出了设计探测实验时仔细控制的重要性。最后，通过一组受控的合成任务，我们证明了模型可以将这些属性编码为远高于机会水平，即使在数据中作为随机噪声分布时也是如此，从而对探测任务的绝对声明的解释提出了质疑。
2021-03-07 cs.CL
Derivational Probing: Unveiling the Layer-wise Derivation of Syntactic Structures in Neural Language Models
The University of Tokyo（东京大学）；RIKEN（日本研究机构）
本文提出 Derivational Probing 方法，探究神经语言模型中微句法与宏句法结构随词嵌入跨层传播的逐层派生过程，发现微句法在低层形成并在高层整合为宏句法，且其构建时机对下游性能至关重要。
2025-06-27 cs.CL
Topic Aware Probing: From Sentence Length Prediction to Idiom Identification how reliant are Neural Language Models on Topic?
ADAPT Research Centre（ADAPT研究中心）；Technological University Dublin（都柏林理工大学）；School of Computer Science and Statistics（计算机科学与统计学院）；Trinity College Dublin（都柏林圣三一学院）
提出主题感知探测方法，通过 BERT 与 RoBERTa 在句长预测到习语识别等任务上的表现，揭示模型对主题信息的依赖。
2024-03-04 cs.CL
On the data requirements of probing
University of Toronto（多伦多大学）；Vector Institute for Artificial Intelligence（向量人工智能研究所）；Unity Health Toronto（多伦多联合健康中心）
随着大而强大的神经语言模型的发展，研究人员对开发诊断工具来探测它们越来越感兴趣。有许多论文的结论形式是“观察X在模型Y中找到”，使用他们自己的不同大小的数据集。更大的探测数据集带来更高的可靠性，但收集成本也很高。目前还没有一种定量方法来估计合理的探测数据集大小。我们在比较两种探测配置的背景下解决了这一遗漏：在我们从试点研究中收集了一个小数据集之后，有多少额外的数据样本足以区分两种不同的配置？我们提出了一种新的方法来估计在这样的实验中所需的数据样本的数量，在几个案例研究中，我们验证了我们的估计有足够的统计能力。我们的框架有助于系统地构建探测数据集来诊断神经NLP模型。
2022-02-25 cs.CL
Exploring Neural Entity Representations for Semantic Information
Duolingo（多邻国）；Carnegie Mellon University（卡内基梅隆大学）
用于嵌入实体的神经方法通常在下游任务上进行外部评估，最近，本质上使用探测任务。由于任务结构的差异，下游基于任务的比较通常很难解释，而探测任务评估通常只关注少数属性和模型。我们通过在一组简单的探测任务上评估一组不同的八种神经实体嵌入方法来解决这两个问题，展示哪些方法能够记住用于描述实体的单词，学习类型，关系和事实信息，并确定实体被提及的频率。我们还在两个实体链接任务的统一框架中比较了这些方法，并讨论了它们如何推广到不同的模型架构和数据集。
2020-11-17 cs.CL
Tabula nearly rasa: Probing the Linguistic Knowledge of Character-Level Neural Language Models Trained on Unsegmented Text
Stanford University（斯坦福大学）；Facebook AI Research（脸书人工智能研究院）；UPF Linguistics Department（庞培法布拉大学语言学系）
递归神经网络（RNN）在许多自然语言处理任务中取得了惊人的性能。这重新引起了人们对这些通用序列处理设备是否诱导真正的语言知识的兴趣。然而，几乎所有当前的分析研究都用已知单词的词汇表初始化RNN，并在训练过程中为它们提供标记化的输入。我们提出了一个多语言的语言知识编码的RNN训练字符级语言模型，在输入数据与词边界删除的研究。这些网络面临着一个更艰难、更现实的认知任务，必须根据输入统计数据从头开始发现任何有用的语言单元。结果表明，我们的“near tabula rasa”RNN大多能够解决直观地假设单词级别知识的形态，句法和语义任务，并且确实在某种程度上学会了跟踪单词边界。我们的研究为语言学习和使用中明确的、严格的词汇库的必要性的思考打开了大门。
2019-06-17 cs.CL
Construction Grammar Provides Unique Insight into Neural Language Models
Center for Information and Language Processing, LMU Munich（慕尼黑大学信息与语言处理中心）；Munich Center of Machine Learning（慕尼黑机器学习中心）；Language Technologies Institute, Carnegie Mellon University（卡内基梅隆大学语言技术研究所）
构式语法（CxG）最近被用作探索研究的基础，这些研究调查了大型预训练语言模型（PLM）在构式结构和意义方面的性能。在这份立场文件中，我们提出了继续和加强这一研究路线的建议。我们研究了不是为CxG设计的探测方法，以及为特定构造设计的探测方法。我们详细分析了选定的以前的工作，并提供了我们对这个有前途的新领域面临的最重要的挑战和研究问题的看法。
2023-02-04 cs.CL
Probing Neural Topology of Large Language Models
Massachusetts Institute of Technology（麻省理工学院）；New York University（纽约大学）；Tsinghua University（清华大学）；Harvard Medical School（哈佛医学院）
本研究提出图探测方法，通过分析LLM神经拓扑揭示其语言生成性能，发现拓扑信息比激活信息更丰富，可提升模型效率和可靠性。
2026-01-29 cs.AI cs.CL
Finding Syntactic Representations in Neural Stacks
Yale University（耶鲁大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
神经网络体系结构已经用可微堆栈进行了扩充，以便引入对学习层次敏感的神经网络的偏好。然而，事实证明，很难评估这种偏差的有效程度，因为可微堆栈的操作并不总是可解释的。在本文中，我们试图通过对选区结构的无监督学习的探索来检测分层结构的潜在表征的存在。使用Shen et al.（2018a，b）的技术，我们从基于语言建模和分类目标训练的堆栈RNN的推送行为中提取语法树。我们发现，我们的模型产生的解析，反映了自然语言句法选区，证明堆栈RNN确实推断语言相关的层次结构。
2019-06-04 cs.CL cs.LG cs.NE
Modeling structure-building in the brain with CCG parsing and large language models
本文比较了CCG与CFG在fMRI神经信号上的建模效果，发现CCG的结构构建测量在左侧后颞叶对神经信号的拟合优于CFG，且该效应与可预测性效应在空间上可分离。
2023-04-16 cs.CL
Probing Internal Representations of Multi-Word Verbs in Large Language Models
University Erlangen-Nuremberg（埃尔朗根-纽伦堡大学）；University Hospital Erlangen（埃尔朗根大学医院）
本研究利用BERT探测分类器和GDV分析，发现大语言模型中间层能高准确率区分短语动词与介词动词，且其表征呈非线性可分，从计算角度支持了基于使用的语言表征理论。
2025-02-07 cs.CL
Probing artificial neural networks: insights from neuroscience
MIT（麻省理工学院）；Stanford University（斯坦福大学）
神经科学和机器学习的一个主要挑战是开发有用的工具来理解复杂的信息处理系统。一种这样的工具是探针，即，将感兴趣的特征与生物或人工神经网络中出现的激活模式相关联的监督模型。神经科学通过近几十年来进行的大量研究为使用这些模型铺平了道路。在这项工作中，我们从神经科学中汲取见解，以帮助指导机器学习的探索研究。我们强调两个重要的设计选择探针$-$的方向和表现力$-$，并与这些选择的研究目标。我们认为，具体的研究目标发挥了至关重要的作用时，设计一个探针，并鼓励未来的探测研究明确说明这些目标。
2021-04-16 cs.CL cs.LG
Multilingual Syntax-aware Language Modeling through Dependency Tree Conversion
The University of Tokyo（东京大学）；Artificial Intelligence Research Center, AIST（产业技术综合研究所人工智能研究中心）；LeapMind Inc.（LeapMind公司）
将更强的句法偏差引入神经语言模型（LM）是一个长期的目标，但这一领域的研究通常集中在建模英语文本上，其中成分树库是现成的。将基于成分树的LM扩展到依赖树库更常见的多语言设置，可以通过依赖到选区的转换方法。然而，这就提出了一个问题：哪种树格式最适合学习模型，以及哪种语言。我们通过使用各种转换方法训练递归神经网络语法（RNNG）来研究这个问题，并在多语言环境中对其进行经验评估。我们通过七种类型的语法测试，研究了九种转换方法和五种语言对LM性能的影响。平均而言，我们最好的模型的性能比所有语言中最差的选择在准确性上提高了19%。我们最好的模型显示了顺序/overparameterized LM的优势，这表明在多语言环境中的语法注入的积极影响。我们的实验强调了选择正确的树形式主义的重要性，并提供了做出明智决策的见解。
2022-04-19 cs.CL
Multimodal Fact-Checking with Vision Language Models: A Probing Classifier based Solution with Embedding Strategies
Middle East Technical University（中东技术大学）；University of Tübingen（蒂宾根大学）
本文评估 VLM 用于多模态事实核查的能力，提出提取最后隐藏层嵌入并输入神经探测分类器的方法；实验表明多模态有益，且融合独立文本与图像嵌入优于直接使用 VLM 嵌入，神经分类器也优于 KNN 和 SVM。
2024-12-06 cs.CL
