Disentangling Linguistic and Paralinguistic Information with Routed Sparse Autoencoders
University of Cambridge（剑桥大学）
该研究结合TopK稀疏自编码器等方法，在SPEAR和WavLM编码器上实现语言与副语言信息的路由选择性分离，且该分离效果可跨语料库迁移，为语音表示解耦提供了有效方案。
2026-10-09 cs.CL eess.AS
Tracking linguistic information in transformer-based sentence embeddings through targeted sparsification
Idiap Research Institute（伊迪亚普研究所）；University of Geneva（日内瓦大学）
本研究通过定向稀疏化方法，探究了基于Transformer的句子嵌入中语言信息的分布情况，发现语法数和语义角色等信息并非均匀分布，而是集中在特定区域，有助于理解和构建可解释的神经模型。
2024-07-25 cs.CL
On the Possibility of Rewarding Structure Learning Agents: Mutual Information on Linguistic Random Sets
Universidad Tecnológica de la Mixteca（米斯特克理工大学）；Facultad de Ciencias – UNAM（墨西哥国立自治大学理学院）
我们提出了第一次尝试阐明一个理论和经验的方法来设计奖励提供的自然语言环境的一些结构学习代理。为此，我们重新审视的信息论的无监督诱导的短语结构语法的行为特征的模拟行动建模为集值随机变量（随机集的语言样本）构成语义结构。我们的研究结果表明，模拟的语义结构（开放信息抽取三元组）可以区分随机构建的观察其成分之间的互信息的经验证据。这表明了奖励结构学习代理的可能性，而不使用预先训练的结构分析器（Oracle演员/专家）。
2019-12-04 cs.AI cs.CL cs.IT
Visualizing the Relationship Between Encoded Linguistic Information and Task Performance
Carnegie Mellon University（卡内基梅隆大学）；Tencent AI Lab（腾讯人工智能实验室）；Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
探测是分析语言信息是否可以被训练良好的深度神经模型捕获的流行方法，但很难回答编码的语言信息的变化将如何影响任务性能。为此，我们从帕累托最优的角度研究了语言编码信息与任务绩效之间的动态关系。其核心思想是获得一组模型，这是帕累托最优的两个目标。从这个角度来看，我们提出了一种方法来优化帕累托最优模型，通过形式化它作为一个多目标优化问题。我们对两个流行的NLP任务进行了实验，即，机器翻译和语言建模，并探讨了几种语言信息与任务绩效之间的关系。实验结果表明，该方法优于基线方法。我们的实证研究结果表明，一些句法信息是有帮助的NLP任务，而编码更多的句法信息并不一定会导致更好的性能，因为模型架构也是一个重要因素。
2022-03-29 cs.CL cs.LG
Flow-SLM: Joint Learning of Linguistic and Acoustic Information for Spoken Language Modeling
Toyota Technological Institute at Chicago（芝加哥技术学院）；Stony Brook University（石溪大学）
针对无文本口语语言模型缺乏声学上下文与细节控制的问题，提出Flow-SLM，通过流匹配目标联合建模语义token与连续声学表示，在语言性能相当的同时提升了生成语音的声学细节。
2025-10-21 cs.CL
Disentangling continuous and discrete linguistic signals in transformer-based sentence embeddings
University of Geneva（日内瓦大学）
本研究针对Transformer句子嵌入中语言信号分布式混杂的问题，采用带离散+连续组件的类变分自编码器潜层压缩嵌入，实现了主谓一致、动词交替等语言信号的更清晰分离，推动嵌入向符号化表征关联发展。
2023-12-18 cs.CL
Cross-neutralising: Probing for joint encoding of linguistic information in multilingual models
University of Amsterdam（阿姆斯特丹大学）；ILLC（语言逻辑与计算研究所）
多语言句子编码器广泛用于跨语言传输NLP模型。然而，这种转移的成功取决于模型对跨语言相似性和变化模式进行编码的能力。然而，人们对这些模型如何做到这一点知之甚少。我们提出了一个简单的方法来研究语言之间的关系是如何编码在两个国家的最先进的多语言模型（即M-BERT和XLM-R）。研究结果提供了深入了解他们的信息共享机制，并建议在这些模型中，语言属性是在类型相似的语言中联合编码的。
2021-03-13 cs.CL
Information-Theoretic Probing for Linguistic Structure
University of Cambridge（剑桥大学）；Facebook AI Research（Facebook人工智能研究院）；ETH Zürich（苏黎世联邦理工学院）
神经网络在各种NLP任务上的成功让研究人员开始质疑这些网络对自然语言到底“知道”了多少。探测器是评估这一点的自然方法。在探测时，研究人员选择一个语言任务，并训练一个监督模型，从网络学习的表示中预测该语言任务中的注释。如果探测器做得很好，研究人员可能会得出结论，表示编码与任务相关的知识。一个普遍持有的观点是，使用更简单的模型作为探针更好;逻辑是，更简单的模型将识别语言结构，但不会学习任务本身。我们提出了一个信息理论的操作化探测估计互信息，这与这种公认的智慧相矛盾：一个人应该总是选择最高性能的探测，即使它是更复杂的，因为它会导致一个更严格的估计，从而揭示更多的语言信息固有的表示。我们的论文的实验部分侧重于经验估计语言属性和BERT之间的互信息，比较这些估计的几个基线。我们评估了一组10种类型多样的语言，这些语言在NLP研究中往往代表性不足-加上英语-总共11种语言。
2020-05-22 cs.CL cs.LG
The Rediscovery Hypothesis: Language Models Need to Meet Linguistics
NAVER LABS Europe（NAVER LABS 欧洲）；Nazarbayev University（纳扎尔巴耶夫大学）
在NLP社区中有一个正在进行的辩论，即现代语言模型是否包含通过所谓的探针恢复的语言知识。在本文中，我们研究语言知识是否是现代语言模型，我们称之为\textit{rediscovery hypothesis}的良好性能的必要条件。首先，我们表明，语言模型，显着压缩，但表现良好的预训练目标保持良好的成绩时，探测语言结构。这一结果支持了再发现假说，并导致我们的论文的第二个贡献：一个信息理论框架，语言建模目标与语言信息。该框架还提供了一个度量标准来衡量语言信息对单词预测任务的影响。我们加强我们的分析结果与各种实验，无论是在合成和真正的NLP任务的英语。
2022-01-03 cs.CL
Multi-level post-processing for Korean character recognition using morphological analysis and linguistic evaluation
大多数字符识别的后处理方法依赖于字符和单词片段级别的上下文信息。然而，由于韩语的语言特点，这种低级别的信息是不够的，高质量的字符识别应用程序，我们需要更高级别的上下文信息，以提高识别结果。本文提出了一种独立于领域的后处理技术，利用多层次的形态，句法和语义信息以及字符级信息。建议的后处理系统进行三级处理：候选字符集的选择，候选eojeol（韩语单词）生成通过形态分析，并最终单一eojeol序列选择语言评价。所有所需的语言信息和概率自动从统计语料库分析。实验结果表明，我们的方法的有效性，产生的错误纠正率为80.46%，并提高了识别率95.53%，从前后处理率为71.2%的单一最佳解决方案的选择。
1996-04-24 cmp-lg cs.CL
Understanding confounding effects in linguistic coordination: an information-theoretic approach
Information Sciences Institute, University of Southern California（南加州大学信息科学研究所）
我们提出了一个信息理论的方法来衡量文体协调的对话。建议的措施有一个简单的预测解释，并可以通过适当的条件反射解释各种混杂因素。我们回顾了一些以前的研究，报告了强烈的签名的文体适应，并发现，观察到的协调的一个重要组成部分，可以归因于一个简单的混杂效应-长度协调。具体来说，较长的话语往往会伴随着较长的回应，这会导致其他文体特征之间的虚假相关。我们提出了一个测试，以区分由于上下文因素（会话的主题，用户冗长等）的长度相关性。和转弯协调。我们还建议一个测试，以确定是否文体协调持续后，即使占长度协调和上下文因素。
2015-08-27 cs.CL cs.IT cs.SI
How transfer learning impacts linguistic knowledge in deep NLP models?
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
从预先训练好的神经语言模型向下游任务的迁移学习是近年来自然语言处理领域的一个研究热点。一些研究人员已经证明，深度NLP模型学习了在模型的不同层捕获的非平凡数量的语言知识。我们研究了对下游NLP任务的微调如何影响学习到的语言知识。我们使用层和神经元级诊断分类器对流行的预训练模型BERT、RoBERTa和XLNet进行了研究。我们发现，对于某些GLUE任务，网络依赖于核心语言信息，并将其保存在网络的更深处，而对于其他任务，它会忘记。语言信息分布在预训练的语言模型中，但在微调后变得局部化到较低层，为任务特定的知识保留较高层。这种模式在不同的架构中有所不同，与RoBERTa和XLNet相比，BERT在网络中保留的语言信息相对更深，主要是委托给较低的层。
2021-05-31 cs.CL
A Cross-Linguistic Pressure for Uniform Information Density in Word Order
MIT（麻省理工学院）；ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）；Saarland University（萨尔兰大学）；UC Irvine（加州大学欧文分校）
本文通过计算模型对10种类型学多样的语言进行实证研究，检验均匀信息密度（UID）压力是否影响跨语言语序，发现真实语序在SVO语言中始终比反向语序具有更高信息均匀性，且只有语言上不合理的反事实语序才能超过真实语序的均匀性，从而支持UID压力在自然语言发展和使用中的作用。
2023-07-09 cs.CL
Linguistic Inspired Graph Analysis
University of Pretoria（比勒陀利亚大学）；Department of Computer Science（计算机科学系）
同构允许人类认知将一个可能无法解决的问题从一个域转录到另一个域，在另一个域中问题可能更容易解决。目前的翻译方法只注重从源语到目标语的结构信息的转换，而忽略了语义和语用信息。功能语言理论为语言的分类和理解提出了五个子结构。通过推导语言学和图论中的元模型之间的映射，可以看出，目前，在规范图中不存在用于表示语义和语用信息的结构。结果发现，需要做进一步的工作，以了解如何可以丰富的图形，允许同构捕捉语义和语用信息。这种额外信息的捕获可以导致对源结构的理解，以及对所包含关系的增强的操纵和询问。当前的数学图形结构在其一般定义中不允许表达源的更高信息水平。
2021-05-13 cs.CL
Improving Neural Sequence Labelling using Additional Linguistic Information
University of Western Ontario（西安大略大学）
序列标记是指为数据序列分配分类标签的任务。在自然语言处理中，序列标记可以应用于各种基本问题，例如词性（POS）标记，命名实体识别（NER）和组块。在这项研究中，我们提出了一种方法来添加各种语言特征的神经序列框架，以改善序列标记。除了词级知识外，还增加了意义嵌入以提供语义信息。此外，添加了字符嵌入的选择性阅读，以捕获句子中每个单词的上下文和形态特征。与以前的方法相比，这些增加的语言特征使我们能够设计更简洁的模型并执行更有效的训练。我们提出的架构实现了最先进的结果的基准数据集的POS，NER和分块。此外，我们的模型的收敛速度显着优于以前的最先进的模型。
2018-07-27 cs.CL cs.LG
An information theoretic view on selecting linguistic probes
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；Surgical Safety Technologies（外科安全技术公司）
人们对评估编码在神经表征中的语言知识越来越感兴趣。一种流行的方法是附加一个诊断分类器-或“探针”-从内部表示执行监督分类。然而，如何选择一个好的探针是在争论中。Hewitt和Liang（2019）表明，诊断分类本身的高性能是不够的，因为它可以归因于“知识丰富的表示”或“学习任务的探针”，Pimentel等人（2020）对此提出了挑战。我们表明这种二分法是有效的信息理论上。此外，我们发现两篇论文提出的构建和选择良好探针的方法，* 控制任务 *（Hewitt和Liang，2019）和 * 控制函数 *（Pimentel等人，2020），是等价的-他们的方法的错误是相同的（模无关项）。从经验上看，这两个选择标准导致的结果高度一致。
2020-09-17 cs.CL
Predicting cross-linguistic adjective order with information gain
Oracle Corporation（甲骨文公司）；University of California, Irvine（加州大学欧文分校）；Boston College（波士顿学院）
语言在名词之前、之后或周围的多个形容词的位置上各不相同，但它们通常在这些形容词的相对顺序上表现出强烈的语言内倾向（例如，英语中倾向于使用`big blue box'，法语中倾向于使用` big blue box'，阿拉伯语中倾向于使用`alsundalq al'azraq alkab\=ır'）。我们提出了一个新的定量帐户的形容词顺序跨类型不同的语言的基础上最大限度地提高信息增益。我们的模型解决了左右不对称的法国型ANA序列与AAN和NAA排序相同的方法，没有呼吁其他机制。我们发现，在32种语言中，形容词的优先顺序在很大程度上反映了一种有效的算法，最大限度地提高信息增益。
2020-12-30 cs.CL
Uncovering divergent linguistic information in word embeddings with lessons for intrinsic and extrinsic evaluation
IXA NLP Group（IXA自然语言处理研究组）；University of the Basque Country (UPV/EHU)（巴斯克大学）
随着最近词嵌入的成功，有人认为没有词的理想表示，因为不同的模型往往会捕获不同的，往往是相互不兼容的方面，如语义/语法和相似性/相关性。在本文中，我们表明，每个嵌入模型捕获更多的信息比直接明显。一个线性变换，调整模型的相似性顺序，没有任何外部资源，可以定制它，以实现更好的结果，在这些方面，提供了一个新的视角如何嵌入编码不同的语言信息。此外，我们还探讨了内在和外在评价之间的关系，因为我们在下游任务中的转换效果对于无监督系统比监督系统更高。
2018-09-06 cs.AI cs.CL cs.LG
Subspace Chronicles: How Linguistic Information Emerges, Shifts and Interacts during Language Model Training
IT University of Copenhagen（哥本哈根信息技术大学）；LMU Munich（慕尼黑大学）；University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
利用信息论探测套件分析语言模型训练中语言信息的涌现与交互，发现句法知识早期迅速获得，语义和推理依赖后期长程上下文与专门化提升，相关任务在临界阶段共享信息更多。
2023-10-25 cs.CL
Probing Speech Emotion Recognition Transformers for Linguistic Knowledge
University of Augsburg（奥格斯堡大学）；audEERING GmbH（audEERING有限公司）；Imperial College（帝国理工学院）
由自我注意层（Transformers）组成的大型预训练神经网络最近在几个语音情感识别（SER）数据集上取得了最先进的结果。这些模型通常以自我监督的方式进行预训练，目的是提高自动语音识别性能，从而理解语言信息。在这项工作中，我们调查在SER微调过程中，利用这些信息的程度。使用基于开源工具的可重复方法，我们合成韵律中立的语音话语，同时改变文本的情感。Transformer模型的配价预测对积极和消极的情感内容以及否定都非常敏感，但对强化词或还原词却不敏感，而这些语言特征都不影响唤醒或支配。这些研究结果表明，Transformers可以成功地利用语言信息，以提高他们的效价预测，语言分析应包括在他们的测试。
2022-07-26 cs.CL cs.LG
On Structured Sparsity of Phonological Posteriors for Linguistic Parsing
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）
语音信号在不同的时间尺度上传送信息，从与音位和语音信息相关联的短时间尺度或分段到与音节和韵律信息相关联的长时间尺度或超分段。语言学和神经认知研究认为，音段层面的音系类是语音时间组织的基本和不变表征。在语音处理的背景下，深度神经网络（DNN）是从短的语音信号片段推断各个音位类的概率的有效计算方法。所有音位类概率的向量被称为音位后验。只有非常少的类包括短期语音信号;因此，语音后验是稀疏向量。虽然语音后验子是在音段水平上估计的，但我们认为它们传递的是超音段信息。具体来说，我们证明了语音后验是音节和韵律事件的指示。建立在研究结果从收敛的语言证据的手势模型的发音语音以及语音感知的神经基础，我们假设，语音后验传递的语言类的属性在多个时间尺度上，这些信息是嵌入在他们的支持（指数）的活性系数。为了验证这一假设，我们得到了一个二进制表示的音系后验子在段的水平，这是被称为一阶稀疏结构，高阶结构是由一阶二进制向量的级联。然后，它被证实，超音段语言事件的分类，被称为语言分析的问题，可以实现高精度使用一阶或高阶结构的简单的二进制模式匹配。
2016-08-30 cs.CL
Information-Theoretic Characterization of Vowel Harmony: A Cross-Linguistic Study on Word Lists
Saarland University（萨尔大学）
本文提出基于音素级语言模型和信息论度量，利用最多1000词条的小规模词表在跨语言词元形式上量化元音和谐，证明词表可用于低资源语言的类型学研究。
2023-08-09 cs.CL
Linguistic-Enhanced Transformer with CTC Embedding for Speech Recognition
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
最近出现的联合CTC-注意力模型在自动语音识别（ASR）中显示了显著的改进。这种改进很大程度上在于解码器对语言信息的建模。与声学编码器联合优化的解码器在训练期间以自回归方式从地面实况序列呈现语言模型。然而，解码器的训练语料仅限于语音翻译，这远远少于训练可接受的语言模型所需的语料。这导致解码器的鲁棒性差。为了缓解这个问题，我们提出了语言增强的Transformer，它在训练过程中将细化的CTC信息引入到解码器中，从而使解码器具有更强的鲁棒性。我们在AISHELL-1语音库上的实验表明，字符出错率（CER）相对降低了7%。我们还发现，在联合CTC-Attention ASR模型中，解码器对语言信息比声学信息更敏感。
2022-10-25 cs.CL cs.SD eess.AS
Provenance for Linguistic Corpora Through Nanopublications
Business Web and Media（商业网络与媒体）；VU Amsterdam（阿姆斯特丹自由大学）
计算语言学的研究依赖于文本语料库来训练和测试新的工具和方法。虽然存在过多的注释语言信息，但这些语料库通常在没有大量手工工作的情况下无法互操作。此外，这些注释可能已经演变成不同的版本，使研究人员难以了解数据的出处。本文通过对事件注释语料库的案例研究来解决这个问题，并以纳米出版物的形式创建了一种新的，更具互操作性的数据表示。我们演示了如何从一开始就可以可靠地链接来自不同语料库的语言注释，从而访问和查询，就好像它们是一个单一的数据集。我们描述了如何创建这样的nanopublications，并演示了如何SPARQL查询可以从新的表示提取有趣的内容。查询结果表明，由于不同语料库的信息以统一的数据格式表示，因此可以更方便、更有效地检索多个语料库的信息。
2020-11-02 cs.CL
EE-TTS: Emphatic Expressive TTS with Linguistic Information
Tencent AI Lab（腾讯AI实验室）；Zhejiang University（浙江大学）
提出EE-TTS，利用句法和语义的多层次语言信息，通过强调预测器和条件声学模型合成表现力语音，在表现力和自然度上分别提升MOS 0.49和0.67，并展现出跨数据集的强泛化能力。
2024-04-14 cs.CL cs.SD eess.AS
Bridging Information-Theoretic and Geometric Compression in Language Models
Universitat Pompeu Fabra（庞培法布拉大学）；ICREA（加泰罗尼亚研究及高级研究学院）
该研究从几何与信息论双视角分析预训练语言模型的压缩机制，验证二者高度相关且高压缩率预示模型快速适配，同时首次评估语言数据的固有维度估计器，明确部分有效估计器。
2023-11-09 cs.CL
Joint processing of linguistic properties in brains and language models
Inria Bordeaux（法国国家信息与自动化研究所波尔多分部）；MPI for Software Systems（马克斯·普朗克软件系统研究所）；Microsoft（微软）
本文通过消除语言模型表征中的表层、句法和语义信息，评估其与fMRI大脑记录对齐的变化，证明各类语言属性均有作用且句法属性影响最大。
2023-11-08 cs.CL q-bio.NC
Open Sesame: Getting Inside BERT's Linguistic Knowledge
Yale University（耶鲁大学）
BERT如何以及在多大程度上编码语法敏感的层次信息或位置敏感的线性信息？最近的研究表明，像BERT这样的语境表征在需要对语言结构敏感的任务中表现良好。我们在这里提出了两项研究，旨在提供一个更好的理解的性质BERT的表示。其中第一个重点是使用诊断分类器的结构定义的元素的识别，而第二个探讨BERT的表示主语-动词协议和照应词-先行词的依赖关系，通过自我注意向量的定量评估。在这两种情况下，我们发现，BERT编码的位置信息的单词标记以及在其较低的层，但切换到一个面向层次的编码更高的层。我们的结论是，BERT的表征确实模型的层次结构的语言相关方面，虽然他们似乎并没有表现出尖锐的敏感性，层次结构中发现人类处理的反身回指。
2019-06-04 cs.CL
Combining Linguistic and Spatial Information for Document Analysis
我们提出了一个框架来分析复杂布局的彩色文档。此外，没有对布局做出任何假设。我们的框架结合了内容驱动的自下而上的方法两个不同的信息来源：文本和空间。为了分析文本，使用了浅层自然语言处理工具，例如标记器和部分解析器。为了推断逻辑布局的关系，我们求助于与艾伦演算密切相关的定性空间演算。我们评估系统对彩色期刊的文件，并提出了从期刊的页面中提取阅读顺序的结果。在这种情况下，我们的分析是成功的，因为它从文档中提取了预期的阅读顺序。
2000-09-20 cs.CL cs.DL
ParaTTS: Learning Linguistic and Prosodic Cross-sentence Information in Paragraph-based TTS
Northwestern Polytechnical University（西北工业大学）；Microsoft Research Asia（微软亚洲研究院）；Microsoft Azure Speech（微软Azure语音）
神经端到端TTS模型的最新进展已经在传统的基于语音的TTS中显示出高质量、自然的合成语音。然而，它仍然是具有挑战性的再现类似的高质量时，一个完整的段落被认为是在文语转换，其中大量的上下文信息需要考虑在建立一个基于段落的文语转换模型。为了减轻训练中的困难，我们建议在训练中考虑跨句子，嵌入结构来建模语言和韵律信息。三个子模块，包括语言感知，韵律感知和停顿位置网络，一起训练与修改Tacotron 2。具体来说，学习嵌入在一个段落中的信息和相应的组成句子之间的关系，我们利用语言感知和韵律感知网络。编码器捕获段落中的信息，利用多头注意力机制学习段落中的句间信息。段落中的相对句子位置被位置网络明确地利用。在一个讲故事的有声读物语料库（4.08小时）上训练，由一位女性汉语普通话者记录，所提出的TTS模型表明，它可以产生相当自然和高质量的语音段落。该模型能够更好地预测和呈现跨句子的上下文信息，例如连续句子之间的中断和韵律变化。测试的段落文本，其长度类似于，长于，或远长于典型的段落长度的训练数据，TTS语音产生的新模型是一贯的首选在主观测试和确认在客观的措施基于语音的模型。
2022-09-14 cs.CL cs.SD eess.AS
Comparing Performance of Different Linguistically-Backed Word Embeddings for Cyberbullying Detection
在大多数情况下，词嵌入仅从原始标记或在某些情况下从词元学习。这包括预先训练的语言模型，如BERT。为了研究捕捉词项和结构之间更深层次关系的潜力，并过滤掉冗余信息，我们建议将形态，句法和其他类型的语言信息与原始标记或词元相结合。例如，这意味着在所使用的词汇特征中包括词性或依存关系信息。然后可以在组合上训练词嵌入，而不仅仅是原始标记。以后也可以将这种方法应用于大型语言模型的预训练，并可能提高它们的性能。这将有助于解决从语言表现的角度来看更为复杂的问题，如发现网络欺凌。
2022-06-04 cs.AI cs.CL cs.LG
LET: Linguistic Knowledge Enhanced Graph Transformer for Chinese Short Text Matching
State Key Laboratory of Media Convergence Production Technology and Systems（媒体融合生产技术与系统国家重点实验室）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（上海交通大学人工智能研究院教育部人工智能重点实验室）
中文短文本匹配是自然语言处理中的一项基本任务。现有的方法通常采用汉字或词作为输入标记。它们有两个局限性：1）有些汉语词是多义词，语义信息没有得到充分利用。2)某些模型会遇到由分词引起的潜在问题。在这里，我们引入知网作为外部知识库，并提出了一个语言知识增强图Transformer（LET）来处理单词歧义。此外，我们采用词格图作为输入，以维护多粒度的信息。我们的模型也是对预训练的语言模型的补充。在两个中文数据集上的实验结果表明，我们的模型优于各种典型的文本匹配方法。消融研究还表明，语义信息和多粒度信息是文本匹配建模的重要。
2021-02-25 cs.AI cs.CL
Leveraging Linguistically Enhanced Embeddings for Open Information Extraction
Visvesvaraya National Institute of Technology（维斯瓦瓦拉亚国家理工学院）
该研究首次将语言特征与Seq2Seq预训练语言模型结合用于开放信息抽取，提出加权加法和线性化拼接两种方法，实现精确率、召回率和F1分数最高达24.9%、27.3%和14.9%的提升，并利用SemDP标签降低计算开销及创建合成数据集。
2024-03-20 cs.CL
Probing via Prompting
探测是一种流行的方法来辨别什么语言信息包含在预训练的语言模型的表示。然而，探测模式的选择机制一直受到激烈的争论，因为它是不清楚，如果探测只是提取信息或建模的语言属性本身。为了应对这一挑战，本文介绍了一种新的无模型的方法来探测，制定探测作为一个提示任务。我们进行了五个探测任务的实验，并表明我们的方法是可比的或更好地提取信息比诊断探针，而学习少得多的自己。我们进一步结合通过提示的方法与注意头修剪的探测，分析在其架构中的语言信息存储模型。然后，我们通过删除对该属性至关重要的头部并评估生成的模型在语言建模上的性能，来检查特定语言属性在预训练中的有用性。
2022-07-04 cs.CL
A blind spot for large language models: Supradiegetic linguistic information
University of Vermont（佛蒙特大学）；Vermont Advanced Computing Center（佛蒙特高级计算中心）；Vermont Complex Systems Center（佛蒙特复杂系统中心）；MassMutual Center of Excellence in Complex Systems and Data Science（MassMutual复杂系统与数据科学卓越中心）；Department of Computer Science, University of Vermont（佛蒙特大学计算机科学系）
该研究引入叙事信息、超叙事语言信息等概念，重新界定大语言模型的训练数据属性，解释了其在回文处理、符号视觉识别、楔形文字翻译等任务上存在能力缺陷的原因。
2024-05-16 cs.AI cs.CL
Load-Bearing Context: The Question Damage Score for Evaluating Context Reliance in Linguistic Reasoning
CUNY（纽约城市大学）
该研究提出基于53道英国语言学奥林匹克谜题的诊断框架，用问题损伤分数评估大型语言模型的上下文依赖，发现前沿模型在承载上下文移除后仍常产生正确答案，推动相关推理与可解释性研究。
2026-08-31 cs.CL
On the Linguistic Representational Power of Neural Machine Translation Models
Massachusetts Institute of Technology（麻省理工学院）；Harvard University（哈佛大学）；Qatar Computing Research Institute（卡塔尔计算研究所）
尽管深度神经网络最近在自然语言处理（NLP）方面取得了成功，但其可解释性仍然是一个挑战。我们分析了神经机器翻译模型在不同粒度级别上学习到的表示，并通过相关的外部属性来评估它们的质量。特别是，我们寻求以下问题的答案：（一）如何准确地捕捉单词结构的学习表示，在翻译形态丰富的语言的一个重要方面？(ii)这些表示是否捕获了长范围的依赖关系，并有效地处理了语法上不同的语言？(iii)这些表示是否捕捉到了词汇语义？我们沿着几个参数进行了彻底的调查：（一）在架构中的层捕捉这些语言现象的每一个;（二）翻译单位（字，字符，或子字单位）的选择如何影响所捕获的语言属性的底层表示？(iii)编码器和解码器是否以不同的方式独立学习？(iv)多语言NMT模型学习的表示是否与双语模型捕获相同数量的语言信息？我们的数据驱动的定量评估阐明了NMT模型的重要方面及其捕捉各种语言现象的能力。我们证明了深度NMT模型学习了大量的语言信息。值得注意的调查结果包括：（i）单词形态和词性信息在模型的较低层被捕获;（ii）相反，词汇语义或非局部句法和语义依赖在较高层被更好地表示;（iii）与使用子词单元学习的表示相比，使用字符学习的表示更了解单词形态;和（iv）与双语模型相比，多语言模型学习到的表示更丰富。
2019-11-01 cs.CL
CMSBERT-CLR: Context-driven Modality Shifting BERT with Contrastive Learning for linguistic, visual, acoustic Representations
Dongguk University（东国大学）
随着对多模态在线内容的需求不断增长，多模态情感分析已经成为越来越受欢迎的研究领域。对于多模态情感分析，词语可以根据语言上下文和非语言信息而具有不同的含义，因此理解词语的含义是至关重要的。此外，词义的理解应在包含非言语信息的整个话语语境中进行。本文提出了一种基于对比学习的语境驱动的语言、视觉、听觉表征的模态转换BERT（CMSBERT-STABILITY）方法，该方法通过对比学习整合了整个语境中的非言语和言语信息，从而更有效地调整了模态。首先，我们介绍了一种语境驱动的情态转换（CMS），将非言语信息和言语信息整合到句子话语的整个语境中。然后，为了改善在一个共同的嵌入空间内的不同模态的对齐，我们应用对比学习。此外，我们使用指数移动平均参数和标签平滑作为优化策略，这可以使网络的收敛更稳定，增加对齐的灵活性。在我们的实验中，我们证明了我们的方法达到了最先进的结果。
2022-08-21 cs.CL cs.LG cs.SD
Fake News Detection: Experiments and Approaches beyond Linguistic Features
Birla Institute of Technology and Science, Pilani（比尔拉理工学院）
互联网和社交媒体的普及使得通过在线来源传播信息变得非常容易。Facebook、Twitter、在线新闻网站和自称记者的个人博客等来源已成为提供新闻内容的重要参与者。信息的绝对数量和在线生成的速度使其实际上超出了人类验证的范围。因此，迫切需要开发能够帮助人类自动核查事实和可靠识别假新闻的技术。本文总结了所采取的多种方法和为该任务进行的实验。与新闻文章相关联的可信度信息和元数据已被用于改进结果。实验还显示了建模理由或证据如何导致改进的结果。此外，除了语言特征的视觉功能的使用进行了演示。结果的详细比较表明，我们的模型表现显着良好，相比强大的基线以及国家的最先进的模型。
2021-09-27 cs.CL
Validation and Normalization of DCS corpus using Sanskrit Heritage tools to build a tagged Gold Corpus
University of Hyderabad（海得拉巴大学）；Inria Paris Center（法国国家信息与自动化研究所巴黎中心）
梵文数字语料库记录了大约65万个句子及其形态和词汇标记。但是，在形态分析和提供关键信息，如分割的词，不一致的，迫切需要标准化和验证这个语料库。验证过程的自动化需要高效的分析器，这些分析器还可以提供缺失的信息。梵语遗产引擎的读者产生所有可能的分割形态和词汇分析。对齐这些系统将有助于我们记录语言差异，这些差异可用于更新这些系统以产生标准化结果，并且还将提供标记有完整形态和词汇信息以及分割单词的Gold语料库。Krishna et al.（2017）考虑到一些语言差异，对齐了115，000个句子。由于这两个系统都发生了显著的变化，考虑到这些系统之间所有剩余的语言差异，再次进行对齐。本文详细描述了修改后的对齐过程，并记录了观察到的其他语言差异。参考文献：Amrith Krishna，Pavankumar Satuluri和Pawan Goyal。2017.用于梵文分词的数据集。SIGHUM文化遗产、社会科学、人文科学和文学计算语言学联合研讨会论文集，第105-114页。计算语言学协会，八月。
2020-05-13 cs.CL
Phrasing for UX: Enhancing Information Engagement through Computational Linguistics and Creative Analytics
State University of New York at Albany（纽约州立大学奥尔巴尼分校）
本研究提出READ模型，通过计算语言学量化文本的代表性、易用性、情感和分布等特征，预测并提升数字平台的信息参与度，经AB测试验证在参与、感知、坚持和整体参与上均表现良好，并为教育、健康和媒体领域提供了文本优化策略。
2024-08-23 cs.AI cs.CL cs.HC
Modeling Drug-Disease Relations with Linguistic and Knowledge Graph Constraints
Roam Analytics；Stanford University（斯坦福大学）
FDA药品标签是关于药物和药物-疾病关系的丰富信息来源，但其复杂性使其具有挑战性，难以单独分析。为了克服这一点，我们将这些标签放置在两个健康知识图谱中：一个是从关于药物和疾病的精确结构化信息构建的，另一个是使用简单的探试法完全从临床叙述文本数据库构建的。我们表明，在这些图上定义的概率软逻辑模型优于纯文本和仅关系的变体，并且临床叙述图几乎不需要手动操作就可以提供出色的结果。最后，我们发布了一个新的药物标签数据集，其中包含五种不同药物-疾病关系的注释。
2019-03-31 cs.CL
Improving Mandarin Prosodic Structure Prediction with Multi-level Contextual Information
Huya Inc.（虎牙公司）
本文提出利用包含语句间与语句内信息的多层级上下文，通过层级编码器和多任务学习解码器改进普通话韵律结构预测，实验证明其有效提升韵律边界预测F1分数及合成语音自然度。
2023-08-31 cs.CL cs.SD eess.AS
GiBERT: Introducing Linguistic Knowledge into BERT through a Lightweight Gated Injection Method
The Alan Turing Institute（艾伦·图灵研究所）；University of Warwick（华威大学）；Imperial College London（伦敦帝国理工学院）；Queen Mary University of London（伦敦玛丽女王大学）
像BERT这样的大型预训练语言模型是最近许多NLP任务改进背后的驱动力。然而，BERT只被训练来预测缺失的单词-无论是在面具后面还是在下一个句子中-并且除了通过无监督的预训练获得的信息之外，没有词汇，句法或语义信息的知识。我们提出了一种新的方法来显式地将语言知识以词嵌入的形式注入到预训练的BERT的任何层中。当注入基于依赖性和反拟合嵌入时，我们在多个语义相似性数据集上的性能改进表明这些信息是有益的，并且目前在原始模型中缺失。我们的定性分析表明，反拟合嵌入注入特别有助于涉及同义词对的情况下。
2020-10-23 cs.CL
An Event Network for Exploring Open Information
本文提出了一种用于开放信息挖掘的事件网络，在该网络中，关于一个事件的语言单元被组织起来进行分析。该过程分为三个步骤：文档事件检测、事件网络构建和事件网络分析。首先，通过实现事件检测或跟踪，文档被回顾性地（或在线地）组织成文档事件。其次，对于每个文档事件，提取语言单元并组合成事件网络。第三，提出了事件网络分析的各种分析方法。在我们的应用方法，探索开放的信息。
2015-08-30 cs.CL
Exploring the encoding of linguistic representations in the Fully-Connected Layer of generative CNNs for Speech
Brown University（布朗大学）；University of California, Berkeley（加州大学伯克利分校）
本研究首次探索语音合成CNN全连接层的语言信息编码机制，提出两种全连接层探索技术，发现ciwGAN以符合语言学原理的方式通过全连接层权重编码词汇信息。
2025-01-13 cs.CL
Inside the echo chamber: Linguistic underpinnings of misinformation on Twitter
The Pennsylvania State University（宾夕法尼亚州立大学）
本研究探讨Twitter上错误信息传播的语言学基础，通过比较回音室内外多种语言学指标，发现回音室在讨论错误信息时群体认同信号和处理流畅性显著增加。
2024-04-24 cs.CL cs.SI
Word embedding and neural network on grammatical gender -- A case study of Swedish
Lab Dynamics of Language UMR 5596（语言动力学实验室 UMR 5596）；University Lyon 2（里昂第二大学）；Uppsala University（乌普萨拉大学）
我们分析了瑞典语中词嵌入所提供的语法性别信息。希望本文能成为连接计算语言学方法和普通语言学方法的桥梁之一。以瑞典语中的名词分类为例，我们首先展示了如何通过词嵌入模型和人工神经网络来捕获语言中关于语法性别的信息。然后，我们将我们的结果与之前的语言学假设的分配和使用的语法性别在瑞典语和分析的错误所造成的计算模型从语言学的角度。
2020-07-28 cs.CL
Semantic-Preserving Linguistic Steganography by Pivot Translation and Semantic-Aware Bins Coding
语言隐写术（LS）的目的是将秘密信息嵌入到高度编码的文本中进行隐蔽通信。它可以大致分为两大类，即，基于修改的LS（MLS）和基于生成的LS（GLS）。与通过在不损害文本含义的情况下稍微修改给定文本来隐藏秘密数据的MLS不同，GLS使用训练的语言模型来直接生成携带秘密数据的文本。MLS方法的一个常见缺点是嵌入有效负载非常低，其返回值很好地保留了文本的语义质量。相比之下，GLS允许数据隐藏者嵌入高有效载荷，这必须付出不可控语义的高昂代价。在本文中，我们提出了一种新的LS方法来修改一个给定的文本之间的旋转两种不同的语言和嵌入秘密数据通过应用GLS类信息编码策略。我们的目的是改变给定文本的表达方式，在保持语义信息不变的同时嵌入高有效载荷。实验结果表明，该算法不仅具有较高的嵌入负载，而且在保持语义一致性和抵抗语言隐写分析方面表现出了较好的性能。
2022-03-08 cs.CL cs.CR
Evaluating Robustness of LLMs on Crisis-Related Microblogs across Events, Information Types, and Linguistic Features
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；OpenAI
本研究评估六个大型语言模型在灾害相关微博上的鲁棒性，发现GPT-4o和GPT-4泛化最佳，但多数模型处理洪水数据困难，对拼写错误敏感，且专有模型全面优于开源模型。
2024-12-08 cs.AI cs.CL cs.SI
Predicting Long-Term Citations from Short-Term Linguistic Influence
University of California, Berkeley（加州大学伯克利分校）；Google Research（谷歌研究院）
衡量一篇研究论文影响力的标准是它被引用的次数。然而，论文被引用的原因可能有很多，引用计数提供的有关论文对后续出版物内容影响程度的信息有限。因此，我们提出了一种新的方法来量化语言的影响，在时间戳的文档集合。有两个主要步骤：首先，使用上下文嵌入和词频识别词汇和语义变化;其次，通过估计具有低秩参数矩阵的高维Hawkes过程，将关于这些变化的信息聚合成每个文档的影响分数。我们发现，这种语言影响力的措施是预测的$\textit{future}$引用：语言影响力的估计，从两年后的论文的出版是相关的，并预测其引用计数在接下来的三年。这是证明使用增量时间训练/测试分裂的在线评估，与一个强大的基线，包括初始引用计数，主题和词汇功能的预测。
2022-10-24 cs.CL cs.CY cs.SI
Topic Identification For Spontaneous Speech: Enriching Audio Features With Embedded Linguistic Information
Aalto University（阿尔托大学）
针对低资源场景下ASR转录质量差及自发语音影响主题识别的问题，本文对比纯音频与混合多模态方案，验证了无ASR时纯音频方案可行，混合方案效果最优。
2023-07-21 cs.CL eess.AS
Improving Prosody for Unseen Texts in Speech Synthesis by Utilizing Linguistic Information and Noisy Data
DiDi Chuxing（滴滴出行）
端到端语音合成的最新进展使得生成高度自然的语音成为可能。然而，训练这些模型通常需要大量的高保真语音数据，并且对于看不见的文本，合成语音的韵律相对不自然。为了解决这些问题，我们建议将微调的基于BERT的前端与预训练的基于FastSpeech2的声学模型相结合，以改善韵律建模。预训练的BERT在多任务学习框架中的多音字消歧任务、联合中文分词（CWS）和词性（POS）标注任务以及韵律结构预测（PSP）任务上进行微调。FastSpeech 2是在大规模外部数据上进行预训练的，这些数据虽然嘈杂，但更容易获得。实验结果表明，无论是微调后的BERT模型还是预训练后的FastSpeech 2都能提高韵律，尤其是对于结构复杂的句子。
2021-11-15 cs.CL cs.SD eess.AS
Systematic improvement of user engagement with academic titles using computational linguistics
State University of New York at Albany（纽约州立大学奥尔巴尼分校）；The Academic College of Tel Aviv Yaffo（特拉维夫雅法学院）
本文介绍了一种新的方法，系统地改善信息的互动，完全基于它的措辞。在跨学科的文献回顾之后，我们认识到了推动用户参与的三个关键属性：（1）新颖性（2）熟悉性（3）重复性。基于这些属性，我们开发了一个模型，使用计算语言学，自然语言处理（NLP）和文本分析（词频，情感分析和词汇替换）系统地改进给定的内容。我们进行了一项试点研究（n=216），其中该模型被用来正式评估和优化的学术职称。使用组间设计（A/B检验）比较对原始和修改（治疗）标题的反应。收集数据用于选择和评估（用户参与度量表）。试点结果表明，用户对数字信息的参与是由所使用的措辞促进的，也许取决于所使用的措辞。它们还提供了经验支持，可以系统地评估和制作引人入胜的内容。初步结果表明，修改后的标题（治疗）有显着更高的分数的信息使用和用户参与（选择和评价）。我们建议，计算语言学是一个有用的方法来优化信息交互。基于经验的见解可以为数字内容战略的制定提供信息，从而提高信息交互的成功率。
2019-06-23 cs.CL cs.DL cs.HC
