World Trade Center responders in their own words: Predicting PTSD symptom trajectories with AI-based language analyses of interviews
Stony Brook University（石溪大学）；Stanford University（斯坦福大学）
背景：9/11事件中对世界贸易中心（WTC）袭击的响应者的口述历史提供了关于痛苦和恢复力的丰富叙述。人工智能（AI）模型有望用自然语言检测精神病理学，但它们主要是在使用社交媒体的非临床环境中进行评估的。这项研究试图测试基于人工智能的语言评估预测响应者中PTSD症状轨迹的能力。研究方法：参与者是124名响应者，他们的健康状况在石溪世贸中心健康与健康计划中得到监测，他们完成了关于他们最初世贸中心经历的口述历史采访。PTSD症状的严重程度纵向测量PTSD检查表（PCL）长达7年的采访后。基于人工智能的指标计算抑郁，焦虑，神经质，外向以及基于字典的语言和人际风格的措施。线性回归和多水平模型估计AI指标与并发和随后的PTSD症状严重程度的相关性（通过错误发现率调整的显著性）。结果如下：横截面，更大的抑郁语言（β =0.32; p=0.043）和第一人称单数使用（β =0.31; p=0.044）与症状严重程度增加。纵向上，焦虑的语言预测未来PCL评分的恶化（beta=0.31; p=0.031），而第一人称复数使用（beta=-0.37; p=0.007）和较长的单词使用（beta=-0.36; p=0.007）预测改善。结论：这是第一项证明AI在理解弱势人群PTSD中的价值的研究。未来的研究应将这一应用扩展到其他创伤暴露和其他人口群体，特别是代表性不足的少数民族。
2020-11-12 cs.CL
Temporal Word Meaning Disambiguation using TimeLMs
Pune Institute of Computer Technology（浦那计算机技术学院）
在现代文明中，词语的含义不断变化。大语言模型使用词嵌入，这通常是静态的，因此不能处理这种语义变化。因此，解决词义的歧义是很重要的。本文是在这个方向上的努力，我们探索的EvoNLP共享任务的词义消歧的方法。我们进行严格的消融两个解决方案，这个问题。我们看到，使用时间感知语言模型的方法有助于这项任务。此外，我们探讨这个问题的未来可能的方向。
2022-11-17 cs.CL
Communication Drives the Emergence of Language Universals in Neural Agents: Evidence from the Word-order/Case-marking Trade-off
Xi’an Jiaotong University（西安交通大学）；Leiden University（莱顿大学）；University of Groningen（格罗宁根大学）
本文提出NeLLCom框架，让神经智能体先监督学习微型语言再通过强化学习优化交流，并在无硬编码认知偏差的情况下复现语序/格标记权衡。
2023-06-01 cs.AI cs.CL
The Benefits of Word Embeddings Features for Active Learning in Clinical Information Extraction
Queensland University of Technology（昆士兰科技大学）；The Australian e-Health Research Centre, CSIRO（澳大利亚电子健康研究中心，联邦科学与工业研究组织）
本研究探讨了使用无监督的词嵌入和序列特征的样本表示的主动学习框架，建立临床概念从临床自由文本。其目的是进一步减少手动注释工作，同时实现更高的效率相比，一组基线功能。无监督特征是从跳跃语法词嵌入和序列表示方法中获得的。无监督的功能和基线手工制作的功能在主动学习框架的比较性能进行了研究，使用范围广泛的选择标准，包括最小的信心，信息多样性，信息密度和多样性，领域知识的信息。使用两个临床数据集进行评价：i2 b2/VA 2010 NLP挑战和ShARe/CLEF 2013 eHealth评价实验室。我们的研究结果表明，在有效性方面有了显着的改进，并且在两个数据集上节省了注释工作。使用无监督特征和基线特征进行样本表示，分别可以进一步节省高达9%和10%的标记和概念注释率。
2016-11-15 cs.CL
Evaluation of Greek Word Embeddings
Athens University of Economics and Business（雅典经济与商业大学）
由于词嵌入是许多NLP任务中最受欢迎的输入，因此评估其质量至关重要。大多数的研究工作都集中在英语词嵌入。本文讨论的问题，构建和评估这种模型的希腊语言。我们创建了一个新的词类比语料库，考虑到原来的英语Word2vec词类比语料库和希腊语的一些特定的语言方面，以及。此外，我们还创建了一个希腊语版本的WordSim353语料库，用于单词相似性的基本评估。我们测试了七个词向量模型，我们的评估表明，我们能够创建有意义的表示。最后，我们发现希腊语的形态复杂性和一词多义会影响所得到的词嵌入的质量。
2020-04-04 cs.CL
DebIE: A Platform for Implicit and Explicit Debiasing of Word Embedding Spaces
University of Mannheim（曼海姆大学）；School of Business Informatics and Mathematics（商业信息学与数学学院）
最近的NLP研究表明，分布式词向量空间经常编码刻板的人类偏见，如种族主义和性别歧视。由于单词表示在NLP模型和管道中无处不在，这引发了道德问题，并危及语言技术的公平性。虽然存在大量关于偏见测量和去偏见方法的工作，但到目前为止，还没有一个平台可以统一这些研究工作，并使偏见测量和去偏见的表征空间广泛可用。在这项工作中，我们提出了DebIE，第一个集成平台（1）测量和（2）减轻偏见的词嵌入。给定（i）嵌入空间（用户可以在预定义的空间之间选择或上传自己的空间）和（ii）偏差规范（用户可以在现有的偏差规范之间选择或创建自己的偏差规范），DebIE可以（1）计算隐式和显式偏差的几个度量，并通过执行两个（可相互组合的）去偏差模型来修改嵌入空间。DebIE的功能可以通过四种不同的接口访问：（a）Web应用程序，（b）桌面应用程序，（c）REST风格的API，以及（d）作为命令行应用程序。DebIE的网址是：debie.informatik. uni-mannheim.de。
2021-03-11 cs.CL
DAG-based Long Short-Term Memory for Neural Word Segmentation
Fudan University（复旦大学）
神经分词由于能够通过预先训练好的字符或词嵌入来减轻特征工程的工作量，并能充分利用外部资源，因此引起了越来越多的研究兴趣。在本文中，我们提出了一个新的神经模型，将词级信息的中文分词。与以往的基于词的模型不同，我们的模型仍然采用了基于字符的序列标记框架，这在推理阶段的有效性和效率上都具有优势。为了利用单词级信息，我们还提出了一种新的基于有向无环图（DAG）的长短期记忆（LSTM）架构。实验结果表明，我们的模型导致更好的性能比基线模型。
2017-07-02 cs.CL
Multi-Task Learning with Contextualized Word Representations for Extented Named Entity Recognition
Ohio State University（俄亥俄州立大学）；Alt Inc（Alt公司）；University of Liverpool（利物浦大学）；Nagoya University（名古屋大学）；Riken AIP（理化学研究所先进智能项目中心）
细粒度命名实体识别（FG-NER）对于许多自然语言处理应用是至关重要的。虽然经典的命名实体识别（NER）已经吸引了大量的研究，FG-NER仍然是一个开放的研究领域。FG-NER的当前最先进的（SOTA）模型严重依赖于人工构建字典和设计手工制作的功能。与FG-NER的SOTA模型相比，实现NER的SOTA结果的端到端框架没有得到竞争结果。在本文中，我们研究如何有效的多任务学习方法是在一个端到端的框架FG-NER在不同的方面。我们的实验表明，使用多任务学习方法和上下文单词表示可以帮助端到端神经网络模型实现SOTA结果，而无需使用任何额外的手动工作来创建数据和设计功能。
2019-02-26 cs.CL
On the Interplay between Positional Encodings, Morphological Complexity, and Word Order Flexibility
NLP, Department of Computer Science, KU Leuven（自然语言处理，计算机科学系，鲁汶大学）
针对语言模型架构因先适配英语而可能对结构差异语言性能下降的问题，本文以位置编码为对象，结合形态复杂性与词序灵活性的权衡假设，通过7种语言的单语模型预训练与4项下游任务评估，发现位置编码与该权衡无明确相互作用，强调任务、语言和指标选择对结论稳定性的重要性。
2025-11-11 cs.CL
Neural Character-based Composition Models for Abuse Detection
University of Cambridge（剑桥大学）；The ALTA Institute（ALTA研究所）；University of Amsterdam（阿姆斯特丹大学）
近年来，社交媒体的出现助长了一些非常不受欢迎的现象，如互联网上攻击性语言、仇恨言论、性别歧视言论等的泛滥。有鉴于此，已经做出了一些努力来自动检测和缓和这种滥用内容。然而，用户为逃避侦查而故意混淆文字，对这些努力的有效性构成了严重挑战。基于递归神经网络的滥用语言检测的当前最新方法没有明确解决这个问题，而是求助于针对未看到的单词的通用OOV（词汇表外）嵌入。然而，在对所有未看到的单词使用单个嵌入时，我们失去了区分混淆单词和非混淆单词或罕见单词的能力。在本文中，我们通过设计一个模型来解决这个问题，该模型可以为未见过的单词组成嵌入。我们的实验表明，我们的方法显着推进了目前的最先进的滥用检测数据集从两个不同的领域，即Twitter和维基百科的讨论页。
2018-09-02 cs.CL
Trading Syntax Trees for Wordpieces: Target-oriented Opinion Words Extraction with Wordpieces and Aspect Enhancement
University of Sheffield（谢菲尔德大学）；Beihang University（北京航空航天大学）
本研究提出一种移除GCN并利用BERT词片与句子-方面对的方法，有效解决了目标导向意见词抽取中的表示丢失问题，在基准数据集上取得最优结果。
2023-05-18 cs.CL
Enhancing Out-of-Vocabulary Performance of Indian TTS Systems for Practical Applications through Low-Effort Data Strategies
AI4Bharat, Indian Institute of Technology, Madras（AI4Bharat、马德拉斯印度理工学院）
针对低资源印度语言TTS系统词汇外性能差的问题，提出利用志愿者录制含未见双字母组单词的低成本数据策略，在不影响语音质量的前提下提升OOV性能。
2024-07-18 cs.CL cs.LG cs.SD
"The Sum of Its Parts": Joint Learning of Word and Phrase Representations with Autoencoders
Idiap Research Institute（Idiap研究所）；École Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院（EPFL））；Facebook AI Research（Facebook人工智能研究院）
最近，人们在连续向量空间中表示单词方面做了很多努力。这些表征已被证明可以捕获有关单词的语义和句法信息。然而，短语的分布式表示仍然是一个挑战。我们介绍了一种新的模型，共同学习词向量表示及其总和。使用词共现统计信息来学习词表示。为了将具有不同大小的单词（即短语）序列嵌入到一个共同的语义空间中，我们建议对单词向量表示进行平均。与以前的方法，报告了后验的一些组成方面的简单的求和，我们同时训练字求和，同时保持最大的信息从原始向量。我们评估质量的词表示几个经典的词评价任务，我们引入了一个新的任务来评估质量的短语表示。虽然我们的分布式表示与其他方法的学习单词表示字评价竞争，我们表明，他们提供更好的性能的短语评价。这样的短语表示对于自然语言处理中的许多任务可能是有趣的。
2015-06-18 cs.CL
How to Recognize New Words: A Comparison Between Context Biasing Methods and Speech LLMs
该研究对比了基于Whisper的上下文偏置方法与语音LLMs在识别ASR中生词的性能，发现前者可大幅降低偏置词错误率，后者在朗读语音上表现好但泛化性差，最终为方法选择提供了权衡依据。
2026-08-07 cs.CL
Towards a Similarity-adjusted Surprisal Theory
ETH Zürich（苏黎世联邦理工学院）
本文提出相似性调整意外性，利用多样性指数扩展意外性理论以纳入词间相似性，并在阅读时间数据上验证其超越标准意外性的预测能力。
2024-10-23 cs.CL
Clozing the Gap: Exploring Why Language Model Surprisal Outperforms Cloze Surprisal
University of Maryland（马里兰大学）；Nanyang Technological University（南洋理工大学）
本研究通过三个假设（低分辨率、语义相似词区分、低频词概率准确性）解释了语言模型概率在预测处理努力上优于完形填空数据的原因。
2026-05-26 cs.CL
Advancing the Arabic WordNet: Elevating Content Quality
University of Trento（特伦托大学）；Palestine Technical University – Kadoorie（巴勒斯坦技术大学卡杜里分校）；IMT Atlantique（IMT大西洋高等矿业电信学校）
本文针对阿拉伯语词网存在的正确性与完整性问题进行重大修订，更新超过58%的同义词集，并引入短语集和词汇空缺等新结构，以提升词汇语义资源质量。
2024-03-29 cs.CL
De-identification In practice
University of Waterloo（滑铁卢大学）
我们报告我们的努力，以确定敏感信息，数据项的子集列出的健康保险便携性和责任，从医疗文本使用自然语言处理和机器学习技术的最新进展。我们用Word2Vec的一个变体（称为连续词袋（Continuous Bag Of Words，CBOW））学习的高维连续向量表示单词。我们将单词向量输入到一个简单的神经网络中，该网络具有长短期记忆（LSTM）架构。在没有任何手动提取特征的尝试的情况下，考虑到我们的医疗数据集太小，无法送入神经网络，我们获得了有希望的结果。结果让我们兴奋地想到，通过精确的参数调整和其他可能的改进，可以实现更大规模的项目。
2017-01-11 cs.CL
Enhancing Chinese Intent Classification by Dynamically Integrating Character Features into Word Embeddings with Ensemble Techniques
使用基于神经网络和词嵌入的深度学习方法对英语数据进行了广泛的意图分类研究。中文意图分类的挑战源于这样一个事实，即与大多数单词由26个语音字母组成的英语不同，中文是语标，其中汉字是一个更基本的语义单位，可以提供信息，其含义在上下文中不会变化太多。单独的中文词嵌入可能不足以表示单词，并且预先训练的嵌入可能无法很好地与手头的任务对齐。考虑到不足和利用汉字信息，我们提出了一种低工作量和通用的方法来动态集成字符嵌入的特征映射与基于词嵌入的输入，其产生的单词字符嵌入堆叠上下文信息抽取模块，以进一步结合上下文信息进行预测。在该模型的基础上，我们采用集成方法将单个模型组合起来，得到最终的结果。该方法是数据独立的，不依赖于外部来源，如预先训练的词嵌入。所提出的模型优于基线模型和现有的方法。
2018-05-23 cs.CL
Word sense extension
University of Toronto（多伦多大学）
针对自然语言处理中词义扩展研究不足的问题，提出词义扩展范式与结合链式认知模型和嵌入空间变换学习方案的框架，在7500余英语单词新义预测及罕见词义预测上表现更优。
2023-06-09 cs.CL
Toward Word Embedding for Personalized Information Retrieval
Université de Grenoble（格勒诺布尔大学）；CNRS（法国国家科学研究中心）；Université de Saint-Étienne（圣艾蒂安大学）
本文介绍了在个性化信息检索的背景下，使用词嵌入（word2vec）查询扩展的初步工作。传统上，词嵌入是在一个通用的语料库上学习的，比如维基百科。在这项工作中，我们试图个性化的词嵌入学习，通过实现对用户的个人资料的学习。然后，词嵌入处于与用户兴趣相同的上下文中。我们的建议是在CLEF社会图书搜索2016年收集评估。研究结果表明，在个性化信息检索中，词嵌入的应用还有待进一步研究。
2016-06-22 cs.CL cs.IR
Chinese Event Extraction Using DeepNeural Network with Word Embedding
The University of Texas at Dallas（德克萨斯大学达拉斯分校）
大量关于事件提取的先前工作已经利用各种特征来表示事件。这种方法有几个缺点：1）特征通常是特定于特定领域的，并且不能很好地概括; 2）特征是从各种语言分析中导出的，并且容易出错;以及3）一些特征可能是昂贵的，并且需要领域专家。在本文中，我们开发了一个中文事件提取系统，使用词嵌入向量来表示语言，和深度神经网络学习的抽象特征表示，以大大减少特征工程的努力。此外，在这个框架中，我们利用大量的未标记的数据，这可以解决有限的标记语料的问题，这项任务。实验结果表明，与使用丰富语言特征的系统相比，我们提出的方法性能更好，并且使用未标记数据有利于词嵌入。这项研究表明DNN和词嵌入在事件提取任务中的潜力。
2016-10-04 cs.CL
Evaluating Neural Word Embeddings for Sanskrit
IIT Kanpur（印度理工学院坎普尔分校）；Vellore Institute of Technology（韦洛尔理工大学）；Tata Consultancy Services（塔塔咨询服务公司）；IIT Kharagpur（印度理工学院卡拉格普尔分校）
最近，监督学习范式令人惊讶的显着性能已经获得了相当大的关注，从梵文计算语言学家。因此，梵语社区为各种下游自然语言处理（NLP）任务构建特定于任务的标记数据做出了值得称赞的努力。这些方法的主要组成部分来自词嵌入的表示。词嵌入有助于转移从现成的未标记数据中学习到的知识，以提高低资源环境下的特定任务绩效。在过去的十年里，梵语数字化领域有很多令人兴奋的事情。为了有效地利用这些现成的资源，有必要对梵语的词嵌入方法进行系统的研究。在这项工作中，我们调查的有效性词嵌入。我们将词嵌入分为大类，以促进系统的实验，并在四个内在任务中对其进行评估。我们调查的嵌入方法（最初提出的梵语以外的语言）的梵语以及语言所带来的各种挑战的有效性。
2021-04-01 cs.CL
Hybrid Model For Word Prediction Using Naive Bayes and Latent Information
从历史上看，自然语言处理领域受到了许多研究人员的关注。除了这个兴趣之外的主要动机之一与单词预测问题有关，该问题指出，给定句子中的一组单词，可以推荐下一个单词。在文献中，这个问题是解决的方法基于句法或语义分析。单独地，这些分析中的每一个都不能为最终用户应用实现实际结果。例如，潜在语义分析可以处理文本的语义特征，但不能建议考虑语法规则的单词。另一方面，也有一些模型将这两种方法结合在一起，并获得了最先进的结果，例如深度学习。这些模型可能需要高计算量，这可能使模型对于某些类型的应用程序不可行。随着技术和数学模型的进步，有可能开发出更快、更准确的系统。这项工作提出了一个混合词建议模型，基于朴素贝叶斯和潜在语义分析，考虑周围未填充的空白相邻的话。结果表明，该模型在MSR句子完成挑战中可以达到44.2%的准确率。
2018-03-02 cs.CL
Word-Level Representation From Bytes For Language Modeling
Fudan University（复旦大学）；Amazon（亚马逊）
现代语言模型大多采用子词作为输入，这种设计平衡了词汇量、参数数量和性能之间的权衡。然而，子词标记化仍然存在缺点，如对噪声不鲁棒，难以推广到新的语言。此外，当前模型规模扩大的趋势表明，更大的模型需要更大的嵌入，但这使得并行化变得困难。先前关于图像分类的工作证明，将原始输入分割成一系列卡盘是一种强的、与模型无关的归纳偏差。基于这一观察，我们重新思考了现有的字符感知方法，该方法采用字符级输入，但进行单词级序列建模和预测。我们通过引入直接从字节构建单词级表示的交叉注意网络和基于单词级隐藏状态的子单词级预测来彻底改造这种方法，以避免单词级预测的时间和空间要求。结合这两个改进，我们有一个无令牌模型，用于下游任务的输入嵌入很小。我们将我们的方法命名为Byte2Word，并对语言建模和文本分类进行评估。实验表明，Byte2Word算法的嵌入量仅占强子词基线BERT的10%，与强子词基线算法相当。我们进一步测试我们的方法在合成噪声和跨语言迁移，并发现它的竞争力的基线方法在这两种设置。
2022-11-23 cs.CL
Dissecting Contextual Word Embeddings: Architecture and Representation
Allen Institute for Artificial Intelligence（艾伦人工智能研究所）；University of Washington（华盛顿大学）
从预训练的双向语言模型（biLM）中导出的上下文单词表示最近已被证明为广泛的NLP任务提供了对现有技术的显着改进。然而，许多问题仍然是如何以及为什么这些模型是如此有效。在本文中，我们提出了一个详细的实证研究，研究神经架构的选择（例如LSTM，CNN或自我注意力）如何影响最终任务的准确性和学习到的表征的定性属性。我们表明，速度和准确性之间存在权衡，但所有架构都能学习高质量的上下文表示，在四个具有挑战性的NLP任务中表现优于词嵌入。此外，所有架构都学习随网络深度而变化的表示，从基于词嵌入层的专有形态，到基于较低上下文层的局部语法，再到更长范围的语义，如上层的共指。总之，这些结果表明，独立于架构的无监督biLM正在学习比以前更多的语言结构。
2018-09-27 cs.CL
Detection of Hate Speech using BERT and Hate Speech Word Embedding with Deep Model
King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；University of Tabuk（塔布克大学）
网络和社交媒体上产生的大量数据增加了对检测在线仇恨言论的需求。检测仇恨言论将减少其对他人的负面影响和影响。自然语言处理（NLP）领域的大量努力旨在检测一般的仇恨言论或检测特定的仇恨言论，如宗教，种族，性别或性取向。仇恨社区倾向于在他们的通信中使用缩写，故意拼写错误和编码词来逃避检测，这给仇恨言论检测任务增加了更多的挑战。因此，词语表征将在检测仇恨言论方面发挥越来越重要的作用。本文研究了在基于双向LSTM的深度模型中利用特定于领域的词嵌入来自动检测/分类仇恨言论的可行性。此外，我们研究了使用迁移学习语言模型（BERT）仇恨言论问题作为一个二元分类任务。实验表明，基于双向LSTM的深度模型的特定领域词嵌入在来自可用仇恨语音数据集的组合平衡数据集上实现了93%的f1分数，而BERT实现了高达96%的f1分数。
2021-11-02 cs.CL
Event Nugget Detection with Forward-Backward Recurrent Neural Networks
Oregon State University（俄勒冈州立大学）
传统的事件检测方法严重依赖于手动设计的丰富功能。最近的深度学习方法通过自动特征工程来缓解这个问题。但是，这些努力，像传统的方法，到目前为止只集中在单一的标记事件提到，而在实践中，事件也可以是一个短语。相反，我们使用前向-后向循环神经网络（FBRNN）来检测可能是单词或短语的事件。据我们所知，这是处理多词事件的首批努力之一，也是首次尝试使用RNN进行事件检测。实验结果表明，FBRNN在ACE 2005和Rich ERE 2015事件检测任务上与最先进的方法具有竞争力。
2018-02-15 cs.CL
CoSimLex: A Resource for Evaluating Graded Word Similarity in Context
Queen Mary University of London（伦敦玛丽女王大学）；University of Ljubljana（卢布尔雅那大学）；University of Helsinki（赫尔辛基大学）；Texta
现有技术的自然语言处理工具是建立在上下文相关的词嵌入上的，但是目前不存在用于评估这些表示的直接方法。嵌入的内在评估的标准任务和数据集是基于相似性的判断，但忽略了上下文;词义消歧的标准任务考虑到上下文，但不提供意义相似性的连续度量。本文描述了一种努力，以建立一个新的数据集，CoSimLex，旨在填补这一空白。建立在SimLex-999的标准成对相似性任务的基础上，它提供了上下文相关的相似性度量;不仅涵盖了词义上的离散差异，而且涵盖了意义上更微妙的分级变化;不仅涵盖了资源丰富的语言（英语），而且还涵盖了一些资源较少的语言。我们定义了任务和评估指标，概述了数据集收集方法，并描述了迄今为止数据集的状态。
2020-10-29 cs.CL
State-of-the-art Chinese Word Segmentation with Bi-LSTMs
Google AI Language（谷歌AI语言部门）
各种各样的神经网络结构已被提出用于中文分词的任务。令人惊讶的是，我们发现，与基于更复杂的神经网络架构的模型相比，双向LSTM模型与标准深度学习技术和最佳实践相结合，可以在许多流行的数据集上实现更好的准确性。此外，我们的错误分析表明，词汇表外的单词对神经网络模型仍然具有挑战性，并且许多剩余的错误不太可能通过架构更改来修复。相反，应更多地努力探索资源，以进一步改善。
2018-08-24 cs.AI cs.CL
A Cross-Linguistic Pressure for Uniform Information Density in Word Order
MIT（麻省理工学院）；ETH Zürich（苏黎世联邦理工学院）；University of Cambridge（剑桥大学）；Saarland University（萨尔兰大学）；UC Irvine（加州大学欧文分校）
本文通过计算模型对10种类型学多样的语言进行实证研究，检验均匀信息密度（UID）压力是否影响跨语言语序，发现真实语序在SVO语言中始终比反向语序具有更高信息均匀性，且只有语言上不合理的反事实语序才能超过真实语序的均匀性，从而支持UID压力在自然语言发展和使用中的作用。
2023-07-09 cs.CL
Are words equally surprising in audio and audio-visual comprehension?
City, University of London（伦敦城市大学）；University College London（伦敦大学学院）
通过比较仅听觉与视听呈现中词语诱发的N400，研究发现视觉信息改变语言预测加工：Transformer更适合单模态，2-gram更适合多模态。
2023-07-14 cs.CL
Profiling Bias in LLMs: Stereotype Dimensions in Contextual Word Embeddings
TUM School of Computation, Information and Technology（慕尼黑工业大学计算、信息与技术学院）；Technical University of Munich（慕尼黑工业大学）
该研究针对大语言模型存在偏见的问题，提出基于社会心理学词典的刻板印象维度偏见剖析方法，分析12种大模型上下文嵌入的跨层跨语境性别偏见，可直观揭示和可视化模型偏见。
2025-01-11 cs.CL
Hierarchies over Vector Space: Orienting Word and Graph Embeddings
Stony Brook University（石溪大学）
本文提出一种从向量嵌入中构建有向根树的数据结构，通过按实体影响力降序插入节点来捕获层级方向，在超词关系、LCA发现和维基链接恢复任务上显著优于基线。
2024-11-09 cs.CL
Chat More If You Like: Dynamic Cue Words Planning to Flow Longer Conversations
Institute of Computer Science and Technology, Peking University（北京大学计算机科学技术研究所）；Beijing Xiaomi Mobile Software（北京小米移动软件有限公司）
构建一个开放域的多话轮会话系统是人工智能领域最有趣和最具挑战性的研究课题之一。许多研究工作致力于构建这样的对话系统，但很少有人阐明在一个正在进行的对话中的会话流建模。此外，人们在谈话中谈论高度相关的方面是很常见的。而且话题连贯、漂移自然，这说明了对话流建模的必要性。为此，我们提出了多轮提示词驱动的会话系统与强化学习方法（RLCw），努力选择一个自适应的提示词与最大的未来信用，从而提高质量的生成的反应。我们引入了一个新的奖励来衡量的有效性和相关性方面的线索词的质量。为了进一步优化模型的长期会话，本文采用了强化的方法。在真实数据集上的实验表明，我们的模型在模拟转弯、多样性和人类评估方面始终优于一组竞争基线。
2018-11-19 cs.CL
Word length predicts word order: "Min-max"-ing drives language evolution
NTU Singapore（南洋理工大学）
本文提出基于最小-最大理论，通过词类长度与词序关系的实证研究，揭示词序变化的普遍机制。
2026-03-10 cs.CL
Playing with Words at the National Library of Sweden -- Making a Swedish BERT
National Library of Sweden（瑞典国家图书馆）
本文介绍了瑞典国家图书馆（KB）KBLab为数据驱动研究开发的瑞典语BERT（“KB-BERT”）。在最近为英语以外的语言创建基于transformer的BERT模型的基础上，我们解释了如何使用KB的集合为瑞典语创建和训练一个新的特定于语言的BERT模型。我们还提出了我们的模型与现有模型的比较结果-主要是由瑞典公共就业服务，Arbetsförmedlingen和谷歌的多语言M-BERT -在那里我们证明KB-BERT优于这些在一系列的NLP任务从命名实体识别（NER）的词性标记（POS）。我们的讨论强调了由于缺乏训练数据和像瑞典语这样的小语言的测试平台而继续存在的困难。我们在这里发布我们的模型以供进一步探索和研究：https://github.com/Kungbib/swedish-bert-models。
2020-07-03 cs.CL
Rethinking Tokenization: Crafting Better Tokenizers for Large Language Models
Max Planck Institute for Psycholinguistics（马克斯·普朗克心理语言学研究所）
本文针对 BPE 等分词器在非拉丁语言和 MWEs 上的不足，借鉴认知科学“最小努力原则”提出 LiB 分词器，可自主学习子词、词与 MWEs 集成词汇并减少 token 与类型数量，实验表现优于现有方法。
2024-03-01 cs.CL
Modeling natural language emergence with integral transform theory and reinforcement learning
Stanford University（斯坦福大学）；Quiltomics
Zipf定律预测了语言交流系统中词序和频率之间的幂律关系，并且在各种自然语言处理应用中得到了广泛报道。然而，自然语言的出现通常被建模为说话者和听者利益之间的偏见的函数，这缺乏一个直接的方式有关的信息理论偏见Zipfian等级。偏见的功能也是对说话者和听话者之间交流努力的一种非直觉的解释。我们针对这些缺点，提出了一种新的积分变换和内核映射到相应的词的频率等级表示在任何任意的相变点，从而在一个直接的方式来链接沟通的努力（建模扬声器/听众的偏见），以特定的词汇使用（由字排名）。我们展示了我们的积分变换的实际效用，通过展示如何从偏置到秩的变化导致在图像分类任务中更高的准确性和性能，用于将单词标签分配给从CIFAR 10随机子采样的图像。我们将此任务建模为说话者和听话者之间的强化学习游戏，并比较了偏见和Zipfian单词等级对两个代理之间的沟通性能（和准确性）的相对影响。
2018-11-30 cs.AI cs.CL
A Graph-based Model for Joint Chinese Word Segmentation and Dependency Parsing
Fudan University（复旦大学）
汉语分词和依存句法分析是汉语自然语言处理的两个基本任务。依存句法分析是在词级上定义的。因此分词是依存句法分析的前提，这使得依存句法分析容易产生错误传播，无法直接利用预先训练好的字符级语言模型（如BERT）。本文提出了一个基于图的汉语分词和依存句法分析的集成模型。与以往的基于过渡的关节模型不同，我们提出的模型更加简洁，从而减少了特征工程的工作量。本文提出的基于图的联合模型在中文分词和依存句法分析两个方面都取得了较好的性能。此外，当结合BERT时，我们的模型可以大大减少联合模型和基于黄金分割词的模型之间的依存句法分析的性能差距。我们的代码可在https://github.com/fastnlp/JointCwsParser上公开获取。
2019-12-18 cs.AI cs.CL
Compositional Demographic Word Embeddings
University of Michigan（密歇根大学）
词嵌入通常来源于包含来自许多个体的文本的语料库，因此导致通用表示而不是个体个性化表示。虽然个性化嵌入可以用于提高语言模型性能和其他语言处理任务，但它们只能为具有大量纵向数据的人计算，而新用户则不是这种情况。我们提出了一种新形式的个性化词嵌入，其使用从用户的全部或部分人口统计信息（即，性别、年龄、地点、宗教）。我们发现，由此产生的人口统计意识的单词表示优于通用的单词表示的两个任务的英语：语言建模和词的关联。我们进一步探讨了可用属性的数量和它们的相对有效性之间的权衡，并讨论了使用它们的伦理影响。
2020-10-29 cs.AI cs.CL cs.LG
Joint Word Representation Learning using a Corpus and a Semantic Lexicon
University of Liverpool（利物浦大学）；Shizuoka University（静冈大学）；National Institute of Informatics（国立信息学研究所）
使用大型文本语料库学习单词表示的方法最近受到了广泛的关注，这是因为它们在许多自然语言处理（NLP）任务中表现出色，例如语义相似性测量和单词类比检测。尽管他们的成功，这些数据驱动的词表示学习方法不考虑在一个共同出现的上下文中的词之间的丰富的语义关系结构。另一方面，已经有大量的人工努力投入到语义词典的构建中，例如WordNet，它通过定义语言中单词之间存在的各种关系来表示单词的含义。我们考虑的问题是，我们是否可以通过整合语义词典中的知识来改善使用语料库学习的单词表示？为此，我们提出了一个联合词的表示学习方法，同时预测的共同出现的两个词在一个句子中的语义词典给出的关系约束。我们使用词汇中单词之间存在的关系来规范从语料库中学习到的单词表示。我们提出的方法在统计上显着优于先前提出的方法，将语义词典到词表示的几个基准数据集的语义相似性和词的类比。
2015-11-19 cs.AI cs.CL
Sparsity Emerges Naturally in Neural Language Models
University of Edinburgh（爱丁堡大学）
对可解释性、计算资源和原则归纳先验的关注促使人们努力为NLP任务设计稀疏神经模型。如果稀疏性对NLP很重要，那么经过良好训练的神经模型会自然地变得稀疏吗？使用Taxi-Euclidean范数来度量稀疏性，我们发现频繁输入词与集中或稀疏激活相关联，而频繁目标词与分散激活但集中梯度相关联。我们发现，与功能词相关的梯度比实义词的梯度更集中，甚至控制词频。
2019-07-22 cs.CL cs.LG stat.ML
The Grammar of Sense: Is word-sense tagging much more than part-of-speech tagging?
这篇文章声称，大规模文本自动意义标记（LAST）可以在高精度水平上完成，其复杂性和计算工作量远远低于迄今为止所认为的。此外，它可以对所有开放类词进行，而不仅仅是像最近的一些工作中那样仔细选择对立对。我们描述了两个实验：一是探讨《朗文当代英语词典》词条词性字段中所包含的与词义消歧相关的信息量。另一个，更实际的，实验试图意义消歧的所有开放类词在文本分配LDOCE同形词作为意义标签，只使用部分的语音信息。我们报告说，92%的公开课单词可以成功地标记以这种方式。我们计划扩展这项工作，并实现一个改进的大规模标记器，其中的描述包括在这里。
1996-07-26 cmp-lg cs.CL
Distributional semantics beyond words: Supervised learning of analogy and paraphrase
National Research Council Canada（加拿大国家研究委员会）
已经有一些努力将分布式语义扩展到单个单词之外，以测量单词对，短语和句子的相似性（简单地说，元组;单词的有序集合，连续或不连续）。扩展到单词之外的一种方法是使用一个函数来比较两个元组，该函数组合元组中的组成单词之间的成对相似性。这种方法的优点是它可以处理关系相似性（类比）和组成相似性（释义）。然而，过去的工作需要手工编码的组合功能，为不同的任务。本文的主要贡献是通过监督学习生成组合函数。我们在测量词对之间的关系相似性（SAT类比和SemEval~2012任务2）以及测量名词修饰语短语和一元词之间的成分相似性（多项选择释义问题）方面取得了最先进的结果。
2013-10-18 cs.AI cs.CL cs.IR
Text Classification based on Word Subspace with Term-Frequency
University of Tsukuba（筑波大学）；Center for Artificial Intelligence Research (C-Air)（人工智能研究中心（C-Air））
由于数字形式的文本的快速增长，文本分类变得不可或缺。在过去的三十年里，人们一直在努力使用各种学习算法和基于词袋（BOW）特征的统计模型来实现这一任务。尽管其简单的实现，BOW功能缺乏语义表示。为了解决这个问题，神经网络开始被用来学习单词向量，比如word2vec。Word2vec将词的语义结构嵌入到向量中，向量之间的角度表示词之间有意义的相似性。为了度量文本之间的相似性，我们提出了词子空间的新概念，它可以表示一组词向量中特征的内在变化。通过这个概念，可以在保持语义信息的同时从词向量对文本进行建模。为了将词频直接纳入子空间模型，我们进一步扩展词子空间的词频（TF）加权词子空间。基于这些新概念，文本分类可以在互子空间方法（MSM）框架下进行。通过在路透社文本数据库上的实验，将结果与各种最先进的算法进行比较，证明了我们建模的有效性。
2018-06-08 cs.CL cs.LG stat.ML
Reducing Unintended Identity Bias in Russian Hate Speech Detection
VK Lab（VK实验室）
毒性已成为许多在线社区的严重问题，并在包括俄语在内的许多语言中不断增长。仇恨言论创造了一种恐吓、歧视的环境，甚至可能煽动一些现实世界的暴力。一段时间以来，研究人员和社交平台都一直专注于开发模型来检测在线交流中的毒性。这些模型的一个共同问题是对一些词（例如女人，黑人，犹太人）的偏见，这些词不是有毒的，但由于模型的警告，它们会成为分类器的触发器。在本文中，我们描述了我们对俄罗斯的仇恨言论进行分类的努力，并提出了减少意外偏见的简单技术，例如使用与受保护身份相关的术语和单词作为上下文，并将单词丢弃应用于这些单词的语言模型生成训练数据。
2020-10-22 cs.AI cs.CL
OSCaR: Orthogonal Subspace Correction and Rectification of Biases in Word Embeddings
UCLA（加州大学洛杉矶分校）；University of Utah（犹他大学）
众所周知，语言表征带有刻板偏见，因此，导致下游任务中有偏见的预测。虽然现有的方法在通过线性投影减轻偏差方面是有效的，但是这样的方法过于激进：它们不仅去除偏差，而且从词嵌入中擦除有价值的信息。我们开发了新的措施来评估特定的信息保留，证明偏见消除和信息保留之间的权衡。为了解决这一挑战，我们提出了OSCaR（正交子空间校正和整流），一种偏差缓解方法，专注于解开概念之间的偏见的关联，而不是删除概念批发。我们对性别偏见的实验表明，OSCaR是一种平衡良好的方法，可以确保语义信息保留在嵌入中，偏见也被有效地减轻。
2021-09-10 cs.AI cs.CL cs.LG
Do Large Language Models Understand Word Senses?
Babelscape；Sapienza University of Rome（罗马萨皮恩扎大学）
本文评估了大型语言模型的词义消歧能力及在三种生成设置下的词义理解能力，发现GPT-4o等模型在WSD任务中性能与专用系统相当且鲁棒性更强，生成任务准确率高达98%。
2025-09-17 cs.AI cs.CL
Learning to Reason Deductively: Math Word Problem Solving as Complex Relation Extraction
Singapore University of Technology and Design（新加坡科技设计大学）；ByteDance AI Lab（字节跳动人工智能实验室）；University of Texas at Austin（德克萨斯大学奥斯汀分校）
解决数学应用题需要对文本中的量进行演绎推理。最近的各种研究工作主要依赖于序列到序列或序列到树模型来生成数学表达式，而不显式地执行给定上下文中的量之间的关系推理。虽然在经验上是有效的，但这种方法通常不提供对所生成的表达式的解释。在这项工作中，我们认为任务是一个复杂的关系抽取问题，提出了一种新的方法，提出了可解释的演绎推理步骤，迭代地构建目标表达式，其中每一步都涉及一个原始的操作两个数量定义它们的关系。通过对四个基准数据集的广泛实验，我们表明所提出的模型显着优于现有的强基线。我们进一步证明，演绎过程不仅提出了更多的可解释的步骤，但也使我们能够作出更准确的预测问题，需要更复杂的推理。
2022-09-15 cs.CL cs.LG
Using natural language processing techniques to extract information on the properties and functionalities of energetic materials from large text corpora
University of Maryland, College Park（马里兰大学帕克分校）；Energetics Technology Center（能量技术中心）
每年发表的关于高能材料的科学期刊文章和报告数量呈指数级增长，因此从最新研究中提取相关信息和可操作的见解正成为一项相当大的挑战。在这项工作中，我们探讨了如何从自然语言处理和机器学习的技术可以用来自动提取化学的见解，从大量的文件。我们首先描述如何从各种来源下载和处理文档-期刊文章、会议记录（包括NTREM）、美国专利商标局和国防技术信息中心在archive.org上存档。我们提出了一个自定义的NLP管道，它使用开源NLP工具来识别化合物的名称，并将它们与功能词相关联（“水下”、“火箭”、“烟火”）和属性词（“弹性体”、“无毒”）。在解释了词嵌入的工作原理之后，我们比较了两种流行的词嵌入--word 2 vec和GloVe的效用。化学-化学和化学-应用的关系通过用词向量进行计算而获得。我们发现，词嵌入捕捉潜在的信息，高能材料，使相关的材料出现在一起紧密的词嵌入空间。
2019-03-01 cond-mat.mtrl-sci cs.CL
Architectural Trade-offs in Small Language Models Under Compute Constraints
研究探讨了小型语言模型在计算限制下的架构选择权衡，发现基于注意力的模型在效率上优于MLP，但过度增加深度或上下文会损害性能，且RoPE等技术在小型模型中效果有限。
2025-12-24 cs.CL cs.LG
A Question on the Explainability of Large Language Models and the Word-Level Univariate First-Order Plausibility Assumption
UCLouvain（鲁汶大学）
本文提出统计框架刻画大型语言模型解释对训练随机性的敏感性，发现简单特征模型的词级解释比Transformer模型信号更强、噪声更小，并探讨改进与合理性权衡。
2024-03-15 cs.AI cs.CL
Learn Your Tokens: Word-Pooled Tokenization for Language Modeling
USC（南加州大学）；ISI（信息科学研究所）
本文提出“学习你的词元”方案，利用单词边界将字节/字符池化为词表示输入主语言模型，并并行解码单个字符/字节。该端到端词元化器在下一词预测指标上比子词和字节/字符模型高出超300%，在罕见词上提升30倍，在效率与鲁棒性间实现了强有力权衡。
2023-10-17 cs.AI cs.CL
