Sequence-to-Sequence Lexical Normalization with Multilingual Transformers
University of Bucharest（布加勒斯特大学）；University Politehnica of Bucharest（布加勒斯特理工大学）
当前自然语言处理的基准测试任务包含的文本与日常非正式数字通信中使用的文本在质量上不同。这种差异导致最先进的NLP模型在对真实世界数据进行微调时性能严重下降。解决这个问题的一种方法是通过词汇规范化，这是将非标准文本（通常来自社交媒体）转换为更标准化形式的过程。在这项工作中，我们提出了一个基于mBART，框架的问题作为一个机器翻译问题的双层次序列到序列模型。由于嘈杂的文本是一个跨语言的普遍问题，不仅仅是英语，我们利用mBART的多语言预训练来微调它以适应我们的数据。虽然目前的方法主要是在字或子字的水平，我们认为，这种方法是直接从技术的角度来看，并建立在现有的预先训练的Transformer网络。我们的研究结果表明，虽然单词级别的，内在的，性能评估是落后于其他方法，我们的模型提高了外在的，下游任务的性能，通过规范化相比，模型操作的原始，未处理的，社交媒体文本。
2021-10-12 cs.CL
Streaming, fast and accurate on-device Inverse Text Normalization for Automatic Speech Recognition
Microsoft Corp.（微软公司）
自动语音识别（ASR）系统通常以词汇形式产生输出。然而，人类更喜欢书面形式的输出。为了弥补这一差距，ASR系统通常采用反向文本规范化（ITN）。在以前的工作中，加权有限状态传感器（WFST）已被用来做ITN。WFST非常适合此任务，但它们的大小和运行时成本可能会使嵌入式应用程序的部署具有挑战性。在本文中，我们描述了一个设备上的ITN系统，是流，轻量级和准确的发展。我们系统的核心是一个流Transformer标记器，它标记来自ASR的词汇标记。标签告知可能应用哪个ITN类别（如果有的话）。在此之后，我们仅在标记的文本上应用ITN类别特定的WFST，以可靠地执行ITN转换。我们表明，建议的ITN解决方案的执行相当于强大的基线，同时在尺寸上显着较小，并保留定制功能。
2022-11-07 cs.AI cs.CL
Effect of Post-processing on Contextualized Word Representations
Dalhousie University（达尔豪斯大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）
静态嵌入的后处理已被证明可以提高词汇和序列级别任务的性能。然而，后处理上下文嵌入是一个研究不足的问题。在这项工作中，我们质疑后处理从不同层的预训练语言模型获得的上下文嵌入的有用性。更具体地说，我们使用z分数，最小-最大归一化，并通过使用除顶部之外的所有方法去除顶部主成分来标准化单个神经元激活。此外，我们将单位长度归一化应用于单词表示。在一组不同的预训练模型上，我们证明了后处理可以解开词汇任务（如单词相似性和类比）和序列分类任务的表征中存在的重要信息。我们的研究结果提出了有趣的观点，与使用情境化表征的研究有关，并建议在应用程序中使用它们时，将z分数标准化作为一个重要步骤。
2022-09-15 cs.AI cs.CL
Specialising Word Vectors for Lexical Entailment
Language Technology Lab, University of Cambridge（剑桥大学语言技术实验室）；PolyAI（PolyAI公司）
我们提出了LEAR（词汇蕴涵吸引排斥），一种新的后处理方法，转换任何输入词向量空间，强调词汇蕴涵（LE）的不对称关系，也被称为IS-A或上下义关系。通过注入外部语言约束（例如，WordNet链接）到初始向量空间中，LE专业化过程使真正的上下义关系对在变换后的欧几里得空间中更接近。建议的非对称距离测量调整规范的词向量，以反映实际的WordNet风格的概念层次结构。同时，联合目标使用对称余弦距离强制执行语义相似性，同时产生专门用于两个词汇关系的向量空间。LEAR专业化在上位词方向性、上位词检测和分级词汇蕴涵等任务中实现了最先进的性能，证明了所提出的非对称专业化模型的有效性和鲁棒性。
2018-04-19 cs.CL
Statistical Analysis of Sentence Structures through ASCII, Lexical Alignment and PCA
New Jersey Institute of Technology（新泽西理工学院）
本研究通过ASCII、词性对齐和PCA分析句子结构的平衡，提出一种资源高效的统计方法，用于评估文本平衡并补充传统语法工具。
2025-12-11 cs.CL
Improving Lexical Choice in Neural Machine Translation
University of Notre Dame（圣母大学）
我们探讨了神经机器翻译中生僻词误译问题的两种解决方案。首先，我们认为标准输出层，它计算一个向量的内积表示上下文与所有可能的输出词嵌入，奖励频繁的话不成比例，我们建议固定两个向量的范数为一个常数。其次，我们集成了一个简单的词汇模块，它与模型的其余部分联合训练。我们在8种语言对上评估了我们的方法，数据大小从10万到800万个单词，并实现了高达+4.3 BLEU的改进，几乎在所有设置中都超过了基于短语的翻译。
2018-04-17 cs.CL
Machine learning and digital pragmatics: Which word category influences emoji use most?
本研究采用数字语用学方法，通过MARBERT模型与二元逻辑回归分析X平台口语阿拉伯语语料，发现动词对表情符号使用的影响强于名词，相关关联可通过多方法混合路径解释。
2026-10-28 cs.CL
Lexical evolution rates by automated stability measure
Università dell’Aquila（拉奎拉大学）
系统发生树可以从包含一个家族中所有语言对之间的距离的矩阵中重建。最近，我们提出了一种新的方法，它使用归一化Levenshtein距离具有相同的含义和平均值的所有项目的一个给定的列表。自声门年代学开始以来，关于用于语言比较的输入列表中的项目数量的决定一直在争论。关键是，与某些含义相关的词有一个快速的词汇演变。因此，一个大的词汇比较只是明显地比一个小的更准确，因为许多单词不携带任何有用的信息。原则上，我们应该通过研究不同项目的稳定性来找到输入列表的最佳长度。在本文中，我们解决这个问题的自动化方法，只基于我们的归一化Levenshtein距离。用这种方法，语言关系的自动重建程序完成。
2009-12-09 cs.CL physics.soc-ph
Validation and Normalization of DCS corpus using Sanskrit Heritage tools to build a tagged Gold Corpus
University of Hyderabad（海得拉巴大学）；Inria Paris Center（法国国家信息与自动化研究所巴黎中心）
梵文数字语料库记录了大约65万个句子及其形态和词汇标记。但是，在形态分析和提供关键信息，如分割的词，不一致的，迫切需要标准化和验证这个语料库。验证过程的自动化需要高效的分析器，这些分析器还可以提供缺失的信息。梵语遗产引擎的读者产生所有可能的分割形态和词汇分析。对齐这些系统将有助于我们记录语言差异，这些差异可用于更新这些系统以产生标准化结果，并且还将提供标记有完整形态和词汇信息以及分割单词的Gold语料库。Krishna et al.（2017）考虑到一些语言差异，对齐了115，000个句子。由于这两个系统都发生了显著的变化，考虑到这些系统之间所有剩余的语言差异，再次进行对齐。本文详细描述了修改后的对齐过程，并记录了观察到的其他语言差异。参考文献：Amrith Krishna，Pavankumar Satuluri和Pawan Goyal。2017.用于梵文分词的数据集。SIGHUM文化遗产、社会科学、人文科学和文学计算语言学联合研讨会论文集，第105-114页。计算语言学协会，八月。
2020-05-13 cs.CL
Early Language Learning via Spreading Activation and Category Exploration in Complex Networks
National Research Council (CNR)（国家研究理事会）
研究儿童词汇习得在语义和词汇类别上是否不均衡，将早期语言学习建模为基于图的搜索，由扩散激活和类别探索驱动，用多种资源评估模型在四种语言上的性能，发现扩散激活表现更好，揭示词汇发展与激活动态及约束的关系。
2026-07-08 cs.CL
Measures of lexical distance between languages
Università di Roma "La Sapienza"（罗马大学（罗马第一大学））；Università dell’Aquila（拉奎拉大学）
测量语言之间距离的想法似乎起源于法国探险家Dumont D 'Urville \cite{Urv}的工作。他在1826年至1829年的星盘航行中收集了各种语言的比较词汇表，在他关于太平洋地理划分的著作中，他提出了一种衡量语言之间关系程度的方法。现代声门年代学所使用的方法是由莫里斯·斯瓦迪什（Morris Swadesh）在20世纪50年代开发的，它测量了与共享同源词的百分比的距离，这些同源词是具有共同历史起源的词。最近，我们提出了一种新的自动化方法，该方法使用具有相同含义的单词之间的归一化Levenshtein距离和列表中包含的单词的平均值。最近，另一组学者\cite{Bak, Hol}提出了一个完善的定义，包括第二个规范化。在本文中，我们比较我们的定义与改进版本的信息内容，以决定两者中的哪一个可以更成功地解决语言之间的关系。
2009-12-09 cs.CL physics.soc-ph
Human-machine cooperation for semantic feature listing
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
本文提出一种人机协同方法，将有限数据学习到的人类词汇语义模型与大语言模型生成数据相结合，以高效生成高质量语义特征规范。
2023-04-11 cs.AI cs.CL
Combining Lexical and Syntactic Features for Detecting Content-dense Texts in News
Redfin Inc.（Redfin公司）；University of Pennsylvania（宾夕法尼亚大学）
内容密集型新闻以直接、简洁的方式报道有关事件的重要事实信息。诸如信息抽取、问答和摘要之类的信息搜索应用通常假设它们处理的所有文本都是内容密集的。在这里，我们实证检验这一假设的新闻文章从商业，美国国际关系，体育和科学新闻领域。我们的研究结果清楚地表明，在我们的研究中，大约有一半的新闻文本实际上是不密集的内容，并激励监督内容密度检测器的发展。我们对一个大型的训练语料库进行了分类标注，并训练了一个基于词汇和非词汇化句法特征的两层分类模型。在手动注释的数据上，我们比较了特定于领域的分类器的性能，这些分类器仅对来自给定新闻领域的数据进行训练，而一般分类器则将来自所有四个领域的数据汇集在一起。我们的注释和预测实验表明，内容密度的概念根据域而变化，天真的注释者提供的判断偏向于刻板的域标签。特定领域分类器对于内容密集文本通常较少的领域更准确。领域独立分类器再现更好的天真众包判断。分类预测在所有条件下都很高，约为80%。
2017-04-03 cs.CL
Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis
UC San Diego（加州大学圣迭戈分校）
本文构建西班牙语歧义名词最小对句及人类相关性判断数据集，系统评估单语与多语BERT模型的语境化语义表征，揭示其与模型规模、架构层级及训练规格的关系。
2025-03-12 cs.CL
Does Conceptual Representation Require Embodiment? Insights From Large Language Models
Basque Center on Cognition, Brain and Language（巴斯克认知、大脑与语言中心）；The Hong Kong Polytechnic University（香港理工大学）；Princeton Neuroscience Institute, Princeton University（普林斯顿大学普林斯顿神经科学研究所）；Hunter College, City University of New York（纽约城市大学亨特学院）；Graduate Center, City University of New York（纽约城市大学研究生中心）
本文通过比较人类与GPT-3.5和GPT-4对4,442个词汇概念的多维表征，发现语言模型在非感觉运动领域接近人类但在感觉运动领域滞后，且GPT-4的视觉学习提升了其概念表征的类人程度，说明多模态整合对概念形成至关重要。
2023-12-01 cs.CL
Lexical Indicators of Mind Perception in Human-AI Companionship
研究通过分析自然语言中词汇共现，探索人类与AI伴侣关系中的心智感知指标及伦理讨论。
2026-04-05 cs.CL cs.HC
LAST at SemEval-2021 Task 1: Improving Multi-Word Complexity Prediction Using Bigram Association Measures
Laboratoire d’analyse statistique des textes - LAST（文本统计分析实验室）；Institut de recherche en sciences psychologiques（心理科学研究所）；Université catholique de Louvain（鲁汶天主教大学）
本文描述了由文本分析统计学家（LAST）在SemEval-2021上为词汇复杂度预测共享任务开发的系统。该系统是由一个LightGBM模型美联储从许多词频列表，公布的词汇规范和心理测量数据获得的功能。为了解决多词任务的特殊性，它使用二元组关联措施。尽管使用的唯一上下文特征是句子长度，系统在多词任务中取得了良好的成绩，但在单字任务中表现较差。二元关联措施被发现是有用的，但在有限的程度上。
2021-05-20 cs.CL
Feature-rich multiplex lexical networks reveal mental strategies of early language learning
University of Pisa（比萨大学）；ISTI (CNR)（意大利国家研究委员会信息科学与技术研究所）；University of Kansas（堪萨斯大学）；University of Exeter（埃克塞特大学）
人类头脑中的知识表现出二元矢量/网络性质。将单词建模为向量是自然语言处理的关键，而单词关联网络可以映射语义记忆的性质。我们调和这些范式-分散在语言学，心理学和计算机科学-通过引入功能丰富的多功能词汇（FERMULEX）网络。这种新的框架融合了网络中的结构相似性和词的向量特征，可以组合或独立探索。相似性模型跨语义/句法/语音知识方面的异质词关联。词汇的多维特征嵌入丰富了词汇，包括频率、习得年龄、长度和多义性。这些方面使认知知识的前所未有的探索。通过CHILDES数据，我们使用FERMULEX网络来模拟1000名18至30个月的幼儿的规范语言习得。相似性和嵌入通过一致性来捕获词的同质性，一致性通过距离和特征来测量连续混合。一致性挖掘出一个语言核心的频繁/多义/短名词和动词的关键基本句子生产，支持最近的证据表明，儿童的句法结构出现在30个月。这个内核对于网络核心检测和仅特征聚类是不可见的：它来自单词的双重向量/网络性质。我们的定量分析揭示了两个关键策略在早期的单词学习。建模字收购FERMULEX拓扑结构上的随机行走，我们强调非均匀填充的沟通发展库存（CDIs）。基于一致性的步行者导致准确（75%），精确（55%）和部分回忆良好（34%）的预测早期单词学习的CDIs，提供定量支持以前的实证研究结果和发展理论。
2022-01-13 cs.CL cs.SI
Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches
Microsoft Research Asia（微软亚洲研究院）；Tsinghua University（清华大学）；The Hong Kong University of Science and Technology（香港科技大学）
本文提出ValueLex框架，基于词汇假说和心理学方法从30余个LLM中重构并评测其非人类的结构化价值体系，为AI对齐与监管提供跨学科基础。
2024-05-10 cs.AI cs.CL
Decoding the Rule Book: Extracting Hidden Moderation Criteria from Reddit Communities
University of Virginia（弗吉尼亚大学）；Indian Institute of Technology Gandhinagar（印度理工学院加尔各答）
针对Reddit子版块内容审核标准隐性多样的问题，提出用可解释架构从历史审核数据提取以词汇评分表表示的隐性标准，既能复刻神经审核模型性能，又能透明解释决策，还发现了未被记录的审核模式差异。
2025-09-03 cs.CL
Persistent Priors, Preserved Targets: A Stroop-Style Paradigm for Lexical Override
The University of Hong Kong（香港大学）
通过斯特鲁普范式实验，发现语言模型中的词汇先验在局部规则覆盖后仍持续存在，并通过激活修补定位到源位置三元组，揭示了先验是干扰起源和覆盖痕迹的共同通道。
2026-08-11 cs.CL cs.LG
Norm of Word Embedding Encodes Information Gain
Kyoto University（京都大学）；RIKEN AIP（理化学研究所革新智能统合研究中心）；Tohoku University（东北大学）
本文证明跳元模型词嵌入的平方范数编码由 KL 散度定义的信息增益，并基于指数族理论解释，将其推广到上下文嵌入及 softmax 网络，并验证其在关键词提取等任务中的有效性。
2023-11-02 cs.CL
Model Misalignment and Language Change: Traces of AI-Associated Language in Unscripted Spoken English
本研究通过分析2210万词的无脚本科技播客口语语料，发现2022年ChatGPT发布后LLM相关词汇使用量显著上升，揭示人类口语词汇选择向AI语言模式趋同的趋势，为AI对人类语言系统的影响提供了新证据。
2025-08-01 cs.AI cs.CL
To Words and Beyond: Probing Large Language Models for Sentence-Level Psycholinguistic Norms of Memorability and Reading Times
Massachusetts Institute of Technology（麻省理工学院）；Universidad Politécnica de Madrid（马德里理工大学）
本文研究了大语言模型在句子层面可记忆性和阅读时间的预测能力，通过微调提升预测效果，发现其在不同任务上的表现存在显著差异，提示在使用LLM提示替代人类认知测量时需谨慎。
2026-03-12 cs.CL
Can GPT replace human raters? Validity and reliability of machine-generated norms for metaphors
University School for Advanced Studies IUSS（帕维亚高等研究院IUSS）；Lawrence Technological University（劳伦斯理工大学）
本文研究了GPT在隐喻评分中的有效性与可靠性，发现较大模型能有效替代人类评分，但需注意隐喻惯例性和多模态因素的影响。
2025-12-13 cs.CL
The "Small World of Words" German Free-Association Norms
Center for Cognitive and Decision Sciences, Faculty of Psychology, University of Basel（巴塞尔大学心理学系认知与决策科学中心）；Center for Adaptive Rationality, Max Planck Institute for Human Development, Berlin（柏林洪堡人类发展研究所适应性理性中心）；Institute of Estonian and General Linguistics, University of Tartu（塔尔图大学爱沙尼亚与一般语言学研究所）；Melbourne School of Psychological Sciences, University of Melbourne（墨尔本大学心理科学学院）
本文介绍了德语自由联想规范数据集SWOW-DE，通过三种心理语言学实验范式展示其在词汇决策任务和相关性判断中的预测能力，并与现有德语资源进行比较，揭示共性与语言特异性关联模式。
2026-04-21 cs.CL
LLM-Anchored Paralinguistic Enrichment for Alzheimer's Disease Detection
Tianjin University（天津大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Fuzhou University（福州大学）；Huiyan Technology (Tianjin) Co., Ltd（慧眼科技（天津）有限公司）
针对阿尔茨海默病语音检测，提出LLM锚定的副语言增强方法，通过韵律事件文本化、词汇-韵律单元化和文本锚定融合，在ADReSS和ADReSSo上取得最先进性能。
2026-09-23 cs.CL cs.SD
Individual corpora predict fast memory retrieval during reading
Bergische Universität Wuppertal（伍珀塔尔大学）；Universität Hamburg（汉堡大学）
从其中训练预测语言模型的语料库可以被认为是语义系统的经验。我们在平板电脑上记录了两名参与者两个月的日常阅读，生成了300/500 K令牌的个体语料库样本。然后，我们从个人语料库和7000万句报纸语料库中训练word 2 vec模型，以获得基于个人和规范的长期记忆结构。为了测试个体语料库是否能对长期记忆提取的认知任务做出更好的预测，我们生成了由134个句子组成的刺激材料，这些句子具有不相关的个体和基于范数的单词概率。对于随后的眼动追踪研究1-2个月后，我们的回归分析表明，个人，但不是正常语料库为基础的单词概率可以解释首次注视时间和首次通过凝视时间。字长还影响注视时间和总观看时间。结果表明，语料库代表个人的长期记忆结构可以更好地解释阅读性能比规范语料库，最近获得的信息是词汇访问迅速。
2020-10-20 cs.CL cs.IR
On Detecting Messaging Abuse in Short Text Messages using Linguistic and Behavioral patterns
Symantec Ltd.（赛门铁克公司）
在过去几年中，在社交媒体和即时消息中使用短文本消息已经成为流行的通信渠道。这种日益流行的趋势导致了邮件威胁的增加，如垃圾邮件、网络钓鱼或恶意软件以及其他威胁。这些短文本消息威胁的处理可能会带来额外的挑战，例如词汇变体的存在，SMS类缩写或高级混淆，这些都会降低传统过滤解决方案的性能。通过使用来自美国的大型电信运营商和社交媒体语料库的真实短信数据集，本文分析了基于语言和行为模式的机器学习过滤器的有效性，以检测短文本垃圾邮件和网络中的滥用用户。我们还探索了不同的方法来处理短文本消息的挑战，如令牌化和实体检测使用文本规范化和子串聚类技术。结果表明，所提出的解决方案的有效性，通过增强基线的方法。
2014-08-18 cs.AI cs.CL cs.SI
The Text Uncanny Valley: Non-Monotonic Performance Degradation in LLM Information Retrieval
University of Chicago（芝加哥大学）；Northwestern University（西北大学）
研究探讨了文本碎片化对LLM信息检索性能的影响，发现性能呈现U型曲线，提出模式过渡假说解释LLM在不同文本状态下的工作模式变化。
2026-05-08 cs.AI cs.CL
Contrastive String Representation Learning using Synthetic Data
字符串表示学习（SRL）是自然语言处理领域的一项重要任务，但它仍然没有得到充分的研究。SRL的目标是学习密集和低维的向量（或嵌入）来编码字符序列。从这个任务中学习的表示可以用于许多下游应用程序任务，例如字符串相似性匹配或词汇规范化。本文提出了一种只用合成数据来训练SRL模型的新方法。我们的方法利用对比学习，以最大限度地提高相关字符串之间的相似性，同时最大限度地减少不相关的字符串。我们证明了我们的方法的有效性，通过评估字符串相似性匹配任务的学习表示。代码、数据和预训练模型将公开提供。
2021-12-21 cs.CL cs.IR
Adding LLMs to the psycholinguistic norming toolbox: A practical guide to getting the most out of human ratings
Universidad Politécnica de Madrid（马德里理工大学）；Politecnico di Milano（米兰理工大学）；Massachusetts Institute of Technology（麻省理工学院）；University of California（加利福尼亚大学）；University of Hong Kong（香港大学）；Ghent University（根特大学）
针对词级心理语言学常模获取困难的问题，本研究提出一套用LLMs估计词汇特征的综合方法论（含基础模型使用与微调方案），配套支持多类模型的软件框架，经英语词汇熟悉度案例验证效果良好，可为相关研究提供参考。
2025-09-17 cs.CL
A Method for Studying Semantic Construal in Grammatical Constructions with Interpretable Contextual Embedding Spaces
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
本文提出将上下文词嵌入投影到可解释语义空间，以自动分析语法构式中词项的语义识解，揭示主语位置更具施事性、AANN构式名词更具测量性，实现模板层面的构式语义探究。
2023-05-29 cs.CL
A Subword Embedding Approach for Variation Detection in Luxembourgish User Comments
University of Luxembourg（卢森堡大学）
本文提出一种基于子词嵌入的方法，用于检测卢森堡语用户评论中的词汇和正字法变异，通过余弦相似度和n-gram相似度实现，揭示了方言和社会语言学研究中的模式。
2026-02-12 cs.CL
Word-Centered Semantic Graphs for Interpretable Diachronic Sense Tracking
University of Zurich（苏黎世大学）；TU Dortmund University（多特蒙德技术大学）
本文提出基于词中心语义图的方法，用于可解释地追踪词义随时间的变化，通过整合分布相似性和词汇替代性，揭示多义性动态和意义演变轨迹。
2026-01-29 cs.CL
