Adjuncts and the Processing of Lexical Rules
标准的HPSG分析日耳曼语动词集群不能解释观察到的狭窄范围的阅读这些动词集群中的动词。我们提出了一个扩展的HPSG分析,占系统的歧义的范围内的动词集群结构,通过治疗的subcat列表的成员的subcat。扩展使用强大的递归词法规则,实现为复杂的约束。我们展示了如何从约束逻辑编程的“延迟评估”技术可以用来处理这样的词法规则。
1994-05-01 cmp-lg cs.CL
Processing Unknown Words in HPSG
本文提出的词汇习得系统逐步更新未知词的语言属性推断从他们周围的上下文分析句子与HPSG语法德语。我们采用了一个渐进的,基于信息的“未知”的概念,提供了一个统一的处理范围内的完全已知的最大未知的词汇条目。“未知”信息被视为可修订的信息,它可以是可概括的或可专门化的。更新发生在解析之后,这只需要修改词法查找。可修改的信息片段由语法指定的声明标识,这些声明提供了进入解析功能结构的访问路径。更新机制修改词汇特征结构中的对应位置,如果上下文实际上提供了新的信息。为了修改可概括的信息,需要类型联合。一个工作了的例子证明了我们实现的系统的推理能力。
1998-09-25 cs.CL
Information-Restricted Neural Language Models Reveal Different Brain Regions' Sensitivity to Semantics, Syntax and Context
INSERM(法国国家健康与医学研究院);CEA(法国原子能和替代能源委员会);INRIA(法国国家信息与自动化研究所)
神经语言学中的一个基本问题涉及言语理解过程中涉及句法和语义处理的大脑区域,包括词汇(字处理)和超词汇水平(句子和话语处理)。这些区域在多大程度上是相互分离或交织在一起的?为了解决这个问题,我们在文本语料库上训练了一个词汇语言模型Glove和一个超词汇语言模型GPT-2,我们选择性地删除了语法或语义信息。然后,我们评估了这些信息限制模型在多大程度上能够预测人类听自然主义文本的fMRI信号的时间过程。我们还操纵了提供给GPT-2的上下文信息的大小,以确定参与超词汇处理的大脑区域的整合窗口。我们的分析表明,虽然大多数涉及语言的大脑区域对句法和语义变量都很敏感,但这些影响的相对大小在这些区域之间有很大差异。此外,我们还发现左右半球之间的不对称性,语义和句法加工在左半球比在右半球更加分离,并且左半球和右半球分别对短和长语境表现出更大的敏感性。信息受限的NLP模型的使用,从而揭示了句法处理,语义处理和组合性的空间组织。
2023-02-28 cs.CL
Roget's Thesaurus as a Lexical Resource for Natural Language Processing
Ottawa-Carleton Institute for Computer Science(渥太华-卡尔顿计算机科学研究所);School of Information Technology and Engineering(信息技术与工程学院);University of Ottawa(渥太华大学)
WordNet的出现证明了根据词汇语义学原理建立大规模电子词汇数据库的可能性。自发布以来,它已被计算语言学家广泛接受和使用。受WordNet成功的启发,我们提出了一个类似的资源,基于1987年企鹅版的Roget的英语词汇和短语词库。Peter Mark Roget在150多年前出版了他的第一本《同义词词典》。计算语言学家在自然语言处理中使用Roget's已有近50年的历史,但由于没有合适的机器可处理版本,他们在接受Roget's Thesaurus时犹豫不决。本论文提出了一个机器易于处理的版本的1987年企鹅版的Roget的叙词表的实现-第一次实现其使用整个当前版本。它解释了获取机器可读文件并将其转换为易处理系统所需的步骤。这涉及到将词汇材料转换成更容易利用的格式,识别数据结构和设计类来计算叙词表。Roget的组织进行了详细的研究,并与WordNet的。我们展示了计算机化叙词表的两个应用:计算单词和短语之间的语义相似度,以及在文本中构建词汇链。使用众所周知的基准进行实验,并将结果与使用Roget,WordNet和统计技术的其他系统进行比较。Roget's被证明是一个很好的衡量语义相似性的资源;词汇链很容易建立,但更难评估。我们还解释了如何将Roget的词库和WordNet结合起来。
2012-03-31 cs.CL
Syntactic Belief Update as the Driver of Garden Path Processing Difficulty
Johns Hopkins University(约翰霍普金斯大学);University College London(伦敦大学学院)
针对词汇惊异度无法预测花园路径句处理难度的问题,提出基于广义Rényi散度的句法信念更新度量,在关键单词处衡量信念更新幅度,更好地拟合人类阅读时间数据。
2026-09-01 cs.CL
The Grammar Does the Work: Functional vs. Lexical Dependency Length Minimization Across Universal Dependencies
研究依存长度最小化在功能性和词汇性依存上的不对称性,发现功能性依存普遍短且不变,词汇性依存较长且受语序类型制约。
2026-07-03 cs.CL
Probing Semantic Alignment, Lexical Invariance, and Syntactic Influence in LLM Metaphor Processing
NLP 2 CT Lab, Department of Computer and Information Science, University of Macau(自然语言处理2CT实验室,计算机与信息科学系,澳门大学)
通过几何探测、上下文替换和句法扰动三种方法,分析LLM在隐喻处理中的语义漂移、词汇稳定性及句法敏感性,揭示强行为表现可能源于异质信号。
2026-06-18 cs.AI cs.CL
Lexical Disambiguation in Natural Language Questions (NLQs)
Islamic Science University of Malaysia(马来西亚伊斯兰科学大学);Zarqa University(扎尔卡大学)
问题处理是问答应用中的一个基本环节,其质量直接影响问答应用的性能。如何从自然语言问句中提取语义是问句处理的主要难题。人类的语言是模棱两可的。歧义可能出现在两个层面上:词汇和句法。本文提出了一种新的方法来解决词汇歧义问题,通过整合上下文知识和概念知识的领域,到浅层自然语言处理(SNLP)技术。概念知识使用本体建模,而上下文知识从WordNet获得,并基于问题中的邻近词确定。该方法将被应用到一个大学的QA系统。
2017-09-26 cs.AI cs.CL
Lexical Access Model for Italian -- Modeling human speech processing: identification of words in running speech toward lexical access based on the detection of landmarks and other acoustic cues to features
Massachusetts Institute of Technology (MIT)(麻省理工学院);Sapienza University of Rome(罗马大学);Radcliffe Institute for Advanced Study, Harvard University(哈佛大学拉德克利夫高级研究所)
为了模拟听者在推导出说话者想要表达的词语时所激发的过程,需要对词汇项如何存储在记忆中设定一个假设。这项工作的目的是开发一个系统,模仿人类识别运行语音中的单词,并以这种方式,提供一个框架,以更好地理解人类的语音处理。我们建立了一个语音识别器为意大利语的基础上史蒂文斯的词汇访问模型的原则,其中单词存储为层次安排的区别性特征(史蒂文斯,K。n.(2002年)的报告。"Toward a model for lexical access based on acoustic landmarks and distinct features," J. Acoust. Soc. Am.,111(4):1872 - 1891)。在过去的几十年里,麻省理工学院(MIT)的语音通信组基于这种方法开发了一个英语语音识别系统。意大利语将是英语之外的第一种语言;扩展到另一种语言提供了一个机会来测试假设,即单词在记忆中表示为一组分层排列的独特特征,并揭示哪些潜在机制可能具有语言独立性。本文还介绍了一个新的词汇访问语料库,LaMIT数据库,创建和标记专门为这项工作,将免费提供给语音研究社区。未来的发展将测试这一假设,即特定的声学不连续性-称为地标-作为特征的线索,是语言独立的,而其他线索可能是语言依赖的,这对理解人类大脑如何识别语音具有重要意义。
2021-06-24 cs.CL cs.SD eess.AS
Post-Specialisation: Retrofitting Vectors of Words Unseen in Lexical Resources
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学);PolyAI
词向量专业化(也称为改造)是一种便携式,轻量级的方法,通过从丰富的词汇资源(如WordNet)注入外部知识来微调任意分布的词向量空间。通过设计,这些后处理方法只更新外部词典中出现的单词的向量,而保留所有未看到的单词的表示。在本文中,我们表明,约束驱动的向量空间专业化可以扩展到看不见的话。我们提出了一种新的后专业化方法,该方法:a)保留了有用的语言知识,为看到的话;而b)传播这个外部信号,以改善他们的矢量表示以及看不见的话。我们的后专业化方法通过学习从其原始分布对应物预测专业化向量,以深度神经网络的形式解释了非线性专业化函数。然后,学习的函数用于专门化未见过的单词的向量。这种方法,适用于任何后处理模型,产生相当大的收益,无论是在内在的词相似性任务,并在两个下游任务:对话状态跟踪和词汇文本简化的初始专业化模型。积极的影响在三种语言中持续存在,表明了专门化分布词向量空间的完整词汇的重要性。
2018-05-08 cs.CL
Large Language Models on Lexical Semantic Change Detection: An Evaluation
University of Toronto(多伦多大学)
针对LLM在词汇语义变化检测中研究不足的问题,本文提出新的提示方案并对三代语言模型进行综合评估,以填补该领域空白。
2023-12-10 cs.CL
A Robust Text Processing Technique Applied to Lexical Error Recovery
本论文主要研究词法错误的自动恢复和错误文本的标记化。我们提出了一种技术,可以自动纠正拼写错误,分割错误和真正的字错误,在一个统一的框架,使用语言生产模型和打字行为模型,并使令牌化的恢复过程的一部分。打字过程被建模为噪声信道,其中隐马尔可夫模型被用于对信道特性进行建模。弱统计语言模型用于预测哪些句子可能通过通道传输。这些组件在令牌传递框架中保持在一起,该框架提供了正交模式匹配和语言期望之间的期望的紧密耦合。该系统,CTR(连接文本识别),已被测试两个语料库来自两个不同的应用程序,自然语言对话系统和转录打字的情况。实验表明,CTR可以在不引入太多噪声的情况下自动纠正测试集中相当一部分错误。分割错误纠正率几乎是完美的。
1997-02-05 cmp-lg cs.CL
Comprehensive Evaluation on Lexical Normalization: Boundary-Aware Approaches for Unsegmented Languages
National Institute of Information and Communications Technology(信息与通信技术国家研究所)
本文针对无分隔语言提出词汇规范化方法,构建大规模数据集并验证了编码器和解码器在多视角评估中的有效性。
2025-12-01 cs.CL
Lexicalization and Grammar Development
在本文中,我们提出了一个完全词汇化的语法形式主义作为一个特别有吸引力的框架规范的自然语言语法。我们详细讨论了基于语法的词汇化树邻接文法(FB-LTAG),一类词汇化文法的代表。我们说明了词汇化语法在自然语言处理的各种背景下的优势,从广泛覆盖的语法开发到解析和机器翻译。我们还提出了一种紧凑和高效的词汇化树的表示方法。
1994-10-21 cmp-lg cs.CL
Morphological Cues for Lexical Semantics
大多数自然语言处理任务需要词汇语义信息。因此,自动获取这些信息将增加NLP系统的鲁棒性和可移植性。本文描述了一种利用派生词缀与词汇语义信息之间的固定对应关系的习得方法。这种方法和其他只依赖于语言表面特征的方法的一个优点是,必要的输入是当前可用的。
1996-06-04 cmp-lg cs.CL
MultiLexNorm++: A Unified Benchmark and a Generative Model for Lexical Normalization for Asian Languages
School of Information Science and Technology (VISTEC)(信息科学与技术学院);University of Information Technology, Ho Chi Minh City(胡志明市信息技术大学);Vietnam National University, Ho Chi Minh City(越南国家大学胡志明市分校);Graduate School of Science and Engineering, Ehime University(Ehime大学研究生院);D3 Center, The University of Osaka(大阪大学D3中心);Chung-Ang University(Chung-Ang大学);IT University of Copenhagen(哥本哈根IT大学)
MultiLexNorm++提出一种基于大语言模型的新架构,用于改进亚洲语言的词汇规范化任务,涵盖5种不同语言家族的亚洲语言。
2026-01-23 cs.CL
Towards Lexical Gender Inference: A Scalable Methodology using Online Databases
Insight SFI Research Centre for Data Analytics(Insight SFI数据分析研究中心);School of ICS(信息与计算科学学院);University College Dublin(都柏林大学学院)
提出了一种在大规模语言数据集中自动检测具有词汇性别的词的新方法。目前,在自然语言处理中对性别偏见的评估依赖于人工编译的性别表达的词典,例如代词(“他”、“她”等)。以及带有词汇性的名词(“mother”、“boyfriend”、“policewoman”等)。然而,如果不定期更新,手工汇编这些列表可能会导致信息静态化,并且往往涉及个人注释者和研究人员的价值判断。此外,未列入清单的术语不在分析范围之内。为了解决这些问题,我们设计了一个可扩展的,基于字典的方法来自动检测词汇性别,可以提供一个动态的,最新的分析,高覆盖率。我们的方法在确定从维基百科样本中随机检索的名词的词汇性别时,以及在以前的研究中使用的性别词列表上进行测试时,准确率达到80%以上。
2022-06-28 cs.CL
Context based Analysis of Lexical Semantics for Hindi Language
Jamia Millia Islamia(贾米亚·米利亚·伊斯兰大学)
一个词在一个文本中有多个意义引入词汇语义任务,以找出哪个特定的意义是适当的给定的上下文。词义消歧就是这样一个任务,它是指使用计算算法在给定的上下文中识别多义词的最合适的含义。标准语料库的缺乏制约了对印度官方语言印地语和其他印度语言的语言处理研究。对于印地语词义消歧也是如此,大型语料库不可用。在这项工作中,我们准备的文本包含新的意义,导致丰富的意义标记的印地语语料库的60个多义词的某些单词。此外,我们分析了两个新的词汇联想印地语词义消歧的基础上的上下文特征的多义词。通过对学习算法的评价,取得了较好的效果。
2019-01-23 cs.CL
The Best of Both Worlds: Lexical Resources To Improve Low-Resource Part-of-Speech Tagging
IT University of Copenhagen(哥本哈根信息技术大学)
在自然语言处理中,深度学习革命已经将焦点从传统的手工符号表示转移到密集输入,这是从语料库自动学习的适当表示。然而,特别是在使用低资源语言时,即使黄金标准语料库不存在,也通常可以使用少量的符号词汇资源,例如用户生成的词典。这种额外的语言信息,但往往被忽视,最近的神经方法跨语言标记通常只依赖于词和子词嵌入。虽然这些表示是有效的,但我们最近的工作表明,结合两个世界的优点有明显的好处:整合传统的词汇信息可以改善神经跨语言词性(PoS)标记。然而,人们对这些补充资料的互补性以及改进在多大程度上取决于这些外部资源的覆盖面和质量知之甚少。本文试图填补这一空白,提供了第一个全面的分析,在神经时代的词汇资源的跨语言PoS标注的贡献。
2018-11-21 cs.CL
ViLexNorm: A Lexical Normalization Corpus for Vietnamese Social Media Text
Faculty of Information Science and Engineering(信息科学与工程学院);University of Information Technology(信息技术大学);Vietnam National University(越南国家大学)
本研究构建了首个越南语社交媒体词汇规范化语料库ViLexNorm,含超10000对人工标注句,经评估最优系统ERR达57.74%,验证了该任务对下游NLP任务的增益,语料库供研究公开使用。
2024-01-31 cs.CL
Tiered Clustering to Improve Lexical Entailment
University of Illinois-Urbana Champaign(伊利诺伊大学厄巴纳-香槟分校)
自然语言处理中的许多任务都涉及识别词汇蕴涵。最近提出了两种不同的方法来解决这个问题,这两种方法彼此非常不同。第一个是一个非对称的相似性度量,旨在给高分时,较窄的条款的上下文的蕴涵是一个子集的较广泛的条款。第二种是监督的方法,其中学习分类器以预测给定单词的级联潜在向量表示的蕴涵。这两种方法都是向量空间模型,使用单个上下文向量作为单词的表示。在这项工作中,我研究的影响,聚类词的意义,并使用这些多个上下文向量来推断蕴涵使用这两种算法的扩展。我发现,这种方法提供了一些改进,这些蕴涵算法。
2014-12-02 cs.CL
A phonetic model of non-native spoken word processing
School of Informatics(信息学院);University of Edinburgh(爱丁堡大学);E&E Engineering(电气与电子工程学院);Stellenbosch University(斯泰伦博斯大学);University of Maryland(马里兰大学)
非母语者在口语字处理方面表现出困难。许多研究将这些困难归因于词汇记忆中单词的不精确语音编码。我们测试了一个替代假设:这些困难中的一些可能来自非母语人士的语音感知。我们训练一个语音学习的计算模型,这个模型不涉及语音学,只涉及一种或两种语言。我们首先表明,该模型表现出可预测的行为,在语音水平和单词水平的歧视任务。然后,我们测试的模型上的口语字处理任务,表明语音可能是没有必要解释的一些字处理效果在非母语人士。我们对模型的词汇表示空间进行了额外的分析,结果表明两种训练语言在该空间中并没有完全分离,这与双语人类说话者的语言类似。
2021-03-11 cs.CL
Lexical Simplification Benchmarks for English, Portuguese, and Spanish
Universitat Pompeu Fabra(庞培法布拉大学);Manchester Metropolitan University(曼彻斯特城市大学);George Mason University(乔治梅森大学)
即使在高度发达的国家,也有15- 30%的人口只能理解使用基本词汇书写的文本。他们对日常文本的理解有限,这使他们无法在社会中发挥积极作用,并在医疗保健,法律代表或民主选择方面做出明智的决定。词汇简化是一项自然语言处理任务,旨在通过用简单的词汇和表达替换复杂的词汇和表达,同时保留原始含义,使每个人都能理解文本。在过去的20年里,它引起了相当大的关注,并且已经为各种语言提出了全自动的词汇简化系统。阻碍该领域发展的主要障碍是缺乏用于构建和评估词汇简化系统的高质量数据集。我们提出了一个新的基准数据集的词汇简化英语,西班牙语和(巴西)葡萄牙语,并提供有关数据选择和注释程序的细节。这是第一个提供三种语言词汇简化系统直接比较的数据集。为了展示数据集的可用性,我们采用了两个具有不同架构的最先进的词汇简化系统(神经与\非神经)到所有三种语言(英语,西班牙语和巴西葡萄牙语),并评估它们在我们新数据集上的表现。为了更公平的比较,我们使用了几个评估指标,这些指标反映了系统功效的各个方面,并讨论了它们的优点和缺点。我们发现,一个国家的最先进的神经词汇简化系统优于一个国家的最先进的非神经词汇简化系统在所有三种语言。更重要的是,我们发现最先进的神经词汇简化系统对英语的表现明显优于西班牙语和葡萄牙语。
2022-09-12 cs.CL
Calculating the similarity between words and sentences using a lexical database and corpus statistics
Lakehead University(湖首大学)
计算句子之间的语义相似度是自然语言处理领域中一个长期存在的问题。语义分析领域在文本分析的相关研究中起着至关重要的作用。语义相似度随着操作域的不同而不同。在本文中,我们提出了一种方法,处理这个问题,将语义相似性和语料库统计。为了计算单词和句子之间的语义相似度,所提出的方法遵循基于边缘的方法使用词汇数据库。该方法可以应用于各种领域。该方法已测试的基准标准和平均人类相似性数据集。当在这两个数据集上进行测试时,它为单词和句子相似度提供了最高的相关值,优于其他类似的模型。对于单词相似度,我们得到的皮尔逊相关系数为0.8753,对于句子相似度,得到的相关系数为0.8794。
2018-02-20 cs.CL
Lexical Normalization for Code-switched Data and its Effect on POS-tagging
IT University of Copenhagen(哥本哈根信息技术大学);University of Stuttgart(斯图加特大学)
词汇规范化,将非规范数据转换为标准语言,已被证明可以提高社交媒体上许多自然语言处理任务的性能。然而,在一个话语中使用多种语言,也称为代码转换(CS),经常被这些规范化系统所忽视,尽管它在社交媒体中很常见。在本文中,我们提出了三个规范化模型,专门设计用于处理代码转换的数据,我们评估两种语言对:土耳其语-英语(Id-En)和土耳其语-德语(Tr-De)。对于后者,我们为数据集引入了新的规范化层及其相应的语言ID和POS标签,并评估了规范化对POS标签的下游影响。结果表明,我们的CS定制的规范化模型优于Id-En国家的最先进的和Tr-De单语模型,并导致5.4%的相对性能提高的POS标记相比,非规范化的输入。
2021-01-31 cs.CL
Lexical Retrieval Hypothesis in Multimodal Context
National Taiwan University(台湾大学)
本文构建首个台湾语言多模态语料库MultiMoco,并基于议会质询数据考察词汇检索假说,发现手势既促进词汇检索也承担信息强调功能。
2023-05-28 cs.CL
Multitask and Multilingual Modelling for Lexical Analysis
在自然语言处理(NLP)中,传统上一次考虑针对单个语言(例如英语)的单个任务(例如词性标注)。然而,最近的研究表明,利用任务之间以及语言之间的相关性是有益的。在这项工作中,我研究了相关性的概念,并探索如何利用它来构建需要较少手动注释数据的NLP模型。一个大的选择的NLP任务进行了调查,包括60种语言的大量语言样本。结果显示了联合多任务和多语言建模的潜力,并暗示了可以从这些模型中获得的语言见解。
2018-09-07 cs.CL
Probabilistic Lexical Manifold Construction in Large Language Models via Hierarchical Vector Field Interpolation
本文提出基于层级向量场插值的概率词汇流形构建方法,通过概率约束和散度最小化实现平滑词嵌入,减少各向异性畸变,提升语义稳定性与表示一致性。
2025-03-26 cs.CL
Early Language Learning via Spreading Activation and Category Exploration in Complex Networks
National Research Council (CNR)(国家研究理事会)
研究儿童词汇习得在语义和词汇类别上是否不均衡,将早期语言学习建模为基于图的搜索,由扩散激活和类别探索驱动,用多种资源评估模型在四种语言上的性能,发现扩散激活表现更好,揭示词汇发展与激活动态及约束的关系。
2026-07-08 cs.CL
MotàMot project: conversion of a French-Khmer published dictionary for building a multilingual lexical system
GETALP-LIG Laboratory(GETALP-LIG实验室)
与信息处理技术有关的经济问题非常重要。这些技术的发展是柬埔寨和老挝等发展中国家以及越南、马来西亚和泰国等新兴国家的重要资产。MotAMot项目的目的是计算一种资源不足的语言:高棉语,主要在柬埔寨使用。该项目的主要目标是开发一个针对高棉语的多语种词汇系统。宏观结构是一个枢纽结构,每种语言的每个词义都与一个枢纽轴相连。微观结构来源于解释性和组合性词典的简化。词汇系统已经初始化,数据主要来自Denis Richer的法语-高棉语双语词典从Word格式到XML格式的转换。法语部分的发音和词性来自FEM法语-英语-马来语词典。在Richer词典中以IPA标注的高棉语词目用OpenFST(一种有限状态转换器工具)转换为高棉语书写。由此产生的资源可通过Jibiki平台上的REST API在线查找,编辑,下载和远程编程。
2014-05-22 cs.CL
L-ReLF: A Framework for Lexical Dataset Creation
Wikimedia Morocco(维基媒体摩洛哥分会);KTH, Royal Institute of Technology(KTH皇家理工学院)
本文提出L-ReLF框架,通过可复现的技术流程为低资源语言创建高质量结构化词汇数据集,以解决标准化术语缺失问题,并支持下游NLP应用。
2026-03-31 cs.CL
Hierarchical Lexical Manifold Projection in Large Language Models: A Novel Mechanism for Multi-Scale Semantic Representation
提出一种将分层嵌入投影到结构化流形的新机制,在保持计算效率的同时增强多尺度语义表示,提升语言基准准确性和鲁棒性。
2025-03-25 cs.CL
Scaling Hindi Quantum Natural Language Processing through Automatic Pregroup Supertagging
Indian Institute of Information Technology Dharwad(印度达尔瓦德信息技术学院);Fractal Analytics(Fractal Analytics公司);Arizona State University(亚利桑那州立大学)
本文提出将印地语预群超标注作为词元级分类任务,利用380句人工标注语料评估多种方法,发现上下文回退达64.56%最佳准确率,证明自动分配可行且能减少人工标注依赖。
2026-09-15 cs.CL quant-ph
Resources for Turkish Natural Language Processing: A critical survey
University of Tübingen(蒂宾根大学);Ghent University(根特大学);University of Stuttgart(斯图加特大学)
本文对土耳其语语料库和词汇资源进行了全面的调查。我们审查了广泛的资源,重点是那些公开可用的。除了提供有关可用语言资源的信息外,我们还提出了一系列建议,并确定了在土耳其语言学和自然语言处理中进行研究和建立应用程序的可用数据中的差距。
2023-02-25 cs.CL
One Model to Rule them all: Multitask and Multilingual Modelling for Lexical Analysis
当你学习一项新技能时,你会利用你先前的技能和知识。例如,如果你是一个熟练的小提琴手,你可能会有一个更容易学习演奏大提琴。同样,当你学习一门新语言时,你会利用你已经说的语言。例如,如果你的母语是挪威语,你决定学习荷兰语,这两种语言之间的词汇重叠可能会有利于你的语言习得速度。本论文在自然语言处理(NLP)的背景下研究了多任务学习和多语言学习的交叉点,自然语言处理可以定义为对人类语言的计算处理的研究。虽然这两种学习方式在表面上看起来不同,但我们会发现它们有许多相似之处。NLP的传统方法是一次考虑一种语言的单一任务。然而,最近的进展允许通过同时考虑多个任务和语言的数据来扩大这种方法。这是一个需要进一步探索的重要方法,因为提高NLP可靠性的关键,特别是对于低资源语言,是尽可能利用所有相关数据。在这样做的过程中,希望从长远来看,低资源语言可以从NLP的进步中受益,这些进步目前在很大程度上是为高资源语言保留的。这反过来可能会产生积极的影响,例如,语言保护,因为使用少数民族语言的人使用高资源语言的压力较小。在短期内,回答所提出的具体研究问题应该对致力于同一目标的NLP研究人员有用。
2017-11-03 cs.CL
Crowdsourcing Lexical Diversity
Department of Information Engineering and Computer Science, University of Trento(信息工程与计算机科学系,特伦托大学);Palestine Technical University–Kadoorie(巴勒斯坦技术大学–卡多里);Open University of Cyprus, CYENS - Centre of Excellence(塞浦路斯开放大学,CYENS-卓越中心);Lab-STICC CNRS UMR 628, IMT Atlantique(Lab-STICC CNRS UMR 628,IMT阿蒂安大学)
本文提出了一种众包方法,通过比较两种语言的词项来减少词义资源中的偏见,以识别跨语言词义缺口。
2025-11-20 cs.CL
A Survey on Lexical Ambiguity Detection and Word Sense Disambiguation
Informatics Institute of Technology(信息学技术学院);Swansea University(斯旺西大学)
本文综述了自然语言处理中的词义消歧技术,涵盖深度学习与知识图谱方法,介绍了词义扩展等前沿技术及其在生物医学等领域的应用,并指出了语料稀缺等挑战与未来发展方向。
2024-03-24 cs.CL
Domain Lexical Knowledge-based Word Embedding Learning for Text Classification under Small Data
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(电子与电气工程学院,南洋理工大学,新加坡)
针对BERT在关键词驱动的文本分类中嵌入判别性不足的问题,本文提出利用领域词汇知识增强词嵌入的模型及自动知识获取算法,并在情感分析、情感识别和问答任务上验证了有效性。
2025-06-02 cs.CL
A Hybrid Model for Enhancing Lexical Statistical Machine Translation (SMT)
Sadat Academy for Management Sciences(萨达特管理科学院)
统计机器翻译系统的兴趣增加,目前由于在世界上的政治和社会事件。提出了一种基于统计机器翻译(SMT)的模型,该模型可以用于通过有效地结合不同的统计和自然语言处理(NLP)模型(诸如语言模型、对齐模型、基于短语的模型、重排序模型和翻译模型)来自动地将句子从源语言(英语)翻译成目标语言(阿拉伯语)。这些模型相结合,以提高统计机器翻译(SMT)的性能。在这项工作中使用了许多实现工具,如Moses,Gizaa++,IRSTLM,KenLM和BLEU。通过对该模型的实现和评价,以及与Google Translate等其他机器翻译系统的比较,证明了该模型增强了统计机器翻译的效果,是该领域一种可靠、高效的翻译模型。
2015-06-03 cs.CL
Sign Language Lexical Recognition With Propositional Dynamic Logic
Université Paul Sabatier(保罗·萨巴捷大学);IRIT(图卢兹计算机研究所)
本文探讨了使用命题动态逻辑(PDL)作为一个合适的形式化框架来描述手语(SL),聋人的语言,在自然语言处理的背景下。SL是一种视觉化的、完整的、独立的语言,与口头语言一样具有表达能力。SL中的符号通常对应于与运动交织的高度特定的身体姿势序列,这些姿势涉及现实世界的物体,人物或情况。在这里,我们提出了一个正式的SL标志表示,这将有助于我们与自动收集的手跟踪数据的分析,从法国手语(FSL)视频语料库。我们进一步展示了这样的表示可以帮助我们设计的计算机辅助SL验证工具,这反过来又会使我们更接近这些语言的自动识别系统的发展。
2014-03-26 cs.CL
Sequence-to-Sequence Lexical Normalization with Multilingual Transformers
University of Bucharest(布加勒斯特大学);University Politehnica of Bucharest(布加勒斯特理工大学)
当前自然语言处理的基准测试任务包含的文本与日常非正式数字通信中使用的文本在质量上不同。这种差异导致最先进的NLP模型在对真实世界数据进行微调时性能严重下降。解决这个问题的一种方法是通过词汇规范化,这是将非标准文本(通常来自社交媒体)转换为更标准化形式的过程。在这项工作中,我们提出了一个基于mBART,框架的问题作为一个机器翻译问题的双层次序列到序列模型。由于嘈杂的文本是一个跨语言的普遍问题,不仅仅是英语,我们利用mBART的多语言预训练来微调它以适应我们的数据。虽然目前的方法主要是在字或子字的水平,我们认为,这种方法是直接从技术的角度来看,并建立在现有的预先训练的Transformer网络。我们的研究结果表明,虽然单词级别的,内在的,性能评估是落后于其他方法,我们的模型提高了外在的,下游任务的性能,通过规范化相比,模型操作的原始,未处理的,社交媒体文本。
2021-10-12 cs.CL
Effect of Post-processing on Contextualized Word Representations
Dalhousie University(达尔豪斯大学);Qatar Computing Research Institute(卡塔尔计算研究所);Hamad Bin Khalifa University(哈马德·本·哈利法大学)
静态嵌入的后处理已被证明可以提高词汇和序列级别任务的性能。然而,后处理上下文嵌入是一个研究不足的问题。在这项工作中,我们质疑后处理从不同层的预训练语言模型获得的上下文嵌入的有用性。更具体地说,我们使用z分数,最小-最大归一化,并通过使用除顶部之外的所有方法去除顶部主成分来标准化单个神经元激活。此外,我们将单位长度归一化应用于单词表示。在一组不同的预训练模型上,我们证明了后处理可以解开词汇任务(如单词相似性和类比)和序列分类任务的表征中存在的重要信息。我们的研究结果提出了有趣的观点,与使用情境化表征的研究有关,并建议在应用程序中使用它们时,将z分数标准化作为一个重要步骤。
2022-09-15 cs.AI cs.CL
Does Episodic Memory Help Close the Lexical Frequency Gap in Sensitivity to Syntactic Contrasts? A Test Using Retrieval-Augmented Language Models
ENS(法国高等师范学院);Université PSL(巴黎文理大学);EHESS(高等社会科学研究院);CNRS(法国国家科学研究中心);Boston University(波士顿大学)
该研究利用检索增强型语言模型检验情景记忆可缩小句法对比测试中的词汇频率差距,发现检索增强能缩小高低频项的性能差距,且结构信息对有效检索至关重要。
2026-09-09 cs.CL
Deep Lexical Hypothesis: Identifying personality structure in natural language
Boston University(波士顿大学);University of Oregon(俄勒冈大学)
自然语言处理(NLP)的最新进展已经产生了可以执行复杂任务的通用模型,例如总结长段落和跨语言翻译。在这里,我们介绍了一种方法来提取形容词相似性的语言模型与传统的心理语言学研究中的调查为基础的评级,但在自然环境中使用数百万倍的文本。通过这种方法产生的相关结构与Saucier和Goldberg(1996 a)报告的435个术语的自我和他人评级高度相似。使用NLP产生的前三个未旋转因子与调查数据中的因子一致,系数为0.89,0.79和0.79。这种结构对许多建模决策都是鲁棒的:形容词集,包括1,710个术语(Goldberg,1982)和18,000个术语(Allport & Odbert,1936);用于提取相关性的查询;和语言模型。值得注意的是,神经质和开放性只有微弱和不一致的恢复。这是一个新的信号源,更接近词汇假设的原始(语义)视野。这种方法可以应用于调查无法应用的领域:同时使用几十种语言,有数万个项目,对历史文本,以及以极低的成本进行超大规模的调查。公开代码是为了便于复制和快速迭代新的研究方向。
2022-03-04 cs.CL
Application of Lexical Features Towards Improvement of Filipino Readability Identification of Children's Literature
De La Salle University(德拉萨大学);National University(国立大学)
正确识别儿童阅读材料的年级是有效学习的重要一步。最近的英语领域可读性评估研究应用了自然语言处理(NLP)中的现代方法,如机器学习(ML)技术来自动化该过程。在对可读性公式建模时,还需要提取正确的语言特征。在菲律宾语的背景下,有限的工作已经完成[1,2],特别是在考虑语言的词汇复杂性作为主要特征。在本文中,我们探讨使用词汇的特点,对提高儿童的可读性识别的发展写在菲律宾语的书籍。结果表明,结合词汇特征(LEX),包括类型标记比,词汇密度,词汇变化,外国单词计数与传统的功能(TRAD),如句子长度,平均音节长度,多音节词,单词,句子和短语计数增加了近5%的利润率(从42%到47.2%)的可读性模型的性能。进一步的分析和排名的最重要的功能,以确定哪些功能贡献最大的阅读复杂性。
2021-01-22 cs.CL cs.LG
Integrating a Lexical Database and a Training Collection for Text Categorization
文本自动分类是自然语言处理领域的一项复杂而有用的任务。最近的文本分类方法更多地关注算法,而不是涉及这个操作的资源。与此相反,我们提出了一种方法的基础上整合广泛可用的资源,词汇数据库和训练集合,以克服目前的任务的局限性。我们的方法利用WordNet同义词信息来增加训练不好的类别的证据。当测试一个直接的分类,一个基于WordNet的,一个训练算法,和我们的综合方法,后者表现出更好的perfomance比任何其他的。顺便说一句,基于WordNet的方法性能与训练方法相当。
1997-09-15 cmp-lg cs.CL
Proceedings of the LexSem+Logics Workshop 2016
词汇语义在推动NLP研究方向方面继续发挥着重要作用,对上下文的识别和理解在NLP任务中取得成功变得越来越重要。除了传统的处理领域,如词义和命名实体消歧,词典,注释语料库和资源的创建和维护已成为词汇语义研究的基石,并产生了丰富的上下文信息,NLP过程可以利用。新的努力都链接和从头开始构建这样的信息-作为链接的开放数据或来自逻辑,本体论和自动推理的正式工具的方式-增加了词汇和计算语义资源的互操作性和可访问性,即使在这些语言,他们以前是有限的。LexSem+Logics 2016结合了第一届资源较少语言的词汇语义研讨会和第三届逻辑和本体研讨会。我们项目中接受的论文涵盖了这两个领域的主题,包括:Wordnets中复数的编码,基于语义相似性度量从多个来源创建词库,以及使用跨语言树库和注释进行通用词性标记。我们还欢迎两位杰出演讲者的演讲:关于葡萄牙语词汇知识库(不同的方法,结果及其在NLP任务中的应用)和开放式信息抽取的新策略(从大量文本语料库中捕获基于动词的命题)。
2016-08-14 cs.CL
Chinese sensorimotor and embodiment norms for 3,000 lexicalized concepts
Department of Psychology(心理学系);University of Milano-Bicocca(米兰-比科卡大学);Department of Chinese and Bilingual Studies(中文与双语研究系);The Hong Kong Polytechnic University(香港理工大学);Center for Language Education(语言教育中心);The Hong Kong University of Science and Technology(香港科学大学)
本研究为3000个中文词汇化概念提供了11维感觉运动评分和单维具身评分,验证了其高信度和效度,并发现感觉运动信息对词汇加工有促进作用,且可从语言表征中部分恢复。
2026-05-28 cs.CL
A Sub-Character Architecture for Korean Language Processing
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们介绍了一种新颖的子字符架构,利用了独特的组成结构的韩语。我们的方法分解成一个小的一组原始的语音单位称为jamo字母的字符和单词级表示诱导每个字符。jamo字母泄露了传统字符级单元难以访问的语法和语义信息。它们极大地缓解了数据稀疏性问题,将观测空间减少到原始空间的1.6%,同时提高了我们实验的准确性。我们将我们的架构应用于依存句法分析,并在强大的词汇基线上取得了显着的改善。
2017-07-21 cs.CL
Sign Language Gibberish for syntactic parsing evaluation
IRIT(图卢兹计算机研究所);Université de Toulouse(图卢兹大学)
手语(SL)自动处理缓慢地自下而上进行。该领域已经看到了处理视频信号,识别和合成亚词汇和词汇单位的建议。它开始看到超词汇处理的发展。但在这一层面上的认识缺乏数据。SL的句法表现得非常具体,因为它大量使用了发音器官的多样性及其对空间维度的访问。因此,开发了新的解析技术。然而,这些都需要进行评估。真实数据的缺乏限制了基于语料库的模型的规模。我们在这里提出了一个解决方案,以产生数据集的评估分析器的特定属性的SL。文章首先描述了用于生成依赖语法的通用模型,并从这些模型中生成短语。然后讨论了方法的局限性。该解决方案显示出对评估大模型上的技术的可扩展性特别感兴趣。
2014-03-18 cs.CL
grapheme-kit: Grapheme-Level Metrics and Text Processing for Multilingual NLP
研究针对现有多语言自然语言处理度量基于Unicode码点操作的问题,引入字素工具包,将度量扩展到字素簇操作,还改进了特定语言的字素处理,通过案例研究证明该工具包能更准确评估复杂脚本。
2026-07-27 cs.CL
Analyzing autoencoder-based acoustic word embeddings
University of Edinburgh(爱丁堡大学);Stellenbosch University(斯泰伦博斯大学)
最近的研究介绍了学习声学词嵌入(AWE)的方法--固定大小的矢量表示的单词编码其声学特征。尽管AWE在语音处理研究中被广泛使用,但它们仅在区分整个单词标记的能力方面进行了定量评估。为了更好地理解AWE在各种下游任务和认知建模中的应用,我们需要分析AWE的表示空间。在这里,我们分析了AWE空间的基本属性学习序列到序列编码器-解码器模型在六个类型不同的语言。我们首先表明,这些AWE保留了一些关于单词的绝对持续时间和扬声器的信息。同时,这些AWE的表示空间被组织成使得词的嵌入之间的距离随着那些词的语音相异性而增加。最后,AWE表现出一个词的起始偏差,类似于人类语音处理和词汇访问的各种研究中报道的模式。我们认为,这是一个有前途的结果,并鼓励进一步评估AWE作为一个潜在的有用的工具,在认知科学,它可以提供语音处理和词汇记忆之间的联系。
2020-04-03 cs.CL
Discovery of Linguistic Relations Using Lexical Attraction
这项工作的动机是两个长期目标:了解人类如何学习语言和构建能够理解语言的程序。使用一种能使相关特征显式化的表征是成功学习和理解的先决条件。因此,我选择在我的模型中显式地表示单个单词之间的关系。词汇吸引被定义为这种关系的可能性。我介绍了一类新的概率语言模型命名为词汇吸引力模型,它可以表示长距离的话之间的关系,我正式使用信息论这类新的模型。在词汇吸引的框架内,我开发了一个无监督的语言习得程序,学习识别给定句子中的语言关系。程序中唯一明确表示的语言知识是词汇吸引。没有初始的语法或词汇内置,唯一的输入是原始文本。学习和处理是相互交错的。处理器使用由学习器检测到的结构来对输入施加结构。这种结构使学习者能够检测更高级别的干扰。使用这种自举程序,该程序在1亿字的美联社材料上进行了训练,并且能够在寻找内容词之间的关系时达到60%的准确率和50%的召回率。利用词汇吸引力的知识,该程序可以识别句法上模棱两可的句子中的正确关系,例如“我看到自由女神像飞过纽约”。''
1998-05-27 cmp-lg cs.CL
Verb Knowledge Injection for Multilingual Event Processing
University of Cambridge(剑桥大学);University of Mannheim(曼海姆大学);Mila – Quebec AI Institute(米拉-魁北克人工智能研究所)
在NLP任务取得压倒性成功的同时,通过语言建模(LM)目标预训练的深度Transformer网络的语言能力也经历了广泛的审查。虽然研究表明,这些模型编码了一种语言的一系列句法和语义属性,但它们仍然倾向于依靠表面线索和简单的推理来解决下游任务,而不是利用更深层次的语言知识。在本文中,我们的目标之一,他们的不足之处,言语推理。我们调查是否注入明确的信息动词的语义句法行为,提高LM预训练的Transformers在事件提取任务的性能-下游任务,准确的动词处理是至关重要的。具体地说,我们将来自策划词汇资源的动词知识传授给专用适配器模块(称为动词适配器),使其能够在下游任务中补充LM预训练期间获得的语言知识。我们首先证明,注入动词知识导致英语事件提取的性能增益。然后,我们探讨了在其他语言中的事件提取的动词适配器的效用:我们调查(1)zero-shot语言传输与多语言Transformers以及(2)通过(嘈杂的自动)翻译英语动词为基础的词汇约束。我们的研究结果表明,动词知识注入的好处确实扩展到其他语言,即使动词适配器训练噪音翻译的约束。
2020-12-31 cs.CL