When is Wall a Pared and when a Muro? -- Extracting Rules Governing Lexical Selection
Carnegie Mellon University（卡内基梅隆大学）；George Mason University（乔治梅森大学）
学习词汇项目之间的细粒度区别是学习一门新语言的关键挑战。例如，名词“墙”在西班牙语中有不同的词汇表现形式-“墙”指的是室内墙，而“muro”指的是外墙。然而，这种词汇差异对非母语学习者来说可能并不明显，除非以这种方式解释这种差异。在这项工作中，我们提出了一种方法，自动识别细粒度的词汇区别，并提取简洁的描述，解释这些区别在人类和机器可读的格式。我们确认这些提取的描述在两种语言，西班牙语和希腊语，在那里我们用它们来教非母语的语言学习设置的质量时，翻译成不同的可能的翻译一个给定的模糊的单词。代码和数据在这里公开发布（https：//github.com/Aditi138/LexSelection）
2021-09-13 cs.CL
Combining Prosodic, Voice Quality and Lexical Features to Automatically Detect Alzheimer's Disease
Universitat Pompeu Fabra（庞培法布拉大学）
阿尔茨海默氏症（AD）是当今最常见的痴呆症形式，其自动检测可以帮助在早期阶段识别症状，从而可以采取预防措施。此外，基于语音数据的非侵入性技术对于AD自动检测系统的开发至关重要。在这种情况下，本文提出的贡献ADReSS挑战，旨在提高AD自动检测自发的语音。为此，来自108名年龄、性别和AD状况平衡的参与者的录音被用作训练集来执行两个不同的任务：AD/非AD状况的分类和对简易精神状态检查（MMSE）分数的回归。这两项任务都是基于韵律和语音质量从语音中提取28个特征，基于词汇和话轮转换信息从transmix中提取51个特征。我们的结果实现了高达87.5%的分类精度使用随机森林分类器，和4.54的RMSE使用线性回归与随机梯度下降在提供的测试集。这显示了通过语音和词汇特征自动检测阿尔茨海默病的有希望的结果。
2020-11-18 cs.CL cs.SD eess.AS
Chinese Lexical Simplification
Hefei University of Technology（合肥工业大学）；Mininglamp Academy of Sciences（明略科学院）
词汇简化在许多语言中都引起了广泛的关注，它是将句子中复杂的词替换为意义相同的简单词的过程。尽管汉语词汇的丰富性使得儿童和非母语人士阅读汉语文本非常困难，但目前还没有关于汉语词汇简化的研究。为了克服获取注释的困难，我们手动创建了CLS的第一个基准数据集，它可以用于自动评估词汇简化系统。为了获得更全面的比较，我们提出了五种不同类型的方法作为基准，以产生替代候选的复杂的词，包括基于句法的方法，基于词嵌入的方法，基于预训练的语言模型的方法，基于义素的方法，和混合方法。最后，我们设计了这些基线的实验评估，并讨论了它们的优点和缺点。据我们所知，这是CLS任务的第一次研究。
2020-10-14 cs.CL
XLEnt: Mining a Large Cross-lingual Entity Dataset with Lexical-Semantic-Phonetic Word Alignment
Twitter Cortex；Facebook AI；Johns Hopkins University（约翰斯·霍普金斯大学）
跨语言命名实体词典是多语言NLP任务（如机器翻译和跨语言维基化）的重要资源。虽然知识库包含大量高资源语言（如英语和法语）的实体，但低资源语言的相应实体往往缺失。为了解决这个问题，我们提出了词汇-语义-语音对齐（LSP-Align），一种从挖掘的Web数据中自动挖掘跨语言实体词汇的技术。我们证明了LSP-Align在提取跨语言实体对方面优于基线，并从与英语对齐的120种不同语言中挖掘了1.64亿个实体对。我们将这些跨语言实体对与大规模多语言标记命名实体语料库一起发布，作为NLP社区的资源。
2021-09-10 cs.CL
Lexical Bias In Essay Level Prediction
Kelkoo Group（Kelkoo集团）
根据非英语母语者的书面文章自动预测他们的水平是一个有趣的机器学习问题。在这项工作中，我介绍了系统“balikasg”，该系统在14个系统中的CAp 2018数据科学挑战中实现了最先进的性能。我详细的特征提取，特征工程和模型选择的步骤，我评估这些决策如何影响系统的性能。最后对今后的工作提出了建议。
2018-09-21 cs.AI cs.CL
A Robust Text Processing Technique Applied to Lexical Error Recovery
本论文主要研究词法错误的自动恢复和错误文本的标记化。我们提出了一种技术，可以自动纠正拼写错误，分割错误和真正的字错误，在一个统一的框架，使用语言生产模型和打字行为模型，并使令牌化的恢复过程的一部分。打字过程被建模为噪声信道，其中隐马尔可夫模型被用于对信道特性进行建模。弱统计语言模型用于预测哪些句子可能通过通道传输。这些组件在令牌传递框架中保持在一起，该框架提供了正交模式匹配和语言期望之间的期望的紧密耦合。该系统，CTR（连接文本识别），已被测试两个语料库来自两个不同的应用程序，自然语言对话系统和转录打字的情况。实验表明，CTR可以在不引入太多噪声的情况下自动纠正测试集中相当一部分错误。分割错误纠正率几乎是完美的。
1997-02-05 cmp-lg cs.CL
Discovery of Linguistic Relations Using Lexical Attraction
这项工作的动机是两个长期目标：了解人类如何学习语言和构建能够理解语言的程序。使用一种能使相关特征显式化的表征是成功学习和理解的先决条件。因此，我选择在我的模型中显式地表示单个单词之间的关系。词汇吸引被定义为这种关系的可能性。我介绍了一类新的概率语言模型命名为词汇吸引力模型，它可以表示长距离的话之间的关系，我正式使用信息论这类新的模型。在词汇吸引的框架内，我开发了一个无监督的语言习得程序，学习识别给定句子中的语言关系。程序中唯一明确表示的语言知识是词汇吸引。没有初始的语法或词汇内置，唯一的输入是原始文本。学习和处理是相互交错的。处理器使用由学习器检测到的结构来对输入施加结构。这种结构使学习者能够检测更高级别的干扰。使用这种自举程序，该程序在1亿字的美联社材料上进行了训练，并且能够在寻找内容词之间的关系时达到60%的准确率和50%的召回率。利用词汇吸引力的知识，该程序可以识别句法上模棱两可的句子中的正确关系，例如“我看到自由女神像飞过纽约”。''
1998-05-27 cmp-lg cs.CL
Domain Lexical Knowledge-based Word Embedding Learning for Text Classification under Small Data
School of Electrical and Electronic Engineering, Nanyang Technological University, Singapore（电子与电气工程学院，南洋理工大学，新加坡）
针对BERT在关键词驱动的文本分类中嵌入判别性不足的问题，本文提出利用领域词汇知识增强词嵌入的模型及自动知识获取算法，并在情感分析、情感识别和问答任务上验证了有效性。
2025-06-02 cs.CL
Embedding Semantic Relations into Word Representations
University of Liverpool（利物浦大学）；Shizuoka University（静冈大学）；National Institute of Informatics（国立信息学研究所）
学习语义关系的表示对于各种任务（例如类比检测、关系搜索和关系分类）都很重要。虽然已经有几个建议，学习表示为个别的话，学习词表示，明确捕捉词之间的语义关系仍然没有得到发展。我们提出了一种无监督的方法来学习向量表示的话，这样学习的表示是敏感的语义关系，存在于两个词之间。首先，我们从语料库中两个词的共现语境中提取词汇模式来表示这两个词之间存在的语义关系。其次，我们将词汇模式表示为与该词汇模式共现的词的表示的加权和。第三，我们训练一个二元分类器来检测关系相似与不相似的词汇模式对。所提出的方法是无监督的意义上说，词汇模式对，我们使用的训练数据是自动采样的语料库，而不需要任何人工干预。我们提出的方法在统计上显著优于目前最先进的词表示在三个基准数据集上进行比例类比检测，证明了它能够准确地捕捉词之间的语义关系。
2015-05-01 cs.CL
Système d'aide à l'accès lexical : trouver le mot qu'on a sur le bout de la langue
LIMSI-CNRS（LIMSI-CNRS法国国家科学研究中心）；Université Paris XI（巴黎第十一大学）
舌尖现象的研究为心理词汇的组织（意义、音节数、与其他词的关系等）提供了有价值的线索和见解。本文介绍了一个工具的基础上心理语言学观察有关TOT现象。我们构建它是为了使演讲者/作家能够找到他正在寻找的单词，他可能知道但无法及时访问的单词。我们试图模拟TOT现象，通过创建一个系统知道目标词，但无法访问它的情况下，为了找到目标词，我们利用存储在语言数据库中的聚合和组合协会。我们的实验允许以下结论：一个工具，如SVETLAN，能够结构（自动）的字典域可以成功地用来帮助扬声器/作家找到他正在寻找的词，如果它是与一个数据库相结合，丰富的范式链接，如EuroWordNet。
2012-01-20 cs.CL
Generating Concept Lexicalizations via Dictionary-Based Cross-Lingual Sense Projection
University of Toronto（多伦多大学）
提出一种通过语义投影将英语WordNet概念扩展到新语言的方法，利用双语词典增强对齐并过滤错误投影，在多个语言上提升了精度且保持可解释性和资源效率。
2026-06-08 cs.AI cs.CL
Word Sense Disambiguation in Native Spanish: A Comprehensive Lexical Evaluation Resource
Telef\'onica Innovación Digital, Research, Spain
本文针对西班牙语词义消歧资源匮乏且偏重英语的问题，构建了基于西班牙皇家学院词典的义项清单和词汇数据集，并用最先进系统评估了现有西班牙语资源。
2024-09-30 cs.AI cs.CL
Learning Correlations between Linguistic Indicators and Semantic Constraints: Reuse of Context-Dependent Descriptions of Entities
本文介绍了一项研究的结果施加在词汇选择的某些语境指标的语义约束。我们展示了如何计算这些指标，以及如何使用监督学习自动建立它们之间的相关性和命名实体的名词短语描述的选择。基于这种相关性，我们已经开发出一种技术，在文本生成中的实体描述的自动词汇选择。我们讨论了选择一个适当的描述，在自动生成的文本和描述本身的语义的特定目的的语用之间的潜在关系。我们提出了我们的工作框架中的更一般的概念，自动提取大型语料库的语言结构的重用。我们提出了一个正式的评估我们的方法，我们得出结论，我们的方法的潜在应用的一些想法。
1998-05-31 cmp-lg cs.CL
ALEXSIS-PT: A New Resource for Portuguese Lexical Simplification
George Mason University（乔治梅森大学）；University of Wolverhampton（伍尔弗汉普顿大学）
本文提出ALEXSIS-PT，一个包含9,605个候选替换词的巴西葡萄牙语词汇简化数据集，并评估了四个模型，其中BERTimbau表现最佳。
2024-02-09 cs.AI cs.CL
An Automatic Method of Finding Topic Boundaries
本文提出了一种基于词汇衔接和点图技术的语篇边界定位方法。应用dotplotting的话语分割可以手动执行，通过检查一个图形，或自动，使用优化算法。两个实验的结果，涉及自动定位之间的一系列连接的文件的边界。还概述了这项工作的应用领域和今后的方向。
1994-06-07 cmp-lg cs.CL
Word Sense Disambiguation using Conceptual Density
本文提出了一种基于布朗语料库的名词词汇歧义消解及其自动评测方法。该方法依赖于广泛覆盖的名词分类的WordNet和概念之间的概念距离的概念，捕获的概念密度公式为此目的而开发的使用。这种全自动的方法不需要手工编码词条，手工标注文本，也不需要任何训练过程。实验的结果已被自动评估SemCor，布朗语料库的意义标记版本。
1996-06-07 cmp-lg cs.CL
A Proposal for Word Sense Disambiguation using Conceptual Distance
本文提出了一种基于布朗语料库的词汇歧义消解及其自动评测方法。该方法依赖于广泛覆盖的名词分类的WordNet和概念之间的概念距离的概念，捕获的概念密度公式为此目的而开发的使用。这种全自动的方法不需要手工编码词条，手工标注文本，也不需要任何训练过程。实验的结果已经被自动评估SemCor，布朗语料库的意义标记版本。
1995-10-04 cmp-lg cs.CL
Homograph Disambiguation Through Selective Diacritic Restoration
The George Washington University（乔治·华盛顿大学）；Princess Nourah Bint Abdul Rahman University（诺拉·宾特·阿卜杜勒拉赫曼公主大学）；AWS, Amazon AI（亚马逊人工智能服务（AWS））
词汇歧义是所有自然语言中都存在的一种具有挑战性的现象，尤其是在阿拉伯语等具有在写作中倾向于省略的变音符号的语言中。省略变音符号会导致同形异义词的数量增加：不同的单词有相同的拼写。从理论上讲，变音符号恢复可以帮助消除这些单词的歧义，但在实践中，整体稀疏性的增加会导致NLP应用程序的性能下降。在本文中，我们提出的方法自动标记的一个子集的单词变音符号的恢复，从而导致选择性的同形异义词消歧。与完全或没有变音符号恢复相比，这些方法产生选择性变音符号化的数据集，平衡稀疏性和词汇消歧。我们评估了几个下游应用程序的各种选择策略：神经机器翻译，词性标注和语义文本相似性。我们在阿拉伯语上的实验显示出令人鼓舞的结果，我们设计的选择性变音策略在下游应用程序中导致更平衡和一致的性能。
2019-12-10 cs.CL
Incorporating Chinese Characters of Words for Lexical Sememe Prediction
Shenyuan Honors College, Beihang University（北京航空航天大学沈元荣誉学院）；Jiangsu Collaborative Innovation Center for Language Ability, Jiangsu Normal University（江苏师范大学江苏语言能力协同创新中心）；Tencent（腾讯）
义素是人类语言中概念的最小语义单位，每个词义都由一个或多个义素组成。词通常由语言学家手动标注其义素，并形成广泛用于各种NLP任务的语言常识知识库。最近，词汇义位预测任务已经被引入。它包括自动推荐词的义位，这有望提高标注效率和一致性。然而，现有的词汇义素预测方法通常依赖于词的外部上下文来表示意义，通常无法处理低频和词汇外的词。为了解决这个问题，中文，我们提出了一个新的框架，以利用内部字符信息和外部上下文信息的话。我们的实验知网，一个中国的义素知识库，并证明，我们的框架优于国家的最先进的基线由一个大的利润，并保持一个强大的性能，即使是低频词。
2018-06-17 cs.AI cs.CL cs.LG
Lexical Prompt Compression for Large Language Models: A Training-Free, Deterministic Pipeline with Empirical Pareto Analysis Across Eleven Task Categories
Bright Horizons（光明地平线）；Northeastern University（东北大学）
本研究提出一种免训练、确定性、仅CPU的词汇提示压缩流水线，通过十种可切换的词汇转换在1,242个提示上实现最高40.3%令牌减少，同时保持高保真度，并刻画了跨十一类任务的压缩-保真度帕累托前沿。
2026-09-15 cs.CL
FAQ-based Question Answering via Word Alignment
IBM T.J. Watson Research Center（IBM托马斯·J·沃森研究中心）
在本文中，我们提出了一种新的基于词对齐的方法来解决基于常见问题的问答任务。首先，我们采用一个神经网络模型来计算问题的相似度，其中两个问题之间的词对齐用于提取特征。其次，我们设计了一个基于Bootstrap的特征提取方法来提取一小部分有效的词汇特征。第三，我们提出了一个学习排名算法，训练参数更适合的排名任务。在英语、西班牙语和日语三种语言上进行的实验结果表明，问题相似度模型比基线系统更有效，稀疏特征使top-1准确率提高了5%，学习排名算法的效果明显优于传统方法。我们进一步评估我们的方法上的答案句子选择任务。我们的方法优于所有以前的系统上的标准TREC数据集。
2015-07-09 cs.CL
Phrase-BERT: Improved Phrase Embeddings from BERT with an Application to Corpus Exploration
University of Massachusetts, Amherst（马萨诸塞大学阿默斯特分校）
源自BERT的短语表示通常不表现出复杂的短语组合性，因为该模型依赖于词汇相似性来确定语义相关性。在本文中，我们提出了一个对比微调目标，使BERT产生更强大的短语嵌入。我们的方法（Phrase-BERT）依赖于一个不同短语释义的数据集，该数据集是使用释义生成模型自动生成的，以及从Books 3语料库中挖掘的上下文中的短语的大规模数据集。Phrase-BERT在各种短语级相似性任务中的表现优于基线，同时也证明了向量空间中最近邻居之间的词汇多样性增加。最后，作为一个案例研究，我们证明了Phrase-BERT嵌入可以很容易地与一个简单的自动编码器集成，以构建一个基于短语的神经主题模型，该模型通过在嵌入空间中执行最近邻搜索来将主题解释为单词和短语的混合物。众包的评价表明，这种基于短语的主题模型比基线单词和短语级别的主题模型产生更连贯和有意义的主题，进一步验证了Phrase-BERT的效用。
2021-10-13 cs.CL
Towards Robustness of Text-to-Visualization Translation against Lexical and Phrasal Variability
Shenzhen University（深圳大学）；WeBank Co., Ltd（微众银行）；The Hong Kong Polytechnic University（香港理工大学）；The Hong Kong University of Science and Technology（香港科技大学）
本研究针对文本到可视化模型因依赖词汇匹配导致的鲁棒性不足问题，构建了首个鲁棒性数据集nvBench-Rob，并提出基于RAG的GRED框架，在该数据集上较现有最优模型准确率提升32%。
2024-04-11 cs.AI cs.CL
Automatic Compilation of Resources for Academic Writing and Evaluating with Informal Word Identification and Paraphrasing System
Universität Hamburg（汉堡大学）；International Institute of Information Technology, Bangalore（班加罗尔国际信息技术学院）；City University of Hong Kong（香港城市大学）
我们提出了第一种方法来自动构建学术写作资源。其目的是建立一个写作辅助系统，自动编辑文本，使其更好地坚持学术写作风格。在现有的学术资源，如当代美国英语语料库（COCA）的学术词汇表，新的学术词汇表，和学术搭配表，我们还探讨了如何动态地建立这样的资源，将用于自动识别非正式或非学术的单词或短语。这些资源使用不同的通用方法进行编译，这些方法可以扩展到不同的领域和语言。我们描述了一个系统实现的资源评估。该系统包括一个非正式的词识别（IWI），学术候选释义生成和释义排名组件。为了生成候选项并在上下文中对其进行排名，我们使用了PPDB和WordNet释义资源。我们使用上下文中的概念（CoInCO）“所有单词”词汇替代数据集的非正式单词识别和释义生成实验。我们的非正式单词识别组件实现了82%的F-1分数，显著优于分层分类器基线。这项工作的主要贡献是一个独立于领域的方法来建立有针对性的资源，写作辅助工具。
2020-03-05 cs.CL
Unsupervised Distillation of Syntactic Information from Contextualized Word Representations
Bar Ilan University（巴伊兰大学）；Allen Institute for Artificial Intelligence（艾伦人工智能研究所）
语境化的词表示，如ELMo和BERT，表现出良好的各种语义和句法任务。在这项工作中，我们解决了神经语言表示中语义和结构之间的无监督解开的任务：我们的目标是学习上下文化向量的转换，丢弃词汇语义，但保留结构信息。为此，我们自动生成结构相似但语义不同的句子组，并使用度量学习方法来学习强调编码在向量中的结构成分的转换。我们证明了我们的转换集群向量在空间中的结构属性，而不是词汇语义。最后，我们证明了我们的蒸馏表示的效用，表明他们优于原来的上下文表示在一个Few-Shot解析设置。
2021-03-11 cs.CL cs.LG
SLHCat: Mapping Wikipedia Categories and Lists to DBpedia by Leveraging Semantic, Lexical, and Hierarchical Features
Graduate School of Information, Production, and Systems, Waseda University（早稻田大学信息生产系统研究生院）；United Automotive Electronic Systems Co., Ltd（联合汽车电子有限公司）
本文提出 SLHCat，将 Wikipedia 分类与列表到 DBpedia 的映射建模为本体对齐，结合知识图谱结构、语义与词汇特征生成远程监督数据，并微调 BERT，在 3000 个标注映射对上准确率较基线提升 25%。
2023-09-27 cs.CL cs.DL
An Automated Method to Enrich Consumer Health Vocabularies Using GloVe Word Embeddings and An Auxiliary Lexical Resource
University of Arkansas（阿肯色大学）
背景：清晰的语言使任何两方之间的沟通更容易。由于不理解该领域常见的专业术语，外行可能难以与专业人士沟通。在医疗保健中，很少能找到一个懂医学术语的外行，这可能导致他们对自己的病情和/或治疗的理解不足。为了弥合这一差距，已经创建了几个专业词汇表和本体，以将外行医学术语映射到专业医学术语，反之亦然。目的：许多呈现的词汇表是手动或半自动构建的，需要大量的时间和人力投入，因此这些词汇表的增长缓慢。在本文中，我们提出了一个自动的方法来丰富外行的词汇，能够应用于任何领域的词汇的好处。研究方法：我们完全自动化的方法使用机器学习，特别是全局向量词嵌入（GloVe），从社交媒体医疗平台收集的语料库，以扩展和增强消费者健康词汇（CHV）。我们的方法进一步提高了CHV，将同义词和下义词从WordNet本体。使用来自美国国家医学图书馆（NLM）的两个外行数据集，开放获取消费者健康词汇（OAC CHV）和MedlinePlus医疗保健词汇，对基本的GloVe和我们结合WordNet的新算法进行了评估。结果：结果表明，GloVe能够找到新的外行术语，F分数为48.44%。此外，我们的增强GloVe方法优于基本GloVe，平均F分数为61%，相对提高了25%。此外，增强的GloVe在两个地面实况数据集上显示出统计学显著性，P<.001。
2021-05-18 cs.CL cs.LG
How Does a Deep Neural Network Look at Lexical Stress in English Words?
Faculty of Electrical and Computer Engineering, Technion -- Israel Institute of Technology, Haifa, 3200003, Israel（电气与计算机工程学院，技术Ion -- 以色列理工学院，海法，3200003，以色列）；Department of Linguistics, Northwestern University, Evanston, Illinois 60208, USA（语言学系，西北大学，埃文斯顿，伊利诺伊州60208，美国）
本文研究深度神经网络如何通过频谱特性识别英语双音节词的重音，通过实验揭示模型对重音元音的共振峰特征的依赖。
2026-02-12 cs.CL cs.LG cs.SD
Automated Extraction of Number of Subjects in Randomised Controlled Trials
Arizona State University（亚利桑那州立大学）；Mayo Clinic（梅奥诊所）
本文提出了一种自动提取随机对照试验（RCT）受试者数量的简单方法。我们的方法首先应用一组基于规则的技术，从文章摘要中提取候选研究规模。监督分类，然后执行的候选人与支持向量机，使用一小组的词汇，结构和上下文的功能。只有一个小的注释训练集的201个随机对照试验，我们获得了88%的准确性。我们相信该系统将有助于复杂的医疗文本处理任务，例如总结和问答。
2016-06-22 cs.AI cs.CL cs.IR
