EmojiNet: Building a Machine Readable Sense Inventory for Emoji
Wright State University(莱特州立大学)
即时通讯是一种当代和非常流行的方式,以加强电子通信。如果没有严格的语义,emoji符号会根据消息的上下文呈现不同的含义。因此,就像自然语言处理中的词义消歧任务一样,机器也需要对表情符号的含义或意义进行消歧。在实现这一目标的第一步中,本文介绍了Emoji,第一个机器可读的表情符号感觉库存。Emoji Net是一种资源,使系统能够将emoji与其特定于上下文的含义联系起来。它是通过将多个emoji资源与BabelNet集成而自动构建的,BabelNet是迄今为止最全面的多语言感官清单。本文讨论了它的构造,评估了自动资源创建过程,并提出了一个用例,其中ZhaojiNet消除了tweets中emoji用法的歧义。可在http://emojinet.knoesis.org上在线使用ESPJiNet。
2016-10-25 cs.CL
EMODIS: A Benchmark for Context-Dependent Emoji Disambiguation in Large Language Models
本文提出EMODIS基准,通过最小对比文本上下文评估大语言模型对歧义表情符号的消歧能力,发现最强模型仍存在系统性偏见和语用敏感性不足,揭示了人机语义推理差距。
2025-11-10 cs.CL
Time to Take Emoji Seriously: They Vastly Improve Casual Conversational Models
KU Leuven(鲁汶大学)
图形表情符号在现代在线对话中无处不在。那么,一个竖起大拇指的表情符号是否能够表示同意,而不需要任何文字。我们认为,目前最先进的系统无法正确解释这些表情符号,特别是在对话背景下。然而,在一个随意的环境中,好处可能很高:更好地理解用户的话语和更自然,表情丰富的反应。考虑到这一点,我们修改了BERT以完全支持来自Unicode标准和自定义表情符号的表情符号。然后,在具有大量表情符号的问答(QA)元组语料库上训练这个修改后的BERT,我们能够将100分之一的准确率从当前最先进的12.7%提高到我们支持表情符号的模型的17.8%。
2019-10-30 cs.CL
NTUA-SLP at SemEval-2018 Task 2: Predicting Emojis using RNNs with Context-aware Attention
National Technical University of Athens(雅典国家技术大学);Athens University of Economics and Business(雅典经济与商业大学);Behavioral Signal Technologies(行为信号技术公司);University of Athens(雅典大学)
在本文中,我们提出了一个在SemEval-2018任务2“多语言预测”中竞争的深度学习模型。我们参与了子任务A,其中我们被要求预测英语推文中最有可能关联的表情符号。所提出的架构依赖于一个长短期记忆网络,增强了一个注意力机制,该机制根据一个“上下文向量”来调节每个单词的权重,该向量被视为推文含义的聚合。此外,我们使用word 2 vec词嵌入初始化模型的嵌入层,并在5.5亿条英语推文的数据集上进行预训练。最后,我们的模型不依赖于手工制作的特征或词典,而是通过反向传播进行端到端的训练。我们在48支球队中排名第二。
2018-04-18 cs.CL
Predict Emoji Combination with Retrieval Strategy
Baidu Inc(百度公司)
随着表情符号在社交媒体中的广泛使用,人们不仅使用表情符号来表达他们的情绪或提及事物,而且还通过组合多个表情符号来扩展其用法以表示复杂的情绪,概念或活动。在这项工作中,我们研究如何表情符号组合,一个连续的表情符号序列,像一种新的语言使用。我们提出了一种新的算法,称为检索策略,以预测表情符号组合如下给定一个简短的文本作为上下文。我们的算法将表情符号组合视为语言中的短语,对表情符号组合的集合进行排名,就像从字典中检索单词一样。我们表明,我们的算法大大提高了F1分数从0.141到0.204的表情符号组合预测任务。
2019-08-21 cs.CL
emoji2vec: Learning Emoji Representations from their Description
Princeton University(普林斯顿大学);University College London(伦敦大学学院)
许多当前用于社交媒体的自然语言处理应用依赖于表示学习并利用预先训练的词嵌入。目前存在几种公开的、预先训练的词嵌入集,但它们几乎不包含表情符号表示,即使社交媒体中的表情符号使用量有所增加。在本文中,我们发布了emoji2vec,这是所有Unicode emoji的预训练嵌入,这些嵌入是从Unicode emoji标准中的描述中学习的。由此产生的emoji嵌入可以很容易地与word2vec一起用于下游社交自然语言处理应用。对于情感分析的下游任务,我们证明了从简短描述中学习的表情符号嵌入优于在大量推文集合上训练的跳过语法模型,同时避免了需要表情符号频繁出现以估计表示的上下文。
2016-11-20 cs.CL
Spice up Your Chat: The Intentions and Sentiment Effects of Using Emoji
University of Rochester(罗切斯特大学);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)
双关语作为一种新的非语言信息传递方式,在计算机交际中被广泛采用。在本文中,首先从消息发送者的角度,我们关注人们使用四种类型的表情符号的动机-积极的,中性的,消极的和非面部的。我们比较了使用这些表情符号类型的七种典型意图的意愿水平,人们通常在沟通中应用非语言线索。广泛的统计假设检验的结果不仅报告了意图的流行程度,还揭示了表情符号类型在预期用途方面的细微差异。其次,从消息接收者的角度,我们进一步研究了表情符号的情感效果,以及他们的重复,对口头消息。与以往表情符号情感研究不同的是,本文将表情符号的情感与其语境作为一个整体来研究。实验结果表明,四种表情符号的情感表达能力不同,表情符号的情感效果在不同效价的情境中也不同。
2017-03-08 cs.CL cs.HC
Emoji-Emotion Ranking System Using Twitter Data
KBTU
本研究基于10万条Twitter回复数据,提出表情符号情感分析框架,通过文本情感分类和情感聚合,构建表情符号-情感排序系统,并投影到Russell空间,证明表情符号具有概率性和上下文敏感的情感特征。
2026-10-06 cs.CL cs.SI
Patterns of Lexical Ambiguity in Contextualised Language Models
Queen Mary University of London(伦敦玛丽女王大学);The Alan Turing Institute(艾伦·图灵研究所)
语境化的语言模型的一个核心方面是,它们应该能够通过上下文来区分词汇歧义词的含义。在本文中,我们探讨在何种程度上的语境嵌入的词的形式,显示多重意义反映了传统的区分多义词和同音异义词。为此,我们引入了一个扩展的,人类注释的数据集的分级词义相似性和共同预测的可接受性,并评估嵌入的相似性如何预测相似的意义。这两种人类判断表明,多义词解释的相似性属于意义同一性和同音异义之间的连续体。然而,我们也观察到显着差异的相似性评级的多义词,形成一致的模式,不同类型的多义词的意义交替。因此,我们的数据集似乎捕捉了词汇歧义的复杂性的相当大的一部分,并可以提供一个现实的测试床上下文嵌入。在测试的模型中,BERT Large显示出与收集的词义相似性评级最强的相关性,但难以始终如一地复制观察到的相似性模式。当聚类模糊的词的形式,其嵌入的基础上,该模型在辨别同音异义词和某些类型的多义词的变化,但一直失败的其他显示高的信心。
2021-09-29 cs.CL
"When Words Fail, Emojis Prevail": Generating Sarcastic Utterances with Emoji Using Valence Reversal and Semantic Incongruity
Islamic University of Technology(伊斯兰科技大学)
针对反讽生成多局限于文本的现状,提出将任务拆分为文本反讽生成(融入效价反转、语义不一致要素)和关联emoji收集两部分的新架构,经人工评估验证效果,代码数据已公开。
2023-06-16 cs.CL
Studying Cultural Differences in Emoji Usage across the East and the West
University of Pennsylvania(宾夕法尼亚大学);Purdue University(普渡大学)
全世界都能接受英语,这表明英语是一种跨文化的、规范的用法。同时,由于表达情感的语言差异和概念化主题的多样性,不同文化间的日语使用也可能存在细微差别。事实上,跨文化心理学的文献已经发现了情感表达的规范和特定文化方式。在本文中,使用社交媒体,我们比较了基于频率,上下文和主题协会在东方国家(中国和日本)和西方国家(美国,英国和加拿大)的日语使用。在东西方,我们的研究考察了a)不同类别的“人”,“饮食”,“旅游”和“地方”等使用的异同,b)潜在的映射的使用差异与先前确定的文化差异,在用户的表达不同的概念,如死亡,金钱的情绪和家庭,和c)验证的心理语言类别与埃克曼的情绪的相对对应。对东方和西方汉字使用的分析揭示了可识别的规范和文化特定模式。本研究揭示了日语在跨文化交际中的运用方式。
2019-04-04 cs.CL
FinMoji: A Framework for Emoji-driven Sentiment Analysis in Financial Social Media
King Abdullah University of Science and Technology (KAUST)(卡斯特科学与技术大学);Hamad Bin Khalifa University(哈马德·本·卡伊夫大学)
本文研究了表情符号在金融 sentiment 分析中的应用,通过 StockTwits 平台实验,探讨表情符号作为投资者情绪代理的有效性,并比较了基于表情符号与文本的分析方法。
2026-05-10 cs.CL
Task Ambiguity in Humans and Language Models
Stanford University(斯坦福大学)
语言模型最近在广泛的NLP基准测试中取得了很好的性能。然而,与基准测试不同的是,现实世界的任务通常没有很好的指定,代理必须从上下文,指令和示例的组合中推断出用户的预期行为。我们调查人类和模型的行为,在面对这样的任务模糊性,提出了AmbiBench,一个新的基准的六个模糊指定的分类任务。我们在AmbiBench上评估人类和模型,通过观察他们使用1)具有不同程度模糊性的指令和2)不同数量的标记示例来识别预期任务的程度。我们发现,模型缩放(到175 B参数)和使用人类反馈数据进行训练的组合使模型能够接近或超过人类参与者在任务中的准确性,但单独使用其中任何一种都是不够的。此外,我们展示了如何通过对少量模糊的上下文示例进行微调来显着提高在没有大规模人类反馈训练的情况下训练的语言模型的准确性,为教学模型提供了一个有前途的方向,以便在面对模糊时很好地推广。
2022-12-20 cs.CL cs.LG
From Text to Emoji: How PEFT-Driven Personality Manipulation Unleashes the Emoji Potential in LLMs
Holistic AI(霍利斯提克人工智能公司);University College London(伦敦大学学院)
本研究利用基于意见问答的PEFT(QLoRA)操纵LLM大五人格特质,发现模型在无表情符号训练数据下仍为特定特质生成表情符号,并证明PEFT优于IKE,贡献了数据集、度量模型及可解释性验证。
2025-02-25 cs.CL
Emoji Retrieval from Gibberish or Garbled Social Media Text: A Novel Methodology and A Case Study
Emory University(埃默里大学)
本文提出一种三步逆向工程方法论,从社交媒体乱码文本中检索Emoji,并在509,248条Mpox推文上成功检索157,748个Emoji,显著提升了文本可读性。
2024-12-23 cs.AI cs.CL cs.CY
AMBROSIA: A Benchmark for Parsing Ambiguous Questions into Database Queries
Institute for Language, Cognition and Computation(语言、认知与计算研究所);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
该研究推出名为AMBROSIA的text-to-SQL基准数据集,包含三类带歧义且有对应解读与SQL的问题,通过从零可控生成数据库保证歧义在数据库上下文下仍存在,测试发现先进LLM也难以处理这类歧义。
2024-10-31 cs.CL
Semantics Preserving Emoji Recommendation with Large Language Models
School of Computational Science and Engineering(计算科学与工程学院);Georgia Institute of Technology(佐治亚理工学院);School of Computer Science(计算机科学学院);University of Rochester(罗切斯特大学)
针对现有表情符号推荐评估忽略单文本可对应多合理表情的问题,提出语义保留评估框架,构建基准测试6款大语言模型,发现GPT-4o表现最优并分析了模型偏差与推荐多样性。
2024-09-16 cs.CL cs.SI
Fine-Tuning Language Models for Ethical Ambiguity: A Comparative Study of Alignment with Human Responses
Algoverse AI Research(Algoverse AI研究院)
本研究针对道德模糊场景下LLM与人类判断对齐较差的问题,利用Scruples项目的数据集对Llama-3.1-8b等模型进行微调,发现微调显著提升了交叉熵和Dirichlet分数,使Mistral-7B性能比肩GPT-4o,但仍不及BERT和RoBERTa。
2024-10-10 cs.CL
Utility-Preserving De-Identification for Math Tutoring: Investigating Numeric Ambiguity in the MathEd-PII Benchmark Dataset
University of Washington(华盛顿大学)
针对数学辅导对话中数值表达式与标识符相似导致过度去标识化的问题,提出MathEd-PII基准数据集,并采用领域感知提示策略(F1达0.821)在保持数据效用的同时有效检测PII。
2026-06-01 cs.CL
Beyond Benchmarks: Exposing the Hidden Crisis in Bangla Hate Speech Detection
Rajshahi University of Engineering and Technology(拉杰沙希工程技术大学);University of York(约克大学)
研究孟加拉语仇恨言论检测,训练六种架构于基准和多源数据集,在外部验证。发现基准训练模型泛化危机,如孟加拉语BERT在外部数据集性能下降,强调需开发适应性框架,为设计检测系统提供见解。
2026-07-14 cs.CL
Putting words in context: LSTM language models and lexical ambiguity
Universitat Pompeu Fabra(庞培法布拉大学)
在语言的神经网络模型中,单词通常使用上下文不变表示(词嵌入)来表示,然后将其置于隐藏层的上下文中。由于单词通常是模糊的,因此表示上下文相关的信息并不是微不足道的。我们研究了LSTM语言模型如何处理英语中的词汇歧义,设计了一种方法来探测其隐藏的词汇和上下文信息的表示。我们发现,这两种类型的信息表示在很大程度上,但也有改进的空间,上下文信息。
2019-06-12 cs.CL
It Depends: Resolving Referential Ambiguity in Minimal Contexts with Commonsense Knowledge
School for Computation, Information and Technology(计算、信息与技术学院);Technical University of Munich(慕尼黑技术大学)
本文研究大语言模型在多轮对话中利用常识消解指称歧义的能力,发现现有模型倾向单一解释或罗列所有指称而非模糊限定或澄清,且简化语言请求会加剧该问题;通过直接偏好优化微调Llama-3.1-8B可显著改善各类请求下的歧义消解表现。
2025-09-19 cs.CL
Speakers Fill Lexical Semantic Gaps with Context
University of Cambridge(剑桥大学);Harvard University(哈佛大学);MPI SHH(马克斯·普朗克人类历史科学研究所);HSE University(高等经济大学);ETH Zürich(苏黎世联邦理工学院)
本研究验证了词汇歧义与上下文信息量负相关的假设,提出基于熵的歧义度量方法,并在18种语言中证实说话者会通过更丰富的上下文来补偿歧义。
2024-05-28 cs.CL
Embracing Ambiguity: Improving Similarity-oriented Tasks with Contextual Synonym Knowledge
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Department of Computer Science, The University of Manchester(曼彻斯特大学计算机科学系);Platform and Content Group, Tencent(腾讯平台与内容事业群);Peng Cheng Laboratory(鹏城实验室)
本文提出PICSO框架,通过实体感知Adapter向PLM注入多领域上下文同义词知识,在保留原模型语义理解的同时处理同义词歧义,并在相似性任务和GLUE上取得显著提升。
2022-11-20 cs.CL
MUCAR: Benchmarking Multilingual Cross-Modal Ambiguity Resolution for Multimodal Large Language Models
提出MUCAR基准,通过多语言和双重歧义数据集评估多模态大语言模型的跨模态歧义消解能力,发现现有模型与人类水平存在显著差距。
2025-09-26 cs.CL cs.LG
A knowledge-guided agentic framework for mitigating patient-context ambiguity in health queries
该研究提出知识引导智能体框架,通过解析医疗查询、构建假设、识别缺失上下文并提问,缓解患者上下文歧义,在诊断检索和饮食安全分类任务中显著提升了多种语言模型的性能。
2026-08-21 cs.AI cs.CL
NRR-Core: Non-Resolution Reasoning as a Computational Framework for Contextual Identity and Ambiguity Preservation
Independent Researcher, Japan(日本独立研究员)
本文提出NRR框架,通过多向量嵌入、非坍缩注意力和情境身份追踪,解决人工智能系统过早解析歧义的问题,保持歧义保留以提升推理灵活性。
2026-07-15 cs.AI cs.CL cs.LG
Syntactico-Semantic Reasoning using PCFG, MEBN & PP Attachment Ambiguity
Walchand Institute of Technology(瓦尔昌德理工学院)
概率上下文无关文法(PCFG)是近年来基于概率推理的语法分析器的核心,特别是在自然语言处理的环境中。多实体贝叶斯网络(MEBN)是一种一阶逻辑概率推理方法,被广泛采用并用于不确定性推理。进一步的上层本体,如使用MEBN构建的概率本体网络语言(PR-OWL),负责概率本体,其建模并捕获域语义信息中固有的不确定性。本文试图建立在PCFG和MEBN的概率推理之间的联系,提出了一个形式化的描述PCFG驱动MEBN导致使用PR-OWL建模本体PCFG解析器。此外,本文概述了一种方法来解决介词短语(PP)的附件歧义使用建议之间的映射PCFG和MEBN。
2019-01-28 cs.AI cs.CL
Ambiguity-Aware In-Context Learning with Large Language Models
Toyota Technological Institute at Chicago(芝加哥丰田技术学院);Google Research(谷歌研究院)
针对大语言模型上下文学习的演示选择问题,提出结合语义相似度与标签歧义消解的选例策略,经实验验证纳入决策边界上的误分类演示可带来最大性能增益。
2024-01-30 cs.CL cs.IR
WiC is Not WSD: A Study on LLMs and Lexical Ambiguity Resolution
University of Liverpool(利物浦大学);Amazon(亚马逊);Cardiff University(卡迪夫大学)
本研究通过对比WiC与传统WSD任务,发现提供候选词义能提升大语言模型在WiC上的表现,并指出模型错误多源于标签歧义和过度细粒度的词义区分。
2026-09-18 cs.CL
Teaching Vision-Language Models to Ask: Resolving Ambiguity in Visual Questions
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院);Wuhan AI Research(武汉人工智能研究院)
针对VQA中用户提问歧义问题,现有方法多依赖重述问题而忽视交互反馈。本文提出ClearVQA基准,评估VLMs通过交互澄清歧义的能力,涵盖三类常见歧义及多种VQA场景。
2025-09-16 cs.CL cs.CV
Clustering and Relational Ambiguity: from Text Data to Natural Data
本文探讨文本与自然数据中的歧义问题,指出句法上下文不足以消除歧义,噪声可源于数据本身及无意义文本,并可能污染语料库内容。
2014-04-10 cs.CL cs.IR
Disambiguation of Emotion Annotations by Contextualizing Events in Plausible Narratives
University of Bamberg(巴姆伯格大学)
本文提出通过生成合理叙述来解决情感分析中的歧义问题,通过结合短篇小说生成技术构建EBS数据集,验证了生成的叙述能有效澄清特定情感的解释,尤其对缓解和悲伤有显著效果。
2026-03-20 cs.CL
DACE For Railway Acronym Disambiguation
Nantes University(南特大学);CIRAD(国际热带农业研究中心);Groupe SII(SII集团);Univ. Lille(里尔大学)
DACE通过动态提示和集合聚合方法,有效提升铁路文档中缩写消歧的准确率,取得竞赛第一名。
2025-12-20 cs.CL
AER-LLM: Ambiguity-aware Emotion Recognition Leveraging Large Language Models
University of Melbourne(墨尔本大学);Massachusetts Institute of Technology(麻省理工学院);xAI Corp(xAI公司);University of New South Wales(新南威尔士大学)
本文提出AER-LLM,通过零样本、少样本提示及历史对话上下文探索LLM识别歧义情绪的能力,并在三个数据集上验证其有效性与上下文增益。
2025-02-17 cs.AI cs.CL
Disambiguation in Conversational Question Answering in the Era of LLMs and Agents: A Survey
Adobe Research(Adobe研究部);KAIST(韩国科学技术院);Adobe Inc.(Adobe公司)
本文综述了LLM和智能体时代下对话式问答中的歧义问题,系统梳理了歧义定义、消解方法分类、优缺点比较、基准数据集及未来研究方向,旨在推动更稳健可靠的LLM系统发展。
2025-09-22 cs.CL
Context-Aware Semantic Similarity Measurement for Unsupervised Word Sense Disambiguation
Software Competence Center Hagenberg(哈根贝格软件能力中心)
针对无监督词义消歧任务,提出一种将上下文信息融入语义相似度计算的新方法,在基准数据集上的表现优于现有多种最优技术,验证了上下文信息对无监督词义消歧的重要作用。
2023-12-13 cs.AI cs.CL
Recognizing Dialogue Ambiguity via Candidate Set Visual Grounding
The University of Osaka(大阪大学);RIKEN(理化学研究所);Nara Institute of Science and Technology(奈良科学技术研究所)
该研究针对对话歧义识别问题,提出候选集视觉定位(CSVG)任务及CandVG基准,发现视觉-语言模型的视觉定位能力与CSVG性能无必然关联,且可通过专用指令部分缓解模型预测完整候选集的困难。
2026-10-15 cs.AI cs.CL cs.CV
Interleaving Syntax and Semantics in an Efficient Bottom-Up Parser
我们描述了一个有效的自下而上的分析器,交错的语法和语义结构的建设。提出了两种通过减少局部歧义来减少搜索的技术:有限左上下文约束用于减少局部句法歧义,延迟排序约束应用用于减少局部语义歧义。我们实验评估这些技术,并显示显着减少图表边缘的数量和总解析时间。该分析器的强大处理能力在其用于提高语音识别器的准确性中得到了证明。
1994-07-05 cmp-lg cs.CL
Exploring Multi-Modal Representations for Ambiguity Detection & Coreference Resolution in the SIMMC 2.0 Challenge
Heriot-Watt University(赫瑞瓦特大学);Semasio(塞马西奥公司)
本文针对SIMMC 2.0挑战中的歧义检测与指代消解任务,提出基于TOD-BERT和LXMERT的模型,实验表明语言模型可检测歧义,单模态模型借助智能对象表示可免于视觉组件。
2023-07-26 cs.AI cs.CL
Charts, Interaction-Free Grammars, and the Compact Representation of Ambiguity
最近,在LFG框架中工作的研究人员提出了利用统一文法的隐式上下文无关组件的算法[Maxwell 96]。本文阐明了这些技术的数学基础,提供了一个统一的框架,他们可以正式研究,并消除了特殊用途的运行时数据结构记录的歧义。该文件假定的身份:歧义特征结构=语法,它指出(歧义)歧义表示最好被看作某种类型的统一语法,这里称为“无交互”语法,它以无回溯的方式生成由歧义表示所包含的每个特征结构。这项工作扩展了一条研究路线[Billot and Lang 89,Lang 94],强调图表和语法之间的联系:图表可以被视为给定输入字符串的参考语法的特殊化。我们展示了如何这种专门化的语法可以转换成一个互动的自由形式,具有相同的实用性,作为一个列表的个人解决方案,但在更少的时间和空间。
1997-05-12 cmp-lg cs.CL
Reasoning about Ambiguous Definite Descriptions
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
为评估大型语言模型利用显式推理解决歧义的能力,本文提出使用歧义限定描述,并构建了首个此类基准数据集,发现仅靠推理解决歧义对近期LLM仍具挑战性。
2023-10-23 cs.AI cs.CL
Improving Word Sense Disambiguation in Neural Machine Translation with Salient Document Context
University of Maryland(马里兰大学);Johns Hopkins University(约翰斯·霍普金斯大学)
针对机器翻译中的词汇歧义问题,提出一种利用伪文档显著词作为源句前缀的可扩展方法,无需词义标注或修改模型架构,在降低训练成本的同时有效提升了歧义词翻译质量。
2023-11-27 cs.AI cs.CL
HanjaBridge: Resolving Semantic Ambiguity in Korean LLMs via Hanja-Augmented Pre-Training
Wisenut(Wisenut公司)
提出HanjaBridge技术,通过在持续预训练中注入汉字候选以解决韩语同音词语义歧义,结合知识蒸馏防止遗忘,显著提升韩语理解并实现跨语言正向迁移。
2025-07-15 cs.AI cs.CL
Query Disambiguation via Answer-Free Context: Doubling Performance on Humanity's Last Exam
National Institute of Standards and Technology(国家标准与技术研究院);University of Maryland Baltimore County(马里兰大学巴尔的摩县分校)
通过无答案上下文重写问题以减少歧义,显著提升模型在Humanity's Last Exam上的准确性。
2026-02-27 cs.AI cs.CL
Lexical Disambiguation in Natural Language Questions (NLQs)
Islamic Science University of Malaysia(马来西亚伊斯兰科学大学);Zarqa University(扎尔卡大学)
问题处理是问答应用中的一个基本环节,其质量直接影响问答应用的性能。如何从自然语言问句中提取语义是问句处理的主要难题。人类的语言是模棱两可的。歧义可能出现在两个层面上:词汇和句法。本文提出了一种新的方法来解决词汇歧义问题,通过整合上下文知识和概念知识的领域,到浅层自然语言处理(SNLP)技术。概念知识使用本体建模,而上下文知识从WordNet获得,并基于问题中的邻近词确定。该方法将被应用到一个大学的QA系统。
2017-09-26 cs.AI cs.CL