Better Early than Late: Fusing Topics with Word Embeddings for Neural Question Paraphrase Identification
The Alan Turing Institute(艾伦·图灵研究所);University of Warwick(华威大学);Utrecht University(乌得勒支大学)
问题释义识别是社区问答(CQA)中的一项关键任务,用于确定传入的问题之前是否被询问过。许多当前的模型使用词嵌入来识别重复的问题,但在功能工程系统中使用主题模型表明,它们也可以帮助完成这项任务。因此,我们提出了两种方式合并主题与词嵌入(早期与晚期融合)在一个新的神经架构的问题释义识别。我们的研究结果表明,我们的系统在多个CQA数据集上的表现优于神经基线,而消融研究强调了主题的重要性,特别是在我们的架构中早期主题嵌入融合。
2020-07-22 cs.CL
Automatic Compilation of Resources for Academic Writing and Evaluating with Informal Word Identification and Paraphrasing System
Universität Hamburg(汉堡大学);International Institute of Information Technology, Bangalore(班加罗尔国际信息技术学院);City University of Hong Kong(香港城市大学)
我们提出了第一种方法来自动构建学术写作资源。其目的是建立一个写作辅助系统,自动编辑文本,使其更好地坚持学术写作风格。在现有的学术资源,如当代美国英语语料库(COCA)的学术词汇表,新的学术词汇表,和学术搭配表,我们还探讨了如何动态地建立这样的资源,将用于自动识别非正式或非学术的单词或短语。这些资源使用不同的通用方法进行编译,这些方法可以扩展到不同的领域和语言。我们描述了一个系统实现的资源评估。该系统包括一个非正式的词识别(IWI),学术候选释义生成和释义排名组件。为了生成候选项并在上下文中对其进行排名,我们使用了PPDB和WordNet释义资源。我们使用上下文中的概念(CoInCO)“所有单词”词汇替代数据集的非正式单词识别和释义生成实验。我们的非正式单词识别组件实现了82%的F-1分数,显著优于分层分类器基线。这项工作的主要贡献是一个独立于领域的方法来建立有针对性的资源,写作辅助工具。
2020-03-05 cs.CL
Robustness to Modification with Shared Words in Paraphrase Identification
Tsinghua University(清华大学)
揭示自然语言处理模型的鲁棒性问题,提高其鲁棒性,对于提高其在困难情况下的性能具有重要意义。在本文中,我们从一个新的角度研究的鲁棒性释义识别模型-通过修改与共享的话,我们表明,该模型有显着的鲁棒性问题时,面对这样的修改。要修改由句子对组成的示例,我们要么替换两个句子共享的一些单词,要么引入新的共享单词。我们的目标是构造一个有效的新例子,使得目标模型做出错误的预测。为了找到一个修改的解决方案,我们使用束搜索约束的启发式规则,我们利用一个BERT掩蔽语言模型生成替换词兼容的上下文。实验表明,目标模型的性能在修改后的例子上有明显的下降,从而揭示了鲁棒性问题。我们还表明,对抗性训练可以缓解这个问题。
2020-10-05 cs.CL
CLaC at SemEval-2016 Task 11: Exploring linguistic and psycho-linguistic Features for Complex Word Identification
Concordia University(康考迪亚大学)
本文描述了由CLaC-EDLK团队部署到“SemEval 2016,复杂词识别任务”的系统。任务的目标是确定给定上下文中的给定单词是“简单”还是“复杂”。我们的系统依赖于语言特征和认知复杂性。我们使用了几种监督模型,但随机森林模型优于其他模型。总体而言,我们的最佳配置在任务中获得了68.8%的G分数,在45个系统中排名第21位。
2017-09-08 cs.CL
Word embeddings for idiolect identification
National and Kapodistrian University of Athens(雅典国立与卡波迪斯特里亚大学)
个人风格是指个人独特的、有特色的语言运用,它是作者归属的理论基础。在本文中,我们专注于学习社交媒体用户的分布式表示(嵌入),反映他们的写作风格。这些表述可以被认为是作者的风格指纹。我们正在探索分布式表示的两种主要风格的性能,即神经概率语言模型(如word2vec)和矩阵分解(如GloVe)产生的嵌入。
2019-02-10 cs.CL
Arithmetic Word Problem Solver using Frame Identification
KCIS, LTRC, IIIT-Hyderabad(海得拉巴国际信息技术研究所KCIS、LTRC)
自动Word问题解决一直对NLP社区构成巨大挑战。通常,应用题是由几个句子组成的叙述性问题,问题是关于句子中所指的量。解决应用题涉及跨句子推理,识别操作,它们的顺序,相关量和丢弃不相关量。在本文中,我们提出了一种新的方法自动算术字问题的解决。我们的方法从帧识别开始。每个帧可以被分类为状态帧或动作帧。框架识别依赖于句子中的动词。每个帧都是唯一的,并由其时隙标识。使用句子的依赖性解析输出来填充槽。插槽是实体持有者、实体、实体的数量、接收者、附加信息,如地点、时间。槽和框架有助于确定所问问题的类型和所指的实体。动作帧作用于状态帧,这导致状态帧的数量发生变化。然后,这些帧被用来构建一个图,其中任何数量的变化都可以传播到相邻的节点。目前大多数的求解器只能回答与数量相关的问题,而我们的系统可以回答不同类型的问题,如“谁”,“什么”除了数量相关的问题“多少”。本文的主要贡献有三点。1.框架注释语料库(使用框架注释工具)2.帧识别模块3.一个新的易于理解的解决应用题的框架
2018-08-09 cs.CL
Combining Pre-trained Word Embeddings and Linguistic Features for Sequential Metaphor Identification
University of Aberdeen(阿伯丁大学);University of Sheffield(谢菲尔德大学)
我们处理的问题,确定文本中的隐喻,作为一个序列标记任务。预训练的词嵌入GloVe,ELMo和BERT分别在顺序隐喻识别上表现出良好的性能。这些嵌入由不同的模型、训练目标和语料库生成,从而编码不同的语义和句法信息。我们表明,利用基于多通道CNN和双向LSTM模型的GloVe、ELMo和基于特征的BERT可以显着优于任何单个词嵌入方法以及两种嵌入的组合。将语言特征引入我们的模型可以进一步提高模型性能,在三个公共隐喻数据集上产生最先进的性能。我们还提供了利用多个词嵌入的有效性的深入分析,包括分析不同的嵌入方法的隐喻和文字的空间分布,并显示如何以及嵌入互补在不同的体裁和词性。
2021-04-07 cs.CL
Cross-Lingual Transfer Learning for Complex Word Identification
University Politehnica of Bucharest(布加勒斯特理工大学)
复杂词识别(CWI)是一项以检测来自不同专业领域的文本中难以理解的单词或单词组为中心的任务。CWI的目的是强调非母语人士通常难以理解的问题结构。我们的方法使用了zero-shot、one-shot和少样本学习技术,以及用于自然语言处理(NLP)任务的最先进的解决方案(即,Transformers)。我们的目标是提供证据,证明所提出的模型可以依靠CWI共享任务2018数据集在多语言环境中学习复杂单词的特征,该数据集可用于四种不同的语言(即,英语、德语、西班牙语,还有法语)。对于零样本学习场景,我们的方法在英语(0.774)、德语(0.782)和西班牙语(0.734)的宏观F1分数方面超过了最先进的跨语言结果。同时,我们的模型也优于最先进的德语单语结果(0.795宏观F1分数)。
2020-10-02 cs.CL
Ghmerti at SemEval-2019 Task 6: A Deep Word- and Character-based Approach to Offensive Language Identification
Sharif University of Technology(谢里夫理工大学);NazarBin(纳扎尔宾)
本文介绍了Ghmerti团队在SemEval 2019上为OffensEval共享任务的子任务A和B提交的模型。OffensEval在三个子任务中解决了识别和分类社交媒体中攻击性语言的问题;内容是否具有攻击性(子任务A),是否针对个人,团体或其他实体(子任务C)。该方法包括字符级卷积神经网络、词级递归神经网络和一些预处理。该模型对子任务A的性能达到77.93%的宏观平均F1分数。
2020-09-22 cs.CL
Word Level Language Identification in English Telugu Code Mixed Data
Language Technologies Research Centre(语言技术研究中心);KCIS, IIIT Hyderabad(印度理工学院海得拉巴分校知识与计算智能系统学院)
在多语言或社会语言结构中,语码转换(ICS)或语码混合(CM)是当今常见的现象。世界上大多数人都懂一种以上的语言。CM的使用在社交媒体平台上尤其明显。此外,ICS在技术、健康和法律方面特别重要,因为用母语很难传达即将到来的发展。在诸如对话系统、机器翻译、语义解析、浅层解析等应用中,CM和代码切换提出了严峻的挑战。要在代码混合数据中做任何进一步的改进,必要的步骤是语言识别。在本文中,我们提出了各种模型的研究-朴素贝叶斯分类器,随机森林分类器,条件随机场(CRF),和隐马尔可夫模型(HMM)的语言识别在英语-泰卢固语代码混合数据。针对代码混合语言资源的匮乏,提出了基于CRF模型和HMM模型的词级语言识别方法。我们表现最好的系统是基于CRF的,f1分数为0.91。
2020-10-09 cs.CL
A Report on the Complex Word Identification Shared Task 2018
University of Hamburg(汉堡大学);Harvard Medical School(哈佛医学院);University of Sheffield(谢菲尔德大学);University of Mannheim(曼海姆大学);Université catholique de Louvain(天主教鲁汶大学);KU Leuven(鲁汶大学);University of Wolverhampton(沃尔夫汉普顿大学)
我们报告了第二个复杂词识别(CWI)共享任务的结果,该任务是与NAACL-HLT'2018共同举办的研讨会的一部分。第二个CWI共享任务的特点是多语言和多体裁数据集,分为四个轨道:英语单语,德语单语,西班牙语单语和法语测试集的多语言轨道,以及两个任务:二进制分类和概率分类。共有12个小组提交了不同任务/轨道组合的成果,其中11个小组编写了本报告中提到的系统说明文件,这些文件出现在联合国开发计划署讲习班记录中。
2018-04-24 cs.CL
Strong Baselines for Complex Word Identification across Multiple Languages
University of Sheffield(谢菲尔德大学);University of Cambridge(剑桥大学)
复杂词识别(CWI)是识别句子中哪些单词或短语难以被目标受众理解的任务。最新的CWI共享任务发布了两种设置的数据:单语(即用同一种语言进行训练和测试)和跨语言(即用训练期间没有看到的语言进行测试)。最好的单语模型依赖于语言相关的特征,这些特征在跨语言环境中不通用,而最好的跨语言模型使用具有多任务学习的神经网络。在本文中,我们提出了单语和跨语言的CWI模型,执行以及(或优于)提交给最新的CWI共享任务的大多数模型。我们表明,精心选择的功能和简单的学习模型可以实现最先进的性能,并为该领域的未来发展提供强大的基线。最后,我们讨论了如何不一致的注释的数据可以解释所获得的一些结果。
2019-04-11 cs.CL
All that is English may be Hindi: Enhancing language identification through automatic ranking of likeliness of word borrowing in social media
Indian Institute of Technology Kharagpur(印度理工学院克勒格布尔分校);Microsoft Research India(微软研究院印度分部)
本文提出基于社交媒体信号识别单词被借用可能性的计算方法,其预测表现优于基线两倍多,并发现88%的外来语标签应被替换为母语标签,揭示了自动语言识别系统的巨大改进空间。
2017-07-29 cs.CL
De-identification In practice
University of Waterloo(滑铁卢大学)
我们报告我们的努力,以确定敏感信息,数据项的子集列出的健康保险便携性和责任,从医疗文本使用自然语言处理和机器学习技术的最新进展。我们用Word2Vec的一个变体(称为连续词袋(Continuous Bag Of Words,CBOW))学习的高维连续向量表示单词。我们将单词向量输入到一个简单的神经网络中,该网络具有长短期记忆(LSTM)架构。在没有任何手动提取特征的尝试的情况下,考虑到我们的医疗数据集太小,无法送入神经网络,我们获得了有希望的结果。结果让我们兴奋地想到,通过精确的参数调整和其他可能的改进,可以实现更大规模的项目。
2017-01-11 cs.CL
MWE as WSD: Solving Multiword Expression Identification with Word Sense Disambiguation
Mantra Inc.(曼特拉公司);Project Ronin(罗宁项目)
本文将 WSD 的词义注解与上下文建模方法迁移到 MWE 候选过滤,在 DiMSUM 和 PARSEME 上取得优异结果,并提出 Poly-encoder 架构。
2023-10-19 cs.CL
Domain Adaptation in Multilingual and Multi-Domain Monolingual Settings for Complex Word Identification
University Politehnica of Bucharest(布加勒斯特理工大学)
复杂词识别(CWI)是实现适当文本简化的基础过程。CWI是高度依赖于上下文,而它的困难是由可用的数据集的稀缺性,在领域和语言方面有很大的不同而增加。因此,开发一个在广泛的输入示例中泛化的鲁棒模型变得越来越困难。在本文中,我们提出了一种新的训练技术的CWI任务的基础上领域自适应,以改善目标字符和上下文表示。这种技术解决了使用多个域的问题,因为它创建了一种平滑所探索数据集之间差异的方法。此外,我们还提出了一个类似的辅助任务,即文本简化,可用于补充词汇复杂度预测。与普通训练技术相比,我们的模型在皮尔逊相关系数方面获得了高达2.42%的提升,当考虑来自词汇复杂性预测2021数据集的CompLex时。与此同时,我们在Pearson分数上获得了3%的增长,同时考虑了依赖于复杂词识别2018数据集的跨语言设置。此外,我们的模型在平均绝对误差方面产生了最先进的结果。
2022-05-15 cs.CL
Sentence-level dialects identification in the greater China region
Jiangxi Normal University(江西师范大学)
识别同一种语言的不同变体比识别不相关的语言更具挑战性。本文提出了一种区分中国大陆、香港、台湾、澳门、马来西亚和新加坡普通话语言变体或方言的方法,大中华区(GCR)。将其应用于大湄公河次区域的方言识别时,我们发现,由于大湄公河次区域方言中的词语存在歧义性和上下文相关性等问题,常用的字级或词级单字特征识别效率不高。为了克服这些挑战,我们不仅使用了字符级n-gram等常规特征,还使用了许多新的单词级特征,包括基于PMI和基于单词标注的特征。在维基百科的新闻和开放域数据集上的一系列评测结果表明了该方法的有效性。
2017-01-08 cs.CL
Prompt Engineering Using GPT for Word-Level Code-Mixed Language Identification in Low-Resource Dravidian Languages
IIT Kharagpur(印度理工学院克勒格布尔分校)
本文利用GPT-3.5 Turbo提示工程方法解决低资源德拉维达语言的词级语码混合语言识别问题,实验表明卡纳达语模型表现优于泰米尔语模型。
2025-03-12 cs.CL
Concept Identification of Directly and Indirectly Related Mentions Referring to Groups of Persons
University of Wuppertal(伍珀塔尔大学);University of Konstanz(康斯坦茨大学);Heidelberg Academy of Sciences and Humanities(海德堡科学与人文学院);University of Zurich(苏黎世大学)
通过聚类的无监督概念识别,即,语义上相关的单词和短语的识别是识别在各种使用情况中采用的上下文原语的常用方法,例如,文本维度缩减,即,用概念替换单词,以减少词汇量、摘要和命名实体解析。我们展示了第一批结果的一个无监督的方法,用于识别的人群作为演员提取一组相关的文章。具体而言,这种方法将提到的在文本中充当无名实体行为者的人群分组,例如,“移民家庭”=“寻求庇护者”。“与我们的基线相比,这种方法将地缘政治实体的提及分开,例如,“伊朗领导人”!“欧洲领导人”,以及与不同措辞直接相关的群组,例如,“美国官员”=“特朗普政府”。"
2021-07-02 cs.CL
Language Identification of Bengali-English Code-Mixed data using Character & Phonetic based LSTM Models
SRM University(SRM大学);Jadavpur University(贾达普大学)
社交媒体文本的语言识别仍然是一项具有挑战性的任务,由于代码混合和不一致的语音音译等属性。在本文中,我们提出了一种监督学习方法,用于从社交媒体中获取的低资源孟加拉语-英语代码混合数据的单词级语言识别。我们采用两种单词编码方法,即基于字符和基于根音素来训练我们的深度LSTM模型。利用这两个模型,我们建立了两个集成模型,使用堆叠和阈值技术,给出了91.78%和92.35%的准确率分别对我们的测试数据。
2018-06-27 cs.CL
Investigating Large Language Models for Complex Word Identification in Multilingual and Multidomain Setups
National University of Science and Technology POLITEHNICA Bucharest(布加勒斯特理工国立大学);National Institute for Research & Development in Informatics - ICI Bucharest(布加勒斯特国家信息学研究与发展研究所);Academy of Romanian Scientists(罗马尼亚科学院);Paris 1 Panthéon-Sorbonne University(巴黎第一大学先贤祠-索邦大学);University of Bucharest(布加勒斯特大学)
本研究探究大型语言模型(如Llama、GPT)在复杂词识别、词汇复杂度预测及多词表达评估中的表现,发现其在零样本、少样本及微调条件下难以超越现有较小模型,并探讨了元学习与提示学习的结合。
2024-11-03 cs.CL
Automated essay scoring with string kernels and word embeddings
University of Bucharest(布加勒斯特大学)
在这项工作中,我们提出了一种方法的基础上结合字符串内核和词嵌入自动作文评分。字符串内核基于计算公共字符n-gram来捕获字符串之间的相似性,这是一种低级但强大的特征类型,在各种文本分类任务中展示了最先进的结果,例如阿拉伯方言识别或母语识别。据我们所知,我们是第一个应用字符串内核自动评分的文章。我们也是第一个将它们与高级语义特征表示相结合的人,即超词包嵌入。我们报告了自动学生评估奖数据集的最佳性能,无论是在域内还是跨域设置中,都超过了最近最先进的深度学习方法。
2018-07-06 cs.CL
Self-Supervised Euphemism Detection and Identification for Content Moderation
University of Illinois at Urbana-Champaign(伊利诺伊大学香槟分校);Facebook(脸书);Carnegie Mellon University(卡内基梅隆大学);University of Massachusetts, Amherst(马萨诸塞大学阿默斯特分校)
边缘团体和组织有着使用委婉语的悠久历史--听起来很普通但有秘密含义的词--来掩盖他们正在讨论的事情。如今,委婉语的一种常见用法是逃避社交媒体平台实施的内容审核政策。现有的强制执行政策的工具自动依赖于关键字搜索“禁止列表”上的单词,但这些都是出了名的不精确:即使仅限于脏话,它们仍然会导致令人尴尬的误报。当一个常用的普通词获得了委婉的含义时,将其添加到基于关键词的禁用列表中是无望的:考虑“锅”(存储容器或大麻?)或“加热器”(家用电器或火器?)目前的社交媒体公司雇佣员工手动检查帖子,但这是昂贵的,不人道的,也没有更有效。对于人类版主来说,一个词被委婉地使用通常是显而易见的,但他们可能不知道秘密的含义是什么,因此该消息是否违反政策。此外,当一个委婉语被禁止时,使用它的团体只需要发明另一个,让版主落后一步。本文将展示无监督算法,通过分析单词的上下文,既可以检测到委婉使用的单词,又可以识别每个单词的秘密含义。与使用上下文无关的词嵌入的现有技术相比,我们的算法用于检测委婉语,实现了30-400%的检测准确率在文本语料库中的未标记的委婉语。据我们所知,我们揭示单词委婉含义的算法是同类算法中的第一个。在内容版主和政策规避者之间的军备竞赛中,我们的算法可能有助于将平衡转移到版主的方向。
2021-03-31 cs.CL
Paraphrasing, textual entailment, and semantic similarity above word level
Universidad de Barcelona(巴塞罗那大学)
本论文探讨了两个或多个复杂的语言表达(短语,从句,句子,段落)之间的意义关系的语言和计算方面。特别是,它侧重于释义,文本蕴涵,矛盾和语义相似性。第一部分:在"词语层面的相似性"一文中,笔者研究了分布假设,并探讨了几种不同的方法来量化词语和短语层面的语义相似性。第二部分:在“释义类型与释义识别”一章中,我重点讨论了释义的意义关系和释义自动识别的实验任务。第三部分:"释义、语篇蕴涵和语义相似"是本文在对释义、语篇蕴涵、矛盾和语义相似进行联合研究的基础上提出的一个新的语篇意义关系研究方向。
2022-08-10 cs.CL
Subword-Level Language Identification for Intra-Word Code-Switching
University of Stuttgart(斯图加特大学);New York University(纽约大学)
语码转换(CS)是会话中两种或两种以上语言交替出现的现象,传统上是在每一个标记都是一种语言的假设下进行的。然而,如果至少有一种语言在形态上是丰富的,那么大量的词可以由来自不止一种语言的语素组成(词内CS)。在本文中,我们扩展的语言识别任务的子字级别,这样它包括分裂混合的话,同时标记每个部分的语言ID。我们进一步提出了一个模型,这是基于分段递归神经网络的任务。在一个新的西班牙-Wixarika数据集和一个适应的德国-土耳其数据集的实验中,我们提出的模型表现略好于或大致相当于我们的最佳基线,分别。然而,仅考虑混合词,它的表现远远优于所有基线。
2019-04-03 cs.CL cs.LG
Sentence-Level Grammatical Error Identification as Sequence-to-Sequence Correction
Harvard University(哈佛大学)
我们证明了基于注意力的编码器-解码器模型可用于科学写作自动评估(AESW)共享任务2016的语法错误识别。除了错误识别之外,基于注意力的编码器-解码器模型还可以用于生成校正,这对于某些最终用户应用是感兴趣的。我们表明,基于字符的编码器-解码器模型是特别有效的,优于其他结果的AESW共享任务本身,并显示收益超过基于单词的对应。我们的最终模型--三个基于字符的编码器-解码器模型、一个基于单词的编码器-解码器模型和一个并行级CNN的组合--是AESW 2016二进制预测共享任务中性能最高的系统。
2016-04-16 cs.CL
Context-aware Sentiment Word Identification: sentiword2vec
Peking University(北京大学)
传统的情感分析通常使用情感词典来提取文本中的情感信息并对文档进行分类。然而,在用户生成的内容中出现的非正式单词和短语需要对上下文进行分析。通常,它们在特定的上下文中具有特殊的含义。由于情感词向量在表达词间关系方面的出色表现,我们使用情感词向量来识别特殊词。本文基于分布式语言模型word2vec,提出了一种特定语境下词语情感表达的新方法,并对长答案中情感极性异常的词语进行了识别。实验结果表明,改进后的模型在表示特殊意义的词时表现出了更好的性能,而在表示特殊惯用模式时表现出了较好的性能。最后,我们将讨论向量表示在情感领域中的意义,这可能不同于一般的基于对象的条件。
2016-12-12 cs.AI cs.CL
Explaining Neural Network Predictions on Sentence Pairs via Learning Word-Group Masks
University of Virginia(弗吉尼亚大学);IBM Research AI(IBM研究院AI)
解释神经网络模型对于增加其在现实世界应用中的可信度是重要的。大多数现有的方法生成事后解释神经网络模型通过识别单个特征属性或检测相邻特征之间的相互作用。然而,对于以文本对作为输入的模型(例如,释义识别),现有方法不足以捕获两个文本之间的特征交互,并且它们计算两个文本之间的所有词对交互的简单扩展在计算上是低效的。在这项工作中,我们提出了组掩码(GMASK)方法,通过将输入文本对中的相关单词分组在一起来隐式地检测单词相关性,并整体衡量它们对相应NLP任务的贡献。该方法在四个数据集上使用两种不同的模型架构(可分解注意力模型和BERT)进行评估,包括自然语言推理和释义识别任务。实验表明,GMASK在提供这些模型的忠实解释的有效性。
2021-04-13 cs.CL
Identification of Parallel Passages Across a Large Hebrew/Aramaic Corpus
Bar-Ilan University(巴伊兰大学);Dicta: The Israel Center for Text Analysis(Dicta:以色列文本分析中心)
提出一种基于词的最不常见字母表示和匹配对聚类的高效方法,在大型希伯来语/阿拉米语语料库中快速识别平行段落,覆盖率达穷举法水平。
2018-01-01 cs.CL
Transformer-based Model for Word Level Language Identification in Code-mixed Kannada-English Texts
Instituto Politécnico Nacional(墨西哥国立理工学院)
在自然语言处理(NLP)研究中使用代码混合数据目前得到了很多关注。由于社交媒体在传播中的进步和影响,社交媒体语码混合文本的语言识别近年来成为一个有趣的研究问题。本文介绍了Instituto Politécnico Nacional,Centro de Investigación en Computación(CIC)团队在ICON 2022上为CoLI-Kanglish共享任务编写的系统描述文件。在本文中,我们提出了使用一个基于Transformer的模型,在代码混合卡纳达语英语文本的单词级语言识别。在CoLI-Kenglish数据集上,所提出的模型的加权F1得分为0.84,宏观F1得分为0.61。
2022-11-26 cs.AI cs.CL
Multiple topic identification in telephone conversations
LIA, University of Avignon(阿维尼翁大学LIA实验室);McGill University(麦吉尔大学)
本文论述了自动分析的客户和代理之间的对话在呼叫中心的客户服务。分析的目的是假设对话中讨论的问题和抱怨的主题。主题由应用程序文档主题定义。对话可能包含与应用程序目的无关的提及和多个主题,其提及可能是对话的交错部分,无法很好地定义。提出了两种多主题假设的方法。其中之一是基于余弦相似性度量,使用从整个对话中提取的一袋特征。另一种方法引入了围绕会话中特定单词位置分布的主题密度的概念。除了自动选择单词之外,还考虑并选择在连续单词之间具有可能间隙的单词二元语法。实验结果表明,在相同的数据集上,该方法的分类效果优于支持向量机。此外,使用从中导出主题密度的会话的主题骨架,将有可能提取要用于改进服务性能的自动会话报告的成分。索引术语:多主题音频文档分类,人类/人类对话分析,语音分析,距离二元组
2018-12-29 cs.CL
Automatic Language Identification for Romance Languages using Stop Words and Diacritics
University Politehnica of Bucharest(布加勒斯特理工大学);University of Lyon(里昂大学)
自动语言识别是一个自然语言处理问题,它试图确定给定内容的自然语言。在本文中,我们提出了一种统计方法,用于自动语言识别的书面文本使用字典包含停用词和变音符号。我们提出了不同的方法来结合这两个词典来准确地确定文本语料库的语言。之所以选择这种方法,是因为停用词和变音符号对于一种语言来说是非常特定的,尽管有些语言有一些相似的词和专用字符,但它们并不都是通用的。考虑的语言是浪漫语言,因为它们非常相似,通常很难从计算的角度区分它们。我们已经测试了我们的方法使用Twitter语料库和新闻文章语料库。两个语料库都由UTF-8编码的文本组成,因此可以考虑变音符号,在文本没有变音符号的情况下,仅使用停止词来确定文本的语言。实验结果表明,该方法对小文本的正确率在90%以上,
2018-06-14 cs.CL cs.IR
Biomedical Event Trigger Identification Using Bidirectional Recurrent Neural Network Based Models
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
生物医学事件描述了各种生物医学实体之间的复杂相互作用。事件触发器是一个词或短语,通常表示事件的发生。事件触发器识别是所有事件提取方法中重要的第一步。然而,目前的许多方法要么依赖于复杂的手工制作的功能,要么只考虑窗口内的功能。在本文中,我们提出了一种利用循环神经网络(RNN)来提取句子中存在的更高级别特征的方法。因此,RNN的隐藏状态表示以及作为特征的单词和实体类型嵌入避免了依赖于使用各种NLP工具包生成的复杂手工特征。我们的实验已经表明,实现国家的最先进的F1评分的多级事件提取(MLEE)语料库。我们还对结果进行了分类分析,并讨论了触发识别任务中各种特征的重要性。
2017-05-26 cs.CL
Identification of Biased Terms in News Articles by Comparison of Outlet-specific Word Embeddings
University of Konstanz(康斯坦茨大学);University of Wuppertal(伍珀塔尔大学)
倾斜的新闻报道,也被称为媒体偏见,可以严重影响新闻消费者对新闻的解读和反应。为了自动识别有偏见的语言,我们提出了一个探索性的方法,比较相关的词的上下文。我们训练了两个词嵌入模型,一个是左翼的文本,另一个是右翼的新闻媒体。我们的假设是,一个词的表示在两个词嵌入空间是更相似的非偏见的话比偏见的话。其基本思想是,不同新闻媒体中有偏见的词语的语境比无偏见的词语的语境变化更大,因为对一个词有偏见的看法取决于其语境。虽然我们没有发现统计意义接受的假设,结果表明该方法的有效性。例如,在两个词嵌入空间的线性映射之后,具有最大距离的31%的词潜在地引起偏差。为了改善结果,我们发现,数据集需要显着更大,我们得出进一步的方法作为未来的研究方向。据我们所知,本文提出了第一次深入研究的背景下,偏见的话衡量的词嵌入。
2021-12-14 cs.CL cs.IR
Task-specific Word Identification from Short Texts Using a Convolutional Neural Network
Tongji University(同济大学);University of Arkansas(阿肯色大学)
特定任务词识别的目的是选择与任务相关的词,最好地描述一个简短的文本。现有的方法需要定义良好的种子词或词典(例如,WordNet),这些技术通常不适用于许多应用,例如社会歧视检测和虚假评论检测。然而,我们通常有一组带标签的短文本,其中每个短文本都有一个与任务相关的类标签,例如,歧视性或非歧视性,由用户指定或通过分类算法学习。在本文中,我们专注于识别特定于任务的单词和短语,从短文本利用其类标签,而不是使用种子词或词汇字典。我们将特定于任务的单词和短语识别视为特征学习。我们在一组标记文本上训练一个卷积神经网络,并使用分数向量来定位特定于任务的单词和短语。情感词识别的实验结果表明,我们的方法显着优于现有的方法。我们进一步进行两个案例研究,以显示我们的方法的有效性。一个爬行的推文数据集上的案例研究表明,我们的方法可以成功地捕获歧视相关的词/短语。另一个关于虚假评论检测的案例研究表明,我们的方法可以识别虚假评论词/短语。
2017-06-03 cs.CL cs.IR cs.LG
Identifying Word Translations in Non-Parallel Texts
句子和单词对齐的通用算法允许从平行文本中自动识别单词翻译。这项研究表明,识别词的翻译也应该是可能的非平行,甚至不相关的文本。所提出的方法是基于这样的假设,即不同语言的文本中的词同现模式之间存在相关性。
1995-05-22 cmp-lg cs.CL
ContrastWSD: Enhancing Metaphor Detection with Word Sense Disambiguation Following the Metaphor Identification Procedure
本研究提出融合隐喻识别流程与词义消歧的RoBERTa隐喻检测模型ContrastWSD,通过对比词语语境义与基本义判断隐喻用法,在多个基准数据集上表现优于现有方法,提升了隐喻检测效果。
2024-03-23 cs.CL cs.LG
Basis Identification for Automatic Creation of Pronunciation Lexicon for Proper Names
Tata Consultancy Services(塔塔咨询服务公司)
开发一个专有名词发音词典通常是一个不可避免的手工努力。在文献中,字形到音素(G2P)转换模块通常是基于规则的,并且最适合特定语言中的非专有名称。专有名称对于G2P模块来说是外来的。我们遵循一个优化的方法,使专有名词发音词典的自动构建。这个想法是构造一个小的正交词集(基础),它可以跨越给定数据库中的名称集。我们提出了两个算法的建设,这个基础。一个数据库中所有专有名称的转录词典可以通过仅对一小部分基本词进行人工转录而产生。我们首先构造一个成本函数,并表明,成本函数的最小化结果的基础。我们推导出这个成本函数的收敛条件,并在一个非常大的专有名称数据库上进行实验验证。实验结果表明,该方法可以通过对少量基本词的转录来实现。所提出的算法是通用的和独立的语言,但性能更好,如果专有名称具有相同的起源,即,相同的语言或地理区域。
2014-06-05 cs.CL
Deep Learning Methods for Extracting Metaphorical Names of Flowers and Plants
University of Granada(格拉纳达大学);University of Wolverhampton(伍尔弗汉普顿大学);Aston University(阿斯顿大学);Lancaster University(兰卡斯特大学)
本研究针对植物学语篇中花卉与植物隐喻名称难以自动识别的问题,评估13种基于transformer的模型及ChatGPT,发现最佳判别式模型取得92.2349% F1分数且优于GPT-3.5。
2023-06-01 cs.CL
Automatic Identification of Subjects for Textual Documents in Digital Libraries
互联网上的电子文档数量增长非常迅速。如何有效地识别文档的主题成为一个重要的问题。以往的研究主要集中在名词在文档中的行为。虽然主语是由名词组成的,但决定哪些名词是主语的成分不仅仅是名词。基于语篇是有组织的和事件驱动的假设,名词和动词共同参与了主语识别的过程。本文考虑了四个因素:1)词的重要性,2)词频,3)词的共现,4)词的距离,并提出了一个模型来确定主题的文本文档。初步实验表明,该模型的性能接近人类。
1999-02-01 cs.CL cs.DL
Bilingual Word Level Language Identification for Omotic Languages
Institutetext: Instituto Politécnico Nacional (IPN), Centro de Investigación en Computación (CIC), Mexico City, Mexico(墨西哥城国家理工学院(IPN)计算机研究中心)
本文针对埃塞俄比亚沃莱塔语和戈法语提出双语词级语言识别方法,采用BERT与LSTM组合模型,在测试集上取得F1分数0.72,有效应对社交媒体问题并奠定研究基础。
2025-09-05 cs.AI cs.CL
A Simple and Efficient Probabilistic Language model for Code-Mixed Text
Jamia Millia Islamia(贾米亚·米利亚伊斯兰大学);Aligarh Muslim University(阿里加尔穆斯林大学)
传统的自然语言处理方法不适应社交媒体文本的口语化和非同质性。值得注意的是,在一个多语种的文档中的语言识别被确定为在几个信息抽取应用程序,如信息检索,命名实体识别,关系抽取等的前面的子任务。这个问题往往是更具挑战性的代码混合文件,其中外语的话被画成基础语言,而框架的文本。词嵌入是用于表示文本文档的强大语言建模工具,在获得词或文档之间的相似性方面是有用的。我们提出了一个简单的概率方法,建立有效的词嵌入的代码混合文本,并举例说明它在语言识别的印度语-英语短测试消息从Twitter上报废。我们使用双向LSTM和SVM来检查其分类任务的有效性,并观察其在各种现有代码混合嵌入中的改进分数
2021-06-29 cs.CL
Contextual Modulation for Relation-Level Metaphor Identification
Insight SFI Research Centre for Data Analytics(Insight科学基金会数据分析研究中心);Data Science Institute(数据科学研究所);National University of Ireland Galway(爱尔兰国立高威大学)
识别文本中的隐喻是非常具有挑战性的,需要理解潜在的比较。最近,这种认知过程的自动化得到了广泛的关注。然而,大多数现有的方法集中在单词级识别处理的任务,无论是单字分类或顺序标签没有明确建模的隐喻组件之间的相互作用。另一方面,虽然现有的关系级方法隐式地模拟这种交互,但它们忽略了隐喻发生的上下文。在这项工作中,我们通过引入一种新的架构来识别基于上下文调制的某些语法关系的关系级隐喻表达,以解决这些限制。在视觉推理的作品的启发方法,我们的方法是基于条件的神经网络计算上的候选表达式使用功能明智的线性调制的深上下文的功能。我们证明了所提出的体系结构在基准数据集上实现了最先进的结果。所提出的方法是通用的,可以应用到其他文本分类问题,受益于上下文的相互作用。
2020-10-12 cs.CL
Identification of primary and collateral tracks in stuttered speech
Vector Institute(向量研究所)
先前已经从两个主要角度解决了不流利语音:临床角度侧重于诊断,和自然语言处理(NLP)的角度,旨在对这些事件进行建模,并检测它们的下游任务。此外,以前的作品通常根据输入特征是文本还是语音而使用不同的度量,这使得难以比较不同的贡献。在这里,我们介绍了一个新的评估框架,不流利检测的灵感来自临床和NLP的角度与性能理论从\cite{clark1996using},区分主要和侧支轨道。我们从半定向访谈语料库中引入了一种新的强制对齐的不流利数据集,并直接比较了基于文本的特征(单词和跨度信息)和基于语音的(声学韵律信息)的性能。最后,我们介绍了新的音频功能的启发基于词的跨度功能。我们通过实验表明,使用这些特征在当前数据集上的性能优于基于语音的预测基线。
2020-03-02 cs.CL
Evaluating Input Representation for Language Identification in Hindi-English Code Mixed Text
Pune Institute of Computer Technology(浦那计算机技术学院);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
自然语言处理(NLP)技术在近十年来已经成为主流。这些进步大部分归功于对单一语言的处理。最近,随着社交媒体平台的广泛增长,焦点已经转移到代码混合文本。代码混合文本包括以多于一种语言书写的文本。人们自然倾向于将本地语言与英语等全球语言结合起来。要处理这样的文本,目前的NLP技术是不够的。作为第一步,处理文本以识别文本中的单词的语言。在这项工作中,我们专注于印度语-英语混合文本的代码混合句子的语言识别。语言识别的任务被制定为一个令牌分类任务。在监督设置中,句子中的每个单词都有一个相关的语言标签。我们评估了不同的深度学习模型和输入表示组合来完成这项任务。主要地,字符、子词和词嵌入与基于CNN和LSTM的模型相结合来考虑。我们表明,子词表示和LSTM模型可以给出最好的结果。一般来说,子词表示的表现明显优于其他输入表示。我们报告了在标准SAIL ICON 2017测试集上使用单层LSTM模型的最佳准确率为94.52%。
2020-11-25 cs.CL cs.LG
Bio-inspired Structure Identification in Language Embeddings
University of California, Santa Cruz(加州大学圣克鲁兹分校)
词嵌入是当代语言建模中提高下游性能的一种流行方法。然而,嵌入空间的底层几何结构并没有很好地理解。我们提出了一系列的探索,使用生物启发的方法来遍历和可视化的词嵌入,展示可辨别的结构的证据。此外,我们的模型还产生单词相似性排名,这是合理的,但与常见的相似性度量,主要是余弦相似性和欧几里得距离非常不同。我们表明,我们的生物启发模型可用于研究不同的词嵌入技术如何导致不同的语义输出,这可以强调或模糊文本数据中的特定解释。
2020-09-15 cs.CL cs.HC
Sentence-level Event Detection without Triggers via Prompt Learning and Machine Reading Comprehension
Guangdong University of Technology(广东工业大学)
针对传统句子级事件检测中触发词标注耗时费力且高度依赖其准确性的问题,提出一种基于机器阅读理解和提示学习的无触发词双塔模型,在ACE2005和MAVEN基准上取得竞争力性能。
2023-06-25 cs.CL
Atypical lexical abbreviations identification in Russian medical texts
NUST MISiS(国立研究型技术大学莫斯科国立钢铁合金学院)
缩略语是一种构词法,其目的是从初始短语的第一个字母构建缩短的术语。隐性缩略语经常给没有准备的读者造成理解困难。在本文中,我们提出了一个有效的ML为基础的算法,允许识别俄语文本中的缩写。该方法实现了ROC AUC评分0.926和F1评分0.706,与基线相比具有竞争力。除了管道,我们还首先建立了与所需任务相关的俄罗斯数据集。
2022-06-04 cs.CL
TF-IDF vs Word Embeddings for Morbidity Identification in Clinical Notes: An Initial Study
University of Cagliari(卡利亚里大学);Philips Research(飞利浦研究院)
今天,我们看到越来越多的临床笔记,其中包含临床结果,图像和患者健康状态的文本描述。所有这些数据都可以被分析和利用,以提供新的服务,帮助人们和领域专家完成他们的共同医疗任务。然而,许多技术(如深度学习)和工具(如词嵌入)直到最近才开始研究,并且在医疗领域应用中仍然存在许多挑战。为了应对这些挑战,我们提出使用深度学习和词嵌入来识别临床记录的文本描述中的16种发病类型。为此,我们使用了基于双向长短期记忆(LSTM)层的深度学习模型,该模型可以利用最先进的数据向量表示,如词嵌入。我们采用了预先训练的词嵌入,即GloVe和Word 2 Vec,以及我们自己在目标域上训练的词嵌入。此外,我们使用支持向量机和多层感知器(我们的基线)将深度学习方法的性能与传统的tf-idf进行了比较。从获得的结果来看,后者似乎优于使用任何词嵌入的深度学习方法的组合。我们的初步结果表明,有一些特定的特征使数据集偏向于传统的机器学习方法。
2021-06-09 cs.CL cs.LG
Identification, Interpretability, and Bayesian Word Embeddings
Ohio State University(俄亥俄州立大学)
社会科学家最近转向使用自然语言处理工具(如词嵌入)来分析文本,以衡量意识形态、偏见和亲和力等概念。然而,词嵌入很难在社会科学家熟悉的回归框架中使用:嵌入既不能识别,也不能直接解释。我提供了两个标准嵌入模型的改进来解决这些问题。首先,我开发了贝叶斯词嵌入与自动相关性确定先验,放松假设,所有嵌入维度具有相等的权重。其次,我应用工作识别潜变量模型来锚定结果嵌入的维度,识别它们,并使它们在回归中可解释和可用。然后,我将这个模型和锚定方法应用到两个案例中,即美国总统就职演说中国际主义言论的转变,以及美国外交政策决策者审议中的好战性之间的关系。我发现,1945年之后,就职演说变得不那么国际化了,这与传统智慧背道而驰,好战性的增加与美国敌对行动的增加有关,这表明精英的审议不是廉价的谈话,并有助于确认模型的有效性。
2019-04-02 cs.CL stat.AP
That's sick dude!: Automatic identification of word sense change across different timescales
Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校);TU Darmstadt(达姆施塔特工业大学)
在本文中,我们提出了一种无监督的方法来识别名词意义的变化的基础上严格分析的时变文本数据的形式数以百万计的数字化书籍。我们从不同时间点的数据构建基于分布式叙词表的网络,并分别对每个网络进行聚类,以获得对应于不同时间点的以词为中心的意义聚类。随后,我们比较了两个不同时间点的这些感觉簇,以发现(i)是否有一个新的感觉的诞生,或(ii)如果一个旧的感觉已经分裂成一个以上的感觉,或(iii)如果一个新的感觉已经从旧的感觉的连接形成,或(iv)如果一个特定的感觉已经死亡。我们进行了一个彻底的评估所提出的方法手动以及通过比较与WordNet。人工评估表明,该算法可以正确识别60.4%的出生情况下,从一组48个随机挑选的样本和57%的分裂/连接情况下,从一组21个随机挑选的样本。值得注意的是,在44%的情况下,一个新的意义的诞生是由WordNet证明,而在46%的情况下,43%的情况下,分裂和加入分别证实了WordNet。我们的方法可以应用于词典编纂,以及应用程序,如词义消歧或语义搜索。
2014-05-17 cs.AI cs.CL
Labeling of Query Words using Conditional Random Field
West Bengal University of Technology(西孟加拉理工大学);Jadavpur University(贾达普大学)
本文介绍了我们的方法查询词标注作为一种尝试,在混合脚本信息检索在论坛信息检索评估(FIRE)2015年的共享任务。查询是用罗马字母写的,单词是英语或从印度地方语言音译而来。除英语外,共有八种印度语言。我们还确定了命名实体和特殊符号作为我们任务的一部分。基于CRF的机器学习框架用于用其对应的语言标签来标记各个词。我们使用基于词典的方法进行语言识别。我们在识别语言时还考虑了单词的上下文。我们的系统表现出75.5%的整体准确率为令牌级语言识别。孟加拉语、英语和印地语的符号级语言标签识别的严格F度量分数分别为0.7486、0.892和0.7972。我们的系统的总体加权F度量为0.7498。
2016-07-29 cs.CL cs.IR
Automatic Identification of Support Verbs: A Step Towards a Definition of Semantic Weight
目前词汇密度和语义权重的概念的定义是基于封闭类和开放类的词的划分,以及直觉。本文开发了一个计算上易于处理的语义权重的定义,集中在它意味着什么一个词是语义轻,定义涉及到看一个词的频率在特定的句法结构,这是指示亮度。像“make”和“take”这样的动词,当它们充当支持动词时,通常被认为是语义轻的。为了测试我们的定义,我们根据Grefenstette和Teufel(1995)的实验进行了一项实验,在该实验中,我们自动识别语料库中这些词的轻实例;这是通过将我们的频率相关的语义权重定义纳入类似于Grefenstette和Teufel的统计方法来完成的。结果表明,这是一个合理的定义语义轻的动词,这可能是扩展到定义语义轻的其他类别的话。
1995-10-26 cmp-lg cs.CL
MelBERT: Metaphor Detection via Contextualized Late Interaction using Metaphorical Identification Theories
Sungkyunkwan University(成均馆大学);Bering Lab;The Pennsylvania State University(宾夕法尼亚州立大学)
自动隐喻检测是一个具有挑战性的任务,以确定隐喻表达的话在一个句子。为了解决这个问题,我们采用预先训练的上下文化模型,例如,BERT和ROBERTA。为此,我们提出了一个新的隐喻检测模型,即隐喻感知的后期交互BERT(MelBERT)。我们的模型不仅利用语境化的单词表示,而且还受益于语言隐喻识别理论,以区分单词的上下文和字面意义。我们的实证结果表明,MelBERT在四个基准数据集上优于几个强基线,即,VUA-18、VUA-20、MOH-X和TroFi。
2021-04-28 cs.CL cs.LG