The Impact of Word Splitting on the Semantic Content of Contextualized Word Representations
Télécom-Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信学院);INRIA(法国国家信息与自动化研究所)
本文研究语言模型中未登录词被切分为子词后如何获得单向量表示,并通过语义相似性任务评估不同模型嵌入质量,发现被切分词的表示通常但并非总是更差,且其相似度值需谨慎解读。
2024-02-22 cs.CL
BERTRAM: Improved Word Embeddings Have Big Impact on Contextualized Model Performance
Sulzer GmbH(苏尔寿有限公司);LMU Munich(慕尼黑大学)
预训练深度语言模型使NLP的性能大幅提升。尽管取得了这一成功,Schick和Schütze(2020)最近表明,这些模型很难理解罕见的单词。对于静态词嵌入,这个问题已经通过单独学习稀有词的表示来解决。在这项工作中,我们将这一想法转移到预训练的语言模型中:我们引入了BERTRAM,这是一种基于BERT的强大架构,能够推断出适合作为深度语言模型输入表示的稀有单词的高质量嵌入。这是通过使单词的表面形式和上下文在深层架构中相互作用来实现的。将BERTRAM集成到BERT中会导致性能大幅提高,这是由于在稀有词探测任务和三个下游任务上稀有和中频词的表示得到了改进。
2020-04-29 cs.CL
Probabilistic Impact Score Generation using Ktrain-BERT to Identify Hate Words from Twitter Discussions
Indian Institute of Information Technology, Kalyani(印度信息技术学院卡利亚尼分校)
社交媒体最近出现了令人担忧的仇恨言论。网络欺凌、性别歧视或种族主义等几个不同类别的分支,这些贬损内容的组合标签通常可以被归类为有毒内容。本文介绍了使用Keras包装的轻量级BERT模型进行的实验,以成功识别仇恨言论并预测其概率影响分数,以提取句子中的仇恨词。用于此任务的数据集是来自FIRE 2021的Hate Speech and Offensive Content Detection(HASOC 2021)数据。我们的系统获得了82.60%的验证准确率,最大F1分数为82.68%。随后,我们的预测案例在生成影响分数方面表现得非常好,成功识别了仇恨推文以及推文池中的仇恨词。
2022-01-09 cs.CL
Investigating the Frequency Distortion of Word Embeddings and Its Impact on Bias Metrics
Instituto de Investigación en Ciencias de la Computación, CONICET-UBA(CONICET-布宜诺斯艾利斯大学计算机科学研究所);Universidad de Buenos Aires (UBA)(布宜诺斯艾利斯大学(UBA));Departamento de Computación, FCEyN, UBA(布宜诺斯艾利斯大学理学院计算机系)
本研究系统探究了静态词嵌入中词频与语义相似度的关联,发现Skip-gram等模型对高频词产生更高相似度,且此现象为人工伪影,并证明操纵词频会严重影响甚至逆转基于嵌入的性别偏见指标测量结果。
2023-10-19 cs.CL
How Do Source-side Monolingual Word Embeddings Impact Neural Machine Translation?
Johns Hopkins University(约翰斯·霍普金斯大学)
使用预训练的词嵌入作为输入层是许多自然语言处理(NLP)任务中的常见做法,但对于神经机器翻译(NMT)来说,它在很大程度上被忽视了。本文系统地分析了在NMT中使用预训练的源端单语词嵌入的效果。我们比较了几种策略,例如在不同数据量的NMT训练过程中固定或更新嵌入,我们还提出了一种称为双嵌入的新策略,它融合了固定和更新策略。我们的研究结果表明,如果适当地纳入NMT,预训练的嵌入可能是有帮助的,特别是当并行数据有限或附加的域内单语数据很容易获得时。
2018-06-14 cs.CL
Referential Uncertainty and Word Learning in High-dimensional, Continuous Meaning Spaces
Sony Computer Science Laboratories Inc.(索尼计算机科学实验室公司);Vrije Universiteit Brussel(布鲁塞尔自由大学)
本文从指称不确定性的角度探讨了高维意义空间中的词汇学习。我们研究了各种最先进的机器学习算法,并讨论了缩放,表示和意义空间结构的影响。我们证明了当前的机器学习技术成功地处理了高维意义空间。特别是,我们发现,指数增加的维度线性影响学习者的表现,从词的敏感性的参考不确定性没有影响。
2016-09-30 cs.CL
Analysing the Impact of Removing Infrequent Words on Topic Quality in LDA Models
University of Lodz(罗兹大学);Justus Liebig University Giessen(吉森尤斯图斯·李比希大学)
本文通过Monte Carlo实验研究了移除低频词对LDA模型主题质量的影响,发现词汇表修剪能提升主题质量且可消除比例相当大。
2023-11-24 cs.CL
Evaluating Word Embedding Hyper-Parameters for Similarity and Analogy Tasks
Duke University(杜克大学);IBM Research(IBM研究院)
词嵌入在各种应用中的多功能性吸引了来自各个领域的研究人员。然而,超参数在训练嵌入模型时的影响往往知之甚少。向量维度和语料库大小等超参数对嵌入质量的影响有多大,这些结果如何转化为下游应用?使用标准的嵌入评估指标和数据集,我们进行了一项研究,以实证方式衡量这些超参数的影响。
2018-04-11 cs.CL
On the Impact of Knowledge-based Linguistic Annotations in the Quality of Scientific Embeddings
Expert.ai Research Lab(Expert.ai 研究实验室)
从本质上讲,嵌入算法的工作原理是优化单词与其通常上下文之间的距离,以生成一个嵌入空间,对单词的分布表示进行编码。除了单个单词或单词片段之外,从文本的语言分析中产生的其他特征,包括词汇,语法和语义信息,可以用于提高嵌入空间的质量。然而,到目前为止,我们还没有精确地了解这些单独的注释及其可能的组合对嵌入质量的影响。在本文中,我们进行了全面的研究,使用显式的语言注释,从科学语料库中生成嵌入,并量化其在所产生的表示的影响。我们的研究结果表明,这种注释的嵌入效果如何根据评估任务而变化。总的来说,我们观察到使用语言注释学习嵌入有助于实现更好的评估结果。
2021-04-13 cs.CL
Automated Word Prediction in Bangla Language Using Stochastic Language Models
North South University(北南大学);Daffodil International University(达夫迪尔国际大学);Prime University(普莱姆大学)
单词补全和单词预测是打字中的两个重要现象,其有益于使用键盘或其他类似设备打字的用户。他们可以对残疾人的打字产生深远的影响。我们的工作是基于孟加拉语句子的单词预测,通过使用随机的,即N-gram语言模型,如unigram,bigram,trigram,删除插值和退避模型,通过预测句子中的正确单词来自动完成句子,这节省了时间和打字的时间,也减少了拼写错误。我们使用大量的孟加拉语不同词类型的数据语料库,以尽可能高的准确率预测正确的词。我们发现了有希望的结果。我们希望我们的工作将对自动化孟加拉语输入的基线产生影响。
2016-02-25 cs.CL
From Words to Worth: Newborn Article Impact Prediction with LLM
Nankai University(南开大学);NKIARI(南开大学深圳研究院(注:NKIARI为南开大学深圳研究院英文缩写,若为独立机构则保留原名直译));Nanjing University(南京大学)
随着学术领域的扩大,有效识别有影响力的新发表文章的挑战变得越来越重要。本文介绍了一种很有前途的方法,利用LLM的能力来预测新生文章的未来影响,仅基于标题和摘要。超越了严重依赖外部信息的传统方法,所提出的方法采用LLM从大量的标题摘要对中识别出高度影响力的论文的共享语义特征。这些语义特征被进一步用于预测所提出的指标TNCSI_SP,该指标在值、字段和时间上具有良好的归一化特性。为了促进LLM的参数高效微调,我们还精心策划了一个包含12,000多个条目的数据集,每个条目都标有标题,摘要及其相应的TNCSI_SP值。定量结果表明,MAE为0.216,NDCG@20为0.901,与几种有前途的方法相比,所提出的方法在预测新生儿文章的影响方面达到了最先进的性能。最后,我们提出了一个真实世界的应用程序的例子来预测新生期刊文章的影响,以证明其值得注意的实用价值。总的来说,我们的研究结果挑战了现有的范式,并提出了一个转向更注重内容的学术影响力预测,为文章影响力预测提供了新的见解。
2024-12-14 cs.CL
Impact of Gender Debiased Word Embeddings in Language Modeling
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学)
性别、种族和社会偏见最近被发现是自然语言处理应用中不公平的明显例子。实现公平的关键途径是理解、分析和解释我们的数据和算法。最近的研究表明,在训练中使用的人工生成的数据是产生偏见的一个明显因素。此外,目前的算法也被证明会放大数据的偏差。为了进一步解决这些问题,在本文中,我们研究了一个最先进的递归神经语言模型在使用预训练的标准和去偏词嵌入对数据进行训练时的行为,这些数据不足以代表女性。结果表明,与使用任务内训练的嵌入相比,当使用预训练的嵌入在不平衡数据上训练时,语言模型继承更高的偏差。此外,结果表明,在相同的数据,语言模型继承较低的偏见时,使用去偏预训练嵌入,相比使用标准的预训练嵌入。
2021-05-05 cs.CL
Frequency-aware Dimension Selection for Static Word Embedding by Mixed Product Distance
Tencent AI Lab(腾讯人工智能实验室);China Agricultural University(中国农业大学)
本文提出基于混合乘积距离的维度选择方法,利用词频信息无需训练词嵌入即可为静态词嵌入选择合适维度,在无上下文和有上下文任务中实现更优的效率-性能平衡。
2023-05-13 cs.CL
The Impact of Debiasing on the Performance of Language Models in Downstream Tasks is Underestimated
MBZUAI(穆罕默德·本·扎耶德人工智能大学);Tokyo Institute of Technology(东京工业大学);University of Liverpool(利物浦大学);Amazon(亚马逊)
该研究通过包含性别相关词汇的多种基准数据集评估去偏对下游任务性能的影响,发现去偏效果在所有任务中均被低估,并提出按女性词、男性词和刻板印象词分别评估可更可靠地衡量去偏影响。
2023-09-16 cs.CL
Pedagogical Word Recommendation: A novel task and dataset on personalized vocabulary acquisition for L2 learners
Riiid AI Research(Riiid AI 研究院)
在学习第二语言(L2)时,最重要但最繁琐的组成部分之一,往往是学生的士气低落,其无效和低效是词汇习得,或者更简单地说,记忆单词。有鉴于此,一个个性化的和教育性的词汇推荐系统,跟踪学习者的词汇知识状态将有一个巨大的学习影响,因为它可以解决这两个问题。因此,在本文中,我们提出并发布了一个新的任务,称为教学词汇推荐(PWR)的数据。PWR的主要目标是根据学习者已经看到的其他单词来预测给定学习者是否知道给定单词。为了详细说明,我们通过智能辅导系统(ITS)收集这些数据,该系统为参加标准化英语考试TOEIC的约1M L2学习者提供服务。作为这个智能教学系统的一个特点,学生可以直接指出他们不知道从他们解决的问题,以创建单词本。最后,我们报告了神经协同过滤方法的评估结果以及探索性数据分析,并讨论了该数据集作为未来研究的基线的影响和有效性。
2021-12-28 cs.CL
Impact of Tokenization on Language Models: An Analysis for Turkish
Aselsan Research Center(阿瑟尔桑研究中心)
标记化是为深度语言模型准备输入标记的重要文本预处理步骤。WordPiece和BPE是一些重要模型(如BERT和GPT)实际使用的方法。然而,标记化的影响对于形态丰富的语言可能是不同的,例如突厥语,其中许多单词可以通过添加前缀和后缀来生成。我们比较了不同粒度级别的五个分词器,即它们的输出从最小的字符到单词的表面形式,包括形态级别的分词器。我们训练这些分词器和预训练中等规模的语言模型使用RoberTa预训练过程的OSCAR语料库的土耳其分裂。然后,我们在六个下游任务上微调我们的模型。我们的实验,统计测试的支持下,揭示了形态级的tokenizer具有挑战性的性能与事实上的tokenizer。此外,我们发现,增加词汇量的大小提高了性能的形态和词级tokenizers比事实上的tokenizers。词汇参数的数量与模型参数的总数的比率可以根据经验选择为对于事实上的分词器为20%,对于其他分词器为40%,以获得模型大小和性能之间的合理权衡。
2022-04-19 cs.CL
GRI: Graph-based Relative Isomorphism of Word Embedding Spaces
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Shenzhen University(深圳大学)
针对利用单语嵌入空间构建双语词典时未考虑语义相关词影响的问题,提出GRI方法,结合分布式训练目标与注意力图卷积来计算多空间相对同构,使平均P@1相对提升高达63.6%。
2023-10-18 cs.CL
The Impact of Cross-Lingual Adjustment of Contextual Word Representations on Zero-Shot Transfer
ITMO University(ITMO大学);Bosch Center for Artificial Intelligence(博世人工智能中心);Ural Federal University(乌拉尔联邦大学);HSE University(高等经济大学)
本文研究跨语言调整上下文词表示对零样本迁移的影响,在西班牙语、俄语、越南语和印地语上扩展了 mBERT 跨语言调整方法至 XSR、NER 和 QA 任务,发现微调会遗忘部分跨语言对齐信息,并通过持续学习进一步提升了 NLI 性能。
2023-10-31 cs.CL
Explaining word embeddings with perfect fidelity: Case study in research impact prediction
Department of Econometrics, Prague University of Economics and Business(经济计量学系,布拉格经济大学);Environmental Genomics and Systems Biology Division, Lawrence Berkeley National Laboratory(环境基因组与系统生物学部,劳伦斯伯克利国家实验室);Department of System Analysis, Prague University of Economics and Business(系统分析系,布拉格经济大学);Department of Information and Knowledge Engineering, Prague University of Economics and Business(信息与知识工程系,布拉格经济大学)
针对词嵌入逻辑回归分类器解释保真度不足的问题,本文提出 SMER 特征重要性方法,并在 CORD-19 的 5 万篇论文上证明其具有完美理论保真度且优于 LIME、SHAP 等方法。
2025-08-28 cs.CL
Style, Content, and the Success of Ideas
Arizona State University(亚利桑那州立大学);University of Pennsylvania(宾夕法尼亚大学);York University(约克大学)
为什么有些东西在思想市场上会成功?虽然有些人认为内容驱动成功,但其他人认为风格或表达想法的方式也起着重要作用。为了提供一个严格的测试风格的重要性,我们检查它的内容应该是至高无上的:学术研究。虽然科学家通常认为写作是一种无私的方式,可以毫无障碍地传达真理,但一项多方法调查表明,写作风格塑造了影响力。将风格与内容分开是很困难的,因为倾向于使用某些语言的论文也可能写某些主题。因此,我们专注于一类与风格有关的独特的词(即,功能词如"and"、"the"和"on"),完全没有内容。自然语言处理对来自一系列学科的近30,000篇文章进行了研究,发现功能词解释了13 - 27%的语言对引文的影响。辅助分析探讨了功能词的具体类别,以表明风格的重要性,突出了写作简单性,个人声音和时间视角的作用。实验进一步强调了风格的因果影响。研究结果表明,如何提高沟通的影响力,并突出自然语言处理的价值,以了解成功的想法。
2022-01-10 cs.CL
Investigating Language Impact in Bilingual Approaches for Computational Language Documentation
Laboratoire d'Informatique de Grenoble (LIG)(格勒诺布尔信息学实验室);University of Sheffield(谢菲尔德大学);Institute of Informatics (INF), UFRGS(南里奥格兰德联邦大学信息学研究所)
对于濒危语言,数据汇集活动必须适应其中许多来自口头传统的挑战,并且制作翻译是昂贵的。因此,必须将其翻译成广泛使用的语言,以确保录音的可解释性。在本文中,我们将探讨如何选择翻译语言的影响后的文档工作和潜在的自动方法,将工作在上面的双语语料库。为了回答这个问题,我们使用MaSS多语言语音语料库(Boito等人,2020)创建56个双语对,我们应用于低资源无监督分词和对齐的任务。我们的研究结果强调了翻译语言的选择影响了分词的性能,并且通过使用不同的对齐翻译来学习不同的词汇。最后,本文提出了一种用于双语分词的混合方法,结合从非参数贝叶斯模型(Goldwater et al.,2009 a)与Godard et al.(2018)的注意力分词神经模型。我们的研究结果表明,将这些线索纳入神经模型的输入表示中可以提高其翻译和对齐质量,特别是对于具有挑战性的语言对。
2020-03-30 cs.CL
How Does Language Influence Documentation Workflow? Unsupervised Word Discovery Using Translations in Multiple Languages
Laboratoire d’Informatique de Grenoble (LIG)(格勒诺布尔计算机实验室);UGA(格勒诺布尔阿尔卑斯大学);G-INP(格勒诺布尔国立理工学院);CNRS(法国国家科学研究中心);INRIA(法国国家信息与自动化研究所);University of Sheffield(谢菲尔德大学);UFRGS(南里奥格兰德联邦大学)
对于语言文档举措,转录是一种昂贵的资源:一分钟的音频估计需要语言学家平均一个半小时的工作(Austin和Sallabank,2013年)。最近,在资源丰富的语言中收集对齐的翻译成为确保记录的事后可解释性的流行解决方案(Adda et al. 2016)。在本文中,我们调查语言相关的影响,在自动方法计算语言文档。我们将双语Mboshi-French平行语料库(Godard et al. 2017)翻译成其他四种语言,并执行双语根无监督单词发现。我们的研究结果暗示了资源丰富的语言对输出质量的影响。然而,通过结合不同双语模型学习到的信息,我们只能略微提高分割的质量。
2019-10-11 cs.CL
GARI: Graph Attention for Relative Isomorphism of Arabic Word Embeddings
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学);Shenzhen University(深圳大学)
针对双语词汇归纳中嵌入空间相对同构问题,提出GARI模型,结合分布训练目标与图注意力网络引导的同构损失,在阿拉伯语数据上显著提升了P@1指标。
2023-10-19 cs.CL
The Impact of Positional Encodings on Multilingual Compression
University of Oslo(奥斯陆大学);University of Copenhagen(哥本哈根大学)
为了在非自回归设置中保留词序信息,Transformer架构倾向于通过(例如)向令牌嵌入添加位置编码来包括位置知识。在原始Transformer架构中使用的正弦位置编码上已经提出了几种修改;例如,这些修改包括分离位置编码和标记嵌入,或者基于单词对之间的距离直接修改注意力权重。我们首先表明,令人惊讶的是,虽然这些修改往往会改善单语语言模型,没有一个更好的多语言语言模型的结果。然后我们回答为什么:正弦编码被明确设计为通过允许在任意时间步长上的线性投影来促进组合性。多语言训练分布的差异越大,就需要更高的压缩,在这种情况下,组合性就变得不可或缺。学习的绝对位置编码(例如,在mBERT中)倾向于在多语言环境中近似正弦嵌入,但更复杂的位置编码架构缺乏有效学习组合性和跨语言对齐的归纳偏差。换句话说,虽然正弦位置编码最初是为单语应用设计的,但它们在多语言语言模型中特别有用。
2021-09-11 cs.CL
Word Order's Impacts: Insights from Reordering and Generation Analysis
Beihang University(北京航空航天大学);University of Copenhagen(哥本哈根大学)
本文通过顺序重建与续写生成任务,在四个数据集上重新审视词序影响,发现ChatGPT依赖词序推理,但无法证实词序与词汇语义的冗余关系。
2024-03-18 cs.AI cs.CL
Aspect Detection using Word and Char Embeddings with (Bi)LSTM and CRF
Wrocław University of Science and Technology(弗罗茨瓦夫理工大学)
我们提出了一个~新的准确的方面提取方法,利用基于词和字符的嵌入。我们已经使用LSTM和BiLSTM对各种方面提取模型进行了实验,包括在五个不同的预训练词嵌入上扩展字符嵌入的CRF增强。结果表明,BiLSTM优于常规LSTM,但训练和测试集中的词嵌入覆盖率也深刻影响了方面检测性能。此外,额外的CRF层始终改善了不同模型和文本嵌入的结果。综上所述,我们获得了SemEval餐厅(85%)和笔记本电脑(80%)的最新F分数结果。
2019-09-03 cs.CL
The Impact of Token Granularity on the Predictive Power of Language Model Surprisal
Center for Data Science(数据科学中心);New York University(纽约大学);Department of Linguistics(语言学系);The Ohio State University(俄亥俄州立大学)
本文研究了子词token粒度对语言模型surprisal预测能力的影响,发现8,000词表大小的token最具预测力,且粗粒度token对花园路径效应更敏感,表明token粒度在认知建模中作用显著。
2025-06-01 cs.CL
Improving Chemical Named Entity Recognition in Patents with Contextualized Word Embeddings
The University of Melbourne(墨尔本大学);Elsevier(爱思唯尔)
化学专利是重要的化学信息资源。然而,很少有化学命名实体识别(NER)系统已被评估的专利文件,部分原因是其结构和语言的复杂性。在本文中,我们探讨了NER性能的BiLSTM-CRF模型利用预训练的词嵌入,字符级的词表示和上下文ELMo词表示化学专利。我们比较了在生物医学和化学专利语料库上预训练的词嵌入。还探讨了针对化学领域优化的标记器对化学专利中NER性能的影响。两个专利语料库的结果表明,从ELMo生成的上下文化的词表示大大提高化学NER性能w.r.t.我们还表明,特定领域的资源,如词嵌入培训的化学专利和化学特定的标记器对NER性能有积极的影响。
2019-07-05 cs.CL
Lexical-semantic resources: yet powerful resources for automatic personality classification
Amazon Research Germany(亚马逊德国研究院);Umeå University(于默奥大学)
在本文中,我们的目的是揭示词汇语义资源,特别是用于词义消歧和意义层次的语义分类,对自动人格分类任务的影响。虽然风格特征(例如,词性计数)已经在该任务中显示出它们的能力,但是语义超出目标单词列表的影响相对未被探索。我们提出并提取了三种类型的词汇语义特征,这些特征捕捉了高层次的概念和情感,克服了单词n元语法的词汇缺口。我们的实验结果与最先进的方法相当,而不需要个性特定的资源。
2017-11-27 cs.CL
Automated Detection and Analysis of Power Words in Persuasive Text Using Natural Language Processing
VIT Bhopal University(VIT博帕尔大学)
本文提出基于自定义词典和Python包The Text Monger的强力词自动检测方法,通过分析小说、演讲和营销材料评估强力词对情感和读者参与度的影响,为内容创作者和广告商提供实用策略。
2024-09-28 cs.CL
Redefining Context Windows for Word Embedding Models: An Experimental Study
Norwegian Computing Center(挪威计算中心);University of Oslo(奥斯陆大学)
分布式语义模型通过单词出现的上下文来学习单词的向量表示。虽然上下文的选择(通常采用滑动窗口的形式)对结果嵌入有直接影响,但该模型组件的确切作用仍然没有完全理解。本文提出了一个系统的分析上下文窗口的基础上的一组四个不同的超参数。我们训练连续Skip-Gram模型在两个英语语料库的各种组合,这些超参数,并评估他们的词汇相似性和类比任务。值得注意的实验结果是交叉上下文的积极影响和右上下文窗口令人惊讶的良好性能。
2017-04-19 cs.CL
Catplayinginthesnow: Impact of Prior Segmentation on a Model of Visually Grounded Speech
LIG, Univ. Grenoble Alpes, CNRS, Grenoble INP(格勒诺布尔阿尔卑斯大学、法国国家科学研究中心、格勒诺布尔国立理工学院联合信息学实验室);LIDILEM, Univ. Grenoble Alpes(格勒诺布尔阿尔卑斯大学语言、言语与听力研究所)
语言习得文献表明,儿童并不是通过将口语输入分割成音素然后从中构建单词来构建词汇,而是采用自上而下的方法,从分割单词样的单元开始,然后将它们分解成更小的单元。这表明学习语言的理想方法是从完整的语义单元开始。在本文中,我们研究了在语音图像检索任务上训练的视觉接地语音的神经模型是否也是这种情况。我们评估了当提供电话,音节或单词边界信息时,这样的网络能够学习可靠的语音到图像映射的程度。我们提出了一种简单的方法来将这些信息引入基于RNN的模型,并研究哪种类型的边界是最有效的。我们还探讨了在网络的架构,这样的信息应该被引入,以最大限度地提高其性能的水平。最后,我们表明,使用多个边界类型一次在一个层次结构中,低级别的段被用来重组高级别的段,是有益的,并产生更好的结果比使用低级别或高级别的段隔离。
2020-10-20 cs.CL
Improving Opinion-Target Extraction with Character-Level Word Embeddings
Bielefeld University(比勒费尔德大学)
细粒度的情感分析近年来受到越来越多的关注。在评论中提取意见目标表达(OTE)通常是细粒度的、基于方面的情感分析中的重要步骤。然而,从用户生成的文本中检索这些信息可能很困难。例如,客户评论很容易包含拼写错误的单词,并且由于其特定于领域的语言而难以处理。在这项工作中,我们调查是否字符级模型可以提高性能的意见目标表达的识别。我们整合到一个序列标签系统使用字符级词嵌入的字结构的信息,并显示其对系统的性能的积极影响。具体而言,我们获得了3.3点F1分数相对于我们的基线模型增加。在进一步的实验中,我们揭示了学习嵌入的编码字符模式,并给出了两种模型的性能差异的细微差别。
2017-09-19 cs.CL
Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages
Institute of Formal and Applied Linguistics(形式与应用语言学研究所);Faculty of Mathematics and Physics(数学与物理学院);Charles University(查理大学)
本文通过提出评估子词分词器词汇表示与重叠的新准则,揭示词汇重叠对不同下游任务利弊不一,并为多语言模型预训练前的分词器选择提供指导。
2023-05-26 cs.CL
Improving OOV Detection and Resolution with External Language Models in Acoustic-to-Word ASR
Graduate School of Informatics, Kyoto University(京都大学信息学研究生院)
声学到字(A2 W)端到端自动语音识别(ASR)系统由于极其简化的架构和快速解码而引起关注。为了缓解数据稀疏的问题,由于不频繁的话,与声学字符(A2 C)模型的组合进行了研究。此外,A2 C模型可以用于恢复A2 W模型未覆盖的词汇表外(OOV)单词,但这需要准确检测OOV单词。A2 W模型通过声学和转录来学习上下文;因此它们倾向于错误地将OOV单词识别为词汇表中的单词。在本文中,我们通过使用外部语言模型(LM)来解决这个问题,该模型仅使用transmittance进行训练,并且具有更好的语言信息来检测OOV单词。A2 C模型用于解决这些OOV词。实验结果表明,外部LM不仅能减少错误率,还能增加OOV词的检测数量,该方法在英语会话和日语演讲语料库中的检测效果显著,尤其是在域外场景下。我们还研究了A2 W模型的词汇量和训练LM的数据量的影响。此外,我们的方法可以减少词汇量的大小几倍,边际性能下降。
2019-09-22 cs.CL
Future Word Contexts in Neural Network Language Models
University of Cambridge(剑桥大学);Cambridge English(剑桥英语)
最近,双向递归网络语言模型(bi-RNNLM)已被证明在一系列语音识别任务上优于标准的单向递归神经网络语言模型(uni-RNNLM)。这表明,未来的单词上下文信息超出了单词历史可能是有用的。然而,bi-RNNLM提出了一些挑战,因为它们利用完整的先前和未来的单词上下文信息。这影响了训练效率和它们在格重评分框架内的使用。在本文中,这些问题的解决,提出了一种新的神经网络结构,连续字RNNLM(苏RNNLM)。代替使用递归单元来捕获完整的未来单词上下文,前馈单元用于对有限数量的后续未来单词进行建模。该模型可以比bi-RNNLM更有效地进行训练,并且也可以用于晶格重新评分。会议转录任务(AMI)上的实验结果表明,该模型始终优于单RNNLM,并在N-最佳重新评分中与双RNNLM相比仅产生轻微的退化。此外,可以使用格重新评分和随后的混淆网络解码来获得性能改进。
2017-08-18 cs.CL
Exploring the Representation of Word Meanings in Context: A Case Study on Homonymy and Synonymy
CiTIUS – Research Center in Intelligent Technologies(CiTIUS——智能技术研究中心);Universidade de Santiago de Compostela(圣地亚哥德孔波斯特拉大学)
本文提出了一个多语种的研究,在上下文中的词义表征。我们评估的能力,静态和上下文模型,以充分代表不同的词汇语义关系,如同音异义和同义。为此,我们创建了一个新的多语言数据集,使我们能够对多个因素进行受控评估,例如周围环境的影响或单词之间的重叠,传达相同或不同的含义。通过对四种情景的系统评估表明,基于Transformers的最佳单语模型可以充分消除上下文中的同音异义词。然而,由于它们严重依赖于上下文,这些模型无法表示在相似句子中出现的具有不同含义的单词。实验用加利西亚语、葡萄牙语、英语和西班牙语进行,数据集(有3,000多个评估项目)和新模型都随本研究免费发布。
2021-06-29 cs.CL
Investigating the Impact of Word Informativeness on Speech Emotion Recognition
University of Helsinki(赫尔辛基大学)
本文提出利用预训练语言模型计算的词语信息量筛选语义重要语音片段,并仅在这些片段上提取声学特征,从而有效提升语音情感识别性能。
2025-06-02 cs.CL eess.AS
Detecting Lexical Borrowings from Dominant Languages in Multilingual Wordlists
Pontificia Universidad Católica del Perú(秘鲁天主教教皇大学);University of Passau(帕绍大学);MPI-EVA(马克斯·普朗克进化人类学研究所)
语言接触是一种普遍存在的现象,它反映在从母语到目的语的词汇借用上。大多数用于借用检测的计算方法将所有研究中的语言视为同等重要,即使占主导地位的语言对遗产语言的影响比反之亦然。我们测试新的方法,在接触的情况下,占主导地位的语言发挥了重要作用的词汇借用检测,应用两个经典的序列比较方法和一个机器学习方法的七个拉丁美洲语言的样本,都广泛借鉴西班牙语。所有方法都表现良好,监督机器学习系统优于经典系统。检测错误的审查表明,借用检测可以大大提高考虑到捐助者的话与收件人的话不同的含义。
2023-02-21 cs.CL
Exploring sentence informativeness
LIMSI, CNRS(法国国家科学研究中心机械与工程计算机科学实验室);Univ. Paris-Sud(巴黎第十一大学);Univ. Paris-Saclay(巴黎-萨克雷大学);Société Générale(法国兴业银行)
这项研究是对信息量概念的初步探索-一个句子提供了多少关于它所包含的单词的信息-以及它对从稀缺数据中构建高质量单词表征的潜在好处。我们提出了几个层次的分类器来预测信息量,我们执行一组句子的手动注释。我们的结论是,这两种措施对应于不同的概念的信息。然而,我们的实验表明,使用分类器的预测训练词嵌入对嵌入质量有影响。
2019-07-22 cs.CL
Detection of Hate Speech using BERT and Hate Speech Word Embedding with Deep Model
King Abdulaziz University(阿卜杜勒阿齐兹国王大学);University of Tabuk(塔布克大学)
网络和社交媒体上产生的大量数据增加了对检测在线仇恨言论的需求。检测仇恨言论将减少其对他人的负面影响和影响。自然语言处理(NLP)领域的大量努力旨在检测一般的仇恨言论或检测特定的仇恨言论,如宗教,种族,性别或性取向。仇恨社区倾向于在他们的通信中使用缩写,故意拼写错误和编码词来逃避检测,这给仇恨言论检测任务增加了更多的挑战。因此,词语表征将在检测仇恨言论方面发挥越来越重要的作用。本文研究了在基于双向LSTM的深度模型中利用特定于领域的词嵌入来自动检测/分类仇恨言论的可行性。此外,我们研究了使用迁移学习语言模型(BERT)仇恨言论问题作为一个二元分类任务。实验表明,基于双向LSTM的深度模型的特定领域词嵌入在来自可用仇恨语音数据集的组合平衡数据集上实现了93%的f1分数,而BERT实现了高达96%的f1分数。
2021-11-02 cs.CL
Are words equally surprising in audio and audio-visual comprehension?
City, University of London(伦敦城市大学);University College London(伦敦大学学院)
通过比较仅听觉与视听呈现中词语诱发的N400,研究发现视觉信息改变语言预测加工:Transformer更适合单模态,2-gram更适合多模态。
2023-07-14 cs.CL
On SkipGram Word Embedding Models with Negative Sampling: Unified Framework and Impact of Noise Distributions
School of Computer Science and Engineering, Beihang University(北京航空航天大学计算机科学与工程学院);School of Computer Science and Technology, Tongji University(同济大学计算机科学与技术学院)
本文提出了一种统一的词嵌入框架WCC,研究了噪声分布对模型学习的影响,并发现了优于现有模型的新嵌入方法。
2025-12-02 cs.CL cs.LG stat.ML
On the Impact of Temporal Representations on Metaphor Detection
University of Milano-Bicocca(米兰比可卡大学);FIZ Karlsruhe - Leibniz Institute for Information Infrastructure(FIZ卡尔斯鲁厄——莱布尼茨信息基础设施研究所);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
现有的隐喻检测方法使用基于神经网络的隐喻分类器来比较它们的字面意义或核心意义以及它们的上下文意义。然而,由于文化和社会的影响,隐喻表达方式随着时间的推移而演变。人们知道隐喻表达与语言和字面词义共同进化,甚至在某种程度上推动了这种进化。这就提出了一个问题,即不同的,可能是特定时间的,字面意义的表征是否会影响隐喻检测任务。据我们所知,这是第一个研究,探讨隐喻检测任务,详细的探索性分析,不同的时间和静态词嵌入被用来解释不同的表征字面意义。我们的实验分析是基于三个流行的基准用于隐喻检测和词嵌入提取不同的语料库和时间对齐使用不同的国家的最先进的方法。结果表明,不同的静态词嵌入方法的使用确实影响隐喻检测任务,一些时间词嵌入略优于静态方法。然而,研究结果也表明,时间词嵌入可能提供表征的核心意义的隐喻,甚至太接近他们的上下文意义,从而混淆分类。总的来说,时间语言进化和隐喻检测之间的相互作用在我们的实验中使用的基准数据集似乎很小。这表明,未来对这一重要语言现象的计算分析工作应该首先从创建一个新的数据集开始,在这个数据集上更好地表示这种相互作用。
2022-04-29 cs.AI cs.CL
Characterizing the impact of geometric properties of word embeddings on task performance
The Ohio State University(俄亥俄州立大学);University of Warwick(华威大学)
词嵌入属性的分析,以告知其在下游NLP任务中的使用,主要是通过评估最近的邻居进行研究。然而,连续特征空间的几何性质直接有助于在下游模型中使用嵌入特征,并且在很大程度上未被探索。我们考虑词嵌入几何的四个属性,即:相对于原点的位置,特征在向量空间中的分布,全局成对距离和局部成对距离。我们定义了一系列转换来生成新的嵌入,这些嵌入将这些属性的子集暴露给下游模型,并评估任务性能的变化,以了解每个属性对NLP模型的贡献。我们从三个流行的工具包(word2vec,GloVe和FastText)中转换公开的预训练嵌入,并评估各种内在任务,这些任务在向量空间中建模语言信息,以及外部任务,这些任务使用向量作为机器学习模型的输入。我们发现,内在的评价是高度敏感的绝对位置,而外在的任务主要依赖于本地的相似性。我们的研究结果表明,未来的嵌入模型和后处理技术应该主要关注向量空间中附近点的相似性。
2019-04-09 cs.CL cs.LG
Word Importance Explains How Prompts Affect Language Model Outputs
DataRobot Germany(DataRobot德国);DataRobot
本文提出通过掩码系统提示词中的单词并聚合多输入文本评分来计算单词重要性,以解释提示词对LLM输出的影响,实验显示其与后缀预期重要性高度一致。
2024-03-05 cs.AI cs.CL
Sarcasm Detection in Twitter -- Performance Impact while using Data Augmentation: Word Embeddings
Bina Nusantara University(比娜努桑塔拉大学)
Sarcasm是一种通常用于嘲笑或惹恼某人或出于幽默目的的词语。讽刺主要用于社交网络和微博网站,在这些网站上,人们嘲笑或谴责的方式甚至让人难以分辨所说的是什么意思。在情感分析和意见挖掘等自然语言处理应用中,如果无法识别讽刺性话语,将混淆分类算法并生成错误结果。关于讽刺检测的一些研究利用了不同的学习算法。然而,这些学习模式大多只关注表达的内容,而孤立地忽略了语境信息。因此,他们未能捕捉到讽刺表情中的语境信息。此外,在一些研究中使用的一些数据集具有影响模型结果的不平衡数据集。在本文中,我们提出了一个上下文模型,在Twitter上使用Roberta的讽刺识别,并通过应用全局向量表示(GloVe)的词嵌入和上下文学习的建设,以产生更多的数据和平衡的数据集,以增加数据集。使用各种数据集和数据增强设置来测试该技术的有效性。特别是,当使用数据增强来增加20%标记为讽刺的数据时,我们在iSarcasm数据集中实现了3.2%的性能增益,与没有数据增强的37.2%相比,F分数为40.4%。
2021-08-31 cs.CL cs.LG
Silent Signals, Loud Impact: LLMs for Word-Sense Disambiguation of Coded Dog Whistles
Georgia Institute of Technology(佐治亚理工学院);Stanford University(斯坦福大学)
本研究提出利用LLMs实现编码狗哨的词义消歧方法,构建了含16550条高置信度示例的Silent Signals数据集,为仇恨言论检测等领域提供支撑。
2024-06-18 cs.CL cs.LG
Impact of Subword Pooling Strategy on Cross-lingual Event Detection
University of Southern California Information Sciences Institute(南加州大学信息科学研究所)
预先训练的多语言语言模型(例如,mBERT、XLM-RoBERTa)的研究已经显著地推进了zero-shot跨语言信息抽取的最新技术水平。这些语言模型普遍依赖于分词技术,该技术将单词分解为更小的组成子词。因此,所有单词标记任务(例如,命名实体识别、事件检测等),需要将子词表示作为输入并输出整个词的表示的池化策略。以跨语言事件检测为例,我们表明,池化策略的选择可以对目标语言的性能产生显着影响。例如,在ACE任务中,当以英语进行培训并以阿拉伯语进行测试时,性能变化高达16个绝对$f_{1}$点,具体取决于池化策略。我们在不同的多语言数据集中使用九种语言的五种不同的池化策略进行分析。在配置中,我们发现,仅取第一个子词来表示整个词的规范策略通常是次优的。另一方面,我们表明,注意力池是强大的语言和数据集的变化,无论是最好的或接近最佳的策略。为了重现性,我们在https://github.com/isi-boston/ed-pooling上提供我们的代码。
2023-02-23 cs.CL cs.LG
The Ways of Words: The Impact of Word Choice on Information Engagement and Decision Making
State University of New York at Albany(纽约州立大学奥尔巴尼分校);Google(谷歌公司)
本研究综合UET和IBT理论构建框架,通过大规模用户实验验证措辞选择对信息参与度(IE)感知、参与和坚持三维度及决策的显著影响,提出了评估与改进数字文本IE和决策的方法。
2023-05-16 cs.CL cs.HC cs.SY
Reducing the impact of out of vocabulary words in the translation of natural language questions into SPARQL queries
University of Calabria(卡拉布里亚大学)
对于不熟悉SPARQL查询语言的用户来说,公共知识库中的大量可用信息可能很复杂。SPARQL中自然语言问题的自动翻译有可能克服这个问题。现有的基于神经机器翻译的系统非常有效,但在识别训练集的词汇表之外(OOV)的单词时容易失败。在查询大型本体时,这是一个严重的问题。在本文中,我们结合命名实体链接,命名实体识别,神经机器翻译执行自动翻译的自然语言的问题到SPARQL查询。我们通过在Monument、QALD-9和LC-QuAD v1上运行实验,证明了我们的方法比现有方法对OOV词更有效和更有弹性,这些数据集是DBpedia上问答的知名数据集。
2021-11-04 cs.CL cs.IR cs.LG
Contextual Skipgram: Training Word Representation Using Context Information
Korea University(高丽大学)
skip-gram(SG)模型通过从非结构化文本数据中预测中心词周围的词来学习词表示。然而,并非上下文窗口中的所有单词都有助于中心单词的含义。例如,不太相关的词可能在上下文窗口中,从而阻碍SG模型学习更好质量的表示。在本文中,我们提出了一个增强版本的SG,利用上下文信息来产生单词表示。提出的模型,上下文跳跃gram,旨在预测上下文的中心词和上下文信息的话。这个简单的想法有助于减少无关词对训练过程的影响,从而增强最终的表现
2021-02-17 cs.CL cs.LG
ASR and Emotional Speech: A Word-Level Investigation of the Mutual Impact of Speech and Emotion Recognition
University of Edinburgh(爱丁堡大学)
本文通过四个ASR系统和三个情感语料库,从词级层面研究ASR与SER的相互影响,揭示情感语音对ASR性能的作用及ASR转录错误对SER的影响,以推动ASR适应情感语音和SER的实际应用。
2023-05-28 cs.CL cs.SD eess.AS
Survey in Characterizing Semantic Change
FSTM - University of Luxembourg(卢森堡大学FSTM分校);Luxembourg Institute of Science and Technology(卢森堡科学技术研究院)
本文综述了语义变化的特征化方法,探讨了语义变化的三种分类:维度变化、方向变化和关系变化,并总结了现有研究的进展与未来方向。
2026-04-27 cs.AI cs.CL