SocCogCom at SemEval-2020 Task 11: Characterizing and Detecting Propaganda using Sentence-Level Emotional Salience Features
Institute of High Performance Computing (IHPC)（高性能计算研究所）；Agency for Science, Technology and Research (A*STAR)（新加坡科技研究局）
本文介绍了一个系统开发的检测宣传技巧，从新闻文章。我们专注于研究如何从新闻片段中提取的情感显着性特征可以帮助描述和预测宣传技术的存在。相关性分析显示出有趣的模式，例如，“加载语言”和“口号”技术与效价和快乐强度呈负相关，但与愤怒，恐惧和悲伤强度呈正相关。相比之下，“挥舞旗帜”和“诉诸恐惧偏见”的模式正好相反。通过预测实验，结果进一步表明，而BERT的功能获得F1分数为0.548，情绪强度功能和BERT混合功能能够获得F1分数为0.570，当一个简单的前馈网络被用作在两种设置中的分类器。在黄金测试数据上，我们的系统在14种宣传技术的总体检测效率上获得了0.558的微平均F1分数。它在检测“装语言”（F1 = 0.772）、“名称呼叫和标记”（F1 = 0.673）、“怀疑”（F1 = 0.604）和“挥舞旗帜”（F1 = 0.543）方面表现相对较好。
2020-08-29 cs.CL cs.CY
LexRank: Graph-based Lexical Centrality as Salience in Text Summarization
University of Michigan（密歇根大学）；School of Information（信息学院）
介绍了一种基于随机图的文本单元相对重要性计算方法，用于自然语言处理。我们测试的问题上的文本摘要（TS）的技术。提取TS依赖于句子显著性的概念来识别文档或文档集合中最重要的句子。显著性通常根据特定重要词的存在或根据与质心伪句子的相似性来定义。我们考虑一种新的方法，LexRank，用于计算句子的重要性的概念的基础上的特征向量中心的图形表示的句子。该模型采用基于句内余弦相似度的连接矩阵作为句子图形表示的邻接矩阵。我们的系统，基于LexRank排名第一位，在一个以上的任务在最近的DUC 2004年的评估。在本文中，我们提出了一个详细的分析，我们的方法，并将其应用到一个更大的数据集，包括早期DUC评估的数据。我们讨论了几种使用相似图计算中心度的方法。结果表明，在大多数情况下，基于度的方法（包括LexRank）优于基于质心的方法和其他参与DUC的系统。此外，与阈值方法的LexRank优于其他度为基础的技术，包括连续的LexRank。我们还表明，我们的方法是相当不敏感的数据，可能会导致从一个不完美的主题聚类的文件中的噪声。
2011-09-26 cs.CL
Neural Network-based Word Alignment through Score Aggregation
Idiap Research Institute（伊迪亚普研究所）；Ecole Polytechnique Fédérale de Lausanne (EPFL)（洛桑联邦理工学院）；Facebook AI Research（脸书人工智能研究院）
我们提出了一个简单的神经网络字对齐，建立源和目标词窗口表示计算对齐分数的句子对。为了实现无监督训练，我们使用聚合操作来汇总给定目标词的对齐分数。软边目标增加真实目标词的得分，同时减少不存在的目标词的得分。与流行的快速对齐模型相比，我们的方法在英语-捷克语上提高了7 AER的对齐精度，在罗马尼亚语-英语上提高了6 AER，在英语-法语对齐上提高了1.7 AER。
2016-06-30 cs.CL
Probabilistic Impact Score Generation using Ktrain-BERT to Identify Hate Words from Twitter Discussions
Indian Institute of Information Technology, Kalyani（印度信息技术学院卡利亚尼分校）
社交媒体最近出现了令人担忧的仇恨言论。网络欺凌、性别歧视或种族主义等几个不同类别的分支，这些贬损内容的组合标签通常可以被归类为有毒内容。本文介绍了使用Keras包装的轻量级BERT模型进行的实验，以成功识别仇恨言论并预测其概率影响分数，以提取句子中的仇恨词。用于此任务的数据集是来自FIRE 2021的Hate Speech and Offensive Content Detection（HASOC 2021）数据。我们的系统获得了82.60%的验证准确率，最大F1分数为82.68%。随后，我们的预测案例在生成影响分数方面表现得非常好，成功识别了仇恨推文以及推文池中的仇恨词。
2022-01-09 cs.CL
SimRelUz: Similarity and Relatedness scores as a Semantic Evaluation dataset for Uzbek language
Urgench State University（乌尔根奇国立大学）；CITIC
词与词之间的语义相关性是自然语言处理的核心概念之一，因此语义评价是一项重要的任务。在本文中，我们提出了一个语义模型评估数据集：SimRelUz -低资源乌兹别克语的词对的相似性和相关性得分的集合。该数据集由一千多对词组成，这些词是根据其形态特征、出现频率、语义关系精心挑选的，并由来自不同年龄组和性别的11位乌兹别克语母语者注释。我们还关注了处理稀有词和词汇表外词的问题，以全面评估语义模型的鲁棒性。
2022-05-12 cs.CL
Semantic Properties of cosine based bias scores for word embeddings
Bielefeld University（比勒费尔德大学）
针对现有词嵌入偏差得分缺乏对比研究的问题，本文基于偏差几何定义提出量化偏差的得分要求，形式化分析基于余弦的偏差得分，并用实验验证其局限性的实际影响。
2024-09-12 cs.CL
The SAME score: Improved cosine based bias score for word embeddings
CITEC（认知交互技术中心）；Bielefeld University（比勒费尔德大学）
针对现有词嵌入社会偏差衡量方法结论不一致、存在理论缺陷等问题，研究提出新型语义偏差评分SAME，经理论分析与实验验证其优于同类方法，且证实语义偏差与下游任务偏差存在显著关联，可识别下游社会偏差的潜在成因。
2024-09-12 cs.CL
Assessing the Reliability of Word Embedding Gender Bias Measures
Utrecht University（乌得勒支大学）
人们已经提出了各种措施来量化词嵌入中类似人类的社会偏见。然而，基于这些措施的偏见得分可能会遭受测量误差。衡量质量的一个指标是可靠性，即衡量产生一致结果的程度。本文对词嵌入性别偏差测量的三种类型的信度进行了评估，即重测信度、评分者间一致性和内部一致性。具体来说，我们调查的一致性偏见分数在不同的选择随机种子，评分规则和单词。此外，我们还分析了各种因素对这些测量的信度得分的影响。我们的研究结果通知更好的设计词嵌入性别偏见的措施。此外，我们敦促研究人员对这些措施的应用持更严格的态度。
2021-09-10 cs.CL
Paired Comparison Sentiment Scores
Hochschule Niederrhein（下莱茵应用技术大学）
配对比较法是心理学中的一种既定方法。在这篇文章中，它被应用到获得连续的情感分数的话，从测试人员的比较。我们创建了一个初始的词汇与$n=199$德语单词从一个双重的所有对比较实验与10个不同的测试人员。从考虑的概率模型，逻辑模型显示出最好的协议与比较实验的结果。最初的词典可以以不同的方式使用。一种是通过添加任意词来创建专用情感词典，这些词由测试人员与一些初始词进行比较。一个交叉验证实验表明，只有大约18个双重比较是必要的，以估计一个新的，但未知的词的分数，提供这些词是由Silverstein & Farrell的方法的修改选择。初始词典的另一个应用是评估自动创建的基于语料库的词典。通过这样的评估，我们比较了基于语料库的词典SentiWS，SenticNet和SentiWordNet，其中SenticNet 4表现最好。本技术报告是2016年ICDM Sentire研讨会上所做演示的更正和扩展版本。
2018-07-10 cs.CL
Word Affect Intensities
National Research Council Canada（加拿大国家研究委员会）
语言常常传达情感--情绪、感觉和态度。此外，不同的词可以传达不同程度的影响（强度）。然而，现有的手动创建的基本情绪（如愤怒和恐惧）的词典仅指示粗略类别的影响关联（例如，与愤怒相关联或不与愤怒相关联）。自动化的情感词典提供了很好的关联度，但它们往往不像人类创造的词典那样准确。在这里，我们第一次提出了一个手动创建的影响强度词汇与四种基本情绪的强度的实值分数：愤怒，恐惧，喜悦和悲伤。(We将随后添加更多情绪的条目，如厌恶，预期，信任和惊讶。我们把这个数据集称为NRC情感强度词典，简称AIL。AIL有近6,000个英语单词的条目。我们使用了一种称为最佳-最差缩放（BWS）的技术来创建词典。BWS提高了注释一致性，并获得了可靠的细粒度分数（分半可靠性> 0.91）。我们还将AIL中的条目与NRC VAD Lexicon中的条目进行了比较，NRC VAD Lexicon具有20 K英语单词的效价，唤醒和优势（VAD）分数。我们发现，愤怒、恐惧和悲伤的词平均来说具有非常相似的VAD分数。然而，悲伤的词往往比恐惧和愤怒的词有稍微低的优势分数。情感强度词典在诸如商业、教育、情报和公共卫生等许多领域的自动情感分析中有应用。AIL在构建自然语言生成系统中也是有用的。
2022-10-16 cs.CL
Word Segmentation and Morphological Parsing for Sanskrit
University of Tübingen（蒂宾根大学）
我们描述了我们参与的分词和形态分析（WSMP）的梵文黑客。我们接近的分词任务作为一个序列标签的任务，通过预测的编辑操作，从分割的。我们通过预测形态标签和规则，将词形变化转化为相应的词干，接近形态分析任务。此外，我们提出了一个端到端的可训练管道模型，用于联合分割和形态分析。我们的模型在联合分割和分析子任务中表现最好（80.018 F1得分），在单个子任务中表现第二好（分割：96.189 F1得分/分析：69.180 F1得分）。最后，我们分析了我们的模型所犯的错误，并提出了未来的工作和可能的改进数据和评估。
2022-01-30 cs.CL
LSTM Easy-first Dependency Parsing with Pre-trained Word Embeddings and Character-level Word Embeddings in Vietnamese
Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯公司）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰瑞尔公司）
在越南语依存句法分析中，已经提出了几种方法。已经报道了使用深度神经网络模型的依赖解析器，其取得了最先进的结果。在本文中，我们提出了一种新方法，该方法将LSTM简单优先依存句法分析与预训练的词嵌入和字符级词嵌入相结合。我们的方法实现了80.91%的未标记的附件分数和72.98%的标记的附件分数的准确性在越南DepartamentTreebank（VnDT）。
2019-10-30 cs.CL
Assessing Word Importance Using Models Trained for Semantic Tasks
Charles University（查理大学）；Sorbonne Université（索邦大学）；CNRS（法国国家科学研究中心）
本文提出利用自然语言推理和释义识别等语义任务模型，通过归因方法为输入词推导重要性分数，并通过跨任务评估和句法分析验证其稳健性与合理性，从而无需显式标注即可识别句子中的重要词。
2023-05-31 cs.CL
AI Knows Which Words Will Appear in Next Year's Korean CSAT
AIEng.
本文提出基于文本挖掘的词类分类和LSTM词汇模式预测方法，通过AI-Score预测韩国CSAT词汇出现概率，在100分区域达100%准确率。
2023-08-03 cs.CL
Guilt by Association: Emotion Intensities in Lexical Representations
Rutgers University（罗格斯大学）；Hasso Plattner Institute/University of Potsdam（哈索·普拉特纳研究所/波茨坦大学）
词向量表征揭示了与词相关的情感的什么？在这项研究中，我们考虑的任务是估计特定情绪的词级情感强度分数，探索无监督，监督，最后是一个自我监督的方法，从词向量表示提取情感关联。总的来说，我们发现，词向量进行诱导细粒度的情感强度分数的巨大潜力，表现出更高的相关性与人类的地面真相评级比达到最先进的情感词汇。
2021-04-18 cs.CL
A Corpus for Modeling Word Importance in Spoken Dialogue Transcripts
Rochester Institute of Technology（罗切斯特理工学院）
受一个项目的激励，为聋人或听力困难的人创建一个系统，该系统将使用自动语音识别（ASR）在与听力正常的人的面对面会议期间产生英语口语的实时文本字幕，我们已经用单词重要性注释的覆盖来增强Switchboard会话对话语料库的成绩单，每个单词都有一个数字分数，以表明它对每一轮对话意义的重要性。此外，我们通过训练自动单词重要性标记模型来证明该语料库的实用性;我们的最佳性能模型在有序6类单词重要性分类任务中的F分数为0.60，与人类注释者的一致性（一致性相关系数）为0.839（注释者之间的一致性分数为0.89）。最后，我们讨论了我们打算未来的应用程序，这个资源，特别是评估ASR性能的任务，即创建指标，预测ASR输出字幕文本的可用性DHH用户优于Word出错率（WER）。
2019-07-16 cs.CL
A New Clustering neural network for Chinese word segmentation
本文提出了一种新的中文分词模型，该模型具有在其他领域应用的潜力。与以往的研究相比，将中文分词视为聚类问题而不是标记问题是一种新的思路。在该模型中，使用LSTM和自注意结构在每一层收集上下文和句子级别的特征，经过几层，采用聚类模型对字符进行分组，得到最终的分割结果，称之为CLNN.该算法在训练数据集上的F值可以达到98%（无OOV词）和85%~ 95%（有OOV词）.错误分析表明，OOV词会大大降低性能，这需要进一步研究.
2020-02-18 cs.CL
CASE: Commonsense-Augmented Score with an Expanded Answer Space
University of British Columbia（不列颠哥伦比亚大学）；Vector Institute for AI（向量人工智能研究所）
针对多项选择问答中基础语言模型评分对所有单词同等加权的局限，提出带扩展答案空间的常识增强评分CASE，结合动态语义加权与答案空间扩展，在5个常识基准上优于强基线，且两种方法互补，对小模型更有益。
2023-11-03 cs.CL
Combining Word and Character Vector Representation on Neural Machine Translation
PT Prosa Solusi Cerdas（普罗萨智能解决方案公司）
本文描述了英语-印尼语神经机器翻译（NMT）中词向量表示和字符向量表示的组合。使用不同的输入向量表示构建了NMT模型的六种配置：基于单词的、使用双向LSTM（bi-LSTM）的单词和字符表示的组合、使用CNN的单词和字符表示的组合、通过组合bi-LSTM和CNN来组合单词和字符表示通过三种不同的向量运算：加法、逐点乘法和平均。实验结果表明，除了使用双LSTM和CNN通过加法运算组合单词和字符表示的模型外，所有组合单词和字符表示的NMT模型的BLEU得分都高于基线模型，范围在9.14到11.65分之间。达到的最高BLEU评分为42.48，而基线模型为30.83。
2020-09-13 cs.CL
Sentence level estimation of psycholinguistic norms using joint multidimensional annotations
University of Southern California（南加州大学）
心理语言规范词使用数字分数表示各种情感和心理结构，并用于自然语言处理中的各种应用。它们通常用于句子级别，其分数通过使用简单的聚合策略外推单词级别分数来估计，这可能并不总是最佳的。在这项工作中，我们提出了一个新的方法来估计心理语言规范在句子水平。我们应用多维注释融合模型的注释在字的水平，以估计一个参数，捕捉不同的规范之间的关系。然后，我们使用这个参数在句子水平估计的规范。我们评估我们的方法，预测句子水平的分数为各种规范的尺寸和标准的词聚合方案进行比较。
2020-05-20 cs.CL
A Proposal for Linguistic Similarity Datasets Based on Commonality Lists
Queen Mary University of London（伦敦玛丽女王大学）
相似性是心理学和语言学的两个分支（理论和计算）中使用的核心概念。来自这两个领域的相似性数据集在设计上有所不同：心理数据集集中在某个主题上，如水果名称，而语言数据集包含来自不同类别的单词。后者使人类对没有共同点的单词和意义上有差异的单词分配低相似性分数，使相似性分数模糊不清。在这项工作中，我们讨论了多类别数据集的相似性收集过程，避免得分模糊，并建议改变评估程序，以反映心理文献的见解，单词，短语和句子的相似性。我们建议要求人类提供一个共同点和差异的列表，而不是数值相似性分数，并采用人类判断的结构，超越成对相似性模型评估。我们相信，所提出的方法将产生的数据集，测试的意义表示模型更彻底的人类治疗的相似性。
2016-06-17 cs.CL
Leveraging Neural Machine Translation for Word Alignment
Charles University（查理大学）
最常见的单词对齐工具依赖于大量的平行句子，然后通常根据IBM模型算法之一进行处理。然而，训练数据与机器翻译（MT）系统相同，特别是对于神经MT（NMT），其本身能够使用训练的注意力头部产生单词对齐。这很方便，因为词对齐理论上是任何基于注意力的NMT的可行副产品，它也能够为翻译的句子对提供解码器评分。我们总结了如何从对齐分数中提取单词对齐的不同方法，然后探索了从NMT中提取分数的方法，重点是基于输出句子和令牌概率推断单词对齐分数。我们将此与从注意力中提取对齐分数进行比较。最后，我们将所有对齐分数的来源聚合到一个简单的前馈网络中，当使用组合对齐提取器时，该网络可以获得最佳结果。
2021-03-31 cs.CL cs.LG
Learning to Substitute Words with Model-based Score Ranking
Duke University（杜克大学）
针对词语替换依赖人工标注且主观性强的问题，提出用BARTScore定义替换分布并设计对齐句子评分的损失函数，实现无标注学习，性能超过BERT、BART、GPT-4和LLaMA。
2025-02-14 cs.AI cs.CL
Sentiment Analysis: How to Derive Prior Polarities from SentiWordNet
Trento RISE（特伦托RISE）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
对于情感分析来说，为脱离上下文的单词（即单词的先验极性）分配正或负分数是一项具有挑战性的任务。在文献中，已经提出了基于SentiWordNet的各种方法。在本文中，我们将最常用的技术与新提出的技术进行比较，并将所有这些技术都纳入一个学习框架中，看看混合它们是否可以进一步提高先验极性分数的估计。使用两个不同版本的SentiWordNet并跨任务和数据集测试回归和分类模型，我们的学习方法始终优于单一指标，为情感分析提供了一种计算单词先验极性的新方法。我们得出结论，我们的调查显示有趣的偏见，在计算前的极性分数时，词的词性和注释者的性别被认为是。
2013-09-23 cs.CL
SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural Machine Translation
Kyoto University（京都大学）；National Institute of Information and Communications Technology（国立信息与通信技术研究所）
本文提出自监督子词分割方法SelfSeg，仅需单语词典并通过动态规划优化词生成概率，在低资源等场景下显著提升了机器翻译的BLEU分数。
2023-07-31 cs.CL
Language Model Classifier Aligns Better with Physician Word Sensitivity than XGBoost on Readmission Prediction
NYU Center for Data Science（纽约大学数据科学中心）；NYU Langone Health（纽约大学朗格尼医学中心）；NYU Tandon School of Engineering（纽约大学坦登工程学院）；NYU Grossman School of Medicine（纽约大学格罗斯曼医学院）；Prescient Design（Prescient设计公司）
自然语言处理中用于分类的传统评估指标（诸如准确度和曲线下面积）无法区分具有不同预测行为的模型，尽管它们具有相似的性能指标。我们引入了敏感度评分，这是一种在词汇水平上仔细检查模型行为的度量标准，可以深入了解其决策逻辑中的差异。我们使用两个训练用于医院再入院分类的具有相似性能统计的分类器，评估测试集中一组代表性单词的敏感性得分。我们的实验比较的决策逻辑的临床医生和分类的敏感性分数的等级相关性的基础上。结果表明，在tf-idf嵌入上，语言模型的敏感度得分比xgboost分类器更接近专业人士，这表明xgboost使用了一些虚假的特征。总的来说，这个指标提供了一个新的角度来评估模型的鲁棒性，量化他们与专业意见的差异。我们的代码可以在GitHub上找到（https：//github.com/nyuolab/Model_Sensitivity）。
2022-11-15 cs.CL
Free as in Free Word Order: An Energy Based Model for Word Segmentation and Morphological Tagging in Sanskrit
IIT Kharagpur（印度理工学院克勒格布尔分校）；Flipkart（Flipkart公司）；University of Waterloo（滑铁卢大学）；American Express India Pvt Ltd（美国运通印度私人有限公司）；Chinmaya Vishwavidyapeeth（钦玛雅大学）
在自由词序语言（如梵语）的句子中，构形信息的使用是有限的。因此，即使对于诸如分词之类的基本处理任务，整个句子的上下文也将是期望的。我们提出了一个结构化的预测框架，共同解决了分词和形态标记的梵文任务。我们建立了一个基于能量的模型，其中我们采用了基于图的解析技术中通常采用的方法（McDonald等人，2005 a; Carreras，2007）。我们的模型以96.92的F分数（7.06%的百分比提高）优于最先进的技术，同时使用不到十分之一的特定于任务的训练数据。我们发现，使用基于图的方法，而不是传统的基于网格的顺序标记方法，导致分割任务的F分数的百分比增益为12.6%。
2018-10-25 cs.CL
Transfer Deep Learning for Low-Resource Chinese Word Segmentation with a Novel Neural Network
MOE Key Laboratory of Computational Linguistics, Peking University（北京大学教育部计算语言学重点实验室）；School of Electronics Engineering and Computer Science, Peking University（北京大学电子工程与计算机科学学院）；School of Automation, Northwestern Polytechnical University（西北工业大学自动化学院）
近年来的研究表明，利用神经网络进行中文分词是有效的。然而，这些模型依赖于大规模数据，并且由于训练数据不足，对于低资源数据集不太有效。我们提出了一种迁移学习方法，通过利用高资源语料库来改善低资源分词。首先，我们在高资源语料库上训练一个教师模型，然后使用学习到的知识初始化一个学生模型。其次，提出了一种加权数据相似性方法，用于在低资源数据上训练学生模型。实验结果表明，我们的工作显着提高了低资源数据集的性能：2.3%和1.5%的F-分数在PKU和CTB数据集。此外，本文在PKU和CTB数据集上获得了最先进的结果：96.1%和96.2%的F分数。
2017-09-14 cs.CL
A more abstractive summarization model
指针生成网络是一种非常流行的文本摘要方法。最近在这个领域的工作仍然建立在基线指针生成器的基础上，通过增加内容选择阶段，或通过将解码器分解为上下文网络和语言模型。然而，基于指针生成器基础架构的所有这些模型都不能在摘要中生成新的单词，并且大多数都是从源文本中复制单词。在我们的工作中，我们首先彻底调查了为什么指针生成器网络无法生成新单词，然后通过添加词汇表外（OOV）惩罚来解决这个问题。这使我们能够显著提高新颖性/抽象性的数量。我们使用规范化的n-gram的新颖性分数作为度量，用于确定抽象的水平。此外，我们还报告了我们的模型的胭脂分数，因为大多数摘要模型的评估与R-1，R-2，R-L分数。
2020-02-25 cs.CL
Separated by an Un-common Language: Towards Judgment Language Informed Vector Space Modeling
Technion - IIT（以色列理工学院）
向量空间模型（VSM）文献中的一个常见评估实践是测量模型预测人类对词对之间词汇语义关系的判断的能力。然而，大多数现有的评估集，包括英语单词对收集的分数，忽略了潜在的影响，判断语言中的单词对人类的分数。在本文中，我们将两个突出的评估集wordsim353（关联）和SimLex999（相似性）从英语翻译为意大利语，德语和俄语，并从精通其语言的众包工作者那里收集每个数据集的分数。我们的分析表明，人类的判断强烈影响的判断语言。此外，我们还发现，单语VSM的预测不一定与人类对模型训练所用语言的判断最相关，这表明模型和人类在进行语义判断时受到所用语言的不同影响。最后，我们发现，在大量的设置，多语言VSM组合的结果与人类判断的相关性提高，这表明，多语言可能会部分弥补判断语言对人类判断的影响。
2015-12-06 cs.CL
Unsupervised Parsing by Searching for Frequent Word Sequences among Sentences with Equivalent Predicate-Argument Structures
The University of Tokyo（东京大学）；Imperial College London（伦敦帝国学院）；The University of Liverpool（利物浦大学）
本文提出基于频率的无监督成分句法解析器span-overlap，利用PAS等价句子集合中成分对应频繁词序列的特性，通过最大化span-overlap分数识别成分结构，在十种语言中的八种上达到最先进水平，并发现参与者成分与事件成分之间的统计差异。
2024-08-12 cs.CL
Uzbek Cyrillic-Latin-Cyrillic Machine Transliteration
Copper City Labs
在本文中，我们介绍了一种数据驱动的方法来音译乌兹别克语字典单词从西里尔字母到拉丁字母，反之亦然。我们将源脚本中的单词字符与目标脚本中相应单词的子字符串对齐，并训练一个学习这些对齐的决策树分类器。在测试集上，我们的西里尔文到拉丁文模型实现了0.9992的字符级微平均F1得分，我们的拉丁文到西里尔文模型实现了0.9959的得分。我们的贡献是一种新的方法，为低资源的乌兹别克语生产机器音译文本。
2021-01-13 cs.CL
Leveraging Sentiment to Compute Word Similarity
在本文中，我们介绍了一种新的基于WordNet的相似性度量，SenSim，它包含情感内容（即，积极或消极情绪的程度）来测量它们之间的相似性。所提出的度量是基于这样的假设，即知道的情绪是有益的，在测量的相似性。为了验证这一假设，我们测量并比较了两种注释策略的注释者一致性：1）注释时考虑一对词的情感信息，2）注释时不考虑一对词的情感信息。注释者之间的相关性分数表明，当两个注释者考虑情感信息，同时为一对单词分配相似性分数时，协议更好。我们使用这个假设来衡量一对词之间的相似性。具体来说，我们将每个单词表示为一个向量，该向量包含该单词意义的WordNet注释中所有内容单词的情感得分。这些情感得分是从情感词典中导出的。然后，我们测量两个向量之间的余弦相似性。我们执行的SenSim的内在和外在的评价和比较性能与其他广泛使用的WordNet相似性指标。
2012-09-18 cs.CL cs.IR
Nullpointer at ArAIEval Shared Task: Arabic Propagandist Technique Detection with Token-to-Word Mapping in Sequence Tagging
Carnegie Mellon University in Qatar（卡塔尔卡内基梅隆大学）；Carnegie Mellon University（卡内基梅隆大学）
本文针对 ArAIEval 共享任务 1 的阿拉伯语宣传手法检测，提出基于 AraBERT v2 微调和词元到单词映射的序列标注方法，并结合体裁特征，最终在排行榜上取得第 4 名。
2024-07-01 cs.CL
Capturing Reliable Fine-Grained Sentiment Associations by Crowdsourcing and Best-Worst Scaling
National Research Council Canada（加拿大国家研究委员会）
对词-情感关联的访问对于许多应用是有用的，包括情感分析、立场检测和语言分析。然而，手动分配细粒度的情感关联分数的话有很多挑战方面保持注释一致。我们应用最佳-最差缩放的注释技术来获得三个不同领域中的单词和短语的实值情感关联得分：普通英语，英语Twitter和阿拉伯语Twitter。我们表明，在所有三个领域的排名的话，情绪保持显着一致，即使注释过程中重复与不同的一组注释。我们还首次确定了一种语言的母语者可以感知的情感关联的最小差异。
2017-12-05 cs.CL
Using BERT Embeddings to Model Word Importance in Conversational Transcripts for Deaf and Hard of Hearing Users
Rochester Institute of Technology（罗切斯特理工学院）
聋人和重听人在观看电视直播时经常依赖字幕。监管机构使用各种字幕评估指标来评估实况电视字幕。然而，字幕评估指标往往不被DHH用户的偏好或字幕的意义。需要构建字幕评估度量，其考虑文字在转录中的相对重要性。我们在现有语料库中对两种类型的词嵌入和人工标注的词重要性分数进行了相关性分析。我们发现，使用BERT生成的规范化上下文单词嵌入与手动注释的重要性分数的相关性优于基于word2vec的词嵌入。我们提供了一对词嵌入及其人工注释的重要性分数。我们还通过训练单词重要性模型来提供概念验证实用程序，在6类单词重要性分类任务中获得了0.57的F1分数。
2022-06-24 cs.AI cs.CL cs.HC
Modeling Order in Neural Word Embeddings at Scale
Digital Reasoning Systems, Inc.（数字推理系统公司）
自然语言处理（NLP）系统通常利用词袋共现技术来捕获语义和句法词关系。由此产生的单词级分布式表示通常忽略形态信息，尽管字符级嵌入已被证明对NLP任务很有价值。我们提出了一种新的神经语言模型，在其嵌入的词序和字符顺序。该模型产生了几个向量空间有意义的子结构，证明了其性能的85.8%，最近的单词类比任务，超过最好的发表的句法单词类比分数的58%的误差幅度。此外，该模型包括几种并行训练方法，最值得注意的是允许在3个多核CPU上过夜训练具有1600亿个参数的skip-gram网络，比之前最大的神经网络大14倍。
2015-06-11 cs.CL
On Modeling ASR Word Confidence
Apple Inc.（苹果公司）
我们提出了一种新的方法来计算ASR字的信心，有效地减轻了ASR错误的影响，为不同的下游应用程序，提高了字的出错率的1-最好的结果，并允许更好地比较不同的模型之间的分数。我们提出了1）一种使用异构单词混淆网络（HWCN）建模单词置信度的新方法，该方法解决了传统单词混淆网络中的一些关键缺陷，以及2）一种新的分数校准方法，用于促进直接比较来自不同模型的分数。使用双向格型递归神经网络计算HWCN中每个单词的置信度得分，我们表明，具有最佳整体置信度的单词序列比识别器的默认1-最佳结果更准确，并且校准方法可以大大提高识别器组合的可靠性。
2020-06-02 cs.CL cs.SD eess.AS
Sentiment and structure in word co-occurrence networks on Twitter
Computational Story Lab（计算故事实验室）；Vermont Complex Systems Center（佛蒙特复杂系统中心）；MassMutual Center of Excellence for Complex Systems and Data Science（麻省互惠复杂系统与数据科学卓越中心）；Vermont Advanced Computing Core（佛蒙特高级计算核心）；University of Vermont（佛蒙特大学）；Advanced Bioimaging Center（高级生物成像中心）；UC Berkeley（加州大学伯克利分校）
我们使用词共现网络探索政治推文中的上下文和幸福分数之间的关系，其中网络中的节点是词，边的权重是语料库中两个连接的词共现的推文的数量。特别是，我们考虑了带有#imwithher和#crookedhillary标签的推文，这两个标签都与希拉里·克林顿2016年的总统竞选有关。然后，我们分析了网络的属性与词的分数通过比较与空模型分离的网络结构和分数分布的影响。中性词占主导地位，大多数词，无论极性，往往与中性词共现。我们没有观察到任何积极和消极的词之间的分数同质性。然而，当我们进行网络主干时，社区发现会产生具有有意义叙述的单词分组，并且每个组中单词的幸福分数对应于其各自的主题。因此，虽然我们没有观察到明确的幸福分数和同现之间的关系，在节点或边缘水平，以社区为中心的方法可以隔离的主题，在语料库中的竞争情绪。
2021-10-01 cs.CL cs.CY cs.SI
Contextually Propagated Term Weights for Document Representation
University of Copenhagen（哥本哈根大学）
词嵌入通过学习小而密集的嵌入向量来预测相邻词。在实践中，该预测对应于给予预测单词的语义得分（或术语权重）。我们提出了一个新的模型，给定一个目标词，重新分配该词的权重（已计算与词嵌入）的一部分，在发生在类似的上下文中的词作为目标词。因此，我们的模型的目的是模拟如何共享语义的意义发生在类似的上下文中，这是纳入袋的话文档表示的话。在无监督环境中对8个最先进的基线进行的实验评估表明，我们的模型在难度不断增加的数据集上产生了最好的微观和宏观F1分数。
2019-06-03 cs.CL cs.IR
Efficient and Effective Single-Document Summarizations and A Word-Embedding Measurement of Quality
University of Massachusetts（马萨诸塞大学）
我们的任务是生成一个有效的摘要为特定的实时要求的给定文件。我们使用softplus函数来增强关键字排名，以支持重要的句子，在此基础上，我们提出了一些摘要算法，使用各种关键字提取和主题聚类方法。我们表明，我们的算法满足实时要求，并产生最好的ROUGE召回分数DUC-02在所有以前已知的算法。我们表明，我们的算法满足实时要求，并产生最好的ROUGE召回分数DUC-02在所有以前已知的算法。为了在没有人工生成基准的情况下评估摘要的质量，我们定义了一个基于Word Mover距离的词嵌入的度量，称为WESM。我们表明，我们的算法的ROUGE和WESM分数的排序是高度可比的，这表明WESM可以作为一个可行的替代方法来衡量总结的质量。
2017-10-01 cs.CL cs.IR
Word Importance Explains How Prompts Affect Language Model Outputs
DataRobot Germany（DataRobot德国）；DataRobot
本文提出通过掩码系统提示词中的单词并聚合多输入文本评分来计算单词重要性，以解释提示词对LLM输出的影响，实验显示其与后缀预期重要性高度一致。
2024-03-05 cs.AI cs.CL
Clickbait detection using word embeddings
International Institute of Information Technology, Hyderabad（海得拉巴国际信息技术学院）
点击诱饵是一个贬义词，描述的是旨在产生在线广告收入的网络内容，特别是以牺牲质量或准确性为代价，依靠耸人听闻的标题或引人注目的缩略图来吸引点击率，并鼓励在在线社交网络上转发材料。我们使用分布式的单词表示的话在标题中的功能，以确定在网络新闻媒体的点击诱饵。我们使用线性回归来训练一个机器学习模型，以预测给定推文的cickbait得分。我们的方法实现了64.98%的F1分数和0.0791的MSE。与其他方法相比，我们的方法是简单的，快速的训练，不需要广泛的特征工程，但适度有效。
2017-10-08 cs.CL cs.IR
Lost in Sampling: Assessing Lexical Reachability in LLMs via the Word Coverage Score (WCS)
Information and Processing Telecommunications Center（信息与处理电信中心）；Universidad Politécnica de Madrid（马德里理工大学）；Politecnico di Milano（米兰理工大学）；Banco de España（西班牙银行）
提出词覆盖率（WCS）指标，量化标准采样过滤器（如Top-p、Top-k、Min-p）如何抑制低频率高信息词汇的生存率，揭示解码机制对语言多样性的影响。
2026-08-24 cs.AI cs.CL
The Arabic Generality Score: Another Dimension of Modeling Arabic Dialectness
MBZUAI；New York University Abu Dhabi（纽约大学阿布扎比分校）
针对阿拉伯方言连续体被NLP模型视为离散类别及现有ALDi单一维度局限，提出阿拉伯通用性得分（AGS）量化词汇方言使用广度，构建标注流程并训练回归模型，在基准上优于强基线。
2025-08-24 cs.AI cs.CL
Measuring Meaning Composition in the Human Brain with Composition Scores from Large Language Models
National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；Department of Linguistics and Translation, City University of Hong Kong（香港城市大学语言及翻译学系）
针对语义组合程度缺乏量化计算指标的问题，研究者基于Transformer前馈网络的键值记忆机制提出组合度指标，实验发现其与多个和语言加工相关的脑簇相关，为研究人脑语义组合提供了新工具。
2024-07-10 cs.AI cs.CL
A Context-Sensitive Word Embedding Approach for The Detection of Troll Tweets
Duzce University（杜兹大学）
本文评估BERT、ELMo、GloVe与CNN、GRU组合的挑衅性推文检测模型，发现采用GRU分类器的ELMo架构效果最佳，AUC达0.929。
2023-06-07 cs.AI cs.CL
CROWN: Conversational Passage Ranking by Reasoning over Word Networks
Max Planck Institute for Informatics（马克斯·普朗克信息学研究所）；Saarland Informatics Campus（萨尔兰信息学园区）
围绕一个主题的信息需求不能在一个回合中得到满足;用户通常会提出涉及同一主题的后续问题，系统必须能够理解请求的会话上下文以检索正确的答案。在本文中，我们向TREC对话协助跟踪2019提交了我们的意见书，其中探讨了这样的对话设置。我们提出了一个简单的无监督的方法，通过制定一个查询的相似性和连贯性相结合的通道分数的会话通道排名。具体来说，段落中包含的单词在语义上与问题中使用的单词相似，并且这些单词出现在附近。我们建立了一个词邻近网络（WPN）从一个大的语料库，其中的单词是节点，如果他们共同出现在同一个通道在统计上显着的方式，在一个上下文窗口的两个节点之间有一个边缘。我们的方法，名为CROWN，提高了nDCG分数在CAST训练数据上提供的Indri基线。根据CAsT的评估数据，我们的最佳运行提交在AP@5和nDCG@1000方面达到了高于平均水平的性能。
2020-02-11 cs.CL cs.IR
Dependency distance minimization predicts compression
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Universidade da Coruña（拉科鲁尼亚大学）
本研究通过平行树库检验依存距离最小化是否预测词长压缩，发现基于音素的新评分支持该二阶预测，而传统依存距离总和不支持，从而连接句法与词内部结构。
2021-12-04 cs.CL q-bio.NC
FA-Bench: A Benchmark for Phone- and Word-Level Timestamp Accuracy in Forced Alignment and ASR on Clean and Noisy Speech
FA-Bench是一个开放基准，统一协议下评估21个开放模型和9个商业API在干净和噪声条件下的强制对齐与ASR时间戳，采用容差F1消除分数膨胀，并发现Whisper提前150毫秒等系统性计时偏差。
2026-10-09 cs.CL cs.PF
Bi-Directional Lattice Recurrent Neural Networks for Confidence Estimation
ALTA Institute（ALTA研究所）；Cambridge University（剑桥大学）
减轻由自动语音识别系统产生的错误的标准方法是使用与每个预测单词相关联的置信度分数。在最简单的情况下，这些分数是单词后验概率，而更复杂的方案则利用双向递归神经网络（BiRNN）模型。然而，许多上游和下游应用程序依赖于不仅分配给1-最佳假设，而且分配给混淆网络或网格中的所有单词的置信度分数。这些包括但不限于说话人自适应，半监督训练和信息检索。虽然单词后验可以在这些应用中用作置信度分数，但已知它们具有可靠性问题。为了使改进的置信度更普遍，本文展示了如何将BiRNN从1-最佳序列扩展到混淆网络和格结构。实验是使用剑桥大学提交给IARPA OpenKWS 2016竞赛的一个作品进行的。结果表明，混淆网络和基于格的BiRNN可以显着提高置信度估计。
2019-02-18 cs.CL cs.LG cs.SD
Multi-Task Learning for End-to-End ASR Word and Utterance Confidence with Deletion Prediction
Google（谷歌）
置信度分数对于自动语音识别（ASR）系统的下游应用是非常有用的。最近的工作提出了使用神经网络来学习端到端ASR的单词或话语置信度得分。在这些研究中，单词置信度本身并不对删除进行建模，并且话语置信度并没有利用单词级训练信号。本文提出了联合学习单词置信度，单词删除和话语置信度。实证结果表明，具有所有三个目标的多任务学习提高了置信度指标（NCE，AUC，RMSE），而不需要增加置信度估计模块的模型大小。使用话语级置信度进行重新评分还可以将Google语音搜索和长尾地图数据集上的单词错误率相对降低3-5%，而无需专门的神经重新评分器。
2021-04-26 cs.CL cs.LG cs.SD
Contextual Aware Joint Probability Model Towards Question Answering System
Stanford University（斯坦福大学）
在本文中，我们解决了SQuAD 2.0数据集的问答挑战。我们设计了一个模型架构，利用BERT的上下文感知的词嵌入和Bioblog的上下文交互式探索机制的能力。通过整合这两个国家的最先进的架构，我们的系统试图提取上下文单词表示在单词和字符的水平，更好地理解问题和上下文及其相关性。我们还提出了我们原来的联合后验概率预测模块及其相关的损失函数。到目前为止，我们最好的模型在测试PCE排行榜上获得了75.842%的F1分数和72.24%的EM分数。
2019-04-17 cs.AI cs.CL
Evaluating topic coherence measures
Leipzig University（莱比锡大学）；Unister GmbH（Unister有限公司）
主题模型从文档中的字数中提取代表性的词集-称为主题-而不需要任何语义注释。主题不能保证是很好的解释，因此，一致性措施已被提出来区分好的和坏的主题。主题连贯的研究到目前为止，仅限于对单个单词的评分措施。这是第一次，我们包括从科学哲学的分数对更复杂的词子集的连贯性措施，并将其应用到主题评分。
2014-03-25 cs.CL cs.IR cs.LG
