An Exploratory Study on Utilising the Web of Linked Data for Product Data Mining
University of Sheffield（谢菲尔德大学）
在过去的十年中，关联开放数据实践导致了网络上结构化数据的显著增长。这种结构化数据以机器可读的方式描述真实世界的实体，并为自然语言处理领域的研究创造了前所未有的机会。然而，缺乏关于如何使用这些数据、用于何种任务以及这些数据在多大程度上对这些任务有用的研究。这项工作的重点是电子商务领域，探索利用这种结构化数据来创建语言资源，可用于产品分类和链接的方法。我们以RDF n-quads的形式处理数十亿个结构化数据点，以创建数百万个单词的产品相关语料库，这些语料库随后以三种不同的方式用于创建语言资源：训练词嵌入模型，继续预训练BERT类语言模型，以及训练用作代理的机器翻译模型以生成产品相关关键字。我们对一组广泛的基准测试的评估表明，词嵌入是提高这两项任务准确性的最可靠和一致的方法（在某些数据集上，宏观平均F1高达6.9个百分点）。但是，其他两种方法并不那么有用。我们的分析表明，这可能是由于一些原因，包括结构化数据中有偏见的领域表示和缺乏词汇覆盖。我们分享了我们的数据集，并讨论了如何将我们学到的经验教训用于未来的研究。
2022-06-24 cs.AI cs.CL
Quotations, Coreference Resolution, and Sentiment Annotations in Croatian News Articles: An Exploratory Study
Faculty of Humanities and Social Sciences, University of Zagreb（萨格勒布大学人文与社会科学学院）
本文提出了一个语料库注释的任务，直接语音提取在克罗地亚。本文主要对SETimes新闻语料库中克罗地亚语的引文标注、共指消解和情感标注进行研究，并分析其与英语的语言差异。由此，推导出在执行这些注释时需要特别注意的现象的列表。所生成的带有引文特征注释的语料库可以用于自然语言处理领域的多个任务。
2022-12-14 cs.CL
Bangla Text Dataset and Exploratory Analysis for Online Harassment Detection
Brac University（布拉克大学）
作为世界上第七大语言，孟加拉语的在线使用近年来有所增加。因此，分析孟加拉语文本数据以维护安全和无骚扰的在线场所变得非常重要。本文中提供的数据是从名人、政府官员、运动员在Facebook上的公开帖子中的评论中收集和标记的。收集的评论总数为44001。编译该数据集的目的是开发机器在自然语言处理的帮助下区分评论是否是欺凌表达的能力，以及如果是不恰当的评论，则在多大程度上是不恰当的。这些评论被贴上了不同类别的骚扰标签。本文还从不同的角度进行了探索性分析，以进行详细的概述。由于分类孟加拉语评论的数据汇集的稀缺性，该数据集可以在检测欺负词，识别不适当的评论，检测不同类别的孟加拉语欺负者等方面发挥重要作用。https://data.mendeley.com/datasets/9xjx8twk8p
2021-02-04 cs.CL cs.IR
Identification of Biased Terms in News Articles by Comparison of Outlet-specific Word Embeddings
University of Konstanz（康斯坦茨大学）；University of Wuppertal（伍珀塔尔大学）
倾斜的新闻报道，也被称为媒体偏见，可以严重影响新闻消费者对新闻的解读和反应。为了自动识别有偏见的语言，我们提出了一个探索性的方法，比较相关的词的上下文。我们训练了两个词嵌入模型，一个是左翼的文本，另一个是右翼的新闻媒体。我们的假设是，一个词的表示在两个词嵌入空间是更相似的非偏见的话比偏见的话。其基本思想是，不同新闻媒体中有偏见的词语的语境比无偏见的词语的语境变化更大，因为对一个词有偏见的看法取决于其语境。虽然我们没有发现统计意义接受的假设，结果表明该方法的有效性。例如，在两个词嵌入空间的线性映射之后，具有最大距离的31%的词潜在地引起偏差。为了改善结果，我们发现，数据集需要显着更大，我们得出进一步的方法作为未来的研究方向。据我们所知，本文提出了第一次深入研究的背景下，偏见的话衡量的词嵌入。
2021-12-14 cs.CL cs.IR
LLM for Complex Reasoning Task: An Exploratory Study in Fermi Problems
Gustavus Adolphus College（古斯塔夫斯·阿道弗斯学院）；Auburn University（奥本大学）；University of North Alabama（北阿拉巴马大学）；Murray State University（默里州立大学）
本研究探索了大型语言模型在解决费米问题中的能力与局限，发现三种先进LLMs的fp_score均低于0.5，且在标准问题上比特定问题表现更好。
2025-04-03 cs.CL
Task-Specific Dependency-based Word Embedding Methods
University of Southern California（南加州大学）；National University of Singapore（新加坡国立大学）
本文提出了两种基于任务相关性的词嵌入方法用于文本分类。与通用的词嵌入方法，通用的任务，我们设计的特定任务的词嵌入方法，以提供更好的性能在一个特定的任务。我们的方法遵循PPMI矩阵分解框架，并从依赖解析树中导出单词上下文。第一种是基于依存关系的词嵌入（DWE），它选择依存关系树中的关键词和目标词的相邻词作为上下文，构建词-上下文矩阵。第二种方法，名为类增强依赖性为基础的词嵌入（CEDWE），学习词上下文以及词类共现统计。DWE和CEDWE在流行的文本分类数据集上进行了评估，以证明其有效性。实验结果表明，它们优于几种最先进的词嵌入方法。
2021-10-26 cs.CL
Evaluating Contextualized Representations of (Spanish) Ambiguous Words: A New Lexical Resource and Empirical Analysis
UC San Diego（加州大学圣迭戈分校）
本文构建西班牙语歧义名词最小对句及人类相关性判断数据集，系统评估单语与多语BERT模型的语境化语义表征，揭示其与模型规模、架构层级及训练规格的关系。
2025-03-12 cs.CL
Word Sense Disambiguation using WSD specific Wordnet of Polysemy Words
Tribhuvan University（特里布万大学）；GBS
本文提出了一种基于线索词的多义词正确词义排歧的WordNet模型。一词多义或单义词的每个义项的相关词称为线索词。传统的WordNet将名词、动词、形容词和副词组织在一起，形成一组同义词，称为synset，每个synset表达不同的概念。与WordNet的结构相比，我们开发了一个新的WordNet模型，它组织多义词的不同意义以及基于线索词的单义词。这些用于多义词的每个含义以及单义词的线索词用于使用基于知识的词义消歧（WSD）算法来消除给定上下文中多义词的正确含义的歧义。提示词可以是名词、动词、形容词或副词。
2014-09-10 cs.CL
Learning Sense-Specific Static Embeddings using Contextualised Word Embeddings as a Proxy
University of Liverpool（利物浦大学）；Department of Computer Science（计算机科学系）；University of Liverpool, UK（英国利物浦大学）
从神经语言模型（NLM）（如BERT）生成的上下文化词嵌入表示具有向量的单词，该向量考虑目标单词的语义及其上下文。另一方面，静态词嵌入（如GloVe）通过相对低维、内存和计算效率高的向量表示词，但对词的不同含义不敏感。我们提出了上下文派生的嵌入的意义（CDES），一种方法，提取意义相关的信息，从上下文的嵌入，并将其注入到静态嵌入，以创建特定意义的静态嵌入。在词义消歧和词义判别任务的多个基准测试上的实验结果表明，CDES可以准确地学习特定于词义的静态嵌入，其性能与当前最先进的词义嵌入相当。
2021-10-06 cs.CL
A Neural Generative Model for Joint Learning Topics and Topic-Specific Word Embeddings
University of Warwick（华威大学）；Southeast University（东南大学）
我们提出了一种新的生成模型，以探索联合学习主题和特定主题的词嵌入的本地和全局上下文。特别是，我们假设，全球潜在的主题是共享的文件，一个词是由一个隐藏的语义向量编码其上下文语义含义，其上下文单词的条件下生成的隐藏的语义向量和全球潜在的主题。主题与词嵌入联合训练。经过训练的模型将单词映射到主题相关的嵌入，这自然解决了单词多义的问题。实验结果表明，该模型在词汇相似度评价和词义消歧方面均优于词级嵌入方法。此外，与现有的神经主题模型或用于主题和词嵌入的联合学习的其他模型相比，该模型还提取了更多的连贯主题。最后，该模型可以很容易地与现有的深度上下文化词嵌入学习方法集成，以进一步提高情感分类等下游任务的性能。
2020-08-11 cs.CL
Synergistic Union of Word2Vec and Lexicon for Domain Specific Semantic Similarity
University of Moratuwa（莫拉图瓦大学）；University of London（伦敦大学）
语义相似性度量是自然语言处理任务中的重要组成部分。然而，语义相似性的措施，建立了一般使用不执行特定领域内。因此，在这项研究中，我们引入了一个特定领域的语义相似性的措施，创建的协同联盟的word2vec，一个词嵌入方法，用于语义相似性计算和基于词典（词汇）的语义相似性方法。我们证明了该方法的性能优于在通用语料库上训练的词嵌入方法和在特定领域语料库上训练的方法，但不使用词汇语义相似度方法来增强结果。此外，我们证明了文本词形化可以提高词嵌入方法的性能。
2017-06-09 cs.CL
Domain-Specific Word Embeddings with Structure Prediction
TU Berlin（柏林工业大学）；University of Copenhagen（哥本哈根大学）；BIFOLD（柏林学习与数据基础研究所）；Le Mans Université（勒芒大学）；RIKEN Center for AIP（理化学研究所先进智能项目中心）
作为寻找良好的一般词嵌入的补充，表示学习的一个重要问题是寻找动态词嵌入，例如，跨越时间或领域。目前的方法没有提供一种方法来使用或预测子语料库，时间或域之间的结构和动态嵌入的信息，只能比较后对齐。我们提出了新的词嵌入方法，提供一般的词表示为整个语料库，特定领域的表示为每个子语料库，子语料库结构，并同时嵌入对齐。我们提出了一个经验评估纽约时报的文章和两个英文维基百科数据集的文章科学和哲学。我们的方法，称为Word2Vec与结构预测（W2VPred），提供了更好的性能比基线的一般类比测试，特定领域的类比测试，和多个特定的词嵌入评估以及结构预测性能时，没有结构是先验的。作为数字人文领域的一个用例，我们展示了如何从德国文本档案馆提出高等文学的新研究问题。
2022-10-06 cs.CL
NLP-KG: A System for Exploratory Search of Scientific Literature in Natural Language Processing
Technical University of Munich（慕尼黑工业大学）
本文提出NLP-KG系统，通过语义搜索、综述论文发现、研究领域层级图和知识问答聊天界面，支持用户在陌生NLP领域中进行探索式科学文献搜索。
2024-07-04 cs.CL
Learning Domain-Specific Word Embeddings from Sparse Cybersecurity Texts
University of Maryland, Baltimore County（马里兰大学巴尔的摩郡分校）；IBM（IBM公司）
词嵌入是一种自然语言处理（NLP）技术，它自动将词汇表中的词映射到嵌入空间中的实数向量。近年来，它已被广泛用于提高各种NLP任务的性能，如命名实体识别，句法分析和情感分析。经典的词嵌入方法，如Word2Vec和GloVe，在大型文本语料库中工作良好。当输入文本像在许多专门领域中那样稀疏时（例如，网络安全），这些方法往往不能产生高质量的载体。本文提出了一种从稀疏文本中训练特定领域词嵌入的新方法。除了领域文本，我们的方法还利用了不同类型的领域知识，如领域词汇和语义关系。具体来说，我们首先提出了一个通用的框架，编码不同类型的领域知识的文本注释。在此基础上，提出了一种新的词标注嵌入算法（WAE），将不同类型的文本标注融合到词嵌入中。我们已经评估了我们的方法在两个网络安全文本语料库：恶意软件描述语料库和常见的漏洞和暴露（CVE）语料库。我们的评估结果证明了我们的方法在学习特定领域的词嵌入方面的有效性。
2017-09-21 cs.CL
Multidirectional Associative Optimization of Function-Specific Word Representations
University of Cambridge（剑桥大学）；Imperial College London（帝国理工学院）；Technion, IIT（以色列理工学院）；PolyAI Limited（PolyAI有限公司）
我们提出了一个神经框架，用于学习相关的单词组之间的关联，如发现在主谓宾（SVO）结构。我们的模型诱导了一个联合功能特定的词向量空间，例如，合理的SVO组合物的向量躺在一起。该模型即使在联合空间中也保留了关于词组成员的信息，从而可以有效地应用于SVO结构上的一些推理任务。我们显示的鲁棒性和多功能性的建议框架报告国家的最先进的结果估计选择偏好和事件相似性的任务。结果表明，使用我们的任务无关模型学习的表示组合优于先前工作中的任务特定架构，同时将参数数量减少了95%。
2020-05-11 cs.CL
Word-specific tonal realizations in Mandarin
National Taiwan Normal University（台湾师范大学）；Anglia Ruskin University（安格利亚 Ruskin 大学）；Eberhard Karl University of Tübingen（图宾根艾伯哈德·卡尔大学）
本研究通过语料库分析和计算建模，发现普通话双字词的声调实现部分由词义决定，且词义对声调实现的预测力超过已知的词形相关因素。
2025-04-06 cs.CL
Domain Adapted Word Embeddings for Improved Sentiment Classification
University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
通用词嵌入是在大规模通用语料库上训练的;领域特定（DS）词嵌入只在来自感兴趣领域的数据上训练。本文提出了一种将通用嵌入的广度与领域特定嵌入的特异性相结合的方法。所得到的嵌入，称为域自适应（DA）词嵌入，通过使用典型相关分析（CCA）或相关的非线性核CCA对齐相应的词向量形成。情感分类任务的评估结果表明，DA嵌入大大优于通用和DS嵌入时，作为输入功能的标准或国家的最先进的句子编码算法进行分类。
2018-05-11 cs.CL
Learning Efficient Task-Specific Meta-Embeddings with Word Prisms
Mila – Québec AI Institute（魁北克人工智能研究所Mila）；McGill University（麦吉尔大学）；Bank of Montréal（蒙特利尔银行）
词嵌入被训练来预测词的共现统计，这使得它们具有不同的词汇属性（句法，语义等）。这取决于在训练时定义的上下文的概念。当查询嵌入空间以寻找最相似的向量时，以及当在经过训练以解决下游NLP问题的深度神经网络的输入层使用时，这些属性就会显现出来。元嵌入结合了多组不同训练的词嵌入，并且已经被证明成功地提高了仅使用一组源嵌入的等效模型的内在和外在性能。我们介绍单词棱镜：一种简单有效的元嵌入方法，它可以根据手头的任务学习组合源嵌入。Word prism学习正交变换来线性组合输入源嵌入，这使得它们在推理时非常有效。我们评估字棱镜相比，其他元嵌入方法的六个外在的评价，并观察到字棱镜提供的所有任务的性能改善。
2020-11-05 cs.CL
Personalized sentence generation using generative adversarial networks with author-specific word usage
University of Electronic Science and Technology of China（中国电子科技大学）；National Pingtung University（国立屏东大学）
作者专用词的使用是读者感知作者写作风格的重要特征。在这项工作中，个性化的句子生成方法的基础上生成对抗网络（GANs），提出了解决这个问题。在GAN训练中，将常用的功能词和内容词作为输入特征和句子结构约束。对于由用户决定的相关主题的句子生成，输入词的命名实体识别（NER）信息也用于网络训练。将该方法与基于GAN的句子生成方法进行了比较，实验结果表明，基于BLEU和SimHash评分等客观评价，使用该方法生成的句子与同一作者的原始句子更相似。
2019-04-20 cs.CL
Domain-Specific Sentiment Word Extraction by Seed Expansion and Pattern Generation
Harbin Institute of Technology（哈尔滨工业大学）；The Chinese University of Hong Kong（香港中文大学）
本文主要研究情感分析的一个基本子任务--领域情感词的自动抽取。大多数以前的工作都使用手动模式来完成此任务。然而，这些方法的性能高度依赖于标记的模式或选择的种子。为了克服上述问题，本文提出了一个自动框架来检测大规模领域特定模式的DSSW提取。为此，情感种子是从大量的用户评论数据集中提取的。随后，这些情感种子使用自举机制通过同义词扩展。同时，建立同义图，并在所建立的同义图上应用图传播算法。然后，自动提取目标词和高排名的情感词之间的句法和顺序关系，构建大规模模式，进一步用于提取DSSW。在三个领域的实验结果表明，我们的方法的有效性。
2013-09-26 cs.CL
How Contextual are Contextualized Word Representations? Comparing the Geometry of BERT, ELMo, and GPT-2 Embeddings
Stanford University（斯坦福大学）；University of Toronto（多伦多大学）
用上下文化的词表示代替静态的词嵌入，在许多NLP任务上都有了显著的改进。然而，ELMo和BERT等模型产生的语境化表示究竟有多语境化呢？每个词是否有无限多个上下文特定的表征，或者词本质上被分配了有限数量的词义表征之一？首先，我们发现所有单词的语境化表示在语境化模型的任何一层都不是各向同性的。虽然相同单词在不同上下文中的表示仍然比两个不同单词的表示具有更大的余弦相似性，但这种自相似性在上层中要低得多。这表明上下文化模型的上层产生更多的上下文特定的表示，就像LSTM的上层产生更多的任务特定的表示一样。在ELMo、BERT和GPT-2的所有层中，平均而言，一个词的上下文表示中只有不到5%的方差可以通过该词的静态嵌入来解释，这为上下文表示的成功提供了一些理由。
2019-09-02 cs.CL
Learning Task-specific Representation for Novel Words in Sequence Labeling
Fudan University（复旦大学）
词表示是基于神经网络的序列标记系统的关键组成部分。然而，在最终任务上训练的看不见的或罕见的单词的表征通常是不好的，无法获得可观的表现。这通常被称为词汇表外（OOV）问题。在这项工作中，我们只使用任务的训练数据来解决序列标记中的OOV问题。为此，我们提出了一种新的方法来预测表示OOV字从他们的表面形式（例如，字符序列）和上下文。该方法是专门设计的，以避免现有的方法在相同的范例所遭受的错误传播问题。为了评估其有效性，我们进行了广泛的实证研究，四个词性标注（POS）任务和四个命名实体识别（NER）任务。实验结果表明，该方法可以实现更好的或竞争的性能上的OOV问题相比，现有的国家的最先进的方法。
2019-05-29 cs.CL
Self-Cognition in Large Language Models: An Exploratory Study
Huazhong University of Science and Technology（华中科技大学）；Duke University（杜克大学）；Lehigh University（里海大学）
本文首次系统探索大型语言模型的自我认知，通过构建提示池和量化原则发现4个模型具有可检测的自我认知，并揭示其与模型规模、数据质量正相关，且能增强创意写作等任务。
2024-07-01 cs.AI cs.CL
Mining for Species, Locations, Habitats, and Ecosystems from Scientific Papers in Invasion Biology: A Large-Scale Exploratory Study with Large Language Models
TIB Leibniz Information Centre for Science and Technology（TIB莱布尼茨科学与技术信息中心）；University of Colorado Boulder（科罗拉多大学博尔德分校）；Friedrich Schiller University Jena（弗里德里希·席勒·耶拿大学）；Bielefeld University（比勒费尔德大学）；University College London（伦敦大学学院）
本研究探索利用未经领域微调的通用大语言模型从入侵生物学文献中提取物种、位置、栖息地和生态系统等关键生态实体，揭示了该方法的潜力与局限，为开发自动化知识提取工具以辅助管理生物入侵奠定基础。
2025-01-30 cs.AI cs.CL cs.DL
A Probabilistic Framework for Learning Domain Specific Hierarchical Word Embeddings
Amazon（亚马逊）；University of Melbourne（墨尔本大学）
一个词的含义往往因其在不同领域的用法而异。标准的词嵌入模型很难表示这种变化，因为它们学习一个词的单一全局表示。我们提出了一种方法来学习特定领域的词嵌入，从文本组织成层次结构的领域，如在电子商务网站的评论，其中产品遵循分类。我们的结构化概率模型允许向量表示相同的词漂移远离对方的分类法中的遥远的领域，以适应其特定领域的含义。通过联合学习特定于领域的单词表示集，我们的模型可以利用领域关系，并且它可以随着领域的数量而扩展。使用大型真实世界的评论数据集，我们证明了我们的模型与最先进的方法相比的有效性，在学习特定领域的词嵌入，这对人类来说是直观的，并有利于下游NLP任务。
2019-10-20 cs.CL cs.LG
Misleading the Covid-19 vaccination discourse on Twitter: An exploratory study of infodemic around the pandemic
University of Tartu（塔尔图大学）；Nanyang Technological University（南洋理工大学）
在这项工作中，我们收集了一个中等规模的有代表性的推文语料库（约200，000条）在七个月期间（2020年9月至2021年3月）接种新冠肺炎疫苗。遵循迁移学习方法，我们利用预先训练的基于Transformer的XLNet模型将推文分类为误导性或非误导性，并手动验证结果的随机子集。我们以此为基础，研究和对比的特点，在语料库中的推文是误导性的非误导性的。这种探索性分析使我们能够设计特征（如情感，标签，名词，代词等），这些特征反过来可以用于以可解释的方式使用各种ML模型将推文分类为（非）误导。具体来说，使用几个ML模型进行预测，准确率高达90%，并使用SHAP可解释AI（XAI）工具解释每个特征的重要性。虽然这项工作的主旨主要是探索性分析，以获得关于新冠疫苗接种的在线讨论的见解，但我们总结了这些见解如何为减少错误信息的更可行方法提供基础。策划的数据集和代码是可用的（Github存储库），以便整个研究社区可以复制，比较或建立在这项工作上。
2022-11-25 cs.CL cs.SI
SemAxis: A Lightweight Framework to Characterize Domain-Specific Word Semantics Beyond Sentiment
Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Indiana University（印第安纳大学）
由于单词语义可以在社区和上下文中发生实质性变化，因此捕获特定于领域的单词语义是一个重要的挑战。在这里，我们提出了SEMAXIS，一个简单而强大的框架来表征词的语义使用许多语义轴的词向量空间超越情感。我们证明，SEMAXIS可以捕捉到细微差别的语义表示在多个在线社区。我们还表明，当情感轴进行检查，SEMAXIS优于国家的最先进的方法在建设特定领域的情感词典。
2018-06-14 cs.CL cs.CY
TestAgent: Automatic Benchmarking and Exploratory Interaction for Evaluating LLMs in Vertical Domains
Shanghai Key Laboratory of Computer Software Testing and Evaluating, Shanghai Development Center of Computer Software Technology（上海软件测试与评估关键实验室、上海计算机软件技术发展中心）；Shanghai Normal University（上海师范大学）；Shanghai Artificial Intelligence Lab（上海人工智能实验室）；Shanghai University（上海大学）；Shanghai Jiao Tong University（上海交通大学）
针对垂直领域LLM评估中静态单轮数据集构建成本高且与真实动态交互不符的问题，提出TestAgent框架，利用检索增强生成和强化学习引导的多轮交互实现自动基准创建与动态探索评估，在医疗、法律、政府领域验证了其高效性和深入洞察力。
2025-09-25 cs.AI cs.CL
On the Impact of Temporal Representations on Metaphor Detection
University of Milano-Bicocca（米兰比可卡大学）；FIZ Karlsruhe - Leibniz Institute for Information Infrastructure（FIZ卡尔斯鲁厄——莱布尼茨信息基础设施研究所）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
现有的隐喻检测方法使用基于神经网络的隐喻分类器来比较它们的字面意义或核心意义以及它们的上下文意义。然而，由于文化和社会的影响，隐喻表达方式随着时间的推移而演变。人们知道隐喻表达与语言和字面词义共同进化，甚至在某种程度上推动了这种进化。这就提出了一个问题，即不同的，可能是特定时间的，字面意义的表征是否会影响隐喻检测任务。据我们所知，这是第一个研究，探讨隐喻检测任务，详细的探索性分析，不同的时间和静态词嵌入被用来解释不同的表征字面意义。我们的实验分析是基于三个流行的基准用于隐喻检测和词嵌入提取不同的语料库和时间对齐使用不同的国家的最先进的方法。结果表明，不同的静态词嵌入方法的使用确实影响隐喻检测任务，一些时间词嵌入略优于静态方法。然而，研究结果也表明，时间词嵌入可能提供表征的核心意义的隐喻，甚至太接近他们的上下文意义，从而混淆分类。总的来说，时间语言进化和隐喻检测之间的相互作用在我们的实验中使用的基准数据集似乎很小。这表明，未来对这一重要语言现象的计算分析工作应该首先从创建一个新的数据集开始，在这个数据集上更好地表示这种相互作用。
2022-04-29 cs.AI cs.CL
Word Embeddings for Banking Industry
本文构建并评估银行领域专用词嵌入，发现其相较 GloVe、BERT 更能捕捉银行业语义与词语关联，可独立使用或补充通用嵌入。
2023-06-02 cs.AI cs.CL
Utility of General and Specific Word Embeddings for Classifying Translational Stages of Research
NYU Langone Health（纽约大学朗格尼医学中心）
传统的文本分类模型做了一个词袋的假设，将文本减少到每个文档的单词出现计数。最近的算法，如word2vec，能够使用上下文窗口以完全无监督的方式学习单词之间的语义含义和相似性，并且比以前的方法快得多。每个单词都被投影到向量空间中，使得类似意义的单词如“strong”和“powerful”被投影到相同的一般欧几里得空间中。关于这些嵌入的公开问题包括它们在分类任务中的效用以及构建广泛功能嵌入的最佳属性和文档来源。在这项工作中，我们展示了预训练的嵌入在我们的任务中用于分类的有用性，并证明了在域中为任务构建的自定义词嵌入可以提高性能，而不是在更一般的数据（包括新闻文章或维基百科）上学习的词嵌入。
2018-07-09 cs.CL stat.ML
Task-specific Word Identification from Short Texts Using a Convolutional Neural Network
Tongji University（同济大学）；University of Arkansas（阿肯色大学）
特定任务词识别的目的是选择与任务相关的词，最好地描述一个简短的文本。现有的方法需要定义良好的种子词或词典（例如，WordNet），这些技术通常不适用于许多应用，例如社会歧视检测和虚假评论检测。然而，我们通常有一组带标签的短文本，其中每个短文本都有一个与任务相关的类标签，例如，歧视性或非歧视性，由用户指定或通过分类算法学习。在本文中，我们专注于识别特定于任务的单词和短语，从短文本利用其类标签，而不是使用种子词或词汇字典。我们将特定于任务的单词和短语识别视为特征学习。我们在一组标记文本上训练一个卷积神经网络，并使用分数向量来定位特定于任务的单词和短语。情感词识别的实验结果表明，我们的方法显着优于现有的方法。我们进一步进行两个案例研究，以显示我们的方法的有效性。一个爬行的推文数据集上的案例研究表明，我们的方法可以成功地捕获歧视相关的词/短语。另一个关于虚假评论检测的案例研究表明，我们的方法可以识别虚假评论词/短语。
2017-06-03 cs.CL cs.IR cs.LG
Opportunities and Challenges of Applying Large Language Models in Building Energy Efficiency and Decarbonization Studies: An Exploratory Overview
University of Arizona（亚利桑那大学）；National Renewable Energy Laboratory（国家可再生能源实验室）；Drexel University（德雷塞尔大学）
该综述探究大语言模型在建筑能效与脱碳领域的应用潜力与多场景能力，分析其计算成本、数据安全等挑战，呼吁开展领域适配、多模态及跨学科协作研究。
2023-12-18 cs.CL cs.SY eess.SY
A new kid on the block: Distributional semantics predicts the word-specific tone signatures of monosyllabic words in conversational Taiwan Mandarin
Quantitative Linguistics, Eberhard Karls Universität Tübingen（数量语言学，图宾根大学）；Center for Language Studies, Radboud University（语言研究所以，拉德堡德大学）
研究通过分布语义揭示口语台语单字的调型特征，证明语义对音高实现的决定性影响。
2025-11-21 cs.CL cs.SD
Instant One-Shot Word-Learning for Context-Specific Neural Sequence-to-Sequence Speech Recognition
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Carnegie Mellon University（卡内基梅隆大学）
神经序列到序列系统为自动语音识别（ASR）提供最先进的性能。当使用适当的建模单位时，例如，字节对编码的字符，这些系统原则上是开放的词汇系统。然而，在实践中，他们经常无法识别在训练期间没有看到的单词，例如，命名实体、数字或技术术语。为了缓解这个问题，我们补充了一个端到端的ASR系统与单词/短语的内存和访问该内存的机制，以正确地识别单词和短语。在ASR系统的训练之后，并且当它已经被部署时，可以立即添加或减去相关单词，而不需要进一步的训练。在本文中，我们证明了通过这种机制，我们的系统能够识别超过85%的新添加的单词，它以前没有识别相比，一个强大的基线。
2021-07-05 cs.CL cs.LG
Deep Learning and Word Embeddings for Tweet Classification for Crisis Response
University of York（约克大学）；University of Hail（哈伊勒大学）
用于危机响应的传统推文分类模型专注于卷积层和特定领域的词嵌入。在本文中，我们研究了不同的神经网络与通用和特定领域的词嵌入的应用，以调查他们的能力，以提高性能的推文分类模型。我们在CrisisNLP数据集上评估了四个推文分类模型，并获得了可比较的结果，这表明可以使用GloVe等通用词嵌入来代替特定领域的词嵌入，特别是使用Bi-LSTM，结果报告了62.04%F1分数的最高性能。
2019-03-26 cs.CL cs.LG
Analyzing Scientific Publications using Domain-Specific Word Embedding and Topic Modelling
SUTD-MIT International Design Centre（新加坡科技设计大学-麻省理工学院国际设计中心）；Singapore University of Technology and Design（新加坡科技设计大学）
科学世界正在快速变化，新技术的开发和新趋势的出现越来越频繁。本文提出了一个对学术出版物进行科学分析的框架，这对于监测研究趋势和识别潜在的创新至关重要。该框架采用并结合了自然语言处理的各种技术，如词嵌入和主题建模。词嵌入用于获取特定领域词的语义。我们提出了两个新的科学出版物嵌入，即，PUB-G和PUB-W，能够学习各种研究领域中的通用词和特定领域词的语义。此后，主题建模用于确定这些较大的研究领域内的研究主题集群。我们策划了一个出版物数据集，包括1995年至2020年两个研究领域的两个会议和两种期刊。实验结果表明，我们的PUB-G和PUB-W嵌入优于其他基线嵌入的基础上主题一致性的利润率为~0.18-1.03。
2021-12-24 cs.AI cs.CL
Learning Domain-Sensitive and Sentiment-Aware Word Embeddings
The Chinese University of Hong Kong（香港中文大学）；Tencent AI Lab（腾讯人工智能实验室）
词嵌入由于其对词的语义表示的有效性而被广泛用于情感分类。给定来自不同领域的评论，用于词嵌入的一些现有方法利用情感信息，但是它们不能产生领域敏感的嵌入。另一方面，其他一些现有的方法可以生成领域敏感的词嵌入，但它们不能区分具有相似上下文但相反情感极性的词。我们提出了一种新的方法来学习领域敏感和情感感知的嵌入，同时捕获信息的情感语义和领域敏感性的个别单词。我们的方法可以自动确定和产生域公共嵌入和域特定嵌入。领域通用词和领域专用词的区分实现了来自多个领域的通用语义的数据增强的优点，并且同时捕获来自不同领域的特定词的不同语义。实验结果表明，我们的模型提供了一种有效的方法来学习领域敏感和情感感知的词嵌入，有利于情感分类在句子级别和词汇术语级别。
2018-05-10 cs.AI cs.CL
An Exploratory Study of Tweets about the SARS-CoV-2 Omicron Variant: Insights from Sentiment Analysis, Language Interpretation, Source Tracking, Type Classification, and Embedded URL Detection
University of Cincinnati（辛辛那提大学）
本文介绍了一项探索性研究的结果，该研究针对Twitter上不断生成的大数据，这些数据与分享有关COVID-19大流行的信息、新闻、观点、意见、想法、反馈和经验有关，特别关注Omicron变体，这是目前SARS-CoV-2的全球主要变体。共研究了12028条关于Omicron变体的推文，并分析了推文的具体特征，包括情感，语言，来源，类型和嵌入式URL。这项研究的结果是多方面的。首先，从情感分析中，观察到50.5%的推文具有中性情感。其他情绪-坏的，好的，可怕的和伟大的分别在15.6%，14.0%，12.5%和7.5%的推文中被发现。其次，语言翻译的结果显示，65.9%的推文是用英语发布的。其次是西班牙语、法语、意大利语和其他语言。第三，来源追踪的结果显示，Android版Twitter与35.2%的推文相关。紧随其后的是Twitter Web App、iPhone版Twitter、iPad版Twitter和其他来源。第四，研究推文的类型发现，转发占推文的60.8%，其次是原创推文和回复，分别占推文的19.8%和19.4%。第五，在嵌入URL分析方面，发现最常见的嵌入推文的域名是twitter.com，其次是biorxiv.org，nature.com和其他域名。最后，为了支持该领域的类似研究，我们开发了一个Twitter数据集，该数据集包含自2021年11月24日首次发现该变体病例以…
2022-07-20 cs.CL cs.LG cs.SI
An Exploratory Ablation of a Small MLA--SSM Hybrid Language Model
SAP
对TALH混合语言模型进行消融实验，发现移除SSM分支影响最大，而移除MLA影响较小，结果支持特定实现假设而非通用结论。
2026-09-25 cs.AI cs.CL cs.IR
Why Does ChatGPT "Delve" So Much? Exploring the Sources of Lexical Overrepresentation in Large Language Models
Florida State University（佛罗里达州立大学）
本研究通过形式化方法识别出21个因LLM使用而过度出现的科学摘要词汇，并探究其过度表征的原因，发现模型架构、算法或训练数据并非主因，RLHF可能起一定作用，但实验显示参与者对“delve”反应特殊，凸显了模型开发透明度对研究的重要性。
2024-12-16 cs.AI cs.CL cs.LG
ReviewerGPT? An Exploratory Study on Using Large Language Models for Paper Reviewing
Carnegie Mellon University（卡内基梅隆大学）
本文通过初步研究与三项任务实验评估GPT-4辅助论文评审的能力，发现其擅长识别错误和核验清单，但难以可靠比较论文优劣。
2023-06-01 cs.AI cs.CL cs.DL
