AIPsy-Affect: A Keyword-Free Clinical Stimulus Battery for Mechanistic Interpretability of Emotion in Language Models
Keido Labs(Keido实验室)
本文提出AIPsy-Affect,一种480项的临床刺激电池,通过叙事情境引发Plutchik的八种基本情绪,消除关键词混淆,支持情绪机制的可解释性研究。
2026-04-28 cs.AI cs.CL
Optimizing Recommendations using Fine-Tuned LLMs
Whiting School of Engineering EP Program(韦廷工程学院EP项目);John Hopkins University(约翰霍普金斯大学)
本文通过建模真实用户交互生成复杂聊天风格合成数据集,使推荐系统支持情绪、情节和主题等自然偏好查询,并验证其在模型训练与基准测试中的有效性。
2025-05-11 cs.AI cs.IR cs.LG
Study of keyword extraction techniques for Electric Double Layer Capacitor domain using text similarity indexes: An experimental analysis
关键词在选择各种主题相关的文档时非常容易。由人类或专家分配的主题或关键字提供准确的信息。然而,这种做法在资源和时间管理方面是相当昂贵的。因此,使用自动关键字提取技术更令人满意。然而,在开始自动化过程之前,有必要检查和确认专家提供的关键字和算法生成的关键字有多相似。本文提出了一种实验分析的关键词相似性得分的不同监督和无监督的自动关键词提取算法与专家提供的关键词从双电层电容器(EDLC)域。本文还分析了哪些文本提供了更好的关键词,如肯定句或文档的所有句子。在无监督算法中,YAKE,TopicRank,MultipartiteRank和KPMiner用于关键字提取。从监督算法,KEA和WINGNUS的关键字提取。为了评估所提取的关键词与专家提供的关键词的相似性,本研究采用了Jaccard,余弦和余弦与词向量相似性指数。实验结果表明,MultipartiteRank关键词提取技术与余弦词向量相似度指标的测量产生最好的结果与92%的相似度与专家提供的关键词。本研究可以帮助自然语言处理领域的研究人员选择更合适的关键词提取和相似度计算技术。
2021-11-13 cs.IR
Multi-LLM Thematic Analysis with Dual Reliability Metrics: Combining Cohen's Kappa and Semantic Similarity for Qualitative Research Validation
AZA Lab, Department of Psychiatry, Yale University(AZA实验室、精神病学系、耶鲁大学);Department of Psychiatry and Behavioral Sciences, Center for Collective Healing, Howard University(精神病学与行为科学系、集体愈合中心、霍华德大学);Department of Psychology, University of Exeter(心理学系、埃克塞特大学)
本文提出一种结合Cohen's Kappa和语义相似性的多LLM主题分析框架,通过多轮验证提升定性研究的可靠性。
2026-02-14 cs.AI cs.CL
sCAKE: Semantic Connectivity Aware Keyword Extraction
关键词提取是文本分析中的一项重要任务。在本文中,我们提出了一个关键的问题和挑战的讨论,基于图形的关键字提取方法,以及全面的实证分析。我们提出了一种无参数的方法来构建文本图,捕捉单词之间的上下文关系。提出了一种基于概念间联系的词汇评分方法。我们证明,这两个建议是单独优于那些其次是国家的最先进的基于图形的关键字提取算法。结合所提出的图的建设和评分方法,导致一种新的,无参数的关键字提取方法(sCAKE)的基础上,在文档中的单词的语义连接。由于几种语言的NLP工具有限,我们还设计并提出了一种与语言无关的关键字提取(LAKE)方法。我们通过使用统计过滤器来消除对NLP工具的需要,以在构建图之前识别候选关键字。我们表明,由此产生的方法是一个称职的解决方案,从缺乏复杂的NLP支持的文档oflanguages提取关键字。
2018-11-27 cs.IR
New Method for Keyword Extraction for Patent Claims
针对专利现有技术检索多采用频率分析法提取关键词的现状,提出一种依托专利权利要求信息呈现方式的关键词提取新方法并完成验证。
2024-07-08 cs.IR
From Precision to Perception: User-Centred Evaluation of Keyword Extraction Algorithms for Internet-Scale Contextual Advertising
Umeå University(于默奥大学);Malmö University(马尔默大学)
本研究评估了三种关键字提取算法在情境广告中的表现,发现KeyBERT在用户偏好与计算效率间取得平衡,揭示了传统精度指标与用户感知效率间的差距。
2026-01-16 cs.IR
Keyword Extraction for Identifying Social Actors
Universitas Sumatera Utara(北苏门答腊大学);Universiti Kebangsaan Malaysia(马来西亚国民大学)
识别社会行动者已成为人工智能的任务之一,其中提取关键字从网页片段依赖于使用的Web是稳步获得地面在这项研究中。因此,我们开发了一种基于重叠原则的方法,利用收集的功能在网页摘要,使用关键字将消除不相关的网页。
2012-12-13 cs.CL cs.IR
KSW: Khmer Stop Word based Dictionary for Keyword Extraction
Institute of Technology of Cambodia(柬埔寨理工学院);University of Cologne(科隆大学)
本文提出KSW,一种基于定制停用词词典的高棉语关键词提取方法,通过预处理移除停用词,显著提升提取准确性和相关性,并公开资源。
2024-05-27 cs.CL cs.IR
A Model for Personalized Keyword Extraction from Web Pages using Segmentation
万维网满足了不同群体中数十亿用户的需求。访问万维网的每一个用户都可能有他/她自己的具体兴趣,并期望万维网对具体要求作出反应。使网络以定制的方式反应的过程是通过个性化来实现的。本文提出了一种新的网页关键词抽取模型,该模型将个性化与网页关键词抽取相结合,通过网页分割来解决网页关键词抽取问题,使问题变得简单有效。该模型被实现为一个原型,并进行了实验,它的经验验证了模型的效率。
2012-04-02 cs.IR
Context and Keyword Extraction in Plain Text Using a Graph Representation
文献标引是档案工作者或自动标引工具完成的一项基本任务。要检索相关的文档查询,描述这个文件的关键字必须仔细选择。档案管理员必须在开始提取关键字之前找到文档的正确主题。对于一个索引专门文件的档案工作者来说,经验起着重要的作用。但是索引不同主题的文档要困难得多。本文提出了一种创新的标引支持系统的方法。该系统将本体和纯文本文档作为输入,并提供文档的上下文关键字作为输出。该方法已被评估利用维基百科的类别链接作为一个术语本体资源。
2009-12-08 cs.IR
Keyword Extraction for Improved Document Retrieval in Conversational Search
University of Amsterdam(阿姆斯特丹大学)
最近的研究表明,基于用户和计算机之间的交互来澄清和改进查询的混合主动会话搜索提供了巨大的优势。尽管如此,合并用户从对话中提供的附加信息提出了一些挑战。事实上,进一步的交互可能会使系统感到困惑,因为用户可能会使用与信息需求无关的词语,但在多轮对话的背景下,这些词语对于正确的句子构建至关重要。为此,在本文中,我们收集了两个会话关键字提取数据集,并提出了一个端到端的文档检索管道,将它们结合起来。此外,我们研究了两个神经关键词提取模型,即BERT和序列到序列,在提取精度和人类注释方面的性能。最后,我们研究了关键词提取对端到端神经IR性能的影响,并表明我们的方法击败了最先进的IR模型。我们公开这两个数据集,以促进这一领域的研究。
2021-09-22 cs.CL cs.IR
Toward Selectivity Based Keyword Extraction for Croatian News
University of Rijeka(里耶卡大学)
克罗地亚语基于网络的关键词提取的初步报告是一种从复杂网络中提取关键词的无监督方法。我们建立了一个新的网络测量节点的选择性,基于图的中心性方法的研究的动机,我们的方法。节点选择性被定义为单个节点的链路上的平均权重分布。我们根据选择性值提取节点(关键字候选)。此外,我们扩展提取的节点,以字元组排名最高的进/出选择性值。基于选择性的抽取不需要语言学知识,而纯粹是从源文本中包含的统计和结构信息中得到的,这些信息反映在网络的结构中。在手动注释的关键字上评估获得的集合:对于提取的关键字候选集合,平均F1分数为24,63%,平均F2分数为21,19%;对于提取的单词元组候选,平均F1分数为25,9%,平均F2分数为24,47%。
2014-07-17 cs.CL cs.IR cs.SI
Toward Network-based Keyword Extraction from Multitopic Web Documents
University of Rijeka(里耶卡大学)
本文分析了在关键词自动抽取任务中,从复杂网络中计算出的选择性测度。从不同的网络资源(门户网站,论坛)收集的文本,表示为有向和加权的词的共现复杂网络。词是节点,如果它们在句子中直接共现,则在两个节点之间建立链接。我们测试不同的中心性措施排名节点-关键字候选人。使用选择性措施取得了可喜的成果。然后,我们提出了一种方法,使提取词对的值的输入/输出的选择性和权重措施结合过滤。
2014-07-14 cs.CL cs.IR
Enhancing Unsupervised Keyword Extraction in Academic Papers through Integrating Highlights with Abstract
Department of Information Management, Nanjing University of Science and Technology(南京理工大学信息管理学院)
本文通过整合摘要与高亮内容提升学术论文的无监督关键词提取,实验表明结合两者能显著提高提取性能,同时探讨了摘要与高亮内容在关键词覆盖和内容上的差异及其对提取结果的影响。
2026-04-21 cs.CL cs.DL cs.IR
Replication of the Keyword Extraction part of the paper "'Without the Clutter of Unimportant Words': Descriptive Keyphrases for Text Visualization"
Stanford University(斯坦福大学)
“关键词提取”是指自动识别自然语言文本中最相关和信息量最大的短语的任务。当我们被大量不同形式和内容的文本数据所淹没时--电子邮件、博客、推文、Facebook帖子、学术论文、新闻文章--通过某种方式将这些文本总结成一个连贯的结构来“理解”所有这些文本的任务变得至关重要。关键词提取--自然语言处理中一个公认的问题--可以在这里帮助我们。在这份报告中,我们构建并测试了三个不同的假设(都与关键词提取任务有关),这些假设使我们更接近于理解如何有意义地识别和提取“描述性”关键词。这里报告的工作是作为复制Chuang等人研究的一部分完成的。[3]。
2019-08-15 cs.CL cs.DL cs.IR
Building a Multimodal Dataset of Academic Paper for Keyword Extraction
Department of Information Management, Nanjing University of Science and Technology(南京理工大学经济管理学院信息管理系);Department of Archives and E-government, Soochow University(苏州大学社会学院档案与电子政务系)
针对关键词提取任务缺乏多模态数据的问题,构建包含文本、图像、音频和关键词的学术论文多模态数据集,实验表明融合多模态文本能有效提升关键词提取性能。
2026-07-01 cs.CL cs.DL cs.HC
Unsupervised Learning Algorithms for Keyword Extraction in an Undergraduate Thesis
近年来,许多学术机构管理的数据量有所增加,特别是在本科生所做的所有研究工作中,他们只是使用经验技术进行关键字选择,忘记了现有的技术方法来帮助他们的学生在这个过程中。信息和通信技术,如负责的综合研究和学术工作平台(PILAR),以各种方式记录有关研究项目的信息,如标题、摘要和关键词,在这些项目的管理中具有相关性和重要性。我们用本研究中分析的研究项目的这些记录证明了算法,并对来自数据集的7430条记录中的每条记录实现的无监督机器学习算法的九(09)个模型中的每一个进行了预测。为该数据集提取关键词的最有效方法是TF-IDF方法,该模型处理的每个论文文件的平均提取时间为[0.4786,SD 0.0501],准确率为72%。
2022-06-23 cs.IR
An evaluation of keyword extraction from online communication for the characterisation of social relations
Technische Universität München(慕尼黑工业大学)
社交网络服务或类似在线社区上的人际关系集通常是高度异质的。领带强度的概念只抓住了这种异质性的一个方面。由于非结构化的文本内容的在线通信文物是一个显着的社会关系的信息来源,我们调查的实用程序的关键字提取的消息体作为一个代表的关系的特点所反映的会话主题。使用标准自然语言处理方法执行关键字提取。通过自定义应用程序从Facebook用户获得通信数据和对提取的关键字的人工评估。总体积极的质量评估提供了证据,表明关键词确实传达了关于关系的相关信息。
2014-02-11 cs.CL cs.IR cs.SI
Adaptive Keywords Extraction with Contextual Bandits for Advertising on Parked Domains
域名注册商和URL缩短器服务提供商将广告放置在停放的域(未使用的互联网域名)上以产生利润。由于Web内容已被删除,因此确保显示的广告与已被定向到停放域的访问者的意图直接相关至关重要。由于这些领域中缺少内容,因此生成关键字来描述先前的内容并因此描述用户意图是不平凡的。本文讨论了自适应关键词抽取问题,提出了一种基于BM25F词加权和线性多臂强盗的自适应关键词抽取算法。我们在生产域注册系统上构建了一个原型,并使用众包进行多次迭代对其进行评估。原型与其他流行的方法进行了比较,并被证明是更有效的。
2013-07-12 cs.IR
Query Generation for Patent Retrieval with Keyword Extraction based on Syntactic Features
Amsterdam Business School, University of Amsterdam(阿姆斯特丹大学阿姆斯特丹商学院);European Patent Office(欧洲专利局);Institute of Informatics, University of Amsterdam(阿姆斯特丹大学信息学院)
本文介绍了一种从专利权利要求中提取相关关键词的新方法,作为检索具有类似权利要求的其他专利(检索现有技术)任务的一部分。该方法结合了定性分析的写作风格的权利要求与自然语言处理方法来解析文本,以表示一个法律文本作为一个专业化的术语树状结构。在这种情况下,提取的关键字集合产生的搜索结果比使用传统方法(如tf-idf)提取的关键字更好。性能是在由提取的关键字组成的查询的搜索结果上测量的。
2019-06-18 cs.CL cs.IR
Cross-Domain Keyword Extraction with Keyness Patterns
Wuhan Textile University(武汉纺织大学);Huazhong University of Science and Technology(华中科技大学)
本文提出一种基于关键度模式的有监督关键词排序抽取方法,利用独立与依赖特征及双卷积神经网络模型结合自举采样策略,有效克服领域依赖与标注主观性,在多个数据集上实现了最先进且稳健的跨领域性能。
2024-09-27 cs.CL cs.IR cs.NE
RaKUn: Rank-based Keyword extraction via Unsupervised learning and Meta vertex aggregation
Jožef Stefan International Postgraduate School(约瑟夫·斯特凡国际研究生院);Jožef Stefan Institute(约瑟夫·斯特凡研究所);Usher Institute, Medical School, University of Edinburgh(爱丁堡大学医学院厄舍研究所)
关键词提取用于概括文档的内容,并支持高效的文档检索,因此是现代基于文本的系统不可或缺的一部分。我们探讨如何负载中心性,适用于从给定的文本衍生的图形的图论测量可以用来有效地识别和排名的关键字。引入Meta顶点(现有顶点的聚合)和系统的冗余过滤器,所提出的方法在14个不同的数据集上执行与最先进的关键字提取任务。该方法是无监督的,可解释的,也可以用于文档可视化。
2019-11-11 cs.CL cs.IR cs.LG
Keyword and Keyphrase Extraction Using Centrality Measures on Collocation Networks
University of North Texas(北德克萨斯大学);Pennsylvania State University(宾夕法尼亚州立大学)
关键词和关键短语提取是自然语言处理中的一个重要问题,其应用范围从摘要到语义搜索再到文档聚类。基于图的关键词和关键短语提取方法避免了通过在词网络上应用PageRank算法的变体来获取大型域内训练语料库的问题。虽然基于图的方法是知识贫乏的,很容易在在线系统中采用,但它们是否能从PageRank以外的中心性度量中受益,在很大程度上仍然是开放的。在本文中,我们在单词和名词短语搭配网络上实验了一系列中心性度量,并在四个基准数据集上分析了它们的性能。不仅有中心性指标的表现与PageRank一样好或更好,而且它们更简单(例如,度、强度和邻域大小)。此外,基于中心的方法给出的结果与两个强无监督基线竞争,并且在某些情况下优于两个强无监督基线。
2014-01-25 cs.CL cs.IR
Complex Network based Supervised Keyword Extractor
University of Delhi(德里大学)
在本文中,我们提出了一个监督的框架自动提取关键字从单文档。我们将文本建模为复杂网络,通过提取选择节点属性来构造特征集,并利用几个节点属性,通过无监督的、基于图的关键词提取方法来区分关键词和非关键词。我们利用节点属性之间复杂的相互作用来设计一种有监督的关键字提取方法。训练集是从特征集中创建的,方法是根据候选关键字是否被列为黄金标准关键字,为每个候选关键字分配一个标签。由于文档中关键字的数量远远少于非关键字,因此策划的训练集自然是不平衡的。我们训练一个二元分类器来预测关键字后,平衡的训练集。该模型使用来自科学领域的两个公共数据集进行训练,并使用三个看不见的科学语料库和一个新闻语料库进行测试。与最近几种关键词和关键短语提取方法的比较研究结果表明,该方法在大多数情况下表现更好。这证实了我们的说法,图论属性的话是有效的关键字和非关键字之间的鉴别。我们支持我们的论点表明,所提出的方法的改进性能是统计上显着的所有数据集。我们还评估了预训练模型在印地语和阿萨姆语文档上的有效性。我们观察到,该模型对跨语言文本的表现同样出色,即使它只在英语文档上进行训练。这表明,该方法是独立的领域,收集和语言的训练语料库。
2019-09-26 cs.IR cs.LG
Letting the Data Speak: Extracting Keywords from Crowdsourced Collections with AI
该研究以二战数字收藏为案例,评估三种自然语言处理方法用于众包集合关键词提取,涵盖多种人工智能技术。结果显示各方法有潜力但无完整方案,模型影响结果,还指出自动提取关键词有管理责任,开放式模型较优,生成式人工智能有风险。
2026-07-13 cs.AI cs.CL cs.DL
Automatic Keyword Extraction from Spoken Text. A Comparison of two Lexical Resources: the EDR and WordNet
词汇资源,如WordNet和EDR电子词典已被用于几个NLP任务。也许,部分原因是EDR不是免费提供的,WordNet的使用频率远远超过EDR。我们在同一任务中使用了这两种资源,以便进行比较。该任务是自动分配关键字到多方对话片段(即口语文本的主题连贯延伸)。我们表明,在这样的任务中使用的词汇资源的结果比使用一个纯粹的基于统计的方法略高的性能。
2004-10-25 cs.CL cs.DL cs.IR
Retrieval-efficiency trade-off of Unsupervised Keyword Extraction
本文提出一种无监督关键词提取方法,通过顺序合并文档部分并利用个性化PageRank,在保持最先进检索性能的同时,速度比现有方法快两个数量级,并能在不到一分钟内处理1400万篇文档。
2022-08-15 cs.IR
Solar cell patent classification method based on keyword extraction and deep neural network
随着ESG对企业的影响越来越大,与可再生能源相关的研究受到了极大的关注。太阳能电池就是其中之一,因此,可以说太阳能电池专利分析的研究价值非常高。专利文献具有很高的研究价值。能够准确地分析和分类专利文件可以揭示几个重要的技术关系。它还可以描述该技术的业务趋势。而在投资方面,也会激发并提出新的工业解决方案来做出重要决策。因此,我们必须仔细分析专利文件,利用专利的价值。针对太阳能电池专利分类问题,提出了关键词提取方法和基于深度神经网络的太阳能电池专利分类方法。首先,对太阳能电池专利进行预处理分析。然后使用KeyBERT算法从专利摘要中提取关键词和关键短语,构建词汇词典。基于深度神经网络构建了太阳能电池专利分类模型。最后,我们使用基于深度神经网络的太阳能电池专利分类模型对电力专利进行分类,训练准确率大于95%。验证准确率约为87.5%。可见,深度神经网络方法不仅可以实现对复杂、困难的太阳能电池专利的分类,而且分类效果良好。
2021-12-09 cs.CL cs.IR
Audio enabled information extraction system for cricket and hockey domains
Pondicherry Engineering College(本地治理工程学院)
所提出的系统的目的是检索的总结信息从基于Web的搜索引擎收集的文件,根据用户查询有关板球和曲棍球域。该系统的设计方式,它采取的语音命令作为关键字进行搜索。查询中的词性是使用英语的自然语言提取器提取的。基于关键字,搜索被分为两种类型:1.概念方面-基于关键字和与之相关的概念词检索与查询相关的信息。检索到的信息使用概率方法和加权平均算法进行汇总。2.关键字搜索-从搜索引擎从搜索中检索到的高排名文档中提取与查询相关的结果。检索相关的搜索结果,然后使用关键字对零件进行汇总。在总结过程中,它遵循加权和概率方法,以确定与提取的关键词可比的数据。然后,通过聚合过程反复细化提取的信息,以减少冗余。最后,结果数据以音频输出的形式提交给用户。
2010-04-26 cs.IR cs.MM cs.SD
KeyXtract Twitter Model - An Essential Keywords Extraction Model for Twitter Designed using NLP Tools
University of Kelaniya(凯拉尼亚大学)
由于一条推文被限制在140个字符以内,传统的自然语言处理(NLP)工具很难分析。本研究提出了KeyXtract,它增强了基于机器学习的Stanford CoreNLP词性(POS)标记器与Twitter模型,从推文中提取关键词。该系统是使用基于规则的解析器和两个语料库。该研究的数据来自一家电信公司的Twitter简介。该系统的开发包括两个阶段。在初始阶段,在分析推文之后编译特定领域的语料库。POS标记器提取名词短语和动词短语,而解析器去除噪声并提取POS标记器遗漏的任何其他关键字。使用图灵测试对系统进行了评估。在与Stanford CoreNLP进行测试和比较后,开发了系统的第二阶段,解决了第一阶段的缺点。它使用命名实体识别和词形化进行了增强。第二阶段也使用图灵测试进行测试,其通过率从50.00%提高到83.33%。使用F1评分测量最终系统输出的性能。斯坦福大学CoreNLP与Twitter模型的平均F1为0.69,而改进后的系统的F1为0.77。通过使用完整的领域特定语料库,可以提高系统的准确性。由于该系统使用了句子的语言特征,因此可以应用于其他NLP工具。
2017-08-09 cs.CL cs.IR
Improving Performance of Automatic Keyword Extraction (AKE) Methods Using PoS-Tagging and Enhanced Semantic-Awareness
Institute of Cyber Security for Society (iCSS) & School of Computing(社会网络安全研究所(iCSS)及计算机学院);University of Kent(肯特大学);Shanghai Jiao Tong University(上海交通大学)
本文提出一种基于后处理的通用方法,通过结合词性标注、专业术语库和Wikipedia命名实体增强语义感知,显著提升了五种最先进AKE方法在17个数据集上的F1分数(平均提升25.8%)。
2025-01-23 cs.CL cs.IR
Thesis: Document Summarization with applications to Keyword extraction and Image Retrieval
Indian Institute of Technology, Bombay(印度理工学院孟买分校)
本文研究文档摘要技术,提出基于 rank aggregation 与相关性反馈的图像推荐方法,并设计 submodular functions 平衡意见摘要中的压缩与情感检测需求,在图像检索与摘要生成任务上均优于基线。
2024-05-20 cs.AI cs.CL cs.IR
Topic mining based on fine-tuning Sentence-BERT and LDA
Inner Mongolia University(内蒙古大学)
本文提出微调Sentence-BERT结合LDA的主题挖掘方法,用于电商在线评论细粒度属性分析,主题一致性比对比模型高0.5,提升了主题提取准确性。
2025-04-07 cs.CL cs.IR
TEST: A Terminology Extraction System for Technology Related Terms
跟踪高度动态的数据技术领域的发展对于跟上人工智能(AI)各个领域的新技术和工具至关重要。然而,很难跟踪所有相关的技术关键字。在本文中,我们提出了一个新的系统,解决这个问题。该工具用于自动检测文本中是否存在新技术和工具,并提取用于描述这些新技术的术语。提取的新术语可以记录为新的AI技术,因为它们在网络中被动态发现。它随后可以被分类为相关的语义标签和AI域。我们提出的工具是基于一个两阶段的级联模型-第一阶段分类,如果句子中包含一个技术术语或不;和第二阶段确定的技术关键字在句子中。我们获得了有竞争力的准确性的句子分类和文本识别的任务。
2019-03-07 cs.IR
On- Device Information Extraction from Screenshots in form of tags
Samsung Research Institute, Bangalore(三星研究院(班加罗尔))
我们提出了一种方法,使移动屏幕截图容易搜索。在本文中,我们提出了工作流程,其中我们:1)预处理屏幕截图的集合,2)识别图像中存在的脚本,3)从图像中提取非结构化文本,4)识别所提取文本的语言,5)从文本中提取关键字,6)基于图像特征识别标签,7)通过识别相关关键字扩展标签集,8)在排名后插入具有相关图像的图像标签,并将其编入索引,以使其在设备上可搜索。我们制作了支持多种语言的管道,并在设备上执行,这解决了隐私问题。我们为流水线中的组件开发了新的架构,优化了设备上计算的性能和内存。我们从实验中观察到,开发的解决方案可以减少整体用户的努力,并提高最终用户体验,而搜索,其结果被公布。
2020-01-11 cs.CL cs.CV cs.IR
Event Extraction: A Survey
University of Oregon(俄勒冈大学)
从文本中提取报道事件是自然语言处理的关键研究课题之一。这个过程包括几个任务,如事件检测,参数提取,角色标记。事件抽取是自然语言处理和自然语言理解领域的重要研究课题之一,其应用领域广泛,如新闻通讯、生物医学、历史人文、网络安全等。这份报告提出了一个全面的调查事件检测文本文件。在本报告中,我们提供了任务定义,评估方法,以及基准数据集和事件提取方法的分类。我们还提出了我们的愿景,未来的研究方向在事件检测。
2022-10-10 cs.CL cs.IR cs.LG
Using LLM-Based Approaches to Enhance and Automate Topic Labeling
本研究利用大型语言模型自动生成主题标签,提出新指标评估标签语义代表性,提升主题建模输出质量。
2025-02-03 cs.IR
Automating Historical Insight Extraction from Large-Scale Newspaper Archives via Neural Topic Modeling
Department of Computer Science , University of Luxembourg , 2, place de l’Université , 4365 , Esch-Belval Esch-sur-Alzette , Luxembourg;Centre for Contemporary \& Digital History (C 2 DH) , University of Luxembourg , 11 Porte des Sciences , 4366 , Esch-Belval Esch-sur-Alzette , Luxembourg
本研究利用BERTopic模型从1955至2018年的新闻档案中提取核能与核安全相关的主题,分析其时间演变,揭示公众 discourse 的长期趋势与变化。
2025-12-12 cs.AI cs.CL cs.IR
Combining Language and Graph Models for Semi-structured Information Extraction on the Web
University of Chicago(芝加哥大学);Argonne National Lab(阿贡国家实验室)
本文提出GraphScholarBERT,通过联合图与语言模型,在仅给定关系简短描述且无需额外训练的情况下,从半结构化网页中抽取干净的目标关系,并在零样本领域和零样本网站设置下将F1分数提升多达34.8%。
2024-02-21 cs.CL cs.IR
Health, Psychosocial, and Social issues emanating from COVID-19 pandemic based on Social Media Comments using Natural Language Processing
Dalhousie University(达尔豪斯大学);University of Saskatchewan(萨斯喀彻温大学)
COVID-19大流行已造成全球健康危机,影响人类生活的多个方面。在缺乏疫苗和抗病毒药物的情况下,已经实施了一些行为改变和政策措施,例如物理距离,以控制冠状病毒的传播。社交媒体数据可以揭示公众对全球各国政府和卫生机构如何处理大流行病的看法,以及这种疾病对人们的影响,无论他们的地理位置与阻碍或促进全球控制大流行病传播的各种因素一致。本文旨在利用社交媒体数据调查COVID-19大流行对全球人们的影响。我们应用自然语言处理和主题分析,利用社交媒体数据了解公众对COVID-19疫情的意见、体验和问题。首先,我们从Twitter、Facebook、YouTube和三个在线论坛收集了超过4700万条与COVID-19相关的评论。其次,我们执行数据预处理,包括应用NLP技术来清理和准备自动主题提取的数据。第三,我们应用上下文感知的NLP方法从超过100万条随机选择的评论中提取有意义的关键词或主题,并计算每个主题的情感得分,并使用基于词典的技术根据得分分配情感极性。第四,我们将相关主题归类为更广泛的主题。共出现34个负面主题,其中15个为公众视角的健康相关问题、心理社会问题及与COVID-19疫情相关的社会问题。此外,从我们的研究结果中还发现了20个积极的主题。最后,我们建议的干预措施,可以帮助解决基于积极的主题和其他补救的想法植根于研究的负面问题。
2020-07-23 cs.CL cs.IR cs.SI
New/s/leak 2.0 - Multilingual Information Extraction and Visualization for Investigative Journalism
Universität Hamburg(汉堡大学)
近年来,调查性新闻面临着两大挑战:1)大量非结构化数据来源于大量文本收集,如泄漏或对信息自由请求的回应; 2)由于政治,商业和公民社会的全球合作和沟通加强,多语言数据。面对这些挑战,记者们越来越多地在国际网络中合作。为了支持这样的合作,我们推出了新版本的new/s/leak 2.0,这是我们的开源软件,用于基于内容的泄漏搜索。它包括三个新的主要功能:1)自动语言检测和40种语言的语言相关信息抽取,2)实体和关键字可视化,以实现有效的探索,以及3)分散部署,用于分析各种格式的机密数据。我们用一个典型的案例研究来说明新的分析能力。
2018-07-13 cs.CL cs.IR
LAME: Layout Aware Metadata Extraction Approach for Research Articles
Kumoh National Institute of Technology(国立金乌工科大学);Korea Institute of Science and Technology Information(韩国科学技术信息研究院);Korea University of Technology and Education(韩国技术教育大学)
学术会议论文和期刊等学术文献的数量在全世界迅速增加,关于元数据提取的研究正在进行中。然而,高性能的元数据提取仍然是具有挑战性的,由于不同的布局格式,根据期刊出版商。为了适应学术期刊布局的多样性,我们提出了一种新的布局感知元数据提取(LAME)框架,该框架具有三个特征(例如,自动布局分析的设计、大型元数据训练集的构建以及布局-MetaBERT的构建)。我们设计了一个自动布局分析使用PDFMiner。在版面分析的基础上,自动提取了大量的元数据分离的训练数据,包括标题、摘要、作者姓名、作者所属单位和关键词。此外,我们还构建了Layout-MetaBERT来提取不同版面格式的学术期刊的元数据。Layout-MetaBERT的实验结果显示,在不同布局格式的未见过期刊的元数据提取中,Macro-F1,93.27%表现出鲁棒的性能。
2021-12-23 cs.DL cs.IR cs.LG