Bundle Fragments into a Whole: Mining More Complete Clusters via Submodular Selection of Interesting webpages for Web Topic Detection
Beijing University of Technology(北京工业大学);University of Chinese Academy of Sciences(中国科学院大学)
针对网络话题检测中话题候选多为片段的问题,提出捆绑-细化方法,利用子模优化细化粗略话题,在两个公开数据集上显著优于现有方法。
2024-09-19 cs.AI cs.IR
A Research Vision for Web Search on Emerging Topics
本文提出了针对新兴主题网络搜索的研究愿景,指出新兴信息具有稀疏、动态及易受操纵等挑战,并围绕系统现状分析、需求确定与系统构建提出了三个核心研究问题及相关文献指引。
2025-09-12 cs.IR
Text Network Exploration via Heterogeneous Web of Topics
Shanghai Jiao Tong University(上海交通大学)
文本网络是指每个顶点与一个文本文档相关联,文档之间的关系由边表示的数据类型。诸如超链接网页和学术引文网络的文本网络的激增导致了对快速开发新的文本网络(即文本网络探索)的一般意义的需求的增加。在本文中,我们通过构建一个异构的主题网络,它允许人们调查一个文本网络相关联的词级与文档级的文本网络,解决了文本网络探索的问题。为了实现这一点,提出了一个概率生成模型的文本和链接,其中三个不同的关系,在异构主题Web量化。我们还开发了一个原型演示系统TopicAtlas来展示这种异构的主题网络,并演示了该系统如何促进文本网络探索的任务。广泛的定性分析,包括验证这个异构的主题网络的有效性。此外,我们在现实生活中的文本网络上验证了我们的模型,表明它在客观评价指标上保持了良好的性能。
2016-10-02 cs.CL cs.IR cs.SI
DS@GT at LongEval: Evaluating Temporal Performance in Web Search Systems and Topics with Two-Stage Retrieval
DS@GT团队在CLEF 2025 LongEval中,基于Qwant数据集采用查询扩展与文档重排序的两阶段稀疏检索系统,评估并缓解Web内容演变导致的IR模型性能下降问题,最佳系统平均NDCG@10达0.296。
2025-07-11 cs.IR
TPRM: A Topic-based Personalized Ranking Model for Web Search
Artificial Intelligence Application Research Center, Huawei Technologies(华为技术有限公司人工智能应用研究中心)
排名模型已经取得了可喜的成果,但它仍然具有挑战性的设计个性化的排名系统,利用用户简档和查询和文档之间的语义表示。在本文中,我们提出了一个基于主题的个性化排名模型(TPRM),结合用户的主题配置文件与预先训练的上下文术语表示量身定制的一般文档排序列表。在真实数据集上的实验表明,TPRM的性能明显优于最先进的ad-hoc排名模型和个性化排名模型。
2021-08-13 cs.AI cs.CL cs.IR
TOPICAL: TOPIC Pages AutomagicaLly
Terrence Donnelly Centre(特伦斯·多内利中心);Vector Institute for AI(矢量人工智能研究所);Allen Institute for AI(艾伦人工智能研究所);Northwestern University(西北大学);University of Washington(华盛顿大学);University of Toronto(多伦多大学)
本文提出TOPICAL系统,通过结合检索、聚类和提示的自动化流水线为生物医学等科学实体生成高质量主题页面,人工评估验证了其相关性、准确性和连贯性。
2024-05-03 cs.CL cs.DL cs.IR
Classifying Web Exploits with Topic Modeling
这篇简短的实证论文研究了主题建模和数据库元数据特征如何对公开披露的软件漏洞的Web和其他概念验证(proof-of-concept,缩写为EIP)利用进行分类。通过使用由超过36000个恶意攻击组成的数据集,在实证实验中获得了接近0.9的准确率。文本挖掘和主题建模是这种分类性能背后的重要推动因素。除了这些实证结果,本文有助于提高软件漏洞信息与文本挖掘的研究传统,也提供了一些学术意见的潜力,半自动分类的利用现有的跟踪基础设施。
2017-10-16 cs.CR cs.IR cs.SE
The Role of the Task Topic in Web Search of Different Task Types
当用户在Web上查找信息时,他们对不同的任务类型表现出不同的行为,例如,用于事实调查和信息收集任务。例如,这一领域的相关工作已经研究了如何测量这种行为并将其应用于区分简单和困难的任务。在这项工作中,我们看看在新闻领域的四个不同的任务类型,另外,在每个任务类型的两个不同的主题的行为。搜索行为是衡量与会话变量和相关的主观措施,如任务难度,任务成功和有用的文件。我们承认在这方面的任务难度与用户的努力,容易和困难的任务是可区分的会话变量之前的结果。然而,在这项工作中,我们强调任务主题的作用-本身-在参数,如搜索结果和阅读内容页面,停留时间,会话变量和主观的措施,如任务难度或任务成功。有了这些知识,研究人员应该更多地关注任务主题作为用户行为的重要影响因素。
2018-08-21 cs.IR
Leveraging web resources for keyword assignment to short text documents
检索与文档相关的关键词对于文档的高效检索、聚类和管理非常重要。特别是随着网络语料库充斥着数字文档,自动化这项任务是至关重要的。关键词分配是一个广泛的研究课题,它是指用关键词、关键短语或主题对文档进行标注。对于文本文档,关键字分配技术已经在两个子主题下发展:自动关键字提取(AKE)和自动关键短语抽象。然而,在文献中为全文文档开发的方法不能用于将关键字分配给低文本内容文档,如twitter提要、新闻剪辑、产品评论甚至短学术文本。在这项工作中,我们指出了在标记这些低文本内容的文档中遇到的几个实际挑战。作为这些挑战的解决方案,我们表明,所提出的方法,利用知识,从几个开源的网络资源,提高质量的标签(关键字)分配给低文本内容的文档。所提出的方法的性能进行了测试,在现实世界的语料库组成的学术文件的文本内容范围从只有文本的标题文件(5-10字)的摘要文本/摘要(100- 150字)。我们发现,所提出的方法不仅提高了关键字分配的准确性,但提供了一个计算效率高的解决方案,可用于现实世界中的应用。
2017-06-19 cs.DL cs.IR
A Focused Crawler Combinatory Link and Content Model Based on T-Graph Principles
一个专注的网络爬虫的两个重要任务是在网络上找到相关的特定主题的文档,并分析它们的优先级,以便以后有效和可靠的下载。对于第一个任务,我们提出了一个复杂的自定义算法来获取和分析最有效的HTML结构元素的页面,以及主题边界和锚文本的每个未访问的链接,基于此的主题焦点的未访问的页面可以预测,并得出一个高精度。因此,我们的新方法独特地结合了基于链接和基于内容的方法。对于第二个任务,我们提出了一个评分功能的相关网址,通过使用T图(宝藏图),以帮助优先级的未访问的链接,稍后将被放入提取队列。我们的网络搜索系统叫做寻宝者。本文给出了满足主题式网络爬虫基本要求的Treasure-Crawler系统的体系结构设计,并通过实例和测试结果验证了系统结构及其各个模块的正确性。
2013-05-30 cs.DL cs.IR
Information Retrieval on the web and its evaluation
互联网是数以百万计的人的主要信息来源之一。人们可以在互联网上找到几乎所有问题的相关信息。此外,如果我们想检索关于某个特定主题的信息,我们可能会发现与该主题相关的数千个网页。但我们主要关心的是从这些集合中找到相关的网页。因此,在本文中,我讨论了如何从网络上检索信息和检索这些信息所需的努力,在系统和用户的努力。
2012-09-28 cs.IR
Practical method to reclassify Web of Science articles into unique subject categories and broad disciplines
在大型数据库中将书目项目分类为主题和学科对于许多定量科学研究是必不可少的。Web of Science将期刊分为约250个主题类别,这是许多研究的基础,已知有一些基本问题和一些实际限制,可能会影响这些研究的结果。在这里,我们提出了一个易于复制的方法来执行重新分类的Web的科学到现有的主题类别和14个广泛的领域。我们的重新分类是在文章的水平上,因此它保留了同一期刊上发表的个别文章之间可能存在的学科差异。重新分类还消除了50%的条目中存在的模糊(多个)类别,并为来自广泛覆盖的期刊(如《自然》和《科学》)的所有文章分配学科/领域类别。手动评估指定主题类别的正确性,发现其正确性约为95%。
2020-01-08 cs.DL cs.IR
Topical Result Caching in Web Search Engines
在信息检索系统中采用缓存搜索结果来加快查询处理并减少后端服务器的工作量。出于观察,属于不同的主题有不同的时间-局部性模式的查询,我们研究了一种新的缓存模型称为STD(静态主题动态缓存)。它改进了传统的静态-动态缓存(SDC),在一个静态缓存中存储流行的查询的结果,并管理动态缓存的替换策略,拦截查询流中的时间变化。我们提出的缓存方案包括用于基于主题的缓存的另一层,其中条目被分配给不同的主题(例如,天气,教育)。以主题为特征的查询的结果被保存在专用于它的高速缓存的部分中。这允许使高速缓存空间利用率适应各种主题的时间局部性,并减少由于那些既不足够流行以在静态部分中也不在短时间间隔内被请求以在动态部分中的查询而导致的高速缓存未命中。我们模拟不同的配置STD使用两个现实世界的查询流。实验表明,我们的方法优于SDC的增加高达3%的命中率,和高达36%的差距减少w.r.t.从理论上讲SDC是最优缓存算法.
2020-01-09 cs.DB cs.IR
Computing Web-scale Topic Models using an Asynchronous Parameter Server
University of Amsterdam(阿姆斯特丹大学);ETH Zürich(苏黎世联邦理工学院)
诸如潜在狄利克雷分配(LDA)的主题模型已被广泛用于信息检索中,用于从平滑和反馈方法到探索性搜索和发现的工具的任务。然而,经典的方法推断主题模型不扩大到今天的公开可用的Web规模的数据集的大规模。最先进的方法依赖于自定义策略、实现和硬件来促进其异步、通信密集型工作负载。我们提出了APS-LDA,它集成了最先进的主题建模与集群计算框架,如Spark使用一种新的异步参数服务器。这种集成的优点包括方便地使用现有的数据处理管道,并消除了对磁盘写入的需要,因为数据可以从头到尾保存在内存中。我们的目标不是超越高度定制的实现,而是提出一个通用的高性能主题建模框架,可以很容易地用于今天的数据处理管道。我们将APS-LDA与现有的Spark LDA实现进行了比较,并表明我们的系统可以在480核集群上处理多达135倍的数据和10倍的主题,而不会牺牲模型质量。
2017-06-18 cs.DC cs.IR cs.LG
Analysis and Evaluation of the Link and Content Based Focused Treasure-Crawler
随着Web的规模和分布呈指数级增长,为Web编制索引正成为搜索引擎的一项艰巨任务。目前,克服这个问题的最有效的已知方法是使用集中爬虫。聚焦爬虫应用适当的算法来检测Web上与其感兴趣的主题相关的页面。为此,我们提出了一个自定义的方法,使用特定的HTML元素的页面来预测所有的页面,有一个未访问的链接在当前页面的主题焦点。这些识别出的主题页面必须在以后根据它们与爬虫的主主题的相关性进行排序,以便进一步实际下载。在Treasure-Crawler中,我们使用了一个称为T-Graph的层次结构,它是一个示例性的指南,可以为每个未访问的链接分配适当的优先级得分。稍后将根据此优先级下载这些URL。本文概述了Treasure-Crawler系统的体系结构设计,并给出了该系统的实现、测试结果和性能评估。Treasure-Crawler是根据信息检索标准进行评估的,比如查全率和查准率,两者的值都接近0.5。取得这样的成果证明了所提出的方法的重要性。
2013-06-01 cs.DL cs.IR
Evaluating Elements of Web-based Data Enrichment for Pseudo-Relevance Feedback Retrieval
在这项工作中,我们分析了一个伪相关检索方法的基础上,Web搜索引擎的结果。通过使用来自Web搜索引擎结果页面和链接内容的文本数据来丰富主题,我们训练特定于主题且具有成本效益的分类器,这些分类器可用于搜索相关文档的测试集合。在Grossman和Cormack最初在TREC Common Core 2018上所做的尝试的基础上,我们考虑到不同的搜索引擎,查询和测试集合,解决了系统性能随时间推移的问题。我们的实验结果显示了所考虑的组件如何以及在多大程度上影响检索性能。总体而言,分析的方法是强大的平均检索性能和一个有前途的方式来使用Web内容的数据丰富的相关反馈方法。
2022-03-10 cs.IR
Reliability in Time: Evaluating the Web Sources of Information on COVID-19 in Wikipedia across Various Language Editions from the Beginning of the Pandemic
互联网上有超过10亿个网站,可以作为各种主题的信息来源。维基百科是这种在线资源最受欢迎的例子之一。这个公共知识库由来自世界各地的数百万用户共同编辑。每种语言版本的维基百科中的信息可以独立创建和编辑。因此,我们可以观察到其中所述的陈述和事实中的某些不一致之处-取决于语言和主题。根据维基百科内容创作指南,维基百科条目中的信息应基于可靠的已发布来源。因此,基于这样一个合作编辑的百科全书的数据,我们也应该能够找到特定主题的重要来源。这种效果可能对个人和组织有用。维基百科条目中来源的可靠性取决于上下文。因此,同一来源(网站)在维基百科中可能有不同程度的可靠性,这取决于主题和语言版本。此外,同一来源的可靠性可能会随着时间的推移而变化。本研究的目的是确定一个特定主题的可靠来源-COVID-19大流行。这种分析是在选定的语言版本和选定的时间段内对维基百科的真实数据进行的。
2022-04-29 cs.IR stat.AP
User Intent Inference for Web Search and Conversational Agents
Emory University(埃默里大学)
用户意图理解是设计会话代理和搜索引擎的关键步骤。检测或推断用户意图是具有挑战性的,因为用户话语或查询可能是简短的、模糊的并且依赖于上下文。针对这些研究挑战,本文的研究工作主要集中在:1)会话主体的话语主题和意图分类; 2)Web搜索引擎的查询意图挖掘和分类,主要针对电子商务领域。为了解决第一个问题,我提出了新的模型,将实体信息和会话上下文线索,以预测用户的话语的主题和意图。对于第二个研究主题,我计划将现有的Web搜索意图预测方法扩展到电子商务领域,通过:1)开发一个联合学习模型来预测搜索查询的意图和与之相关的产品类别,2)发现新的隐藏用户的意图。所有的模型都将在一个主要的电子商务网站搜索引擎的真实查询上进行评估。来自这些研究的结果可以被利用来提高各种任务的性能,诸如自然语言理解、查询范围确定、查询建议和排名,从而产生丰富的用户体验。
2020-07-08 cs.CL cs.IR
Semi-Automatic Terminology Ontology Learning Based on Topic Modeling
Indian Institute of Information Technology, Allahabad(印度信息技术学院阿拉哈巴德分校)
本体提供了诸如通用词汇表、可重用性、机器可读内容等特征,并且还允许语义搜索、促进代理交互以及语义Web(Web 3.0)应用的知识的排序和结构化。然而,本体工程中的挑战是自动学习,即,仍然缺乏使用机器学习技术从各种主题的文本语料库或数据集形成本体的全自动方法。本文研究了两种主题建模算法,即LSI & SVD和Mr.LDA,用于主题本体的学习。目标是确定文档和术语之间的统计关系,以最小的人为干预构建主题本体和本体图。通过构建主题本体和对用户查询进行语义检索的实验分析,验证了该方法的有效性。
2017-08-05 cs.CL cs.IR
Scatter Networks: A New Approach for Analyzing Information Scatter on the Web
关于任何给定主题的信息通常分散在网络上。以前,这种分散的特点是通过一组事实(即信息片段)在网页上的分布,表明通常几个页面包含许多关于主题的事实,而许多页面只包含少数事实。虽然这些方法揭示了重要的分散现象,但它们是有损的,因为它们隐藏了特定事实(例如,罕见事实)如何在特定类型的页面(例如,事实丰富的页面)中发生。为了揭示这种不确定性,我们构建了二分网络,由两种类型的顶点组成:网页中包含的事实和网页本身。这样的表示使一系列的网络分析技术的应用,揭示结构特征,如连接性,鲁棒性和聚类。我们讨论了这些功能中的每一个对用户在线查找全面信息的能力的影响。最后,我们比较了网页和事实的二分图结构和网页之间的超链接结构。
2007-05-30 cs.IR
Improved and Robust Controversy Detection in General Web Pages Using Semantic Approaches under Large Scale Conditions
University of Amsterdam(阿姆斯特丹大学)
检测一般网页中的争议是一项艰巨的任务,但对于有效地缓和讨论和有效地过滤有问题的内容越来越重要。不幸的是,争议发生在许多主题和领域,随着时间的推移有很大的变化。本文研究了神经分类器作为一种更强大的方法,在一般的网页争议检测。当前的模型通常将一般网页上的争议检测作为维基百科链接或精确的词汇匹配任务。争议的多样性和不断变化的性质表明,语义方法能够更好地发现争议。我们训练神经网络,它可以使用弱信号数据从文本中捕获语义信息。通过利用词嵌入的语义特性,我们稳健地改进了现有的争议检测方法。为了评估模型随时间和未知主题的稳定性,我们在不同的训练条件下评估模型性能,以测试跨时间,跨主题,跨领域性能和注释器一致性。在这样做的过程中,我们证明了基于弱信号的神经方法更接近人类对争议的估计,并且对争议的固有可变性更具鲁棒性。
2018-12-02 cs.CL cs.IR
Effective Focused Crawling Based on Content and Link Structure Analysis
一个聚焦的爬虫遍历网络,选择出相关的页面到一个预定义的主题,忽略那些不关心的。在网上冲浪时,很难处理不相关的页面,也很难预测哪些链接会导致高质量的页面。本文提出了一种有效的聚焦爬行技术,以提高Web导航的质量。检查网页的相似性w.r.t.主题关键词使用相似度函数,并且基于Meta数据和从聚焦爬虫生成的结果页面来计算提取出的外链接的优先级。所提出的工作还使用了一种方法来遍历爬行过程中遇到的不相关的页面,以提高特定主题的覆盖率。
2009-06-27 cs.IR
PinLanding: Content-First Keyword Landing Page Generation via Multi-Modal AI for Web-Scale Discovery
Pinterest(Pinterest公司);Stanford University(斯坦福大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出 PinLanding 架构,结合 VLM、LLM 和 CLIP 双编码器生成关键词落地页,在 Fashion200K 基准上 Recall@10 达 99.7%,并在 420 万落地页的生产部署中显著提升主题覆盖率和属性精度。
2025-03-01 cs.AI cs.IR cs.LG
TriMat: Context-aware Recommendation by Tri-Matrix Factorization
本文提出TriMat方法,利用三矩阵分解将上下文信息融入推荐系统,实验证明能同时提升准确性与公平性。
2025-09-30 cs.IR
Joint Sentiment/Topic Modeling on Text Data Using Boosted Restricted Boltzmann Machine
Isfahan University of Technology(伊斯法罕理工大学)
近年来,随着互联网和Web的发展,不同类型的社交媒体(如网络博客)成为文本数据的巨大来源。通过对这些数据的处理,可以发现有关不同主题,个人意见和对社会的全面了解的实用信息。因此,应用能够自动从文档中提取主观信息的模型将是有效和有用的。主题建模方法和情感分析是自然语言处理和文本挖掘领域中最热门的研究课题。本文提出了一种基于受限玻尔兹曼机(RBM)的神经网络的联合情感-主题建模的新结构。通过修改RBM的结构,以及附加一个层,这是类似于文本数据的情感,我们提出了一个基于神经网络的联合情感主题建模的生成结构。所提出的方法是监督和训练的对比发散算法。该模型中的新附加层是具有多项式概率分布的层,可以用于文本数据情感分类或任何其他监督应用。通过生成式评测、情感分类、信息检索等实验,将该模型与现有模型进行了比较,结果表明了该方法的有效性。
2017-11-10 cs.CL cs.IR cs.LG
A Big Data Architecture for Early Identification and Categorization of Dark Web Sites
本文提出基于 Kubernetes、Kafka、Kubeflow、MinIO 与 BERTopic 的端到端大数据架构,持续发现、去重并分类 Tor onion 站点,93天识别80,049个服务并揭示主题分布与疑似网络钓鱼网络。
2024-01-24 cs.DC cs.IR
PubSqueezer: A Text-Mining Web Tool to Transform Unstructured Documents into Structured Data
每天发表的科学论文数量令人生畏,而且还在不断增加。与文学同行是一个挑战。如果一个人想开始探索新的主题,不阅读大量的文章是很难有一个大局。此外,当一个人阅读文学作品时,建立心理联系对于提出可能导致发现的新问题至关重要。在这项工作中,我提出了一个Web工具,它使用文本挖掘策略将大量的非结构化生物医学文章转化为结构化数据。生成的结果可以快速概述可能暗示未明确报告信息的复杂主题。特别是,我展示了两个数据科学分析。首先,我提出了一个基于文献的罕见疾病网络使用这个工具,希望它将有助于澄清这些不太流行的病理学的一些方面。其次,我展示了如何与PubSqueezer结果进行基于文献的分析,可以描述已知的事实,SARS冠状病毒2。一句话,PubSqueezer生成的数据可以轻松地在任何计算分析中使用科学知识,如机器学习,自然语言处理等。可用性:http://www.pubsqueezer.com
2020-11-09 cs.CL cs.IR q-bio.QM
COVID-19 Literature Topic-Based Search via Hierarchical NMF
Wofford College(沃福德学院);University of California, Los Angeles(加州大学洛杉矶分校);California State University Channel Islands(加州州立大学海峡群岛分校);LWS Research(LWS研究公司)
我们将COVID-19相关科学文献的数据集进行了汇编,结合了来自多个在线图书馆的文章,并选择了那些开放获取和全文可用的文章。然后,使用分层非负矩阵分解将与新型冠状病毒相关的文献组织成树结构,研究人员可以根据检测到的主题搜索相关文献。我们在文献中发现了8个主要的潜在主题和52个颗粒子主题,涉及疫苗,遗传结构和疾病建模和患者研究,以及相关疾病和病毒学。为了使我们的工具可以帮助当前的研究人员,创建了一个交互式网站,使用这种层次结构组织可用的文献。
2020-09-07 cs.DL cs.IR cs.LG
Role of Ranking Algorithms for Information Retrieval
随着网络使用量的日益增加,网络用户很容易迷失在网络丰富的超结构中。网站所有者的主要目的是根据用户的需求提供相关信息。本文首先阐述了Web挖掘是通过分析用户行为、页面内容来对用户和页面进行分类,然后描述了Web结构挖掘。本文介绍了不同的网页排序算法,并比较了这些算法用于信息检索。讨论和比较了基于网页排名的各种算法,如网页排名(PR)、加权网页排名(WPR)、超链接诱导主题选择(HITS)、距离排名和特征谣言算法。针对PageRank算法和加权PageRank算法设计了仿真接口,但PageRank是Google搜索引擎唯一使用的排名算法。
2012-08-09 cs.IR
Question Answering over Curated and Open Web Sources
MPI for Informatics(马克斯·普朗克信息学研究所);L3S Research Center(L3S研究中心)
在过去的几年里,关于自动问答(QA)的研究出现了爆炸式的增长,跨越了信息检索、自然语言处理和人工智能等领域。本教程将涵盖QA增长的这一真正活跃时期的亮点,让观众掌握目前正在使用的算法家族。我们根据检索答案的潜在来源对研究贡献进行划分:策划的知识图谱、非结构化文本或混合语料库。我们选择这个划分维度,因为它在算法设计中最具鉴别力。每个子主题都涵盖了其他关键维度:如所解决问题的复杂性,以及系统中引入的可解释性和交互性程度。我们将以QA领域最有前途的新兴趋势来结束本教程,这将有助于该领域的新进入者做出最好的决定,以推动社区向前发展。自SIGIR 2016上一个QA教程以来,社区发生了很大变化,我们相信这个及时的概述确实会使大量的会议参与者受益。
2020-08-07 cs.CL cs.IR
Topic Diffusion Discovery based on Sparseness-constrained Non-negative Matrix Factorization
National Sun Yat-sen University(国立中山大学)
由于最近的文本数据爆炸,研究人员已经被不同研究社区产生的不断增加的文章数量所淹没。各种学术搜索网站,引文推荐引擎和研究数据库已经被创建,以简化文本搜索任务。然而,研究人员仍然很难在不对期刊、会议、会议和研讨会发表的大量文章进行深入审查的情况下确定潜在的研究主题。在本文中,我们考虑了一种新的主题扩散发现技术,它结合了稀疏约束的非负矩阵分解与广义詹森-香农发散,以帮助理解术语主题的演变和识别主题扩散。我们的实验结果表明,该方法可以从大型文章数据库中提取更多的突出主题,可视化感兴趣的术语和抽象主题之间的关系,并进一步帮助研究人员了解给定的术语/主题是否已被广泛探讨,或者是否有新的主题正在从文献中出现。
2018-07-12 cs.IR cs.LG stat.ML
Topic Diffusion Discovery Based on Deep Non-negative Autoencoder
National Sun Yat-sen University(国立中山大学);National Chung Hsing University(国立中兴大学)
研究人员已经被各种研究团体发表的研究文章的爆炸所淹没。许多研究学术网站,搜索引擎和数字图书馆已经创建,以帮助研究人员确定潜在的研究主题,并跟上感兴趣的研究的最新进展。然而,如果不花大量时间阅读大量相关和不相关的文章,研究人员仍然很难跟踪研究主题的扩散和演变。在本文中,我们考虑了一种新的主题扩散发现技术。具体来说,我们建议使用具有信息发散测量的深度非负自动编码器,该测量监测主题扩散的进化距离,以了解研究主题如何随时间变化。实验结果表明,该方法能够识别研究主题的演变,以及发现在线时尚的主题扩散。
2020-10-08 cs.IR cs.LG stat.ML
Recommendation System based on Semantic Scholar Mining and Topic modeling: A behavioral analysis of researchers from six conferences
Nanjing University of Science and Technology(南京理工大学)
推荐系统在互联网社会中有着重要的作用。计算机科学中的推荐系统在互联网门户的各个方面都有非常实际的用途,例如社交网络和图书馆网站。实现推荐系统的方法有很多种,潜在狄利克雷分配(LDA)是主题建模中的一种常用技术。近年来,研究人员提出了许多基于推荐系统和LDA的方法。根据主题的重要性,本文发现了主题的发展趋势,并发现了LDA主题与学术背景文献之间的关系。实际上,我们应用基于Gibbs抽样算法的概率主题建模,从DBLP数据集中的六个计算机科学会议出版物中进行语义挖掘。根据我们的实验结果,我们的语义框架可以有效地帮助组织更好地组织这些会议,并涵盖未来的研究课题。
2018-12-20 cs.CL cs.IR
TaxoCom: Topic Taxonomy Completion with Hierarchical Discovery of Novel Topic Clusters
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google Research(谷歌研究院);Pohang University of Science and Technology(浦项科技大学)
主题分类表示文档集合的潜在主题(或类别)结构,在诸如Web搜索和信息过滤的许多应用中提供有价值的内容知识。近年来,一些无监督的方法已经发展到自动构建的主题分类从文本语料库,但它是具有挑战性的,没有任何先验知识生成所需的分类。在本文中,我们研究了如何利用部分(或不完整)的主题结构的信息作为指导,以找出完整的主题分类。我们提出了一个新的框架,主题分类完成,命名为TaxoCom,递归扩展的主题分类发现新的子主题集群的条款和文件。为了有效地识别分层主题结构中的新主题,TaxoCom将其嵌入和聚类技术设计为彼此紧密联系:(i)局部判别嵌入优化文本嵌入空间,使其在已知(即,给定)子主题,以及(ii)新颖性自适应聚类将术语分配到已知子主题或新颖子主题中的任一个中。我们在两个真实数据集上的综合实验表明,TaxoCom不仅在术语一致性和主题覆盖率方面生成高质量的主题分类,而且在下游任务中优于所有其他基线。
2022-01-19 cs.AI cs.IR
A topic-aware graph neural network model for knowledge base updating
China University of Mining and Technology(中国矿业大学)
开放的领域知识库是非常重要的。它通常是从百科全书网站中提取的,广泛应用于知识检索系统、问答系统或推荐系统中。在实践中,关键的挑战是保持最新的知识库。与从百科全书转储中获取所有数据的笨拙方法不同,为了在避免无效获取的同时尽可能地扩大知识库的新鲜度,目前的知识库更新方法通常通过建立预测模型来确定是否需要更新实体。但由于数据来源和数据结构的问题,这些方法只能在特定的领域进行定义,结果存在明显的偏差。针对用户对开放领域知识的查询意图具有多样性的特点,本文构建了一个基于用户查询日志的主题感知图网络,用于知识更新。我们的方法可以概括为以下几点:1.通过用户的日志提取实体并选择它们作为种子2.抓取百科网站中种子实体的属性,并自监督地为每个实体构建实体属性图。3.使用实体属性图对GNN实体更新模型进行训练,判断实体是否需要同步。4.根据最小编辑次数算法,利用百科知识对过滤后的实体与知识库中的实体进行匹配和更新。
2022-09-01 cs.AI cs.IR
Less is More: Learning Prominent and Diverse Topics for Data Summarization
Peking University(北京大学);University of Michigan(密歇根大学)
统计主题模型有效地促进了大规模数据集的探索。许多模型已经被开发并广泛用于总结新闻,科学,社交媒体和数字人文领域的语义结构。然而,数据探索任务中的一个共同和实际的目标不是枚举所有现有的主题,而是快速提取广泛覆盖语料库内容的代表性主题,即,一些主题可以作为数据的很好的总结。大多数现有的主题模型适合完全相同数量的主题作为用户指定的,这给用户施加了不必要的负担,谁拥有有限的先验知识。相反,我们提出了新的模型,能够学习更少,但更有代表性的主题的数据汇总的目的。我们提出了一种增强的随机游走,允许突出的主题吸收令牌从类似的和较小的主题,从而提高了顶部的主题提取的多样性。这种强化随机游走作为一个一般的过程嵌入在经典的主题模型,我们得到\textit{diverse topic models},能够提取最突出的和不同的主题数据。这些不同的主题模型的推理过程仍然是简单和有效的经典模型。实验结果表明,不同的主题模型不仅发现主题,更好地总结数据,但也需要最少的先验知识的用户。
2016-12-01 cs.CL cs.IR cs.LG
Joint Image-Text News Topic Detection and Tracking with And-Or Graph Representation
University of California, Los Angeles (UCLA)(加利福尼亚大学洛杉矶分校)
在本文中,我们的目标是开发一种方法,自动检测和跟踪广播新闻的主题。我们提出了一个分层的与或图(AOG),共同代表文本和视觉的潜在结构。AOG嵌入了一个上下文敏感的语法,可以描述新闻主题的层次组成的语义元素有关的人,相关的地方和发生了什么,和模型的层次结构中的元素之间的上下文关系。我们通过聚类抽样过程检测新闻主题,该过程将密切相关的事件的故事分组。Swendsen-Wang Cuts(SWC)是一种有效的聚类抽样算法,通过遍历解空间,最大化贝叶斯后验概率,得到最优聚类解。跟踪主题以处理不断更新的新闻流。我们生成主题轨迹,以显示主题如何随着时间的推移出现,发展和消失。实验结果表明,该方法可以显式地描述新闻视频中的文本和视觉数据,并产生有意义的主题轨迹。我们的方法在公共数据集Reuters-21578和名为UCLA Broadcast News Dataset的自收集数据集上实现了优于最先进方法的性能。
2015-12-15 cs.CL cs.IR cs.SI