AT-RAG: An Adaptive RAG Model Enhancing Query Efficiency with Topic Filtering and Iterative Reasoning
Munich Reinsurance Co-Canada(慕尼黑再保险公司加拿大分公司)
AT-RAG 通过 BERTopic 主题过滤与迭代推理提升多跳问答的检索效率与答案质量,在通用及医学问答中均显著优于现有方法。
2024-10-16 cs.CL cs.IR cs.LG
A Novel Feature-based Bayesian Model for Query Focused Multi-document Summarization
监督学习方法和基于LDA的主题模型已经成功地应用于面向查询的多文档摘要领域。在本文中,我们提出了一种新的监督的方法,可以将丰富的句子特征到贝叶斯主题模型的原则性的方式,从而利用主题模型和基于特征的监督学习方法的优势。在TAC2008和TAC2009上的实验证明了该方法的有效性。
2013-12-27 cs.CL cs.IR
Improving Collaborative Filtering based Recommenders using Topic Modelling
Flytxt Mobile Solutions Pvt. Ltd.(Flytxt移动解决方案私人有限公司);Indian Institute of Technology, Delhi(德里印度理工学院)
标准的协同过滤(CF)算法利用用户和项目之间的交互,仅以隐式或显式评级的形式来生成推荐。在这种情况下,纯粹基于评级重叠来计算用户或项目之间的相似性,而不考虑所涉及的用户或项目的显式属性,从而限制了它们在具有非常稀疏的评级空间的域中的适用性。在许多领域,如电影,新闻或电子商务广告,大量的文本形式的上下文数据描述项目属性,以及评级数据,这可以用来提高推荐quality.In本文中,我们提出了一种新的方法,以改善标准的CF为基础的广告,利用潜在的Dirichlet分配(LDA)学习项目的潜在属性,表示在主题比例,源自其文字描述。我们推断用户的主题偏好或人物在同一潜在空间,根据她的历史评级。在计算用户之间的相似性时,我们使用了一种组合的相似性度量,包括评分重叠以及潜在主题空间中的相似性。这种方法解决了稀疏性问题,因为它允许计算用户之间的相似性,即使他们没有共同评价任何项目。我们在多个公共数据集上的实验表明,所提出的混合方法在分类精度指标(如精度,召回率和f-测量)方面显着优于标准的基于用户和基于项目的CF分类器。
2014-02-25 cs.CL cs.IR cs.LG
Collaborative Filtering with Topic and Social Latent Factors Incorporating Implicit Feedback
Nanjing University(南京大学);Nanjing University of Science and Technology(南京理工大学);Nanjing University of Posts and Telecommunications(南京邮电大学);Florida International University(佛罗里达国际大学)
推荐系统通过为不同的用户选择个性化的项目,为缓解信息过载问题提供了一种有效的方法。基于潜在因素的协同过滤(CF)由于其准确性和可扩展性而成为RS的流行方法。近来,在线社交网络和用户生成的内容提供了用于评级之外的推荐的多样化来源。虽然{ \em社会矩阵分解}(社会MF)和{ \em主题矩阵分解}(主题MF)分别成功地利用了社会关系和项目评论,但它们都忽略了一些有用的信息。在本文中,我们研究了有效的数据融合结合上述方法。首先,我们提出了一种新的模型{ \em \mbox{MR3} }来联合建模三个信息源(即,评级、项目评论和社会关系),通过对齐潜在因素和隐藏主题来有效地进行评级预测。其次,我们将评级的隐式反馈纳入到所提出的模型中,以增强其能力并展示其灵活性。我们通过各种最先进的方法在现实生活中的数据集上实现了更准确的评级预测。此外,我们衡量的贡献,从三个数据源和评级的隐式反馈的影响,其次是超参数的敏感性分析。实证研究表明,我们提出的模型及其扩展的有效性和功效。
2018-03-26 cs.AI cs.CL cs.IR
Kernel-CF: Collaborative filtering done right with social network analysis and kernel smoothing
协同过滤是推荐系统领域最简单但最古老的机器学习算法。尽管它的历史悠久,但它仍然是研究场所的讨论主题。通常人们使用与目标客户的相似度得分大于0的用户/项目来计算算法。然而,经过仔细审查,这可能不是最佳解决方案。在本文中,我们将推荐系统的输入数据转换成一个2-D的社会网络,并应用核平滑计算用户项目评分矩阵中的未知值的偏好。本文将推荐系统的理论框架与非参数统计相结合,给出了一个实现该目标的算法流程和最优参数选择方法。
2023-03-08 cs.IR
Information filtering based on wiki index database
St. Petersburg Institute for Informatics and Automation of the Russian Academy of Sciences (SPIIRAS)(俄罗斯科学院圣彼得堡信息学与自动化研究所)
在本文中,我们提出了一个基于配置文件的信息过滤方法,通过分析文本文档的内容。维基百科索引数据库被创建并用于从用户文档集合自动生成用户简档。为用户感兴趣的每个主题创建面向问题的维基百科子语料库(使用从用户简档中提取的知识)。这些子语料库的索引数据库被应用于过滤信息流(例如,邮件、新闻)。因此,所分析的文本被分类为在用户简档中明确呈现的若干主题。本文重点介绍了该方法的索引部分。描述了实现维基百科索引的应用程序的体系结构。索引方法使用俄语和简单的英语维基百科进行评估。
2008-05-08 cs.CL cs.IR
Analysis and Evaluation of the Link and Content Based Focused Treasure-Crawler
随着Web的规模和分布呈指数级增长,为Web编制索引正成为搜索引擎的一项艰巨任务。目前,克服这个问题的最有效的已知方法是使用集中爬虫。聚焦爬虫应用适当的算法来检测Web上与其感兴趣的主题相关的页面。为此,我们提出了一个自定义的方法,使用特定的HTML元素的页面来预测所有的页面,有一个未访问的链接在当前页面的主题焦点。这些识别出的主题页面必须在以后根据它们与爬虫的主主题的相关性进行排序,以便进一步实际下载。在Treasure-Crawler中,我们使用了一个称为T-Graph的层次结构,它是一个示例性的指南,可以为每个未访问的链接分配适当的优先级得分。稍后将根据此优先级下载这些URL。本文概述了Treasure-Crawler系统的体系结构设计,并给出了该系统的实现、测试结果和性能评估。Treasure-Crawler是根据信息检索标准进行评估的,比如查全率和查准率,两者的值都接近0.5。取得这样的成果证明了所提出的方法的重要性。
2013-06-01 cs.DL cs.IR
The iCrawl Wizard -- Supporting Interactive Focused Crawl Specification
当前研究的许多领域都需要收集关于特定主题的Web文档。集中式爬网允许按需创建此类集合。当前的集中式抓取工具要求用户手动指定抓取的起始点(种子URL)。这些也用于描述集合的预期主题。种子URL的选择会影响最终集合的质量,并且需要大量的专业知识。在本演示中,我们介绍了iCrawl向导,这是一个帮助用户有效和半自动地定义重点爬网的工具。我们的工具使用主要的搜索引擎和社交媒体API以及信息抽取技术来查找种子URL和抓取意图的语义描述。使用iCrawl向导,即使是非专家用户也可以交互地、高效地为重点爬虫创建语义规范。
2016-12-19 cs.DL cs.IR
Online Interactive Collaborative Filtering Using Multi-Armed Bandit with Dependent Arms
Florida International University(佛罗里达国际大学);IBM T.J. Watson Research Center(IBM托马斯·J·沃森研究中心);St. John’s University(圣约翰大学)
在线交互式推荐系统努力迅速地向消费者建议适当的项目(例如,电影、新闻文章),包括消费者和项目内容信息。然而,这样的上下文信息在实践中通常对于推荐是不可用的,其中仅可以利用用户关于项目的交互数据。此外,交互记录的缺乏,特别是对于新用户和项目,进一步影响了推荐的性能。为了解决这些问题,在在线交互式推荐设置中采用了仅依赖于交互数据的推荐技术之一的协同过滤(CF)以及能够实现开发和探索之间的平衡的在线多臂强盗机制,通过假设独立项目(即,武器)。尽管如此,该假设在现实中很少成立,因为现实世界的项目往往彼此相关(例如,有两篇类似的文章)。在本文中,我们研究在线交互式协同过滤问题,考虑项目之间的依赖关系。我们明确制定的项目依赖性的武器,在一个单一的集群内的武器共享类似的潜在主题的集群。根据主题建模技术,我们提出了一个生成模型,从他们的底层主题生成项目。此外,一个有效的在线算法的基础上粒子学习的推断我们的模型的潜在参数和状态。此外,我们推断的模型可以自然地集成与现有的多臂选择策略在在线互动协作设置。两个现实世界的应用,电影和新闻的在线推荐的实证研究,证明了所提出的方法的有效性和效率。
2017-08-11 cs.IR cs.LG
How to merge three different methods for information filtering ?
Twitter现在是关注在线声誉的实体的黄金营销工具。为了自动监测实体的在线信誉,系统必须处理歧义实体名称,极性检测和主题检测。我们提出了三种方法来解决第一个问题:监控Twitter,以找到有关给定实体的相关推文。在RepLab-2013过滤任务的框架内进行评估,每种方法都显示出与最先进方法的竞争力。主要研究合并策略对过滤任务性能的影响。
2015-10-26 cs.CL cs.IR
Tracking and Quantifying Censorship on a Chinese Microblogging Site
我们目前的测量和分析审查微博,在中国流行的微博网站。由于我们下载帖子的速度有限,我们识别出可能参与敏感话题的用户,并递归地跟踪他们的社交联系人。我们还利用新的自然语言处理技术来挑选热门话题,尽管中国社交媒体中使用了新词、命名实体和非正式语言。我们发现,微博通过多层过滤动态适应用户不断变化的兴趣。过滤包括通过关键字或转发链接追溯搜索帖子以删除它们,并在帖子发布时拒绝帖子。敏感话题的趋势是短暂的,这表明审查在阻止敏感问题的“病毒式”传播方面是有效的。我们还提供了证据,敏感的话题在微博上几乎没有传播超出敏感的海报的核心。
2012-11-26 cs.CR cs.IR
Evaluating the Usefulness of Sentiment Information for Focused Crawlers
University of Arizona(亚利桑那大学);University of Wisconsin-Milwaukee(威斯康星大学密尔沃基分校)
尽管网络上与情感有关的内容很普遍,但在能够有效收集此类内容的重点爬虫方面的工作有限。在这项研究中,我们评估了使用情感相关的信息,增强集中抓取意见丰富的网页内容,关于一个特定的主题的有效性。我们还评估了使用情感标签网络图进一步提高收集准确性的影响。在一个包含超过50万个网页的大型测试平台上的实验结果表明,利用情感信息以及情感标记的网络图的集中爬虫能够收集关于特定主题的更全面的意见相关内容。这些结果对Web 2.0时代的商业和营销情报收集工作具有重要意义。
2013-09-27 cs.CL cs.IR
iCrawl: Improving the Freshness of Web Collections by Integrating Social Web and Focused Web Crawling
数字人文学科的研究人员和记者需要监控、收集和分析有关埃博拉疫情或乌克兰危机等时事的新鲜在线内容。然而,现有的重点爬行方法只考虑主题方面,而忽略了时间方面,因此不能实现主题连贯和新鲜的Web集合。特别是社交媒体提供了丰富的新鲜内容来源,这是最先进的重点爬虫所不使用的。在本文中,我们解决的问题,使收集新鲜的和相关的Web和社交网络内容的兴趣主题,通过无缝集成的Web和社交媒体在一个新的集成聚焦爬虫。爬虫在单个系统中收集Web和社交媒体内容,并利用新鲜的社交媒体内容流来引导爬虫。
2016-12-19 cs.DL cs.IR
Automatic Construction of Multi-faceted User Profiles using Text Clustering and its Application to Expert Recommendation and Filtering Problems
本文提出通过文本聚类专家资料构建多面用户画像,以刻画其隐藏兴趣主题,并验证该方法可有效改进专家推荐、专家发现与文档过滤性能。
2024-01-19 cs.IR
A Gated Hybrid Contrastive Collaborative Filtering Recommendation
Institute of Computing, Federal University of Bahia(巴伊亚联邦大学计算学院);Department of Electrical and Computer Engineering, Western University(西方大学电气与计算机工程系)
本文提出基于门控混合对比学习的协同过滤框架,通过整合文本评价表示提升推荐排名质量,实验表明在Amazon Movies & TV、IMDb和Rotten Tomatoes数据集上有效提升了Top-10命中率和NDCG@10指标。
2026-04-29 cs.AI cs.IR
A Shared IPTC Topic Space for Cross-Source Topic Modelling
University of Exeter(埃克塞特大学);Federal University of Rio Grande do Sul(南里奥格兰德联邦大学)
提出基于IPTC分类法的共享主题空间框架,通过引导BERTopic将不同语料库的主题映射到统一空间,实现可复现的跨来源主题比较。
2026-06-26 cs.IR
Collaborative Filtering with Label Consistent Restricted Boltzmann Machine
IIIT Delhi(德里英德拉普拉斯塔信息技术学院)
采用受限玻尔兹曼机(RBM)进行协同过滤的可能性已经知道了大约十年。然而,自2007年以来,几乎没有关于这一专题的任何工作。这项工作回顾了RBM在推荐系统中的应用。基于RBM的协同过滤只使用评分信息,这是一个无监督的架构。这项工作通过利用用户人口统计信息和项目元数据来增加监督。网络是从表示层到标签(元数据)学习的。建议的标签一致的RBM制定显着改善现有的RBM为基础的方法和产量的结果与国家的最先进的潜在因素为基础的模型。
2019-10-17 cs.IR cs.LG cs.NE
Information Filtering via Collaborative User Clustering Modeling
在过去的几年里,推荐系统取得了巨大的成功,它可以显着地帮助用户找到个性化的项目,为他们从信息时代。最广泛应用的推荐方法之一是矩阵分解(MF)。然而,大多数关于这个主题的研究都集中在挖掘用户和项目之间的直接关系。在本文中,我们优化的标准MF整合用户聚类正则化项。我们的模型不仅考虑了用户项目的评级信息,但也考虑到用户的兴趣。我们比较了该模型与三个典型的其他方法:用户均值(UM),项目均值(IM)和标准MF。在真实数据集\emph{MovieLens}上的实验结果表明,该方法在推荐准确率上明显优于其他三种方法。
2014-02-10 cs.IR cs.SI physics.soc-ph
Blurring-Sharpening Process Models for Collaborative Filtering
Yonsei University(延世大学)
受图滤波和基于分数的生成模型启发,提出模糊-锐化过程模型(BSPM)用于协同过滤,在理论上统摄现有模型,并在三个基准数据集上的Recall和NDCG指标上优于现有方法且处理时间与快速基线相当。
2023-04-06 cs.IR cs.LG
Collaborative Topic Regression with Social Matrix Factorization for Recommendation Systems
社交网络网站,如Facebook,YouTube,Lastfm等,已经成为用户相互联系和分享内容或观点的流行平台。这些数据为我们研究用户的社交圈对决策过程的影响提供了丰富的信息。在本文中,我们感兴趣的是研究社会网络信息的有效性,以预测用户的评分项目。提出了一种新的分层贝叶斯模型,它结合了社交网络的主题建模和概率矩阵分解。我们的模型的一个主要优点是自动推断有用的潜在主题和社会信息,以及它们的重要性,协同过滤的训练数据。在两个大规模数据集上的实验结果表明,该算法比现有的推荐方法更有效。我们的研究结果揭示了有趣的见解,即社交圈对人们关于信息有用性的决定有更大的影响(例如,对美味的书签偏好)而不是个人品味(例如,在Lastfm上的音乐偏好)。我们还研究和讨论了潜在的信息泄漏的解决方案,在许多推荐系统,利用社会信息。
2012-06-18 cs.IR cs.SI
TOPICAL: TOPIC Pages AutomagicaLly
Terrence Donnelly Centre(特伦斯·多内利中心);Vector Institute for AI(矢量人工智能研究所);Allen Institute for AI(艾伦人工智能研究所);Northwestern University(西北大学);University of Washington(华盛顿大学);University of Toronto(多伦多大学)
本文提出TOPICAL系统,通过结合检索、聚类和提示的自动化流水线为生物医学等科学实体生成高质量主题页面,人工评估验证了其相关性、准确性和连贯性。
2024-05-03 cs.CL cs.DL cs.IR
A Simple Mechanism for Focused Web-harvesting
重点网络采集部署,实现自动化和全面的索引数据库作为虚拟专题数据集成的替代方式。网络采集不仅通过指定目标URL来实现和扩展,还通过预定义人工编辑的采集参数来提高速度和准确性。收获参数集包括三个主要组成部分。首先,从目标URL的第一页开始计算包含所需信息的最终页面的深度尺度。其次,对焦点的数目要确定准确的框内包含的相关信息。最后,结合关键字来识别嵌入在这些最后页面中的相关图像或全文的超链接。参与机构的管理人员可通过一个综合网络界面访问所有参数,并可根据每个目标完全定制。本文还简要介绍了印尼科学索引的一个实际实施情况,该索引涵盖了印尼所有的科学信息。
2008-09-03 cs.CY cs.IR
Implicit Look-alike Modelling in Display Ads: Transfer Collaborative Filtering to CTR Estimation
University College London(伦敦大学学院);MediaGamma Limited(MediaGamma有限公司)
用户行为定位在在线广告中至关重要。与赞助搜索关键字定位和上下文广告页面内容定位相比,用户行为定位通过跟踪用户的在线行为来建立用户的兴趣档案,然后根据每个用户的兴趣提供相关的广告,这导致更高的定位准确性,从而更好地改善广告效果。当前的用户分析方法包括构建关键字和主题标签或将用户映射到层次分类法。然而,据我们所知,有没有以前的工作,明确调查用户在线访问的相似性,并将这种相似性到他们的广告响应预测。在这项工作中,我们提出了一个通用的框架,学习用户简档的基础上,他们的在线浏览行为,并将学习到的知识,他们的广告响应的预测。在技术上,我们提出了一个基于概率潜在因素图模型的迁移学习模型,其中用户的广告响应配置文件是从他们的在线浏览配置文件生成的。基于真实世界数据的大规模实验表明,我们的解决方案在一些强基线上有显着的改善。
2016-01-11 cs.IR cs.LG
A Tech Hybrid-Recommendation Engine and Personalized Notification: An integrated tool to assist users through Recommendations (Project ATHENA)
ATHENA项目旨在开发一个解决信息过载的应用程序,主要关注具有现代系统的个性化和用户体验设计的推荐系统(RS)。使用了两种机器学习(ML)算法:(1)用于基于内容的过滤(CBF)的TF-IDF;(2)具有矩阵分解的分类-奇异值分解(SVD),其应用于协同过滤(CF)和平均值(归一化)以用于CF的预测精度。菲律宾农业、水产和自然资源研究与发展委员会(PCAARRD)电子图书馆和SARAI项目出版物的学术研究与发展中的数据采样,以及用作训练集的模拟数据,以生成使用三种RS过滤(CF,CBF和个性化版本的项目推荐)的项目推荐。执行并讨论了一系列测试和TAM。调查结果允许用户参与在线信息,并快速评估应用程序产生的检索项目。兼容性测试(CoT)显示该应用程序与所有主要浏览器兼容,并且对移动设备友好。性能测试(PT)推荐的v-参数规格和TAM评估结果表明与总体正反馈密切相关,足以彻底解决信息过载问题作为本文的核心。提出了一种模块化架构,以解决信息过载问题,主要关注具有个性化和现代系统设计的RS。开发人员使用了两种ML算法,并对架构的简化版本进行了原型设计。进行并讨论了一系列测试(CoT和PT)和TAM评价。项目ATHENA增加了一个现代系统的UX功能设计。
2022-02-13 cs.IR cs.LG
Public sentiment analysis and topic modeling regarding COVID-19 vaccines on the Reddit social media platform: A call to action for strengthening vaccine confidence
COVID-19大流行推动了历史上最快速的疫苗开发之一。然而,通过在线社交媒体传播的错误信息往往会导致疫苗的负面情绪和犹豫。为了调查社交媒体中与COVID-19疫苗相关的讨论,我们对2020年12月1日至2021年5月15日期间从13个关注COVID-19疫苗的Reddit社区收集的文本数据进行了情感分析和潜在狄利克雷分配主题建模。数据按月汇总和分析,以检测任何情绪和潜在主题的变化。ty分析表明,这些社区对疫苗相关讨论的积极情绪多于消极情绪,并且随着时间的推移保持不变。主题建模显示,社区成员主要关注副作用,而不是古怪的阴谋论。来自13个subreddit的Covid-19疫苗相关内容显示,这些社区表达的情绪总体上是积极多于消极的,自2020年12月以来没有发生有意义的变化。在整个LDA主题建模中检测到指示疫苗犹豫的关键词。关于疫苗的公众情绪和主题建模分析可以促进实施适当的信息传递、数字干预和新政策,以提高疫苗信心。
2021-08-22 cs.IR cs.SI
Gender Differences in Research Topic and Method Convergence among Collaborating Scholars in Library and Information Science
Department of Information Management, Nanjing University of Science and Technology(南京理工大学信息管理学院)
本研究以图书馆与信息科学为例,利用Top2Vec和CogFT方法分析1990-2022年间25204篇论文,发现女性学者在研究主题和方法选择上的趋同性低于男性,为学术出版中的性别差异研究提供了系统方法。
2026-06-23 cs.CL cs.DL cs.HC
Unifying Topic, Sentiment & Preference in an HDP-Based Rating Regression Model for Online Reviews
Drexel University(德雷塞尔大学);China Central Normal University(华中师范大学)
本文提出了一种新的基于HDP的在线评论评分回归模型--主题-情感-偏好回归分析(TSPRA)。TSPRA将主题(即产品方面),词情感和用户偏好作为回归因素结合起来,并且能够在一个框架中执行主题聚类,评论评级预测,情感分析以及我们发明的“关键方面”分析。TSPRA通过将协同过滤(CF)模型中的关键概念“用户偏好”纳入考虑范围来扩展情感方法,而与当前CF模型不同的是,TSPRA将“用户偏好”和“情感”解耦为独立因素。我们在22个亚马逊数据集上进行的实验显示,在错误率、Pearson相关性和反向对数量方面,与最先进的模型FLAME(2015)相比,评级预测的性能要好得多。对于情感分析,我们将派生的词情感与公共情感资源SenticNet 3进行比较,我们的情感估计在在线评论的背景下显然更有意义。最后,由于“用户偏好”与“情感”的去相关性,TSPRA能够评估一个新的概念“关键方面”,定义为用户严重关注但在评论中负面评论的产品方面。对这些“关键方面”的改进对于增强用户体验可能是最有效的。
2018-12-19 cs.CL cs.IR cs.LG