Recommender systems, stigmergy, and the tyranny of popularity
University of California, Davis（加州大学戴维斯分校）；University of California, Merced（加州大学默塞德分校）；Santa Fe Institute（圣菲研究所）
本文指出科学推荐系统因过度依赖人气指标导致知识同质化与结构性不平等，提出通过用户特定校准和引入文本嵌入及LLM来增强用户自主性，以构建更稳健动态的信息获取平台。
2025-07-04 cs.AI cs.CY cs.HC
Comparative analysis of various web crawler algorithms
VIT Vellore（维韦卡南达理工学院韦洛尔分校）
本报告比较了五种网络爬虫算法，旨在确定最有效的网页爬取方法，以提升信息检索效率。
2023-06-21 cs.IR cs.LG cs.SI
Analysing Parallel and Passive Web Browsing Behavior and its Effects on Website Metrics
自万维网出现以来，深入了解网络用户的在线浏览行为一直是一个主要的研究课题。它提供了有用的信息，以优化网站设计，网页浏览器设计，搜索引擎产品，和在线广告。我们认为，新技术和新服务继续对人们浏览网络的方式产生重大影响。例如，在YouTube上收听音乐片段或在www.example.com上收听广播电台不需要用户坐在电脑前。社交媒体和社交网站（如Facebook）或微博网站（如Twitter）吸引了以前不太愿意上网的新型用户。人们浏览网页方式的这些变化具有一些新的特征，这些特征到目前为止还没有得到很好的理解。在本文中，我们通过展示DOBBS的第一批结果提供了新颖而独特的见解，DOBBS是我们长期努力创建的一个全面且具有代表性的数据集，用于捕获在线用户行为。我们首先调查的概念，并行浏览和被动浏览，显示浏览网页不再是一个专门的任务，许多用户。基于这些结果，我们然后分析它们对计算用户停留时间的影响-即，用户在网页上花费的时间--这已经成为量化网站受欢迎程度的一个重要指标。
2014-02-21 cs.HC cs.IR
A Personalized Tag-Based Recommendation in Social Web Systems
最近，标记活动已被确定为关于个人兴趣、偏好、目标和从用户模型已知的其他属性的知识的潜在来源。因此，标签本身可以用于找到个性化的项目推荐。在本文中，我们提出了一个基于标签的推荐系统，建议相似的网页的基础上，他们的标签从Web 2.0标签应用程序的相似性。所提出的方法扩展了基本的相似性演算与外部因素，如标签的流行程度，标签的代表性和用户和标签之间的亲和力。为了研究和评估推荐系统，我们进行了一项实验，涉及来自12个国家的38人使用的数据从Del.icio.us，社会书签网络系统，用户可以分享他们的个人书签。
2012-03-01 cs.IR cs.SI
Cold-start Bundle Recommendation via Popularity-based Coalescence and Curriculum Heating
UC San Diego（加利福尼亚大学圣迭戈分校）；Seoul National University（首尔大学）
针对组合推荐的冷启动难题及组合交互分布高度偏斜的挑战，提出融合基于流行度聚结、课程学习与对比学习的CoHeat方法，在冷启动组合推荐上nDCG@20较最优竞品最高提升193%。
2024-03-10 cs.AI cs.IR
Treelicious: a System for Semantically Navigating Tagged Web Pages
协同标记已成为一种流行的和有效的方法来组织和描述网页上的Web。我们目前Treelicious，一个系统，允许标记的网页分层导航。我们的系统丰富了标准标记系统的导航功能，这些系统通常只利用流行度和共现数据。我们描述了一个原型，利用维基百科的类别结构，允许用户从美味的社会书签服务语义导航页面。在我们的系统中，用户可以执行一个普通的关键字搜索和浏览相关的网页，但也有能力扩大搜索到更一般的主题和缩小到更具体的主题。我们表明，Treelicious确实提供了一个直观的框架，允许改进和有效的知识发现。
2011-02-05 cs.IR
LookAhead: Augmenting Crowdsourced Website Reputation Systems With Predictive Modeling
不安全的网站包括恶意网站和不适当的网站，例如托管可疑或攻击性内容的网站。网站信誉系统旨在帮助普通用户远离这些不安全的网站。然而，为网站分配安全评级的过程通常涉及人类。因此，它是耗时的、昂贵的并且不可扩展的。这导致了两个主要问题：（i）很大一部分网络空间仍然没有评级，（ii）在对新网站评级之前有一个不可接受的时间差。在本文中，我们表明，通过利用网站的结构和基于内容的属性，可以可靠和有效地预测其安全评级，从而减轻这两个问题。我们使用多达90，000个网站的四个数据集来证明我们方法的有效性。我们使用信任网络（WOT）的评级，这是一个流行的众包网络声誉系统，作为基础事实。我们提出了一种新的集成分类技术，利用现有的网页结构和内容属性的机会来预测他们的最终评级在两个方面所使用的WOT：可信度和儿童安全。我们是第一个预测这种主观评级的分类系统，同样的方法在识别恶意网站方面也同样有效。在所有数据集上，我们的分类表现良好，平均F $_1$ -得分在74- 90\ %范围内。
2015-04-18 cs.CR cs.IR
On the Applicability of Delicious for Temporal Search on Web Archives
Web档案是存储过去的网页的大型纵向集合，这些网页可能在当前的实时Web上丢失。因此，对这些集合的时间搜索对于寻找突出的缺失网页和历史分析等任务至关重要。然而，这一直是具有挑战性的，由于缺乏流行的信息和适当的地面真相，以评估时间检索模型。在本文中，我们调查的适用性外部纵向资源，以确定重要的和流行的网站在过去和分析的社会书签服务美味。Delicious上带有时间戳的书签提供了关于过去流行时间段的明确线索以及相关描述符。对于给定的时态查询，这些对于识别过去的重要文档是有价值的。纯粹关注召回，我们分析了超过12，000个查询，发现使用Delicious产生的平均召回值从46%到100%，当我们将自己限制在考虑的数据集中最好的代表查询时。这构成了一个有吸引力的和低开销的方法，快速访问到Web档案，而不处理实际的内容。
2017-02-03 cs.IR
Evolution of the Media Web
我们提出了一个详细的研究部分的网络相关的媒体内容，即，媒体网站。使用公开的数据，我们分析了媒体页面的传入和传出链接的演变。根据我们的观察，我们提出了一类新的模型，用于在Web上出现新媒体内容，其中节点可以具有不同的\textit{attractiveness}函数，包括取自众所周知的优先附着和适应度模型的函数。我们分析这些模型的理论和经验，并显示哪些现实预测传入的程度分布和所谓的媒体网络的\textit{recency property}，现有的模型没有做好。最后，我们通过估计每个模型的数据集的真实世界链接图的可能性来比较这些模型，并获得我们引入的模型比以前提出的模型更有可能。最令人惊讶的结果之一是，在媒体网络中，一篇文章被引用的概率很可能是由其质量而不是其当前的受欢迎程度决定的。
2013-08-01 cs.IR cs.SI physics.soc-ph
The long-term impact of ranking algorithms in growing networks
当我们在线搜索内容时，我们不断地接触到排名。例如，网络搜索结果以排名的形式呈现，在线书店经常向我们展示畅销书的列表。虽然基于流行度的排名算法（如Google的PageRank）在以前的作品中已经得到了广泛的研究，但我们仍然缺乏对其潜在系统性后果的清晰理解。在这项工作中，我们通过引入一个新的网络增长模型来填补这一空白，该模型允许我们比较在不同排名算法的影响下生成的网络的属性。我们表明，通过校正基于流行度的排名算法的无所不在的年龄偏差，由此产生的网络表现出显着更大的协议之间的节点的内在质量和他们的长期流行度，和一个不太集中的流行度分布。为了进一步促进流行的多样性，我们引入并验证了扰动的原始排名，其中一小部分随机选择的节点被提升到排名的顶部。我们的研究结果向基于模型的理解基于流行度的排名算法的长期影响迈出了第一步，并可用作改进信息过滤工具设计的信息工具。
2018-11-20 cs.CY cs.IR cs.SI
In-Degree and PageRank of Web pages: Why do they follow similar power laws?
PageRank是Google设计的一种流行度衡量标准，用于对网页进行排名。实验证实，PageRank服从“幂律”，其指数与In度相同。本文提出了一种新的数学模型来解释这一现象。PageRank和入度之间的关系通过一个随机方程来建模，该随机方程的灵感来自PageRank的原始定义，并且类似于M/G/1队列中忙期的著名分布恒等式。此外，我们采用正则变分理论和Tauberian定理来分析证明PageRank和In度的尾部行为仅相差一个乘法因子，为此我们导出了一个封闭形式的表达式。我们的分析结果与实验数据吻合得很好。
2006-12-04 cs.IR math.PR
GR2RSS: Publishing Linked Open Commerce Data as RSS and Atom Feeds
Universität der Bundeswehr München（慕尼黑联邦国防军大学）
对于Web开发人员来说，在Web页面中集成链接开放数据（LOD）内容是一项具有挑战性的任务，有时甚至是乏味的任务。与此同时，大多数用于博客、内容管理系统（CMS）和商店应用程序的软件包都支持使用提要格式，即RSS和Atom。在这份技术报告中，我们展示了一个在线工具，它从SPARQL端点获取电子商务数据，并将获得的结果聚合为RSS或Atom提要。我们的方法结合了（1）现有提要格式的流行性和广泛的工具支持，（2）对构建在常见Web词汇表（如schema.org、GoodRelations、FOAF、VCard和WGS 84）上的结构化数据的查询精度，以及（3）通常以RDF集成来自大量Web站点和其他数据源的内容的容易性。
2015-09-01 cs.AI cs.IR
Generative Pre-trained Ranking Model with Over-parameterization at Web-Scale (Extended Abstract)
Shanghai Jiao Tong University（上海交通大学）；Baidu Inc.（百度公司）
针对传统排序学习模型因标注数据不足和过拟合导致性能不佳的问题，提出一种生成式半监督预训练排序模型GS2P，通过离线实验和真实搜索引擎部署验证了其有效性。
2024-09-25 cs.IR cs.LG
Exploring the Potential of Generative AI for the World Wide Web
New York University Abu Dhabi（纽约大学阿布扎比分校）；Nokia Bell Labs（诺基亚贝尔实验室）
本文提出WebDiffusion工具，模拟基于Stable Diffusion的Web图像生成，并通过众包评估409张图像，证明生成式AI能利用网页上下文生成高质量图像，但浏览器内生成仍受GPU性能限制。
2023-10-26 cs.AI cs.HC cs.IR
Tempas: Temporal Archive Search Based on Tags
有限的搜索和访问模式在网络档案已被很好地记录。其中一个主要原因是缺乏对用户访问这些收藏品的模式的了解，而这又归因于缺乏有效的搜索界面。目前的Web档案搜索接口是（a）纯粹的导航或（b）有次优的搜索经验，由于无效的检索模型或查询建模。我们认为，外部纵向资源，如社会书签数据，是识别重要和流行的网站在过去的重要来源。在这种程度上，我们提出Tempas，一个基于标签的时间搜索引擎的Web档案。网站会在特定的兴趣时间发布在几个外部平台上，比如像Delicious这样的书签网站。附加的标签不仅作为检索有用的相关描述符，但也编码的相关性的时间。使用Tempas，我们通过索引标签和时间来解决临时搜索Web存档的挑战。我们允许时间选择搜索词，排名文件的基础上，他们的流行程度，并提供有意义的查询建议，利用标签标签和标签文档共现统计在任意时间窗口。最后，Tempas是一个相当非侵入性的索引框架。通过不处理来自实际Web存档的内容，它构成了快速访问Web存档的有吸引力和低开销的方法。
2017-02-03 cs.IR
Remembering what we like: Toward an agent-based model of Web traffic
对总体Web流量的分析表明，PageRank并不能很好地反映人们实际上是如何浏览Web的。使用经验的流量模式产生的1000名用户在两个月的过程中，我们的特点的Web流量，不能再现的马尔可夫模型，其中的目的地是独立于过去的决定的属性。特别是，我们表明，个人用户访问的网站的多样性是更小，更广泛的分布比预测的PageRank模型，链接流量是更广泛的分布比预测，和连续访问同一网站之间的时间是不太广泛的分布比预测。为了解释这些差异，我们引入了一个更现实的导航模型，在该模型中，代理维护个人的书签列表，这些书签被用作隐形传态目标。该模型还可以考虑分支，这是由浏览器功能（如标签和后退按钮）引起的流量属性。该模型再现聚合流量模式，如网站的流行程度，同时也产生更准确的预测的多样性，链接流量和返回时间分布。这个模型第一次让我们能够捕捉到聚合流量测量的极端异质性，同时解释更狭隘的个人用户的浏览模式。
2009-01-24 cs.CY cs.HC cs.IR
Estimating the Dissemination of Social and Mobile Search in Categories of Information Needs Using Websites as Proxies
随着使用社交媒体（例如，社会媒体提问，SMQA）或社会信息检索方法，本文试图确定类型的信息需求，本质上是社会的，因此更适合这些技术。我们描述了一个实验，其中突出的网站从各种内容类别被用来代表各自的内容领域，并允许相关的内容领域的属性。基本的假设是，成功的网站的重点内容领域完全符合信息搜索者的要求时，满足信息需求在各自的内容领域。基于从Alexa（http：//www.example.com}（检索日期：2015-11-04））（一家发布网络流量统计数据的公司）手动收集的涵盖广泛主题的网站URL数据集，采用众包方法来评估可以根据多个维度（包括）通过相应URL解决的信息需求www.alexa.com社会性和流动性），以调查与其他属性的可能相关性。我们的研究结果表明，不需要一定的正式专业知识的信息需求在社会信息检索中发挥着重要作用，并且某些内容领域更适合社会信息检索（例如，事实知识和新闻，游戏，生活方式）比其他（例如，健康和生活方式）。
2016-07-07 cs.CY cs.IR cs.SI
Content Recommendation through Semantic Annotation of User Reviews and Linked Data - An Extended Technical Report
目前，大多数推荐系统利用用户提供的评级来推断他们的偏好。然而，社交和电子商务网站的日益普及也鼓励用户通过文本评论分享评论和意见。在本文中，我们介绍了一种新的推荐方法，它利用用户评论的语义注释，以提取有用的和非平凡的信息，推荐项目。它还依赖于Web of Data中免费提供的知识，特别是DBpedia和Wikidata，以发现与注释实体相关的其他资源。我们在三个领域评估了我们的方法，使用DBpedia和Wikidata。结果表明，我们的解决方案提供了一个更好的排名比另一种基于Web的数据推荐方法，而它提高了新颖性，相对于传统的基于评级的技术。此外，我们的方法实现了更好的性能与维基百科比DBpedia。
2017-10-28 cs.IR
Predicting Knowledge Gain during Web Search based on Multimedia Resource Consumption
在非正式学习场景中，多媒体内容（如视频教程或讲座）的普及程度显著提高。然而，用户的交互，导航行为，从而学习的结果，还没有得到广泛的研究。这一领域的相关工作，也被称为搜索学习，集中在行为或文本资源的特征来预测学习结果和知识的获得。在本文中，我们研究我们是否可以利用代表多媒体资源消耗的功能来预测的知识增益（KG）在Web搜索过程中从会话数据，即没有先验知识的学习者。为此，我们提出了一套多媒体功能的图像和视频观看量。我们的特征提取在实验室研究中进行了评估，有113名参与者，我们收集了给定搜索的数据作为雷暴和闪电形成的学习任务。我们自动分析监控日志数据，并利用最先进的计算机视觉方法来提取所看到的多媒体资源的特征。实验结果表明，多媒体特征可以提高KG预测。最后，我们对KG预测的特征重要性（文本和多媒体）进行了分析。
2021-06-11 cs.IR
Towards a Context-Aware IDE-Based Meta Search Engine for Recommendation about Programming Errors and Exceptions
研究表明，在软件开发和维护过程中，软件开发人员花费大约19%的时间在Web上查找信息。传统的网络搜索迫使他们离开工作环境（例如，IDE）并在Web浏览器中查找信息。它也没有考虑开发人员寻找解决方案的问题的背景。Web浏览器和IDE之间的频繁切换既耗时又分散注意力，基于关键字的传统Web搜索通常对解决问题没有多大帮助。在本文中，我们提出了一个基于Eclipse IDE的Web搜索解决方案，利用三个流行的Web搜索引擎提供的API-谷歌，雅虎，Bing和一个流行的编程问答网站，堆栈溢出，并捕获内容相关性，上下文相关性，流行度和搜索引擎的信心，每个候选结果对遇到的编程问题。使用所提出的方法与75个编程错误和异常的实验表明，包含与给定的异常相关联的不同类型的上下文信息可以提高给定的异常的推荐精度。实验与现有的两种方法和现有的Web搜索引擎证实，我们的方法可以比他们更好的召回率，平均精度和其他性能指标，很少的计算成本。
2018-07-06 cs.IR cs.SE
An IDE-Based Context-Aware Meta Search Engine
传统的Web搜索迫使开发人员离开他们的工作环境，在Web浏览器中寻找解决方案。它往往不考虑他们的编程问题的背景。Web浏览器和工作环境之间的上下文切换是耗时且分散注意力的，并且基于关键字的传统搜索通常对解决问题没有多大帮助。在本文中，我们提出了一个基于Eclipse IDE的Web搜索解决方案，该解决方案从三个Web搜索API（Google、Yahoo、Bing和一个编程问答网站Stack Overflow）收集数据。然后，它在IDE中提供搜索结果，不仅考虑所选错误的内容，还考虑问题上下文、流行度和结果链接的搜索引擎推荐。在25个运行时间错误和异常情况下的实验表明，该方法的推荐准确率达到96%，优于基于关键字的搜索方法。我们还验证了一个用户研究的结果，涉及五个潜在的参与者，我们得到了64.28%的结果协议。虽然初步的结果是有希望的，该方法需要进一步验证更多的错误和例外情况，随后与更多的参与者进行用户研究，建立自己作为一个完整的IDE为基础的网络搜索解决方案。
2018-07-05 cs.IR cs.SE
Making Recommendations from Web Archives for "Lost" Web Pages
当用户从Web存档中请求网页时，如果该网页可用，则用户通常将获得HTTP 200，或者如果该网页尚未存档，则获得HTTP 404。这是因为Web存档通常通过URI查找访问，并且响应是二进制的：存档要么有页面，要么没有，并且用户不会知道存在其他存档的网页，并且可能与所请求的网页相似。在本文中，我们提出了增强这些二进制响应与模型选择和排名推荐的网页在Web存档。这是为了增强HTTP 404响应和HTTP 200响应，通过在存档中显示用户可能不知道存在的网页。首先，我们检查URI是否已经在DMOZ或维基百科中分类。如果没有找到请求的URI，我们使用ML对URI进行分类，使用DMOZ作为我们的本体，并收集候选URI以推荐给用户。接下来，我们根据候选人是否存在于存档中来过滤它们。最后，我们根据几个特征对候选人进行排名，例如档案质量，网页流行度，时间相似性和URI相似性。我们在第一级计算了不同分类方法的F1得分。我们发现，在去除数字和字符串后使用URI中的所有字符串产生了最好的结果，F1=0.59。对于二级分类，微平均F1=0.30。我们发现，44.89%的正确分类的URI包含至少一个单词，存在于字典和50.07%的正确分类的URI包含在域中的长字符串。与Wayback访问日志中的URI相比，只有5.39%的URI只包含来自字典的单词，26.74%的URI至少包含一个来自字典的单词。这些百分比…
2019-08-07 cs.DL cs.IR
