Website Optimization through Mining User Navigational Pattern
随着万维网的普及和各种在线业务的迅速发展,网站的复杂性也在不断增加。分析Web用户在Web站点中的导航模式可以为服务器性能改进、网站重构和电子商务中的直接营销等提供有用的信息。本文提出了一种挖掘此类导航模式的算法。关键的见解是,用户访问感兴趣的信息,并遵循一定的路径,而导航网站。如果他们找不到,他们会原路返回,并在替代路径中选择,直到他们到达目的地。他们回溯的点是中间参考位置。在本报告的其余部分中,将主要努力确定这些中间位置和目的地。
2008-03-06 cs.IR
A Model for Web Page Usage Mining Based on Segmentation
网页使用挖掘在丰富网页的内容和结构的基础上,从用户与页面的交互收到的反馈起着至关重要的作用。本文提出了一个模型,通过微调挖掘从页面级别到段级别的跟踪活动进行微观管理。所提出的模型使网站管理员能够识别的部分,收到更多的关注,从用户与他人相比。用户行为的细分级别分析提供了一个重要的指标来分析促进页面流量增加的因素。模型的实证验证是通过原型实现。
2012-02-13 cs.IR
Web Mining Techniques in E-Commerce Applications
今天,网络是现代商业中最好的沟通媒介。许多公司正在重新定义他们的业务战略,以提高业务产出。通过互联网的业务提供了机会,客户和合作伙伴,他们的产品和具体业务可以找到.如今,在线业务打破了时间和空间的障碍相比,物理办公室.世界各地的大公司都意识到,电子商业不仅仅是通过互联网进行买卖,而是提高了与市场上其他巨头竞争的效率。为此目的,使用有时称为知识发现的数据采掘。Web挖掘是应用于WWW的数据采掘技术。互联网上有大量的信息。
2013-11-28 cs.IR
A Hybrid Web Recommendation System based on the Improved Association Rule Mining Algorithm
随着人们对用于为用户提供定制数据的Web推荐系统的兴趣越来越大,我们开始了对该系统的研究。推荐系统一般分为两大类,如协同推荐系统和基于内容的推荐系统。在协作推荐系统的情况下,这些系统试图找出与给定用户具有相同品味的用户,并根据给定用户的喜好推荐网站。而基于内容的推荐系统试图推荐与用户喜欢的那些网站相似的网站。在最近的研究中,我们发现基于关联规则挖掘算法的有效技术被提出来解决网页推荐问题。同样的主要问题是,网页被赋予同等的重要性。在这里,页面的重要性根据访问网页的频率以及用户在该页面上花费的时间而变化。另外,推荐集合中不包括新添加的网页或用户尚未访问的网页的推荐。为了克服这个问题,我们使用了Web使用日志中的自适应关联规则的Web挖掘,其中的关联规则被应用到个性化。该算法纯粹基于Apriori数据采掘算法来生成关联规则。然而,这种方法也存在一些不可避免的缺点。本文提出并研究了一种基于加权关联规则挖掘算法和文本挖掘的新方法。这是改进的算法,增加了语义知识的结果,具有更高的效率,因此提供了更好的质量和性能相比,现有的方法。
2013-11-28 cs.IR
Web data mining for public health purposes
长期以来,一直在监测公共卫生事件,如疾病发生率或疫苗接种活动,以跟踪人口的健康状况,从而能够评估公共卫生举措的效果,并决定用于改善公共卫生的资源的最佳用途。本文主要研究了Web数据采掘在公共卫生监测中的应用,主要研究内容包括:从Web挖掘数据中预测公共卫生事件的新方法; Web挖掘数据在公共卫生监测中的新应用。
2019-05-02 cs.CY cs.IR
A Fuzzy Clustering Based Approach for Mining Usage Profiles from Web Log Data
万维网在网站的规模和复杂性方面继续以惊人的速度增长,并且正在成为信息和数据的主要储存库。由于WWW的增长和复杂性的增加,网站发布者在吸引和留住用户方面面临着越来越大的困难。为了设计出受欢迎和有吸引力的网站,出版商必须了解他们的用户需求。因此,分析用户行为是网页设计的重要组成部分。Web使用挖掘(WUM)是将数据采掘技术应用于Web使用日志存储库,以发现可用于分析用户导航行为的使用模式。WUM包括三个主要步骤:预处理,知识提取和结果分析。Web使用挖掘中预处理阶段的目标是将原始Web日志数据转换为一组用户简档。每个这样的配置文件捕获表示用户会话的URL的序列或集合。
2015-09-01 cs.DB cs.IR
An innovative data collection method to eliminate the preprocessing phase in web usage mining
针对服务器日志数据有限、会话识别困难且难以支持高效分析的问题,本文提出基于应用 API 的用户跟踪、会话管理与 Web 使用数据收集方法,获得更易处理的结构化可靠数据源。
2025-01-08 cs.IR
"Improved FCM algorithm for Clustering on Web Usage Mining"
East China University of Technology(东华理工大学);Vardhaman college of Engineering(瓦尔达曼工程学院);S.V.University College of Engineering(SV大学工程学院)
针对目前的聚类方法对初始中心值非常敏感,对数据集要求过高,且不能处理噪声数据的问题,提出了利用信息熵初始化聚类中心,并引入加权参数来调整聚类中心的位置和噪声问题。Web数据聚类是通过分析Web服务器上收集到的数据,找出具有共同兴趣和行为的群体,利用改进的模糊C均值(FCM)聚类算法有效地提高了Web数据的聚类效率。Web使用挖掘是将数据采掘技术应用于Web日志数据仓库。它用于从Web访问日志中发现用户访问模式。Web数据集群是使用MSNBC Web导航数据集形成的。
2011-04-11 cs.CV cs.IR
Similarity based Dynamic Web Data Extraction and Integration System from Search Engine Result Pages for Web Content Mining
有一个爆炸性的增长,在万维网上的信息,从而提出了一个挑战,Web用户从Web上提取的基本知识。搜索引擎以搜索引擎结果页面(SERP)的形式帮助我们缩小搜索范围。Web内容挖掘是帮助用户从这些SERP中提取有用信息的技术之一。在本文中,我们提出了两个相似性为基础的机制; WDES,提取所需的SERP和存储在本地存储离线浏览和WDICS,整合所需的内容,使用户能够执行预期的分析,并提取所需的信息。实验结果表明,WDES和WDICS在查准率和查全率方面优于DEPTA [1]。
2013-03-23 cs.DB cs.IR
Efficient Personalized Web Mining: Utilizing The Most Utilized Data
在网络上寻找信息的增长,这是一个非常繁琐的过程,以获得用户正在寻找的确切信息。许多搜索引擎生成与用户简档相关的数据列表。本文涉及一个这样的过程,其中的评级是给用户点击的链接。而不是避免感兴趣的链接,感兴趣的链接和不感兴趣的链接都列出。但根据特定用户访问次数和在特定链接上花费的时间对每个链接的权重进行排序。
2011-09-09 cs.IR
E-commerce Webpage Recommendation Scheme Base on Semantic Mining and Neural Networks
University of Science and Technology of China(中国科学技术大学);Arizona State University(亚利桑那州立大学);The University of Chicago(芝加哥大学);Georgia Institute of Technology(佐治亚理工学院);University of California San Diego(加利福尼亚大学圣迭戈分校)
针对电商网页推荐方案难以满足网购用户需求的问题,提出结合语义网挖掘与BP神经网络的推荐方案,提取5类日志特征训练网络实现优先级排序,经图书销售网页实验验证可快速准确识别用户所需网页。
2024-09-11 cs.AI cs.IR
Integrating Vague Association Mining with Markov Model
ITM University Gurgaon(ITM大学古尔冈分校)
万维网需求的增长提出了对用户网页请求进行预测的需求,目前应用最广泛的网页预测方法是Web使用挖掘中的模式发现过程。这一过程必然涉及到马尔可夫模型、关联规则、聚类等技术。为了获得更好的结果,引入了模糊理论和不同的技术。我们的重点是马尔可夫模型。本文利用Vague集理论,将Vague规则与马尔可夫模型相结合,以提高Vague规则的准确性。
2014-05-08 cs.AI cs.IR
U-Sem: Semantic Enrichment, User Modeling and Mining of Usage Data on the Social Web
TU Delft(代尔夫特理工大学)
随着社会化Web应用的日益普及,每天都有越来越多的用户数据被发布到Web上。我们的研究重点是调查从这些平台中挖掘数据的方法,这些数据可用于建模用户和语义增强用户简档。这个过程可以增强各种自适应基于Web的系统的适应性和个性化。在本文中,我们提出了U-Sem的人建模服务,语义丰富和挖掘的人的配置文件在社交网络上的使用数据的框架。我们解释了我们的人建模服务的架构,并描述其应用程序在成人电子学习环境中作为一个例子。版本:Mar 21,10:10,Mar 25,09:37
2011-04-01 cs.AI cs.HC cs.IR
Effective Personalized Web Mining by Utilizing The Most Utilized Data
在网络上寻找信息的增长,这是一个非常繁琐的过程,以获得用户正在寻找的确切信息。许多搜索引擎生成与用户简档相关的数据列表。本文涉及一个这样的过程,其中的评级是给用户点击的链接。而不是避免感兴趣的链接,感兴趣的链接和不感兴趣的链接都列出。但是根据特定用户访问次数和在特定链接上花费的时间对每个链接的权重进行排序。
2011-09-09 cs.IR
Web Log Data Analysis by Enhanced Fuzzy C Means Clustering
万维网是一个巨大的信息库,每天的信息量都在急剧增加。用户数量也在与日俱增。为了减少用户的浏览时间,进行了大量的研究。Web使用挖掘是Web挖掘的一种类型,其中挖掘技术应用于日志数据中,以提取用户的行为。聚类在Web分析、CRM、市场营销、医疗诊断、计算生物学等广泛的应用中起着重要的作用。聚类是相似实例或对象的分组。聚类的关键因素是某种可以确定两个对象是相似还是不相似的度量。本文讨论了一种新的聚类方法,将用户会话划分成准确的簇。该算法的准确性和各种性能指标表明,该方法是一种更好的Web日志挖掘方法。
2014-05-21 cs.IR
Mining Implicit Relevance Feedback from User Behavior for Web Question Answering
Microsoft(微软);BUPT(北京邮电大学);Simon Fraser University(西蒙弗雷泽大学)
针对多语言商业搜索引擎的网络规模的问答(QA)系统的训练和更新通常需要大量的训练样本。一个原则性的想法是从记录在搜索引擎日志中的用户行为中挖掘隐含的相关反馈。以往的隐式相关反馈挖掘都是针对网页文档的相关性而不是段落。由于问答任务的一些独特的特点,现有的Web文档的用户行为模型不能应用于推断段落相关性。本文首先研究了用户行为与段落相关性之间的关系,提出了一种新的Web问答训练数据挖掘方法。我们在四个测试数据集上进行了大量的实验,结果表明,我们的方法显着提高了通道排名的准确性,而无需额外的人类标记数据。在实践中,这项工作已被证明是有效的,以大大减少人工标注成本的QA服务在全球商业搜索引擎,特别是对语言资源少。我们的技术已经部署在多语言服务中。
2020-06-16 cs.CL cs.IR
Opinion Mining In Hindi Language: A Survey
Banasthali Vidyapith(巴纳斯塔利大学)
意见在人类生活中非常重要。这些意见帮助人类执行决策。随着Web的影响力日益增强,Web文档可以被看作是人类新的意见来源。Web包含了用户通过博客、论坛条目和社交网站等产生的大量信息,为了分析这些大量的信息,需要开发一种方法来自动分类Web上可用的信息。这个领域被称为情感分析和意见挖掘。意见挖掘或情感分析是一项自然语言处理任务,它从评论、新闻和博客等各种文本形式中挖掘信息,并根据其极性将其分类为积极、消极或中性。但是,从过去几年来,在网络上看到了印地语的巨大增长。意见挖掘的研究主要是在英语语言中进行的,但在印地语中进行意见挖掘也是非常重要的,因为印地语中的大量信息也可以在Web上获得。本文简要介绍了印地文的研究工作。
2014-04-19 cs.CL cs.IR
Automatic Recommendation for Online Users Using Web Usage Mining
一个组织的网站管理员的一个现实世界的挑战性任务是匹配用户的需求,并保持他们的注意力在他们的网站。因此,唯一的选择是捕捉用户的直觉,并为他们提供推荐列表。更具体地说,在线导航行为与日俱增,因此智能地从中提取信息是一个困难的问题。网站管理员应该使用Web使用挖掘方法来捕捉直觉。WUM被设计为对包含用户导航的Web服务器日志进行操作。因此,基于WUM的推荐系统可以预测用户的导航模式,并以推荐列表的形式向用户推荐。在本文中,我们提出了一个两层架构,用于捕获用户的直觉,在推荐列表的形式包含由用户访问的页面和其他用户的具有类似的使用配置文件访问的页面。实际应用表明,该体系结构和算法提高了用户直觉捕捉的准确性。
2010-09-02 cs.HC cs.IR
Subjectivity Classification using Machine Learning Techniques for Mining Feature-Opinion Pairs from Web Opinion Sources
Jamia Millia Islamia(贾米亚·米利亚伊斯兰大学)
由于Web 2.0的蓬勃发展,网络意见来源正在迅速涌现,其中包含对客户和制造商都有用的宝贵信息。最近,基于特征的意见挖掘技术正在获得动力,其中客户评论被自动处理,用于挖掘产品特征和用户对它们的意见。然而,客户评论可能包含固执己见和事实的句子。事实内容的提取通过防止噪声和不相关的提取来提高挖掘性能。本文提出了一种结合监督机器学习和基于规则的方法从主观评论句中挖掘可行的特征-意见对的方法。在所提出的方法的第一阶段,监督机器学习技术被应用于分类的主观和客观的句子从客户评论。在下一阶段,实施基于规则的方法,该方法应用文本的语言和语义分析,从第一阶段后保留的主观句子中挖掘可行的特征-意见对。所提出的方法的有效性,建立通过实验对不同的电子产品的客户评论。
2013-12-25 cs.CL cs.IR cs.LG
A Dynamic Clustering-Based Markov Model for Web Usage Mining
马尔可夫模型已被广泛用于建模用户的Web导航行为。在这项工作中,我们提出了一个动态的聚类为基础的方法,以增加马尔可夫模型的准确性,代表一个集合的用户Web导航会话。该方法利用状态克隆的概念,复制状态的方式,分离的链接,其相应的二阶概率发散。此外,新方法结合了聚类技术,确定了一种有效的方式来分配在链接相似的二阶概率相同的克隆。我们报告的实验进行了真实的和随机的数据,我们提供了一个比较的N-元马尔可夫概念。结果表明,动态聚类方法引入的附加状态数可以通过一个阈值参数来控制,并且该方法的性能与模型大小呈线性关系。
2004-06-17 cs.AI cs.IR
Efficient Web Log Mining using Doubly Linked Tree
万维网是一个巨大的数据库,并以每天约100万页的爆炸性速度增长。随着万维网上可用信息的增长,网站的使用也在增长。Web日志记录了用户对Web页面的每次访问,并且Web日志中的条目数量正在迅速增加。这些网络日志,如果挖掘得当,可以为决策提供有用的信息。网站的设计者、分析师和管理人员都有兴趣从网络日志中提取这些隐藏的信息,以供决策之用。Web访问模式是从Web日志中挖掘出的重要信息之一,它是Web用户频繁使用的访问序列。这些信息可用于收集商业智能,以提高销售和广告,为用户提供个性化服务,分析系统性能并改进网站组织。有许多技术可以从Web日志中挖掘访问模式。本文介绍了一种有效挖掘Web日志的算法。该算法首先将Web访问数据转换到一个特殊的双向链接树中。每个访问被称为一个事件。此树基于频繁事件计数以非常压缩的形式保存关键的挖掘相关信息。建议的递归算法使用此树有效地找到所有的访问模式,满足用户指定的标准。为了证明我们的算法是有效的,从其他的GSP(广义序列模式)算法,我们做了实验研究的样本数据。
2009-07-30 cs.IR cs.IT math.IT
Bundle Fragments into a Whole: Mining More Complete Clusters via Submodular Selection of Interesting webpages for Web Topic Detection
Beijing University of Technology(北京工业大学);University of Chinese Academy of Sciences(中国科学院大学)
针对网络话题检测中话题候选多为片段的问题,提出捆绑-细化方法,利用子模优化细化粗略话题,在两个公开数据集上显著优于现有方法。
2024-09-19 cs.AI cs.IR
Web Content Classification: A Survey
随着网络信息量的日益增加,对这些信息进行组织是一种必要的要求。数据采掘的过程是从数据集中提取信息,并将其转换为可理解的结构以供进一步使用。网页内容的分类对于Web信息检索中的许多任务是必不可少的,例如维护Web目录和集中爬行。与传统的文本分类相比,Web内容的不受控制的性质类型对网页分类提出了额外的挑战,但是超文本的互连性质也提供了可以帮助该过程的特征。本文对Web分类进行了详细的讨论,探讨了Web分类在数据采掘领域中的重要性。
2014-05-03 cs.IR
Mining the Web for Synonyms: PMI-IR versus LSA on TOEFL
本文提出了一种简单的无监督学习算法,用于识别同义词,通过查询Web搜索引擎获得的统计数据的基础上。该算法使用点态互信息(PMI)和信息检索(IR)来度量词对之间的相似性。PMI-IR使用80个同义词测试问题从英语作为外语(TOEFL)和50个同义词测试问题,从收集的测试英语作为第二语言(ESL)的学生进行实证评估。在这两个测试中,该算法获得了74%的分数。PMI-IR与潜在语义分析(LSA)进行了对比,后者在相同的80个托福问题上获得了64%的分数。本文讨论了新的无监督学习算法的潜在应用和LSA和潜在语义索引(LSI)的结果的一些影响。
2002-12-11 cs.CL cs.IR cs.LG
Sentiment Analysis On Indian Indigenous Languages: A Review On Multilingual Opinion Mining
Dublin Business School(都柏林商学院)
智能手机使用的增加已经影响到互联网和社交媒体平台的使用。最常用的社交媒体平台是Twitter,Facebook,WhatsApp和Instagram。人们在网上分享他们的个人经历,评论,反馈。网络上的信息是非结构化的和巨大的。因此,在理解网络上可用数据的情绪方面有很大的研究范围。情感分析(SA)可以在网络上的评论、反馈、讨论上进行。已经有广泛的研究进行了SA在英语语言,但在网络上的数据也包含不同的其他语言,应加以分析。本文旨在分析,回顾和讨论的方法,算法,研究人员所面临的挑战,而开展的土著语言的SA。
2019-11-28 cs.CL cs.IR cs.LG
Word Sense Disambiguation by Web Mining for Word Co-occurrence Probabilities
本文介绍了美国国家研究委员会(NRC)的词义消歧(WSD)系统,适用于英语词汇样本(ELS)的任务在Senseval-3。NRC系统将WSD作为一个经典的监督机器学习问题,使用熟悉的工具,如Weka机器学习软件和Brill的基于规则的词性标注器。中心词被表示为具有数百个特征的特征向量。大约一半的特征是句法的,另一半是语义的。该系统的主要新颖之处在于基于单词\hbox{co-occurrence}概率生成语义特征的方法。概率估计使用滑铁卢多文本系统与语料库的约一TB的未标记的文本,收集的网络爬虫。
2004-07-29 cs.CL cs.IR cs.LG
1 Billion Pages = 1 Million Dollars? Mining the Web to Play "Who Wants to be a Millionaire?"
University of Minnesota(明尼苏达大学);Overture Services, Inc.(Overture服务公司);NEC Laboratories America(NEC美国实验室)
我们利用网络上的冗余和大量信息来为ABC电视游戏节目“谁想成为百万富翁?”玩家由一个问答模块和一个决策模块组成。问答模块利用问题转换技术,自然语言解析,多个信息检索算法,和多个搜索引擎的结果相结合的集成学习的精神,使用自适应加权方案。根据经验,该系统正确回答了《百万富翁》第三版中大约75%的问题,这些问题通常是关于流行文化和常识的一般性问题。决策模块从游戏中允许的动作中进行选择,以便最大化预期的风险调整后的奖金,其中正确回答的估计概率是过去表现和正确回答当前问题的信心的函数。当给出六个问题的开头时(即,当从$2,000水平开始时),我们发现该系统的平均表现与人类在开始时一样好。我们的系统展示了简单但精心选择的技术,从非结构化信息,如网络挖掘答案的潜力。
2012-10-19 cs.CL cs.IR
PubSqueezer: A Text-Mining Web Tool to Transform Unstructured Documents into Structured Data
每天发表的科学论文数量令人生畏,而且还在不断增加。与文学同行是一个挑战。如果一个人想开始探索新的主题,不阅读大量的文章是很难有一个大局。此外,当一个人阅读文学作品时,建立心理联系对于提出可能导致发现的新问题至关重要。在这项工作中,我提出了一个Web工具,它使用文本挖掘策略将大量的非结构化生物医学文章转化为结构化数据。生成的结果可以快速概述可能暗示未明确报告信息的复杂主题。特别是,我展示了两个数据科学分析。首先,我提出了一个基于文献的罕见疾病网络使用这个工具,希望它将有助于澄清这些不太流行的病理学的一些方面。其次,我展示了如何与PubSqueezer结果进行基于文献的分析,可以描述已知的事实,SARS冠状病毒2。一句话,PubSqueezer生成的数据可以轻松地在任何计算分析中使用科学知识,如机器学习,自然语言处理等。可用性:http://www.pubsqueezer.com
2020-11-09 cs.CL cs.IR q-bio.QM
The Archive Query Log: Mining Millions of Search Result Pages of Hundreds of Search Engines from 25 Years of Web Archives
本文介绍了Archive Query Log(AQL),一个由Internet Archive收集的大规模、多来源查询日志,支持检索模型研究与历时性搜索引擎分析,并以隐私保护方式促进开放研究。
2023-07-31 cs.IR
Mining the Web for the Voice of the Herd to Track Stock Market Bubbles
Trinity College Dublin(都柏林圣三一学院);University College Dublin(都柏林大学学院)
我们发现,幂律分析的金融评论报纸网站可以用来识别股市泡沫,补充传统的波动性分析。使用四年语料库的17,713在线,金融相关的文章(1000万字以上)从金融时报,纽约时报,和英国广播公司,我们表明,幂律分布的周与周的变化反映了道琼斯工业平均指数(DJI),富时100指数和日经225指数的市场走势。值得注意的是,统计语言跟踪2007年股市泡沫,显示出新兴的结构,在评论员的语言,逐步增加的协议,在他们的积极看法的市场。此外,在泡沫时期,一个显着的分歧,积极的语言发生所揭示的Kullback-Leibler分析。
2012-12-11 cs.CL cs.IR physics.soc-ph
ARAACOM: ARAbic Algerian Corpus for Opinion Mining
Université de Khenchela(肯切拉大学);Université de Constantine 2(康斯坦丁第二大学);Université de Poitiers(普瓦捷大学)
如今,不再需要付出巨大的努力,将大量的表格分发给成千上万的人并收集它们,然后将其转换为电子格式以跟踪人们对某些主题的意见。今天,许多网站可以用更少的努力达到很大的范围。大多数网站建议他们的访问者留下关于他们对网站或事件的感觉的备份。因此,这为我们提供了大量的数据,需要强大的手段来利用。网络中的意见挖掘变得越来越有吸引力的任务,由于个人和社会越来越需要跟踪人们对日常生活中的几个主题(体育,政治,电视等)的情绪。很多观点挖掘的著作都是用西方语言特别是英语写成的,阿拉伯语的著作还很少见。在本文中,我们提出了我们的方法,在阿拉伯语阿尔及利亚报纸的意见挖掘。$\bullet$信息系统~情感分析$\bullet$计算方法学~自然语言处理
2020-01-22 cs.CL cs.IR
Pbm: A new dataset for blog mining
National University of Computer & Emerging Sciences(国家计算机与新兴科学大学)
随着Web 2.0提供协作内容创建和共享,文本挖掘变得至关重要。现在研究人员对文本挖掘方法发现知识的兴趣越来越大。文本挖掘研究人员来自不同的领域,如:自然语言处理,计算语言学,机器学习和统计学。一个典型的文本挖掘应用包括文本的预处理、词干提取和词形化、标注和注释、知识模式的推导、结果的评估和解释。有许多方法可以执行文本挖掘任务,如:聚类,分类,情感分析和摘要。对这些任务的评价标准化的必要性日益增加。建立标准化的一个主要组成部分是为这些任务提供标准数据集。虽然有各种标准的数据集可用于传统的文本挖掘任务,但有很少和昂贵的数据集博客挖掘任务。博客作为web2.0时代的一种新体裁,是网络用户的数字化日记,具有时间顺序的条目,包含了大量有用的知识,这给文本挖掘带来了挑战和机遇。在本文中,我们报告了一个新的土著数据集巴基斯坦政治博客圈。本文描述了数据汇集、组织和标准化的过程。我们已经使用这个数据集进行各种文本挖掘任务的博客圈,如:博客搜索,政治情绪分析和跟踪,有影响力的博客的识别,和聚类的博客帖子。我们希望为那些渴望在这一领域进一步追求的人免费提供此数据集。
2012-01-10 cs.AI cs.CL cs.IR
Coherent Keyphrase Extraction via Web Mining
关键字有多种用途,包括汇总、索引、标记、分类、聚类、突出显示、浏览和搜索。自动关键词提取的任务是从给定文档的文本中选择关键词。自动关键词提取使得为大量没有手动分配关键词的文档生成关键词成为可能。以前的关键短语提取算法的局限性是所选择的关键短语偶尔是不连贯的。也就是说,大多数输出关键短语可以很好地配合在一起,但是可能存在少数看起来是离群值,与大多数或彼此没有明确的语义关系。本文提出了增强的Kea关键词提取算法,旨在提高提取的关键词的一致性。该方法是使用候选关键词之间的统计关联程度作为它们可能在语义上相关的证据。使用Web挖掘来测量统计关联。实验表明,增强提高了提取的关键词的质量。此外,增强不是特定于域的:当在一个域(计算机科学文档)上训练并在另一个域(物理文档)上测试时,该算法推广得很好。
2003-08-20 cs.CL cs.IR cs.LG
Just an Update on PMING Distance for Web-based Semantic Similarity in Artificial Intelligence and Data Mining
La Sapienza University of Rome(罗马大学)
在经典的语义学方法中出现的主要问题之一是本体和语义标注的获取和维护的困难。另一方面,互联网的爆炸和移动智能设备的大规模扩散导致了一个全球系统的创建,该系统每天都会检查信息,并通过数百万以协作方式进行交互的用户的贡献来推动。搜索引擎,不断探索网络,是一个自然的信息来源,基于现代方法的语义注释。一个很有前途的想法是,它是可能的语义相似性,语义相似的条款行为相似的假设下,并定义协作的接近度测量的基础上返回的索引信息的搜索引擎。PMING距离是在数据采掘和信息检索中使用的邻近度量,其中协作信息仅使用作为搜索引擎上的查询的结果返回的文档的数量来表达两个术语之间的关系程度。在这项工作中,PMINIG距离更新,提供了一个新的正式的代数定义,纠正以前的作品。新的观点强调PMING的特点是一个局部归一化的线性组合的逐点互信息和归一化谷歌距离。所分析的度量动态地反映了对网络资源的协同变化。
2017-01-09 cs.AI cs.CL cs.IR
Science User Scenarios for a Virtual Observatory Design Reference Mission: Science Requirements for Data Mining
新的大型天文数据库的知识发现潜力是巨大的。当这些与丰富的遗留数据档案结合使用时,科学发现的机会迅速增加。虚拟天文台(VO)框架将使透明和有效的访问,搜索,检索和可视化的数据在多个数据存储库,这通常是异构和分布式的。方面的数据挖掘,适用于各种科学用户的情况下,VO进行审查。虚拟观测站的发展应满足各种天文学研究群体的数据挖掘需求。通过举例的方式,两个用户的情况下,调用应用程序和跨目录和图像域的数据链接,以解决特定的天体物理学研究问题。这些说明了VO所需能力和力量的子集,因此它们代表了VO设计参考任务的潜在组成部分。
2000-08-19 astro-ph cs.DB cs.DL
A Fuzzy Approach for Feature Evaluation and Dimensionality Reduction to Improve the Quality of Web Usage Mining Results
P.A. College of Engineering(P.A.工程学院);J.N.T. University(J.N.T.大学)
Web使用挖掘是将数据采掘技术应用于Web使用日志存储库,以发现可用于分析用户导航行为的使用模式。在预处理阶段,原始Web日志数据被转换成一组用户简档。每个用户简档捕获一组表示用户会话的URL。可以将聚类应用于该会话化数据,以便在用户导航模式中捕获相似的兴趣和趋势。由于会话化数据可能包含数千个用户会话,并且每个用户会话可能由数百个URL访问组成,因此通过消除低支持度URL来实现降维。非常小的会话也会被删除,以过滤掉数据中的噪声。但是直接消除低支持URL和小会话可能会导致大量信息的丢失,特别是当低支持URL和小会话的计数很大时。我们提出了一个模糊的解决方案来处理这个问题,通过分配权重的URL和用户会话的基础上的模糊隶属函数。在分配权重之后,我们应用模糊c均值聚类算法来发现用户简档的聚类。在本文中,我们描述了我们的模糊集理论的方法来执行特征选择(或降维)和会话权重分配。最后,我们比较了我们的软计算为基础的降维方法与传统的方法,直接消除小会话和低支持计数的URL。我们的研究结果表明,模糊特征评价和降维结果更好的性能和有效性指标的发现集群。
2015-09-01 cs.AI cs.DB cs.IR
Opinion mining of movie reviews at document level
Banasthali Vidyapith(巴纳斯塔利大学)
整个世界都在迅速变化,使用当前的技术,互联网成为每个人的基本需求。Web应用于各个领域。大多数人使用网络的一个共同的目的,如网上购物,聊天等,在网上购物大量的评论/意见是由用户,反映产品是好还是坏。这些审查需要加以探讨、分析和组织,以便更好地作出决策。意见挖掘是一个自然语言处理任务,它处理的是在一段文本中发现关于某个主题的意见倾向。本文提出了一个基于文档的意见挖掘系统,该系统将文档分为正面、负面和中性三类。在所提出的系统中也处理否定。使用电影评论的实验结果表明了该系统的有效性。
2014-08-17 cs.CL cs.IR
Mining the Web for Lexical Knowledge to Improve Keyphrase Extraction: Learning from Labeled and Unlabeled Data
关键字有多种用途,包括汇总、索引、标记、分类、聚类、突出显示、浏览和搜索。自动关键词提取的任务是从给定文档的文本中选择关键词。自动关键词提取使得为大量没有手动分配关键词的文档生成关键词成为可能。通过将其作为一个监督学习问题来处理,在此任务上获得了良好的性能。输入文档被视为一组候选短语,这些短语必须被分类为关键短语或非关键短语。为了将候选短语分类为关键短语,最重要的特征(属性)似乎是候选短语在文档中的频率和位置。最近的工作已经证明,知道候选短语的频率作为针对与给定文档相同的域中的其他文档的手动分配的关键短语(例如,计算机科学的领域)。不幸的是,这个关键词频率特征是特定于域的(必须为每个新域重复学习过程)和训练密集型的(良好的性能需要给定域中相对大量的训练文档,并手动分配关键词)。本文所述工作的目的是消除这些限制。在本文中,我介绍了新的功能,从一个非常大的收集未标记的数据,包括约3.5亿个网页,没有手动分配的关键词挖掘词汇知识。我提出的实验表明,新的功能,改善了关键词提取的结果,虽然他们既不是特定领域的,也不是训练密集型。
2002-12-08 cs.IR cs.LG
Evolving a Stigmergic Self-Organized Data-Mining
自组织复杂系统通常由大量频繁相似的组件或事件组成。通过它们的过程,一个系统的全局级别的模式仅仅从系统的较低级别组件之间的许多交互中出现。此外,指定系统组件之间的交互的规则仅使用局部信息来执行,而不参考全局模式,这与在许多现实世界的问题中一样不容易访问或不可能找到。Stigmergy,一种在社会昆虫中发现的环境的间接通信和学习是自组织的一个众所周知的例子,不仅提供重要的线索,以了解组件如何相互作用,以产生一个复杂的模式,可以查明简单的生物非线性规则和方法,以实现改进的人工智能自适应分类系统,关键的数据采掘。在目前的工作中,我们的目的是表明,一种新的类型的数据采掘可以设计基于Stigmergic范式,利用这种现象的几个自然特征。通过将仿生群体智能与演化计算相结合,我们寻求一种完全分布式的、自适应的、集体的、协作的自组织数据采掘。作为一个真实世界,实时测试床,我们的建议,万维网挖掘将被使用。考虑到这一目的,网络使用数据是从莫纳什大学的网站(澳大利亚)收集的,每周有700多万次点击。结果进行了比较,最近的其他系统,表明该系统是到目前为止有前途的。
2004-02-28 cs.AI cs.IR
Argumentation Mining: Exploiting Multiple Sources and Background Knowledge
论证挖掘领域的出现是因为需要从表达的意见中确定潜在的原因,以及迫切需要发展意见挖掘和情感分析的既定领域。人工智能领域的最新进展与社交网络上的可用数据相结合,为包括论证挖掘在内的自然语言处理的每个子领域创造了巨大的潜力。
2018-09-18 cs.IR cs.SI
A language independent web data extraction using vision based page segmentation algorithm
Web使用挖掘是从服务器日志即用户历史中提取有用信息的过程。Web使用挖掘是一个发现用户在互联网上寻找什么的过程。有些用户可能只查看文本数据,而有些用户可能对多媒体数据感兴趣。人们可以通过复制数据并将其粘贴到相关文档中来检索数据。但是,这是繁琐和耗时的,以及困难的数据时,要检索的是大量的。由于复杂的结构化网页,从网页中提取结构化数据是一个具有挑战性的问题。以前他们都是用网页依赖的程序设计语言;主要问题是分析html源代码。在早期,它们被认为是脚本,如java脚本和html文件中的级联样式。与现有的仅通过分析标签结构来推断网页结构的规律性的解决方案不同。为了克服这个问题,我们正在使用一种新的算法,称为VIPS算法,即独立语言。该方法主要利用网页的视觉特征来实现网页数据抽取。
2013-10-24 cs.IR
Classifying Web Exploits with Topic Modeling
这篇简短的实证论文研究了主题建模和数据库元数据特征如何对公开披露的软件漏洞的Web和其他概念验证(proof-of-concept,缩写为EIP)利用进行分类。通过使用由超过36000个恶意攻击组成的数据集,在实证实验中获得了接近0.9的准确率。文本挖掘和主题建模是这种分类性能背后的重要推动因素。除了这些实证结果,本文有助于提高软件漏洞信息与文本挖掘的研究传统,也提供了一些学术意见的潜力,半自动分类的利用现有的跟踪基础设施。
2017-10-16 cs.CR cs.IR cs.SE
Mining User Comment Activity for Detecting Forum Spammers in YouTube
Indraprastha Institute of Information Technology, Delhi (IIIT-D)(德里英德拉普拉斯塔信息技术学院(IIIT-D))
研究表明,在网上论坛中的垃圾评论(未经请求的,无关的,辱骂性的,仇恨的,商业广告等评论)已经成为Web 2.0应用程序中的一种常见现象,并且有强烈的需要反击或打击垃圾评论。我们提出了一种方法来自动检测评论垃圾邮件在YouTube(最大的和流行的视频共享网站)论坛。所提出的技术是基于挖掘用户的评论活动日志和提取模式(如后续评论之间的时间间隔,存在完全相同的评论在多个不相关的视频)指示垃圾邮件行为。我们从YouTube上抓取的数据进行实证分析,并证明该方法是有效的评论垃圾邮件检测的任务。
2011-03-25 cs.AI cs.HC cs.IR
Binary Particle Swarm Optimization based Biclustering of Web usage Data
Periyar University(佩里亚尔大学)
提出一种结合二进制粒子群优化与双聚类的方法,从Web使用数据中提取全局最优双聚类,揭示用户与网页关系以支持电子商务应用。
2011-09-30 cs.IR cs.SY eess.SY
Opinion Mining and Analysis: A survey
RCOEM(拉杰夫·甘地计算机与生物技术学院);Zadgaonkar Software Pvt. Ltd.(扎德冈卡尔软件私人有限公司)
目前的研究主要集中在意见挖掘领域,也被称为情感分析,因为大量的意见丰富的网络资源,如论坛,评论网站和博客都是以数字形式提供的。产品评论的情感分析中的一个重要问题是基于产品特征生成意见摘要。我们已经调查和分析,在本文中,已经开发的意见挖掘的关键任务的各种技术。在调查和分析的基础上,我们提供了一个开发意见挖掘软件系统所涉及的总体情况。
2013-07-12 cs.CL cs.IR
SneakPeek: Interest Mining of Images based on User Interaction
如今,眼动追踪是用于检测感兴趣区域的最常用的技术。这种技术需要专门的设备来记录用户的眼睛。在本文中,我们提出了SneakPeek,一种不同的方法来检测感兴趣的区域显示在网页上的图像的缩放和平移的用户通过图像的动作的基础上。我们已经验证了我们提出的解决方案与一组测试对象,在我们的在线原型进行了测试。由于这是该算法的第一次迭代,我们发现了好的和坏的结果,这取决于图像的类型。具体来说,SneakPeek最适合中/大尺寸图像中的中/大对象。其背后的原因是当智能手机屏幕越来越大时检测的限制。SneakPeek可以通过简单地调整控制器界面来适应任何网站。
2017-12-10 cs.HC cs.IR cs.SI
A User-Centered Concept Mining System for Query and Document Understanding at Tencent
概念是对世界的认识的集中体现,是人类认知过程的重要组成部分。从Web文档中挖掘概念并构建相应的分类法是文本理解的核心研究问题,并支持许多下游任务,如查询分析,知识库构建,推荐和搜索。然而,我们认为,大多数以前的研究提取正式和过于笼统的概念,从维基百科或静态网页,这是不代表用户的角度。本文介绍了我们在腾讯QQ浏览器中实现和部署Concept T的经验。它通过挖掘大量的用户查询和交互式搜索点击日志,发现以用户为中心的概念,在正确的粒度符合用户的兴趣。提取的概念具有适当的粒度,与用户语言风格一致,并动态更新。我们进一步提出了以用户为中心的概念标记文档和构建主题-概念-实例分类的技术,这有助于提高搜索以及在腾讯QQ浏览器的新闻源推荐。我们进行了广泛的离线评估,以证明我们的方法可以提取更高质量的概念相比,其他几个现有的方法。本系统已部署在腾讯QQ浏览器中。基于大量真实用户的在线A/B测试结果表明,在腾讯QQ浏览器推荐框架中引入以用户为中心的思想后,Feed用户的印象效率提高了6.01%。
2019-05-21 cs.IR