Generating Concise and Readable Summaries of XML Documents
XML已经成为数据表示和交换的事实标准，导致了大规模的XML数据存储库和仓库。为了让用户理解和探索这些大型集合，有必要对可用数据进行总结和鸟瞰。在本文中，我们感兴趣的语义XML文档摘要，目前的“重要”的信息提供给用户的XML文档。在最好的情况下，这样的摘要是对原始文件本身的简明替代。在另一个极端，它至少应该帮助用户就文件与其需要的相关性作出明智的选择。在本文中，我们解决了产生这种有意义的和简洁的摘要中出现的两个主要问题：i）哪些标签或文本单元是重要的，应该包括在摘要中，ii）如何生成不同大小的摘要。不同的内存预算。我们使用不同的真实数据集进行用户研究，并表明我们的方法在实践中是有用和有效的。
2009-10-13 cs.DB cs.IR
Transformation of XML Documents with Prolog
用传统的XML语言（如XSL-T）转换XML文档是不利的，因为对目标语言的抽象太松散，而且很难识别面向规则的转换。Prolog作为一种声明式范式的程序设计语言，特别适合于实现对形式语言的分析。Prolog似乎也适合术语操作、复杂模式转换和文本检索。在这份报告中，提出了一个适当的模型，XML文档，Prolog LTL的基本转换语言的定义和表达能力相比，XSL-T证明，整个使用的实现是多范式。
2019-06-19 cs.IR cs.LO
Ontology-driven personalized information retrieval for XML documents
Research Laboratory in Computer Science (LARI), Department of Computer Science（计算机科学研究实验室（LARI），计算机科学系）；The Kyoto College of Graduate Studies for Informatics（信息科学研究生学院）
本文提出基于本体的个性化XML文档信息检索方法，通过整合领域本体和用户画像，提升检索效果，实现更精准的个性化匹配。
2026-07-30 cs.IR cs.LG
A Tree Pattern Matching Algorithm for XML Queries with Structural Preferences
在XML社区中，精确查询允许用户精确地指定他们想要在XML文档中检查和/或检索的内容。当它们应用于半结构化文档或具有过于复杂模型的文档时，缺乏或忽略显式文档模型（DTD-文档类型定义、模式等）当查询太具体时，会增加获得空结果集的风险，或者当查询太模糊时，会增加获得太大结果集的风险（例如，它包含诸如"*"的通配符）。原因在于，在这两种情况下，用户都是根据他们心目中的文档模型编写查询的;这可能与实际上可以从文档中提取的模型相差甚远。相对于精确查询，偏好查询更加灵活，并且可以在其评估期间放宽以扩展搜索空间。事实上，在评估过程中，如果有必要，可以放松某些约束（它们包含的偏好），以避免精确的空结果;此外，可以过滤返回的答案，只保留最好的答案。本文提出了一种算法来评估这样的查询的启发，姚等人提出的TreeMatch算法。精确查询。在所提出的算法中，最佳答案是通过使用适应的天际线运营商（定义在关系数据库）的上下文中的文件（树）逐步过滤到部分解决方案集，那些满足最大的优先约束。对文件施加的唯一限制是无自我约束。
2019-06-07 cs.DB cs.IR
Unification of Template-Expansion and XML-Validation
XML文档的处理通常包括创建和验证。这两个操作通常在计算机网络内彼此不相关的两个不同节点中执行。创建的过程也称为模板的实例化，可以通过使用来自外部存储库的数据填充模板来描述。对任意源的初始访问可以被公式化为某些命令语言的表达式，如JavaScript。填充意味着将不变元素节点复制到目标文档，并从给定模板展开可变部分。验证是一个决策问题，如果给定的XML文档满足模式，则返回true，否则返回false。主要的课题是寻找一种将模板展开和验证结合起来的语言。[..].
2019-06-19 cs.IR cs.LO
Users and Assessors in the Context of INEX: Are Relevance Dimensions Relevant?
通过分析和比较以下两种行为来确定XML检索的主要方面：评估者在判断返回文档组件的相关性时的行为;以及用户与XML文档组件交互时的行为。我们认为，两个INEX的相关性维度，详尽性和特异性，是不是正交的维度，事实上，每个维度的实证分析表明，两个维度的等级是相互关联的。通过分析评估者和用户之间的一致程度，我们的目标是确定最佳的检索单位。我们的分析结果表明，最高水平的协议是高度相关的和不相关的文件组件，这表明只有INEX 10点相关性量表的端点被认为是以同样的方式由评估员和用户。我们提出了一个新的定义的相关性的XML检索，并认为其相应的相关性规模将是一个更好的选择INEX。
2005-07-28 cs.IR
An Effective Approach for Web Document Classification using the Concept of Association Analysis of Data Mining
网络的指数增长增加了网络文档分类和数据采掘的重要性。要获得确切的信息，以知道Web文档属于什么类的形式，是昂贵的。Web文档的自动分类对于搜索引擎来说有着重要的意义，因为搜索引擎能够以较低的代价提供这些信息。本文提出了一种利用数据采掘中的关联分析技术--频繁模式增长（FP）生成的频繁项目词集对Web文档进行分类的方法。这些关联词集充当特征集。在特征集上使用朴素贝叶斯分类器后得到的最终分类。在实验工作中，我们使用Gensim软件包，因为它简单而健壮。实验结果表明，该方法能够有效地对Web文档进行分类.
2014-06-21 cs.IR
Extracting Body Text from Academic PDF Documents for Text Mining
从PDF格式的学术文档中准确提取正文文本是文本挖掘应用中加深语义理解的关键。其目标是将正文中的完整句子提取到具有原始句子流和段落边界的txt文件中。从PDF文档中提取文本的现有工具通常会混合正文和非正文文本。我们设计并实现了一个名为PDFBoT的系统，使用扫线技术来检测多列布局，使用计算文本特征和向后遍历中的语法标记来删除非正文文本，并将剩余的文本与句子和段落对齐。我们表明，PDFBoT是高度准确的，平均F1分数分别为0.99提取句子，0.96提取段落，0.98删除文本的表格，数字和图表的PDF文档语料库随机选择从arXiv.org跨多个学科。
2020-10-23 cs.IR
Holistic evaluation of XML queries with structural preferences on an annotated strong dataguide
随着XML作为在Internet上存储和交换信息的事实上的格式的出现，寻找更创新和更有效的查询技术是XML数据库社区当前主要关注的问题。为帮助解决这个问题而进行的几项研究大多面向评估所谓的精确查询，不幸的是，这些查询可能（特别是在半结构化文档的情况下）产生丰富的结果（在模糊查询的情况下）或空结果（在非常精确的查询的情况下）。提出请求的用户不一定对所有可能的解决方案感兴趣，而是对那些最接近他们需求的解决方案感兴趣，从这一观察出发，一个重要的研究领域已经开始对偏好查询进行评估。在本文中，我们提出了一种方法，这种查询的评价，在这种情况下的偏好关注的文件的结构。调查的解决方案围绕着三个阶段的评价计划的建议：重写-评价-合并。重写阶段使得有可能从初始查询的划分-变换操作获得偏好路径查询的分层集合，该偏好路径查询在第二阶段中由算法TwigStack的仪表化版本进行整体评估。合并阶段是最佳结果的合成。
2019-06-07 cs.DB cs.IR
Overview of Web Content Mining Tools
如今，Web已经成为信息交换和检索的最广泛的平台之一。随着发布文档变得更加容易，随着用户数量以及因此发布者数量的增加，以及随着文档数量的增长，搜索信息正在变成一种繁琐且耗时的操作。由于WWW上数据的异构性和非结构化特性，Web挖掘使用各种数据采掘技术从Web超链接、页面内容和使用日志中发现有用的知识。Web内容挖掘的主要用途是收集、分类、组织并向请求信息的用户提供Web上可用的最佳信息。挖掘工具对于扫描许多HTML文档、图像和文本至关重要。然后，结果被搜索引擎使用。在本文中，我们首先介绍了与Web挖掘相关的概念，然后我们提出了不同的Web内容挖掘工具的概述。最后，我们提出了一个基于一些相关标准的这些工具的比较表。
2013-07-02 cs.IR
Accessing accurate documents by mining auxiliary document information
Christ University Faculty of Engineering（基督大学工程学院）
早期的文本挖掘技术包括k-means，Naive Bayes，SVM等算法，这些算法对文本文档进行分类和聚类，以挖掘文档的相关信息。改进挖掘技术的需要使我们使用可用的算法来搜索技术。本文提出了一种技术，它使用的辅助信息，是存在于文本文档中，以提高挖掘。该辅助信息可以是对内容的描述。这些信息可能对挖矿有用，也可能完全无用。在考虑使用这种技术进行文本挖掘之前，用户应该评估辅助信息的价值。本文结合经典的聚类算法对数据集进行挖掘。该算法分两个阶段运行，在不同的抽象层次上进行挖掘。然后，将根据必要的类别对分组文件进行分类。所提出的技术是针对改进的结果，文档聚类。
2016-04-15 cs.AI cs.IR cs.LG
A User-Centered Concept Mining System for Query and Document Understanding at Tencent
概念是对世界的认识的集中体现，是人类认知过程的重要组成部分。从Web文档中挖掘概念并构建相应的分类法是文本理解的核心研究问题，并支持许多下游任务，如查询分析，知识库构建，推荐和搜索。然而，我们认为，大多数以前的研究提取正式和过于笼统的概念，从维基百科或静态网页，这是不代表用户的角度。本文介绍了我们在腾讯QQ浏览器中实现和部署Concept T的经验。它通过挖掘大量的用户查询和交互式搜索点击日志，发现以用户为中心的概念，在正确的粒度符合用户的兴趣。提取的概念具有适当的粒度，与用户语言风格一致，并动态更新。我们进一步提出了以用户为中心的概念标记文档和构建主题-概念-实例分类的技术，这有助于提高搜索以及在腾讯QQ浏览器的新闻源推荐。我们进行了广泛的离线评估，以证明我们的方法可以提取更高质量的概念相比，其他几个现有的方法。本系统已部署在腾讯QQ浏览器中。基于大量真实用户的在线A/B测试结果表明，在腾讯QQ浏览器推荐框架中引入以用户为中心的思想后，Feed用户的印象效率提高了6.01%。
2019-05-21 cs.IR
Mining Mathematical Documents for Question Answering via Unsupervised Formula Labeling
数学堆栈交换（MSE）等问答（QA）平台上的问题越来越多，这意味着回答数学相关问题的信息需求越来越大。然而，目前很少有研究的开放数据QA系统的方法，检索数学公式使用它们的概念名称或查询公式标识符关系从知识图谱。在本文中，我们的目标是弥合差距，提出数据采掘方法和基准测试结果，采用数学实体链接（MathEL）和无监督公式标注（UFL）的语义公式搜索和数学问答（MathQA）的arXiv预印本存储库，维基百科和维基数据，这是维基媒体生态系统的一部分免费知识。基于不同类型的信息需求，我们评估我们的系统在15个信息需求模式，评估超过7,000查询结果。此外，我们将其性能与商业知识库和计算引擎（Wolfram Alpha）和搜索引擎（Google）进行比较。开放源代码系统由维基媒体托管在https://mathqa.wmflabs.org。演示视频可在purl.org/mathqa获得。
2022-11-12 cs.IR
Quantifying the informativeness for biomedical literature summarization: An itemset mining method
目的：自动文本摘要工具可以帮助生物医学领域的用户有效地从大量的科学文献和其他文本文档源中获取信息。在本文中，我们提出了一个摘要方法，结合项目集挖掘和领域知识，构建一个基于概念的模型，并提取主要的子主题从输入文档。我们的摘要量化的信息，每个句子中出现的项目集的支持值。方法：为了解决文本的概念级分析，我们的方法首先使用UMLS将原始文档映射到生物医学概念。然后，利用一种数据采掘技术，即项集挖掘，发现文本的本质子主题，并构建摘要模型。所采用的项集挖掘算法提取一组频繁项集包含相关的和经常性的概念的输入文档。摘要器选择最相关和信息量最大的句子并生成最终摘要。结果如下：我们评估我们的基于项目集的摘要使用面向回忆的替代Gisting评价（ROUGE）指标的性能，进行一组实验。结果表明，基于项目集的摘要器性能优于比较方法。基于项集的摘要器实现了所有评估的ROUGE指标的最佳分数。结论：与统计、相似度和词频方法相比，该方法通过概念抽取和项集挖掘得到的摘要模型为摘要器提供了一种有效的度量句子信息量的方法。这可以导致生物医学文献摘要的性能的改进。
2017-05-26 cs.IR
Clustering Unstructured Data (Flat Files) - An Implementation in Text Mining Tool
随着科技的进步和储存成本的降低，个人和组织都倾向于使用电子媒体来储存文本信息和文件。读者从非结构化的文档集合中检索相关信息是一项耗时的工作。当集合按组或类别排序或分类时，从大型集合中查找文档更容易，耗时更少。找到最佳的这种分组的问题仍然存在。本文讨论了我们实现的用于聚类非结构化文本文档的k-Means聚类算法的实现，从非结构化文本的表示开始，到达聚类的结果集。基于对样本文档集的聚类分析，我们还提出了一种表示文档的技术，可以进一步提高聚类结果。
2010-07-25 cs.IR
Extraction of Core Contents from Web Pages
网页上的信息大多包含半结构化的文本文档，这些文档以XML或HTML或XHTML格式表示，缺乏格式化的文档结构。文档不区分文本和表示文本的模式。此外，用于表示文本的结构的数量取决于文本文档的目的和大小。没有语义应用于半结构化文档。这需要提取文本文档的核心内容，分析单词或句子，以生成有用的知识。本文讨论了从半结构化文本中提取核心内容的几种技术和方法及其优缺点
2014-03-08 cs.IR
Opinion mining of movie reviews at document level
Banasthali Vidyapith（巴纳斯塔利大学）
整个世界都在迅速变化，使用当前的技术，互联网成为每个人的基本需求。Web应用于各个领域。大多数人使用网络的一个共同的目的，如网上购物，聊天等，在网上购物大量的评论/意见是由用户，反映产品是好还是坏。这些审查需要加以探讨、分析和组织，以便更好地作出决策。意见挖掘是一个自然语言处理任务，它处理的是在一段文本中发现关于某个主题的意见倾向。本文提出了一个基于文档的意见挖掘系统，该系统将文档分为正面、负面和中性三类。在所提出的系统中也处理否定。使用电影评论的实验结果表明了该系统的有效性。
2014-08-17 cs.CL cs.IR
Machine learning approach for text and document mining
Institute of technology Gopeshwar（戈佩什瓦尔技术学院）；Bansathali University（班萨塔利大学）；University of Oviedo（奥维耶多大学）；Siemens Information Systems Limited（西门子信息系统有限公司）
文本分类（TC），也称为文本分类，是将一组文本文档自动分类为预定义集合中的不同类别的任务。如果一个文档恰好属于其中一个类别，则它是一个单标签分类任务;否则，它是一个多标签分类任务。TC使用来自信息检索（IR）和机器学习（ML）的几种工具，并且在过去几年中受到学术界研究人员和行业开发人员的广泛关注。在本文中，我们首先使用基于KNN的机器学习方法对文档进行分类，然后返回最相关的文档。
2014-06-06 cs.IR cs.LG
Mining Asymmetric Intertextuality
本文提出“切分—规范化—合并”方法，结合元数据过滤、向量检索与LLM验证，用于在动态增长的文学与历史语料中挖掘单向引用、转述等非对称互文关系。
2024-10-19 cs.IR
A Fuzzy Based Approach to Text Mining and Document Clustering
Indian Institute of Technology-Kharagpur（印度理工学院卡尔哈普尔分校）；VIT University（VIT大学）
模糊逻辑处理真实度。在本文中，我们已经展示了如何应用模糊逻辑在文本挖掘，以执行文档聚类。我们举了一个文档聚类的例子，其中文档必须被聚类为两个类别。该方法包括清理文本和词干。然后，我们选择了m个特征，这些特征在属于这两个聚类的文档之间的词频（WF）（通过文档长度进行归一化）中存在显著差异。将待聚类的文档表示为m个归一化WF值的集合。模糊c均值（FCM）算法被用来聚类这些文档分为两类。FCM执行完成后，分析两个聚类中的文档各自的m特征值。众所周知，属于某个文档类型（比如X）的文档对于某些特定的特征往往具有更高的WF值。如果属于一个簇的文档对于这些相同的特征具有更高的WF值，则该簇被称为代表X。通过模糊逻辑，我们不仅可以得到聚类名称，而且还可以得到文档属于某个聚类的程度。
2013-06-06 cs.IR cs.LG
Data Mining Model for the Data Retrieval from Central Server Configuration
一个服务器，这是保持跟踪繁忙的文档流量，是无法过滤的文件，最相关的和更新的连续文本搜索查询。本文主要研究如何处理持续高文档流量的连续文本提取。主要目标是检索最近更新的文件是最相关的查询，通过应用滑动窗口技术。该方案基于倒排文件的原理，采用结构化的方式对主存中的流文档进行索引，并采用基于增量阈值的方法对文档到达和过期事件进行处理。它还确保使用无监督重复检测消除重复文档检索。根据用户反馈对文档进行排名，并给予更高的优先级进行检索。
2013-11-20 cs.DB cs.IR
Document Clustering with K-tree
Queensland University of Technology（昆士兰科技大学）
本文介绍了昆士兰科技大学的一个小组在INEX 2008上对XML挖掘轨道所采取的方法。我们介绍了K树聚类算法在信息检索的上下文中，通过调整它的文档聚类。文档聚类中存在着许多大规模的问题。K树由于其低复杂度，可以很好地扩展大输入。它在效率和质量方面都取得了可喜的成果。使用支持向量机完成文档分类。
2010-01-06 cs.AI cs.DS cs.IR
Exploring term-document matrices from matrix models in text mining
我们探讨了一个矩阵空间模型，这是一个自然的扩展向量空间模型的信息检索。每个文档都可以用一个基于文档摘录（例如句子、段落、章节）的矩阵来表示。我们专注于该模型的性能，在这种情况下，文件最初表示为术语的句子矩阵。我们使用奇异值分解近似的术语的句子矩阵，并组装这些结果，形成伪“术语文档”矩阵，形成替代传统的VSM和LSI的文本挖掘方法的基础。我们研究了这个矩阵的奇异值，并提供了实验证据表明，该方法可以是特别有效的多主题文档，如网页新闻的文本集合的准确性。
2006-02-21 cs.DB cs.DL cs.IR
Exploring the Daschle Collection using Text Mining
一位来自南达科他州的美国参议员捐赠了他在担任众议院代表和参议员期间积累的文件，这些文件将存放在南达科他州立大学的布里奇斯图书馆。本项目研究了定量统计方法的效用，以探索这一庞大文献收藏的某些部分。使用自然语言处理方法，包括潜在的狄利克雷分配（LDA）模型，从成分的可用扫描的文档和电子邮件进行分析。这一模式确定了特定文件集中讨论的主要议题。从参议员达施勒职业生涯的重要事件和流行的问题反映在不断变化的主题从模型。这些定量统计方法提供了大量文本的摘要，而不需要大量的人力或时间，并且可以应用于类似的集合。
2019-04-23 cs.IR stat.AP
Review Mining for Feature Based Opinion Summarization and Visualization
Jamia Millia Islamia（贾米亚·米利亚伊斯兰大学）
意见挖掘技术在商业智能、产品推荐、目标营销等领域的应用和使用引起了国内外学者的广泛关注。各种研究工作试图从不同粒度级别的客户评论中挖掘意见，包括单词，句子和文档级别。然而，开发一个全自动的意见挖掘和情感分析系统仍然是难以捉摸的。虽然意见挖掘和情感分析系统的发展势头越来越猛，但它们中的大多数都试图执行文档级的情感分析，将评论文档分类为积极的、消极的或中性的。这样的文档级意见挖掘方法无法提供关于用户对产品或服务的个体特征的情感的洞察。因此，如果评论可以在更细粒度的级别上进行处理，并通过一些视觉手段以摘要的形式呈现，突出产品的个人特征和用户对其表达的情感，似乎对客户和制造商都有很大的帮助。在本文中，一个统一的意见挖掘和情感分析框架的设计，提出了在机器学习和自然语言处理方法的交叉点。此外，提出了一种新的特征级审查摘要方案的设计，以可视化挖掘的功能，意见和他们的极性值在一个可理解的方式。
2015-04-23 cs.CL cs.IR
Open Data Platform for Knowledge Access in Plant Health Domain : VESPA Mining
Université Paris-Est（巴黎东大学）；INRA（法国国家农业研究院）；Vietnam National University of Agriculture（越南农业大学）
重要的资料都被锁在古代文献中。在没有文本挖掘技术的帮助下，再次产生这些数据或提取它们是不经济的。Vespa是一个文本挖掘项目，其目的是提取有关害虫和作物相互作用的数据，建模和预测对作物的攻击，并减少农药的使用。一些尝试提出了农业信息访问。我们的工作的另一个独创性是解析文档的文档架构的依赖。
2015-04-23 cs.CL cs.IR
SynTF: Synthetic and Differentially Private Term Frequency Vectors for Privacy-Preserving Text Mining
文本挖掘和信息检索技术的发展是为了帮助我们在计算机的帮助下分析、组织和检索文档。在许多情况下，这类文档的作者最好保持匿名：搜索日志可能会泄露用户的敏感信息，关于公司或政府的批评文章或消息可能会对批评者造成严重或致命的后果，客户调查中的负面反馈如果被识别，可能会对业务关系产生负面影响。然而，简单地从文档中删除个人识别信息不足以保护作者的身份：给定一些可疑作者的参考文本，所谓的作者归属方法可以从文本本身重新识别作者。在许多常见的文本挖掘和信息检索任务中表示文档的最突出的模型之一是向量空间模型，其中每个文档被表示为向量，通常包含其术语频率或相关量。因此，我们提出了一种自动文本匿名化方法，该方法为输入文档生成合成词频向量，可以代替原始向量。我们评估了我们的方法在一个示例性的文本分类任务，并证明它只具有较低的影响，其准确性。相比之下，我们表明，我们的方法强烈影响作者归属技术的水平，他们变得不可行的准确性下降得多。与以前的作者身份混淆方法不同，我们的方法是第一个实现差分隐私的方法，因此具有可证明的合理可否认性保证。
2018-05-02 cs.CR cs.IR
Mining Procedures from Technical Support Documents
IBM Research AI（IBM研究院人工智能部门）
引导故障排除是技术支持服务领域的一项固有任务。当客户遇到技术服务或产品的功能问题时，专家用户帮助指导客户完成包括故障排除过程的一组步骤。目标是通过一系列诊断步骤和观察来确定问题的根源，并得出解决方案。包含这些诊断步骤集和对不同问题的观察的过程是技术支持文档主体中的常见工件。使用机器学习和语言学来理解和利用这些程序用于智能聊天机器人或机器人过程自动化等应用的能力至关重要。现有的关于问答或智能聊天机器人的研究并没有深入了解程序或深入理解它们。在本文中，我们概述了一个系统的开采程序的技术支持文件。我们创建模型来解决重要的子问题，如提取程序，确定程序中的决策点，确定对应于这些决策点的指令块，并在决策块中映射指令。我们还发布了一个数据集，其中包含我们对公开支持文档的手动注释，以促进对该问题的进一步研究。
2018-05-24 cs.AI cs.CL cs.IR
An Automated Knowledge Mining and Document Classification System with Multi-model Transfer Learning
University of Nottingham Malaysia（诺丁汉大学马来西亚分校）；CAD-IT Consultants (M)
服务手册文件对工程公司至关重要，因为它们为服务工程师提供指导方针和知识。然而，由于资源的复杂性，服务工程师从文档中检索特定知识变得不方便和低效。在这项研究中，我们提出了一个自动化的知识挖掘和文档分类系统与新的多模型迁移学习方法。特别是，系统的分类性能得到了改善，三个有效的技术：微调，修剪，和多模型的方法。微调技术通过添加前馈神经网络层来优化预训练的BERT模型，并且修剪技术用于用新数据重新训练BERT模型。多模型方法训练和训练多个BERT模型，以克服微调过程中数据排序的随机性。在训练过程的第一次迭代中，同时训练多个BERT模型。然后，通过另外两次迭代，为训练过程的下一阶段选择最佳模型，并且终止其他BERT模型的训练过程。通过与两种鲁棒基线方法BERT和BERT-CNN的比较，对所提出的系统的性能进行了评估。在广泛使用的语料库语言可接受性（CoLA）数据集上的实验结果表明，所提出的技术在准确性和MCC得分方面优于这些基线方法。
2021-06-24 cs.CL cs.IR
Investigation of Topic Modelling Methods for Understanding the Reports of the Mining Projects in Queensland
RecordPoint（RecordPoint公司）；Queensland University of Technology（昆士兰科技大学）
在采矿业中，许多报告是在项目管理过程中生成的。这些过去的文件是未来成功的重要知识资源。然而，这将是一个繁琐和具有挑战性的任务，检索必要的信息，如果文档是无组织的和非结构化的。文档聚类是解决这一问题的一种有效方法，在过去的研究中已经引入了许多方法。尽管如此，对于任何类型的文档，都没有最好的银弹。因此，需要进行探索性研究，以将聚类方法应用于新的数据集。在这项研究中，我们将研究多主题建模（TM）方法。目标是使用昆士兰州政府资源部昆士兰地质调查局的数据集为采矿项目报告找到适当的方法，并了解内容以了解如何组织它们。本文对三种TM方法：隐狄利克雷分配（LDA）、非负矩阵分解（NMF）和非负张量分解（NTF）进行了统计和定性的比较。在评估之后，我们得出结论，LDA对数据集的性能最好;然而，其他方法在进行一些改进后仍有可能被采用。
2021-11-05 cs.IR cs.LG
Text Classification using Data Mining
文本分类是将文档根据其内容分为预定义类别的过程。它是将自然语言文本自动分配到预定义的类别。文本分类是文本检索系统和文本理解系统的主要要求，文本检索系统根据用户查询检索文本，文本理解系统以某种方式转换文本，例如生成摘要，回答问题或提取数据。现有的用于文本自动分类的监督学习算法需要足够的文档才能准确地学习。本文提出了一种新的文本分类算法，使用数据采掘，需要更少的文件进行训练。而不是使用词，词的关系，即从这些词的关联规则是用来从预先分类的文本文档中获得的特征集。朴素贝叶斯分类器的概念，然后使用派生的功能，最后只有一个单一的概念，遗传算法已被添加到最终的分类。一个系统的基础上所提出的算法已经实施和测试。实验结果表明，该系统是一个成功的文本分类器。
2010-09-25 cs.DB cs.IR
Mining the Web for Lexical Knowledge to Improve Keyphrase Extraction: Learning from Labeled and Unlabeled Data
关键字有多种用途，包括汇总、索引、标记、分类、聚类、突出显示、浏览和搜索。自动关键词提取的任务是从给定文档的文本中选择关键词。自动关键词提取使得为大量没有手动分配关键词的文档生成关键词成为可能。通过将其作为一个监督学习问题来处理，在此任务上获得了良好的性能。输入文档被视为一组候选短语，这些短语必须被分类为关键短语或非关键短语。为了将候选短语分类为关键短语，最重要的特征（属性）似乎是候选短语在文档中的频率和位置。最近的工作已经证明，知道候选短语的频率作为针对与给定文档相同的域中的其他文档的手动分配的关键短语（例如，计算机科学的领域）。不幸的是，这个关键词频率特征是特定于域的（必须为每个新域重复学习过程）和训练密集型的（良好的性能需要给定域中相对大量的训练文档，并手动分配关键词）。本文所述工作的目的是消除这些限制。在本文中，我介绍了新的功能，从一个非常大的收集未标记的数据，包括约3.5亿个网页，没有手动分配的关键词挖掘词汇知识。我提出的实验表明，新的功能，改善了关键词提取的结果，虽然他们既不是特定领域的，也不是训练密集型。
2002-12-08 cs.IR cs.LG
PubSqueezer: A Text-Mining Web Tool to Transform Unstructured Documents into Structured Data
每天发表的科学论文数量令人生畏，而且还在不断增加。与文学同行是一个挑战。如果一个人想开始探索新的主题，不阅读大量的文章是很难有一个大局。此外，当一个人阅读文学作品时，建立心理联系对于提出可能导致发现的新问题至关重要。在这项工作中，我提出了一个Web工具，它使用文本挖掘策略将大量的非结构化生物医学文章转化为结构化数据。生成的结果可以快速概述可能暗示未明确报告信息的复杂主题。特别是，我展示了两个数据科学分析。首先，我提出了一个基于文献的罕见疾病网络使用这个工具，希望它将有助于澄清这些不太流行的病理学的一些方面。其次，我展示了如何与PubSqueezer结果进行基于文献的分析，可以描述已知的事实，SARS冠状病毒2。一句话，PubSqueezer生成的数据可以轻松地在任何计算分析中使用科学知识，如机器学习，自然语言处理等。可用性：http://www.pubsqueezer.com
2020-11-09 cs.CL cs.IR q-bio.QM
Coherent Keyphrase Extraction via Web Mining
关键字有多种用途，包括汇总、索引、标记、分类、聚类、突出显示、浏览和搜索。自动关键词提取的任务是从给定文档的文本中选择关键词。自动关键词提取使得为大量没有手动分配关键词的文档生成关键词成为可能。以前的关键短语提取算法的局限性是所选择的关键短语偶尔是不连贯的。也就是说，大多数输出关键短语可以很好地配合在一起，但是可能存在少数看起来是离群值，与大多数或彼此没有明确的语义关系。本文提出了增强的Kea关键词提取算法，旨在提高提取的关键词的一致性。该方法是使用候选关键词之间的统计关联程度作为它们可能在语义上相关的证据。使用Web挖掘来测量统计关联。实验表明，增强提高了提取的关键词的质量。此外，增强不是特定于域的：当在一个域（计算机科学文档）上训练并在另一个域（物理文档）上测试时，该算法推广得很好。
2003-08-20 cs.CL cs.IR cs.LG
