首页/论文/1906.00529

arXiv 1906.005292019-06-03cs.IRcs.CY

从国会记录中挖掘数据

Mining Data from the Congressional Record

Zhengyu Ma, Tianjiao Qi, James Route, Amir Ziai

摘要：

我们提出了一个数据存储和分析方法，使用美国国会记录作为政策分析工具。我们使用Amazon Web Services和Solr搜索引擎来存储和处理从1789年至今的国会记录数据，然后查询Solr以了解与税收增加和减少相关的语言出现的频率。该频率数据与六个经济指标进行比较。我们的初步结果表明，税收讨论的发生率和多个指标之间的潜在关系。我们提出了我们的数据存储和分析程序，以及比较所有六个指标的结果。

英文摘要：

We propose a data storage and analysis method for using the US Congressional record as a policy analysis tool. We use Amazon Web Services and the Solr search engine to store and process Congressional record data from 1789 to the present, and then query Solr to find how frequently language related to tax increases and decreases appears. This frequency data is compared to six economic indicators. Our preliminary results indicate potential relationships between incidence of tax discussion and multiple indicators. We present our data storage and analysis procedures, as well as results from comparisons to all six indicators.

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

阅读原文

阅读 PDF ↗

arXiv 页面 ↗HTML 原文 ↗

本文内容

摘要英文摘要相关论文

机构、总结、中文摘要均由AI分析而来，可能存在错误，请以论文正文为准。

继续探索

相关论文

电子健康档案挖掘研究综述

Mining Electronic Health Records: A Survey

美国医疗保健系统的成本不断增加，引起了人们的极大关注。旨在遏制这一趋势的想法的核心是使用技术，以授权实施电子健康记录（EHR）的形式。EHR包括患者信息，如人口统计学，药物，实验室测试结果，诊断代码和程序。挖掘EHR可以改善患者健康管理，因为EHR包含与大量患者人群的疾病预后相关的详细信息。在这篇手稿中，我们提供了一个结构化的和全面的概述数据采掘技术建模EHR数据。我们首先提供了一个详细的了解的主要应用领域，EHR挖掘已被应用，然后讨论EHR数据的性质和随之而来的挑战。接下来，我们将描述用于EHR挖掘的主要方法，与EHR相关的度量标准以及各种研究设计。在此基础上，我们提供了一个系统的和方法的组织现有的数据采掘技术用于建模EHR和讨论未来的研究思路。我们以EHR数据的临床数据采掘应用的全面总结来结束本次调查，如在线补充中所示。

2017-03-23cs.IR

从优秀运动员的视频记录中自动挖掘估计姿势

Mining Automatically Estimated Poses from Video Recordings of Top Athletes

University of Augsburg（奥格斯堡大学）；FXPAL（FX帕洛阿尔托实验室）

基于最先进的DNN的人体姿态检测系统正在进行扩展，调整和重新训练，以适应特定运动的应用领域。因此，大量的噪声姿态数据将很快从定期和频繁记录的视频中获得。这项工作是第一批开发挖掘算法的工作之一，该算法可以从个人运动的视频记录中挖掘出预期丰富的噪声和无注释的姿势数据。以游泳为例的运动占主导地位的周期运动，我们展示了如何确定无监督的时间连续的周期速度和时间上惊人的姿态，以及测量无监督的周期稳定性随着时间的推移。此外，我们使用跳远作为一个例子的运动与刚性相位为基础的运动，提出了一种技术，自动分区的时间估计的姿势序列到各自的阶段。这使得能够提取当前由国家职业体育协会使用的性能相关的、基于姿势的度量。实验结果证明了挖掘算法的有效性，该算法也可以应用于其他基于周期或基于阶段的运动类型。

2018-04-27cs.CVcs.IR

时态关系流的增量信息增益挖掘

Incremental Information Gain Mining Of Temporal Relational Streams

研究了关系表中具有高信息增益的数据值的挖掘问题。高信息增益可以帮助数据分析师和二级数据采掘算法深入了解关键指标之间的强统计依赖性和因果关系。在本文中，我们将研究的问题，高信息增益识别的情况下，新的记录不断添加到关系的时间关系。我们表明，信息增益可以有效地保持在一个增量的方式，使其能够连续监测高信息增益值。

2022-06-11cs.IR

通过数据采掘实现法律研究自动化

Automating Legal Research through Data Mining

法律研究一词通常是指从过去的案件记录中识别和检索支持法律决策所需的适当信息的过程。目前，这个过程大多是手动的，但一些传统的技术，如关键字搜索，通常用来加快这一进程。但是，关键词检索并不是一个全面的检索，以满足法律研究的要求，因为检索结果包括太多不相关的案件记录的错误命中。因此，目前的通用工具不能用于自动化法律研究。本文提出了一个框架，它是由几个文本挖掘技术相结合，克服了现有方法中的困难，自动化的过程。此外，研究还确定了为提高框架的有效性而可能采取的改进措施。

2012-11-08cs.IR

从辅助存储器中挖掘频繁项集

Mining Frequent Itemsets from Secondary Memory

频繁项集挖掘是关联规则挖掘的核心，目前在算法上已经得到了很好的理解。然而，大多数挖掘频繁项集的算法都假设主存储器足够大以容纳挖掘中使用的数据结构，很少有有效的算法处理数据库很大或最小支持度很低的情况。从一个非常大的数据库中挖掘频繁项集带来了新的挑战，因为商业，科学和政府中普遍记录了天文数字数量的原始数据。本文讨论了当数据结构太大而无法装入主存时，挖掘频繁项集的方法。给出了几种分而治之的磁盘挖掘算法。介绍了许多新技术。实验结果表明，该技术减少了所需的磁盘访问的数量级，并使真正可扩展的数据采掘。

2004-05-20cs.DBcs.IR

评估ChatGPT在临床记录文本挖掘中用于肥胖监测的表现

Evaluating ChatGPT text-mining of clinical records for obesity monitoring

University of Liverpool（利物浦大学）；Durham University（杜伦大学）；University of Las Palmas de Gran Canaria（拉斯帕尔马斯大学）

本研究比较ChatGPT与正则表达式在兽医临床叙述中提取超重体况评分的能力，发现ChatGPT召回率更高但精确率较低，提示需谨慎实施以避免错误。

2023-08-03cs.CLcs.IR

更多相关论文收起更多论文

数据采掘：一种使用分类的性能改进预测

Data Mining: A prediction for performance improvement using classification

目前教育数据库中存储的数据量迅速增加。这些数据库包含隐藏的信息，以提高学生的表现。印度高等教育的表现是所有学生学业的转折点。学生的学习成绩受多种因素的影响，因此有必要建立学生学习成绩的预测数据采掘模型，以识别高学习者和低学习者之间的差异。在本研究中，采用实验方法来生成数据库。在填补缺失值、将一种形式的值转换为另一种形式以及相关属性/变量选择方面对原始数据进行预处理。结果，我们有300名学生的记录，这是用于Byes分类预测模型的构建。关键词-数据采掘，教育数据采掘，预测模型，分类。

2012-01-17cs.IR

一种理解特定领域数据采掘技术的不同模式的方法

A Way to Understand Various Patterns of Data Mining Techniques for Selected Domains

这与统计和机器学习领域的传统工作有很多共同点。然而，由于数据的庞大规模，出现了一些重要的新问题。分类规则学习是数据采掘中的一个重要问题，它涉及到寻找将给定数据划分为预定义类的规则。在涉及数百万条记录和大量属性的数据采掘领域中，现有算法的执行时间可能变得过高，特别是在交互式应用中。

2009-11-04cs.DBcs.IR

一种高精度隐私保护挖掘框架

A Framework for High-Accuracy Privacy-Preserving Mining

为了在数据采掘过程中保护客户隐私，最近提出了各种基于数据记录随机扰动的技术。在本文中，我们提出了一个广义的矩阵理论模型的随机扰动，这有利于系统的方法来设计扰动机制的隐私保护挖掘。具体来说，我们证明了（a）现有技术的不同之处仅在于其模型参数的设置，（b）通过适当选择参数设置，我们可以得到新的扰动技术，即使在严格的隐私保证下，也能提供高度准确的挖掘结果。我们还提出了一种新的扰动机制，其中的模型参数本身的特点是随机变量，并证明，这一功能提供了显着的改善隐私在一个非常边际成本的准确性。虽然我们的模型是有效的随机扰动为基础的隐私保护挖掘一般，我们特别评估其效用在这里关于频繁项集挖掘各种真实的数据集。实验结果表明，我们的机制产生显著较低的身份和支持错误相比，现有的技术。

2004-07-15cs.DBcs.IR

Web使用数据预处理方法综述

A Survey on Preprocessing Methods for Web Usage Data

万维网是一个巨大的网页和链接库。它为互联网用户提供了丰富的信息。Web的增长是巨大的，每天大约增加100万页。用户的访问记录在网络日志中。由于Web的大量使用，Web日志文件以更快的速度增长，并且大小变得巨大。Web数据采掘是数据采掘技术在Web数据中的应用。Web使用挖掘应用挖掘技术在日志数据中提取用户的行为，这些行为用于各种应用，如个性化服务，自适应网站，客户分析，预取，创建有吸引力的网站等，Web使用挖掘包括预处理、模式发现和模式分析三个阶段。Web日志数据通常具有噪声和模糊性，预处理是挖掘前的重要环节。为了发现模式，会话要被有效地构造。本文回顾了现有的工作在预处理阶段。简要概述了用于发现模式的各种数据采掘技术，并讨论了模式分析。最后对Web使用挖掘的各种应用进行了展望。

2010-04-08cs.IR

利用分类挖掘教育数据降低学生辍学率

Mining Educational Data Using Classification to Decrease Dropout Rate of Students

在过去的二十年里，印度高等教育机构（HEI）的数量迅速增长。由于大多数院校都是以私立模式开设的，因此，在吸引学生入学的同时，这些院校之间也出现了激烈的竞争。这就是为什么各机构关注学生的实力，而不是教育质量。本文提出了一个数据采掘应用程序生成预测模型的工程学生的辍学管理。给定新生的新记录，预测模型可以产生短的准确预测列表，识别出最需要学生辍学计划支持的学生。结果表明，机器学习算法能够从已有的学生辍学数据中建立有效的预测模型。

2012-06-14cs.IR

知识提取、建模与形式化：EEG案例研究

Knowledge extraction, modeling and formalization: EEG case study

形式概念分析（FCA）是一种成熟的数据分析方法，在数据采掘中有着广泛的应用。它在复杂数据表示格式上的扩展为基因表达挖掘、化合物毒性预测或过程事件日志中的序列聚类等问题带来了一波新的应用。基于此，我们的研究继承了他们的模型，并设计了一个实验来挖掘脑电图记录的睡眠纺锤波模式。本文的贡献在于对去激化过程的规范和FCA实验的体系结构。并对相关研究论文进行了反思。

2018-09-11cs.IReess.SP

从历史登记簿中挖掘工业化时空数据

Mining Spatio-temporal Data on Industrialization from Historical Registries

Brown University（布朗大学）

尽管大数据在许多领域的可用性越来越大，但由于缺乏自动化和可扩展的方法来收集、数字化和组装有关社会环境现象的历史数据，因此通常无法获得。我们已经开发了一种数据挖掘方法，用于从印刷目录中提取表格，地理编码数据。虽然扫描和光学字符识别（OCR）可以识别打印文本，但这些方法本身并不能捕获底层数据的结构。我们的管道集成了页面布局分析和OCR，从结构化文本中提取表格和地理编码数据。我们通过将其应用于罗德岛州的扫描制造登记册来证明这种方法的实用性，这些登记册记录了41年的工业土地使用情况。由此产生的时空数据可用于工业化的社会环境分析，其分辨率在以前是不可能的。特别是，我们发现强有力的证据表明，制造业从普罗维登斯，该州的首都，沿95号州际公路走廊的北部和南部的城市核心的分散。

2016-12-03cs.CVcs.IR

基于隐私保护的深度学习记录链接

Privacy-preserving Deep Learning based Record Linkage

Commonwealth Science and Industrial Research Organisation (CSIRO)（联邦科学与工业研究组织（CSIRO））；Macquarie University（麦考瑞大学）

基于深度学习的跨不同数据库的记录链接在数据集成和挖掘应用中变得越来越有用，以从多个数据源中发现新的见解。然而，由于隐私和保密性问题，组织通常不愿意或不允许与任何外部方共享其敏感数据，从而使得构建/训练用于跨不同组织的数据库的记录链接的深度学习模型具有挑战性。为了克服这一限制，我们提出了第一个基于深度学习的多方隐私保护记录链接（PPRL）协议，该协议可用于链接多个不同组织持有的敏感数据库。在我们的方法中，每个数据库所有者首先训练一个本地深度学习模型，然后将其上传到一个安全的环境中，并安全地聚合以创建一个全局模型。然后，链接单元使用全局模型来将未标记的记录对区分为匹配和非匹配。我们利用差分隐私来实现可证明的隐私保护，以防止重新识别攻击。我们使用几个大型的现实世界的数据库，我们的方法的链接质量和可扩展性进行评估，表明它可以实现高链接质量，同时提供足够的隐私保护对现有的攻击。

2022-11-03cs.CRcs.DBcs.DS