Quantum Machine Learning For Classical Data
University College London(伦敦大学学院)
在这篇论文中,我们研究了量子计算和监督机器学习算法的交叉点,这意味着我们研究了在经典数据上操作的监督机器学习的量子算法。这一研究领域属于量子机器学习的范畴,量子机器学习是计算机科学的一个研究领域,最近受到了广泛的关注。特别是,我们研究了量子计算机在多大程度上可以用于加速监督机器学习算法。其目的是清楚地了解用于监督机器学习的量子算法的当前技术水平的承诺和局限性,同时也为这一令人兴奋的领域的未来研究确定方向。我们首先通过统计学习理论的视角来研究监督量子机器学习(QML)算法。在这个框架中,我们得到了新的边界上的一个大的监督QML算法的最佳学习率的要求下的计算复杂度。接下来,我们给出了一个新的界限,密集的哈密尔顿算子,一个主要的子程序的监督QML算法的哈密尔顿模拟,然后推导出一个经典的算法几乎相同的复杂性。然后,我们将其与最近的“量子启发”结果进行比较,并将解释这些结果对量子机器学习应用的影响。寻找QML算法可能具有更大优势的领域,我们最终提出了一种新的量子玻尔兹曼机算法,并认为量子数据的量子算法是QML最有前途的应用之一,与经典方法相比具有潜在的指数优势。
2021-05-12 cs.LG quant-ph
Machine Learning-Based Classification Algorithms for the Prediction of Coronary Heart Diseases
冠心病是心血管疾病(CVD)的一种形式,是全球死亡的主要原因。如果早期发现或诊断,生存的几率很高。本报告讨论了使用机器学习(ML)算法对冠心病数据集进行分类的比较方法。目前的研究创建并测试了几个基于机器学习的分类模型。对数据集进行Smote处理,以处理不平衡类和特征选择技术,以评估对两个不同性能指标的影响。结果表明,与其他算法相比,逻辑回归在原始数据集上产生了最高的性能得分。总之,这项研究表明,在经过良好处理和标准化的数据集上的LR可以比其他算法更准确地预测冠心病。
2021-12-02 cs.CV cs.LG
Instagram Fake and Automated Account Detection
Ihsan Dogramaci Bilkent University(伊赫桑·多格拉马吉·比尔肯特大学);Middle East Technical University(中东技术大学)
虚假参与是在线社交网络(OSN)中的重要问题之一,其用于以无机方式增加账户的受欢迎程度。虚假参与的检测是至关重要的,因为它会导致企业的金钱损失,广告中错误的受众定位,错误的产品预测系统和不健康的社交网络环境。这项研究与检测虚假和自动账户有关,这些账户会导致Instagram上的虚假参与。在此之前,没有公开的虚假和自动账户数据集。为此,发布了两个数据集,用于检测虚假和自动账户。为了检测这些账户,应用了机器学习算法,如朴素贝叶斯、逻辑回归、支持向量机和神经网络。此外,对于自动帐户的检测,成本敏感的遗传算法,提出了处理数据集中的非自然偏见。针对伪数据集的不均匀性问题,实现了Smote-nc算法。对于自动和虚假账户检测数据集,分别获得了86%和96%的分类准确率。
2022-05-19 cs.IR cs.LG stat.ML
An Aggregate and Iterative Disaggregate Algorithm with Proven Optimality in Machine Learning
Southern Methodist University(南方卫理公会大学);Northwestern University(西北大学)
我们提出了一种基于聚类的迭代算法来解决机器学习中的某些优化问题,其中我们通过聚合原始数据来开始算法,解决聚合数据上的问题,然后在后续步骤中逐渐分解聚合数据。我们将该算法应用于常见的机器学习问题,如最小绝对偏差回归问题,支持向量机和半监督支持向量机。我们推导出特定于模型的数据聚合和分解程序。我们还显示了最优性,收敛性和最优性差距的近似解决方案在每次迭代。提供了一个计算研究。
2016-07-05 cs.LG stat.ML
Ecological Data Analysis Based on Machine Learning Algorithms
Begum Rokeya University(贝古姆·罗凯亚大学);Hajee Mohammad Danesh Science and Technology University(哈吉·穆罕默德·达内什科技大学)
分类是一种重要的有监督机器学习方法,是生态学研究中必不可少的挑战性课题。它提供了一种将数据集分类为共享共同模式的子集的方法。值得注意的是,有许多分类算法可供选择,每种算法都对数据和分类应该如何形成做出某些假设。本文应用决策树、随机森林、人工神经网络、支持向量机、线性判别分析、k-近邻、逻辑斯谛回归和朴素贝叶斯等八种机器学习分类算法对生态数据进行分类。本研究的目的是比较不同的机器学习分类算法在生态数据集。在此分析中,我们检查了算法之间的准确性测试。在我们的研究中,我们得出结论,线性判别分析和k-近邻是最好的方法,所有其他方法
2018-12-21 cs.LG stat.ML
Cyclic Boosting -- an explainable supervised machine learning algorithm
Blue Yonder GmbH(蓝扬德有限公司);IUBH Internationale Hochschule(IUBH国际大学)
受监督的机器学习算法已经取得了惊人的进步,并在广泛的特定应用中超越了人类水平的性能。然而,使用复杂的集成或深度学习算法通常会导致黑箱模型,其中无法详细跟踪导致个体预测的路径。为了解决这个问题,我们提出了新的“循环提升”机器学习算法,它允许有效地执行准确的回归和分类任务,同时允许详细了解每个预测是如何进行的。
2021-01-05 cs.LG stat.ML
Julia Language in Machine Learning: Algorithms, Applications, and Open Issues
China University of Geosciences (Beijing)(中国地质大学(北京));University of Naples Federico II(那不勒斯费德里科二世大学)
机器学习正在推动科学和工程领域的发展。一种简单高效的程序设计语言可以加速机器学习在各个领域的应用。目前,最常用于开发机器学习算法的程序设计语言包括Python、MATLAB和C/C++。然而,这些语言都没有很好地平衡效率和简单性。Julia语言是一种快速、易用、开源的程序设计语言,最初是为高性能计算而设计的,可以很好地平衡效率和简单性。本文综述了Julia语言在机器学习中应用的相关研究工作和进展。它首先调查流行的机器学习算法,在Julia语言开发。然后,研究了用Julia语言实现的机器学习算法的应用。最后,它讨论了在机器学习中使用Julia语言时出现的开放问题和潜在的未来方向。
2020-05-17 cs.LG stat.ML
Optimal Algorithms for Ski Rental with Soft Machine-Learned Predictions
Massachusetts Institute of Technology(麻省理工学院)
我们考虑一个变种的经典滑雪租赁在线算法与应用程序的机器学习。在我们的变体中,我们允许滑雪者访问黑盒机器学习算法,该算法提供了最多滑雪天数阈值的概率估计。我们推导出一类最优的随机算法,以确定的战略,最大限度地减少最坏情况下的预期竞争比滑雪者从机器学习算法的预测,并分析这些算法的性能和鲁棒性。
2019-03-12 cs.DS cs.LG stat.ML
An Introduction to MM Algorithms for Machine Learning and Statistical
University of Queensland(昆士兰大学)
MM(majorization-minimization)算法是解决机器学习和统计估计中的优化问题的一种越来越流行的工具。本文通过三个流行的示例应用:高斯混合回归、多项逻辑斯谛回归和支持向量机,从总体上介绍了MM算法框架。三个例子的具体算法推导和数值演示。理论和实践方面的MM算法设计进行了讨论。
2016-11-12 cs.LG stat.CO stat.ML
A Stochastic Large-scale Machine Learning Algorithm for Distributed Features and Observations
Northwestern University(西北大学)
由于现代数据集的大小超过了单个计算机的磁盘和内存容量,机器学习从业者已经求助于并行和分布式计算。鉴于优化是机器学习和预测建模的支柱之一,分布式优化方法最近获得了足够的关注,特别是当观察或特征是分布式的,但不是两者都是。我们提出了一种通用的随机算法,其中观测,特征和梯度分量可以在双分布设置中进行采样,即,其中特征和观测都是分布式的。非常技术性的分析建立了算法在不同学习率条件下的收敛特性(减少到零或常数)。在Spark中的计算实验表明,我们的算法在算法的早期迭代中与基准相比具有优异的性能,这是由于算法的随机成分。
2019-12-08 cs.LG stat.ML
Hyperbox based machine learning algorithms: A comprehensive survey
University of Technology Sydney(悉尼科技大学);Khalifa University(哈利法大学)
随着数字信息的快速发展,人类和机器产生的数据量呈指数级增长。伴随着这一趋势,机器学习算法不断形成和发展,从不同的数据源中发现新的信息和知识。使用超盒作为基本表示和构建块的学习算法是机器学习方法的一个分支。这些算法具有巨大的潜力,高的可扩展性和在线适应的预测使用超盒数据表示的动态变化的环境和流数据。本文旨在对基于超盒的机器学习模型的文献进行全面的综述。通常,根据所得到的模型的架构和特性特征,现有的基于超盒的学习算法可以被分为三大类:模糊最小-最大神经网络、基于超盒的混合模型和基于超盒表示的其他算法。在每一组中,本文简要描述了模型的结构,相关的学习算法,并分析了它们的优点和缺点。本文还介绍了这些基于超盒的模型在实际问题中的主要应用。最后,我们讨论了一些开放的问题,并确定在这一领域的潜在的未来研究方向。
2019-03-22 cs.LG stat.ML
On Hyperparameter Optimization of Machine Learning Algorithms: Theory and Practice
University of Western Ontario(西安大略大学)
机器学习算法已经广泛应用于各种应用和领域。为了使机器学习模型适应不同的问题,必须调整其超参数。为机器学习模型选择最佳超参数配置对模型的性能有直接影响。它通常需要深入了解机器学习算法和适当的超参数优化技术。虽然存在几种自动优化技术,但当应用于不同类型的问题时,它们具有不同的优点和缺点。研究了常用机器学习模型超参数的优化问题。我们将介绍几种最先进的优化技术,并讨论如何将它们应用于机器学习算法。本文介绍了超参数优化问题的各种库和框架,并讨论了超参数优化研究面临的一些挑战。此外,在基准数据集上进行实验,比较不同优化方法的性能,并提供超参数优化的实际例子。这份调查报告将帮助工业用户、数据分析师和研究人员通过有效识别适当的超参数配置来更好地开发机器学习模型。
2022-10-05 cs.LG stat.ML
Exploring the Entire Regularization Path for the Asymmetric Cost Linear Support Vector Machine
Gdansk University of Technology(格但斯克理工大学);Polish Academy of Sciences(波兰科学院)
我们提出了一个算法,探索整个正则化路径的非对称成本的线性支持向量机。经验证据表明,支持向量机的预测能力取决于训练算法的正则化参数。探索整个正则化路径的算法已经被提出用于单成本支持向量机,从而提供关于超参数空间上的训练模型的行为的完整知识。考虑二维超参数空间中的问题,使我们的算法在处理特殊情况时保持更大的灵活性,并揭示了在一维空间中构建路径的算法所遇到的问题。我们展示了二维正则化路径的线性支持向量机,我们训练合成和真实的数据。
2016-10-12 cs.LG stat.ML
Machine Unlearning via Algorithmic Stability
Johns Hopkins University(约翰斯·霍普金斯大学);Adobe Research(奥多比研究院)
我们研究了机器遗忘的问题,并确定了算法稳定性的概念,总变差(TV)的稳定性,我们认为,是适合的目标,准确的遗忘。对于凸风险最小化问题,我们设计了基于噪声随机梯度下降(SGD)的TV稳定算法。我们的主要贡献是设计相应的有效的unlearning算法,这是基于构建一个(最大)耦合的马尔可夫链的噪声SGD过程。为了理解准确性和学习效率之间的权衡,我们给出了凸风险最小化的TV稳定算法的过度经验和种群风险的上界和下界。我们的技术推广到任意的非凸函数,我们的算法是差分私有的。
2021-02-25 cs.LG stat.ML
Algorithmic Factors Influencing Bias in Machine Learning
University College Dublin(都柏林大学学院)
公平地说,机器学习(ML)中的许多突出的偏见例子都来自训练数据中的偏见。事实上,有些人会认为监督ML算法不能有偏见,它们反映了训练它们的数据。在本文中,我们演示了ML算法如何通过低估来歪曲训练数据。我们展示了不可约的错误,正则化和功能和类的不平衡如何导致这种低估。本文最后演示了如何谨慎管理合成反事实可以改善这种低估偏差的影响。
2021-04-28 cs.LG stat.ML
Efficient Inverse-Free Incremental and Decremental Algorithms for Multiple Hidden Nodes in Extreme Learning Machine
Shenzhen University(深圳大学)
文献[4]中提出的无逆极端学习机(ELM)算法是基于无逆算法来计算正则化伪逆的,该正则化伪逆是从更新Hermitian矩阵的逆的无逆递归算法推导出来的。在文献[4]中应用递归算法之前,其改进版本已在以前的文献[9],[10]中使用。[13]在改进的递归算法[9]、[10]的基础上,提出了几种有效的ELM无逆算法,以降低计算复杂性。在本文中,我们提出了两个逆自由算法的ELM与Tikhonov正则化,这可以增加多个隐藏节点的迭代。另一方面,我们还提出了两个有效的递减学习算法ELM与Tikhonov正则化,它可以删除多个冗余节点的迭代。
2020-04-27 cs.LG stat.ML
An $O(N)$ Sorting Algorithm: Machine Learning Sort
University of Science and Technology of China(中国科学技术大学);Lanzhou University(兰州大学);State University of New York at Stony Brook(纽约州立大学石溪分校)
本文提出了一种基于机器学习的$O(N\cdot M)$排序算法,该算法在大数据排序方面具有巨大的潜力。该排序算法可应用于并行排序,适用于GPU或TPU加速。并讨论了该算法在稀疏哈希表中的应用。
2018-08-15 cs.DS cs.LG stat.ML
Iteratively-Reweighted Least-Squares Fitting of Support Vector Machines: A Majorization--Minimization Algorithm Approach
La Trobe University(拉筹伯大学);University of Queensland(昆士兰大学)
支持向量机是现代数据分析的重要工具。传统上,支持向量机已经通过二次规划来拟合,使用专用的或现成的算法。我们提出了一种替代方法,支持向量机拟合通过优化-最小化(MM)的范例。通过MM算法构造导出的算法可以在每次迭代时单调减少其目标,并且全局收敛到稳定点。我们证明了迭代加权最小二乘(IRLS)算法的建设,通过MM范式,SVM风险最小化问题,涉及铰链,最小二乘,平方铰链,逻辑损失,1-范数,2-范数,和弹性网惩罚。我们的算法的成功实现,通过一些数值例子。
2017-05-12 cs.LG stat.CO stat.ML
Greedy Algorithms for Approximating the Diameter of Machine Learning Datasets in Multidimensional Euclidean Space
Mutah University(穆塔大学)
在多维欧氏空间中找到数据集的直径是一个公认的问题,具有众所周知的算法。然而,文献中的大多数算法不能很好地适应大的数据维数,因此在大多数情况下时间复杂度呈指数增长,这使得这些算法不实用。因此,我们实现了4种简单的贪心算法,用于近似多维数据集的直径;这些算法分别基于最小/最大l2范数、爬山搜索、禁忌搜索和束搜索方法。所实现的算法的时间复杂度接近线性,因为它们随着数据大小及其维度而接近线性地扩展。实验的结果(在不同的机器学习数据集上进行)证明了所实现的算法的效率,并且因此可以被推荐用于在需要时找到要由不同的机器学习应用使用的直径。
2018-08-10 cs.DS cs.LG stat.ML
Novel Machine Learning Algorithms for Centrality and Cliques Detection in Youtube Social Networks
School of Engineering and Computer Science, Morehead State University(莫尔黑德州立大学工程与计算机科学学院)
本研究项目的目标是使用机器学习技术来分析社交网络的动态,以定位最大的集团,并找到集群,以确定目标人口。在这个项目中,设计并实现了无监督的机器学习技术来分析来自YouTube的数据集,以发现社交网络中的社区并找到中心节点。实现了不同的聚类算法并应用于YouTube数据集。著名的Bron-Kerbosch算法有效地用于本研究中找到最大团。从这项研究中获得的结果可以用于广告目的和构建智能推荐系统。所有算法均使用Python程序设计语言实现。实验结果表明,我们能够成功地找到中心节点,通过中心中心度和度中心度。通过利用集团检测算法,该研究展示了机器学习算法如何在更大的网络中检测紧密联系的群体。
2020-02-10 cs.LG cs.SI stat.ML
An efficient quantum algorithm for generative machine learning
Center for Quantum Information, IIIS, Tsinghua University(清华大学交叉信息研究院量子信息中心);Department of Physics, University of Michigan(密歇根大学物理系)
量子计算领域的一个中心任务是找到量子计算机可以提供比任何经典计算机指数加速的应用。机器学习是一个重要的领域,具有广泛的应用,量子计算机可以提供显着的加速。基于线性代数问题的有效求解,已经发现了几种用于判别式机器学习的量子算法,在量子随机存取存储器的有效输入的假设下,在运行时具有潜在的指数加速。在机器学习中,生成模型代表了另一大类,广泛用于监督和无监督学习。在这里,我们提出了一个有效的量子机器学习算法的基础上量子生成模型。我们证明了我们提出的模型是指数更强大的代表概率分布相比,经典的生成模型,并具有指数加速训练和推理至少在某些情况下,在计算复杂性理论的合理假设。我们的结果为量子机器学习开辟了一个新的方向,并提供了一个显着的例子,其中量子算法在一个重要的应用领域显示出指数级的改进。
2017-11-06 cs.LG quant-ph stat.ML
Restricted Boltzmann Machine Assignment Algorithm: Application to solve many-to-one matching problems on weighted bipartite graph
Sapienza, University of Rome(罗马大学(萨皮恩扎))
在这项工作中,提出了一种基于无监督学习的迭代算法,特别是在限制玻尔兹曼机(RBM)上解决二分加权图上的完美匹配问题。迭代地计算使能量函数最大化的权重$w_{ij}$和偏置参数$θ= ( a_i, b_j) $,并将元素$i$分配给元素$j$。最后给出了一个实际问题的算例,说明了该算法的有效性.
2019-05-02 cs.LG math.OC stat.ML
Study and Observation of the Variation of Accuracies of KNN, SVM, LMNN, ENN Algorithms on Eleven Different Datasets from UCI Machine Learning Repository
Mississippi State University(密西西比州立大学);International University of Business Agriculture and Technology(国际商业农业与技术大学);Rajshahi University of Engineering and Technology(拉杰沙希工程技术大学)
机器学习使计算机有资格与数据同化,而不仅仅是编程[1,2]。机器学习可以分为监督学习和无监督学习。在监督学习中,计算机学习一个目标,该目标将输入描述为依赖于训练输入-输出对的输出[3]。最有效和广泛使用的监督学习算法是K最近邻(KNN)、支持向量机(SVM)、大间隔最近邻(LMNN)和扩展最近邻(ENN)。本文的主要贡献是在UCI机器学习库中的11个不同数据集上实现这些优雅的学习算法,以观察每个算法在所有数据集上的精度变化。通过对算法精度的分析,我们可以对机器学习算法与数据维数的关系有一个简单的了解。所有的算法都是在Matlab中开发的。在这样的精度观察之后,可以在KNN、SVM、LMNN和ENN之间建立关于它们在每个数据集上的性能的比较。
2018-11-29 cs.CV cs.LG stat.ML
Machine Learning for semi linear PDEs
EDF R&D(法国电力公司研发部);FiME, Laboratoire de Finance des Marchés de l’Energie(能源市场金融实验室(FiME))
通过使用不同的神经网络结构和不同的参数化,改进了最近的专用于求解半线性偏微分方程的机器学习算法。将这些算法与使用深度学习技术解决固定点问题的新算法进行比较。这种新的算法似乎是竞争力的准确性与现有的最好的算法。
2018-12-10 cs.LG math.AP stat.ML
Discrimination in machine learning algorithms
Department of Economics, Business, Mathematics and Statistics ``B. de Finetti'' , University of Trieste, Trieste, Italy(经济、商业、数学与统计学系(B. de Finetti), 三内里大学)
针对机器学习算法在信用评分等商业决策中可能无意识产生的基于性别、种族等敏感属性的歧视问题,提出需借助统计工具与方法检测并消除此类潜在偏差,以满足伦理与法律层面的公平性要求。
2025-10-03 cs.CY cs.LG stat.ML
Machine Learning Algorithms for Financial Asset Price Forecasting
University of Oxford(牛津大学);Saïd Business School(赛德商学院)
本文探讨了机器学习(ML)算法和技术的性能,可用于金融资产价格预测。资产价格和收益的预测和预测仍然是量化金融和从业人员面临的最具挑战性和最令人兴奋的问题之一。近年来生成和捕获的数据大量增加,为利用机器学习算法提供了机会。这项研究直接比较和对比了现代机器学习算法在高性能计算(HPC)基础设施上的最新实现与传统和高度流行的资本资产定价模型(CAPM)在美国股票数据上的实现。实施的机器学习模型-在整个股票宇宙的时间序列数据上训练(除了外部宏观经济变量)显着优于CAPM的样本外(OOS)测试数据。
2020-03-31 cs.LG econ.EM q-fin.ST
Explainable Online Validation of Machine Learning Models for Practical Applications
University of Tübingen(图宾根大学);Liebherr-Elektronik GmbH(利勃海尔电子有限公司);Scheidt MessTechnik(沙伊特测量技术公司)
我们提出了一个重新制定的回归和分类,其目的是验证结果的机器学习算法。我们的重新制定简化了原来的问题,并验证了机器学习算法使用的训练数据的结果。由于机器学习算法的验证必须始终是可解释的,我们执行我们的实验与kNN算法以及与基于条件概率的算法,这是在这项工作中提出的。为了评估我们的方法,三个公开的数据集,三个分类和两个回归问题进行了评估。所提出的算法的基础上的条件概率也是在线的能力,只需要一小部分的内存相比,kNN算法。
2021-01-17 cs.AI cs.CV cs.LG
Quantum-enhanced least-square support vector machine: simplified quantum algorithm and sparse solutions
量子算法可以在不同方面增强机器学习。在这里,我们研究量子增强最小二乘支持向量机(LS-SVM)。首先,引入一种新的量子算法,使用连续变量来辅助矩阵求逆,以简化量子LS-SVM算法,同时保持指数加速。其次,我们提出了一个混合量子经典版本的稀疏解的LS-SVM。通过将一个大的数据集编码成一个量子态,可以使用量子矩阵工具箱提取一个小得多的转换后的数据集,这是在经典的SVM进一步处理。我们还将核方法结合到上述量子算法中,该算法使用量子比特的指数增长希尔伯特空间和量子特征映射的连续变量的无限维。量子LS-SVM利用量子特性来探索SVM的重要主题,如稀疏性和核方法,并强调其量子优势,从加速到解决经典困难机器学习任务的潜在能力。
2019-08-05 quant-ph stat.ML