Data-Driven Analytics for Benchmarking and Optimizing Retail Store Performance
不断增长的竞争力和不断增加的数据可用性正在引起各行各业对数据驱动分析的极大兴趣。在零售业,商店需要有针对性的指导,以提高基于其特定位置,人口统计和环境的单个商店的效率和有效性。我们提出了一个有效的数据驱动框架,用于内部基准测试,可以为各个商店提供有针对性的指导。特别是,我们提出了一个客观的方法,用于分割商店使用基于模型的聚类技术,占相似的商店性能动态。所提出的方法依赖于一个有效的有限混合回归技术的基础上进行基于模型的聚类与“必须链接”的约束和建模存储性能的竞争性学习。我们还提出了一个优化框架,以获得定制的建议,为个别商店内的商店集群,共同提高盈利能力的商店,同时也提高销售,以满足特许经营商的要求。我们验证的方法,使用合成实验,以及现实世界的汽车经销商网络的研究,为全球领先的汽车制造商。
2018-06-14 stat.AP
Dataset Properties Shape the Success of Neuroimaging-Based Patient Stratification: A Benchmarking Analysis Across Clustering Algorithms
University of British Columbia(不列颠哥伦比亚大学);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院)
本研究通过122种合成脑影像场景测试4种患者分层算法,发现数据复杂度对分层效果的影响超过算法选择,指出算法开发需采用真实分布数据,应更重视以数据为中心的策略。
2025-06-10 cs.LG q-bio.NC q-bio.QM
Fashion-MNIST: a Novel Image Dataset for Benchmarking Machine Learning Algorithms
Zalando Research(Zalando 研究院)
Fashion-MNIST是一个新的数据集,包含来自10个类别的70,000种时尚产品的28 x28灰度图像,每个类别7,000张图像。训练集有60,000张图像,测试集有10,000张图像。Fashion-MNIST旨在作为原始MNIST数据集的直接替代品,用于基准测试机器学习算法,因为它共享相同的图像大小,数据格式以及训练和测试分割的结构。该数据集可在https://github.com/zalandoresearch/fashion-mnist上免费获得
2017-09-15 cs.CV cs.LG stat.ML
Benchmarking Machine Learning: How Fast Can Your Algorithms Go?
University of Maryland, Baltimore County(马里兰大学巴尔的摩县分校)
本文着重于评估一些不同技术在机器学习加速方面的效果,包括向量缓存、并行执行等。下面的内容将包括对以前方法的一些回顾和我们自己的实验结果。
2021-01-08 cs.LG
HAWKS: Evolving Challenging Benchmark Sets for Cluster Analysis
University College London(伦敦大学学院);University of Manchester(曼彻斯特大学);vTime(vTime公司)
聚类算法的全面基准测试由于两个关键因素而变得困难:(i)这种无监督学习方法的独特数学定义的难以捉摸,以及(ii)生成模型或聚类标准之间的依赖关系,这些模型或聚类标准被一些聚类算法和用于内部聚类验证的指标所采用。因此,关于严格基准测试的最佳实践,以及在给定应用程序的上下文之外是否可能实现这一点,没有达成共识。在这里,我们认为,合成数据集必须继续发挥重要作用,在聚类算法的评估,但这需要构建基准,适当地涵盖了不同的属性,影响聚类算法的性能。通过我们的框架,HAWKS,我们证明了进化算法发挥的重要作用,以支持灵活的生成这样的基准,允许简单的修改和扩展。我们说明了我们的框架的两种可能的用途:(i)~基准数据的演变与一组手工导出的属性一致,以及(ii)~生成数据集,梳理出给定的一对算法之间的性能差异。我们的工作有影响的聚类基准,充分挑战广泛的算法的设计,并进一步深入了解特定方法的优点和缺点。
2022-01-10 cs.LG cs.NE
Benchmarking Batch Deep Reinforcement Learning Algorithms
Mila, McGill University(麦吉尔大学米拉研究所);Facebook(脸书);Facebook AI Research(脸书人工智能研究院)
广泛使用的深度强化学习算法已被证明在批量设置中失败-从固定的数据集学习而不与环境交互。根据这一结果,有几篇论文显示了在各种环境和批次设置下的合理性能。在本文中,我们在Atari域的统一设置下对最近的离线策略和批量强化学习算法的性能进行了基准测试,数据由单个部分训练的行为策略生成。我们发现,在这些条件下,这些算法中的许多算法的性能低于使用相同数量的数据在线训练的DQN,以及部分训练的行为策略。为了引入一个强大的基线,我们将批量约束Q-学习算法适应于离散动作设置,并显示它在此任务中优于所有现有算法。
2019-10-03 cs.AI cs.LG stat.ML
Benchmarking in cluster analysis: A white paper
本文针对无监督聚类分析中基准测试指南匮乏的问题,利用模拟与实证数据探讨其理论基础,并提出聚类基准测试的实践操作细节与基础性建议。
2023-07-30 stat.OT
PathBench: A Benchmarking Platform for Classical and Learned Path Planning Algorithms
Imperial College London(伦敦帝国理工学院);Ryerson University(瑞尔森大学)
路径规划是移动机器人技术中的一个重要组成部分。存在各种各样的路径规划算法,但很少有人尝试对算法进行整体基准测试或统一它们的接口。此外,随着深度神经网络的最新进展,迫切需要促进这种基于学习的规划算法的开发和基准测试。本文介绍了PathBench,一个平台,用于开发,可视化,培训,测试和基准测试现有和未来的,经典的和学习的2D和3D路径规划算法,同时提供支持机器人操作系统(ROS)。支持许多现有的路径规划算法;例如A*,波前,快速探索随机树,值迭代网络,门控路径规划网络;并且集成新算法很容易并且明确指定。我们通过比较实现的经典和学习算法的指标,如路径长度,成功率,计算时间和路径偏差的基准测试能力的PathBench。这些评估是在内置的PathBench地图和来自视频游戏和现实世界数据库的外部路径规划环境中完成的。PathBench是开源的。
2021-05-04 cs.LG cs.RO
Efficient Benchmarking Is Just Feature Selection and Multiple Regression
Cohere;University of Bristol(布里斯托大学)
将高效基准测试重新定义为带特征选择的多元回归问题,使用核岭回归预测和mRMR特征选择算法,在降低计算成本的同时提高预测精度和排名相关性。
2026-10-26 cs.AI cs.CL cs.LG
Reply to "Issues arising from benchmarking single-cell RNA sequencing imputation methods"
在我们的简讯(DOI:10.1038/s41592-018-0033-z)中,我们提出了在嘈杂的单细胞RNA测序数据中恢复真实基因表达水平的方法SAVER。我们在RNA FISH验证实验和数据下采样实验中评估了SAVER以及类似方法MAGIC和scImpute的性能。在评论[arXiv:1908.07084v1]中,Li & Li关注下采样数据集的使用,特别关注从Zeisel等人获得的聚类结果。在这里,我们将解决这些意见,并进一步修改数据下采样实验,以证明我们的简讯中数据下采样实验的结果是有效的。
2019-09-05 q-bio.GN q-bio.QM stat.AP
Benchmarking Multi-Agent Deep Reinforcement Learning Algorithms in Cooperative Tasks
University of Edinburgh(爱丁堡大学)
多智能体深度强化学习(MARL)缺乏常用的评估任务和标准,使得方法之间的比较变得困难。在这项工作中,我们提供了一个系统的评估和比较三个不同类别的MARL算法(独立学习,集中式多智能体策略梯度,价值分解)在不同的合作多智能体学习任务。我们的实验可以作为不同学习任务中算法预期性能的参考,并提供了有关不同学习方法有效性的见解。我们开源了EPyMARL,它扩展了PyMARL代码库,以包含其他算法,并允许灵活配置算法实现细节,如参数共享。最后,我们开源两个环境的多智能体的研究,重点是稀疏奖励下的协调。
2021-11-09 cs.AI cs.LG cs.MA
Mixed Data Clustering Survey and Challenges
Léonard de Vinci Pôle Universitaire, Research Center(莱昂纳德·德·文奇大学研究中心);LI-PARAD Laboratory EA 7432(LI-PARAD实验室EA 7432)
本文提出了一种基于预拓扑空间的混合数据聚类方法,并通过基准测试评估其在大数据环境下的性能与有效性。
2026-10-06 cs.AI cs.LG
A Framework and Benchmarking Study for Counterfactual Generating Methods on Tabular Data
反事实解释被认为是解释机器学习预测的有效方法。这种兴趣反映在一个相对年轻的文献,已经有几十个算法,旨在产生这样的解释。这些算法专注于发现如何修改特征以改变输出分类。然而,这个相当一般的目标可以通过不同的方式实现,这就需要一种方法来测试和基准这些算法。这项工作的贡献是多方面的:首先,一个大型的基准测试研究10算法的方法在22个表格数据集进行,使用9个相关的评估指标。其次,引入了一个新颖的,第一次的,框架来测试反事实生成算法。第三,一套客观的指标来评估和比较反事实的结果。最后,从基准测试结果中获得的见解表明,哪些方法在什么类型的数据集上获得最佳性能。这种基准研究和框架可以帮助从业者确定哪些技术和构建块最适合他们的上下文,并可以帮助研究人员设计和评估当前和未来的反事实生成算法。我们的研究结果表明,总的来说,没有一个最好的算法来生成反事实解释,因为性能高度依赖于与数据集,模型,分数和事实点特异性相关的属性。
2021-07-09 cs.AI cs.LG
Benchmarking AutoML algorithms on a collection of synthetic classification problems
Cedars-Sinai Medical Center(西达赛奈医学中心);University of Pennsylvania(宾夕法尼亚大学);AGH University of Science and Technology(AGH科技大学)
自动机器学习(AutoML)算法由于其高性能和适应不同问题和数据集的灵活性而越来越受欢迎。随着AutoML算法数量的增加,决定哪种算法最适合给定的问题变得越来越困难。因此,必须使用复杂且具有挑战性的基准测试,以区分AutoML算法。本文比较了四种不同的AutoML算法的性能:基于树的管道优化工具(TPOT),Auto-Sklearn,Auto-Sklearn 2和H2O AutoML。我们使用多样性和生成性ML基准(DIGEN),这是一组来自生成函数的合成数据集,旨在突出常见机器学习算法性能的优势和劣势。我们确认AutoML可以识别在所有包含的数据集上表现良好的管道。大多数AutoML算法的性能相似;然而,根据所使用的特定数据集和指标,存在一些差异。
2023-03-09 cs.LG
ClusBench: The Clustering Benchmark Data Resource You've All Been Waiting For (?)
School of Mathematical Sciences, Lancaster University(兰卡斯特大学数学科学学院)
本文通过拟合灵活的非参数分布,从200多个公开数据集生成近3000个合成数据集,用于大规模聚类方法评估,保留真实数据细微差别。
2026-06-09 cs.LG stat.OT
SYNRARE: Synthetic Rare Disease EHR Generation for ML Benchmarking
University of Southern Denmark(南丹麦大学)
针对罕见病诊断因症状相似易延迟且机器学习算法应用受法律隐私限制的问题,提出基于Synthea框架的图形用户界面SYNRARE,可生成与常见疾病患者有可定义差异的合成电子健康记录,用于机器学习算法基准测试。
2026-07-13 cs.LG
Benchmarking Model-Based Reinforcement Learning
University of Toronto(多伦多大学);Vector Institute(向量研究所);UC Berkeley(加州大学伯克利分校)
基于模型的强化学习(MBRL)被广泛认为具有比无模型RL更有效的样本效率。然而,基于模型的强化学习的研究还不是很标准化。作者在自行设计的环境中进行实验是相当常见的,并且有几个独立的研究路线,有时是封闭源代码或不可复制的。因此,这是一个悬而未决的问题,这些各种现有的MBRL算法如何执行相对于彼此。为了方便MBRL的研究,在本文中,我们收集了广泛的MBRL算法,并提出了超过18个专门为MBRL设计的基准测试环境。我们基准这些算法与统一的问题设置,包括嘈杂的环境。除了编目性能之外,我们还探索和统一了MBRL算法之间的基本算法差异。我们描述了未来MBRL研究的三个关键研究挑战:动力学瓶颈,规划视野困境和提前终止困境。最后,为了最大限度地促进未来对MBRL的研究,我们在http://www.cs.toronto.edu/~tingwuwang/mbrl.html上开源了我们的基准。
2019-07-03 cs.AI cs.LG cs.RO
Benchmarking Stochastic Approximation Algorithms for Fairness-Constrained Training of Deep Neural Networks
Artificial Intelligence Center, Czech Technical University in Prague(捷克技术大学布拉格分校人工智能中心)
本文提出了一种用于评估在公平性约束下训练深度神经网络的随机逼近算法的基准测试方法,并展示了三种新算法的实现与比较。
2026-02-18 cs.CY cs.LG math.OC
Benchmarking Processor Performance by Multi-Threaded Machine Learning Algorithms
National University of Computer and Emerging Sciences(国家计算机与新兴科学大学)
机器学习算法使计算机能够通过从以前的数据中学习来预测事物。数据存储和处理能力正在快速增长,从而增加了机器学习和人工智能的应用。大部分工作都是为了提高过去内置的的模型的准确性,很少有研究确定机器学习采集的计算成本。在本文中,我将继续这一后期的研究工作,并将多线程机器学习聚类算法的性能比较。我将研究线性回归、随机森林和K-最近邻,以确定算法的性能特征以及获得结果的计算成本。我将通过运行这些多线程算法来对系统硬件性能进行基准测试,以在数据集上训练和测试模型,从而注意算法性能矩阵的差异。最后,我将陈述关于这些算法在我的系统上的性能效率的最佳性能算法。
2021-09-11 cs.AI cs.AR cs.DC
Diverse Community Data for Benchmarking Data Privacy Algorithms
University of Massachusetts(马萨诸塞大学);Knexus Research(尼克瑟斯研究公司);University of Michigan(密歇根大学);NIST(美国国家标准与技术研究院)
本文介绍NIST CRC计划,通过理论研究、多元公开基准数据、开源评估工具及450余个去标识化样本档案,支撑表格数据去标识化算法的隐私与公平性基准评测。
2023-10-31 cs.CR cs.LG
The ParClusterers Benchmark Suite (PCBS): A Fine-Grained Analysis of Scalable Graph Clustering
MIT(麻省理工学院);Google(谷歌公司);UMD(马里兰大学学院公园分校)
本文提出了ParClusterers基准测试套件(PCBS),包含高度可扩展的并行图聚类算法和基准测试工具,用于简化不同算法的比较,并标准化评估可扩展图聚类算法在质量与性能上的权衡。
2024-11-15 cs.AI cs.DC cs.LG
Trace Encoding in Process Mining: a survey and benchmarking
University of Trieste(的里雅斯特大学);University of Milan(米兰大学)
编码方法在几个过程挖掘任务中使用,包括预测过程监控,异常情况检测,跟踪聚类等。这些方法通常作为预处理步骤执行,并负责将复杂的信息转换为数值特征空间。大多数论文任意选择现有的编码方法或采用基于特定专家知识域的策略。此外,现有的方法是通过使用它们的默认超参数而不评估其他选项来使用的。这种做法可能会导致几个缺点,如次优性能和不公平的比较与国家的最先进的。因此,这项工作的目的是提供一个全面的调查事件日志编码比较27种方法,从不同的性质,在表现力,可扩展性,相关性和域不可知论。据我们所知,这是迄今为止最全面的研究集中在跟踪编码过程挖掘。它有助于人们对跟踪编码在流程挖掘管道中的作用的成熟认识,并揭示了有关使用编码方法弥合机器学习模型和流程挖掘之间差距的问题,关注点和未来的研究方向。
2023-01-05 cs.DB cs.LG
Benchmarking learned algorithms for computed tomography image reconstruction tasks
Centrum Wiskunde & Informatica(数学和计算机科学中心);University of Cambridge(剑桥大学);Leiden University(莱顿大学)
针对CT图像重建学习算法缺乏统一对比基准的问题,研究基于2DeteCT数据集构建四类学习型重建算法基准测试框架,评估了多类算法在不同重建任务上的性能,并开源可复现工具箱助力后续方法拓展。
2024-12-11 cs.CV cs.LG eess.IV
Benchmarking pre-trained text embedding models in aligning built asset information
École de technologie supérieure(特可诺高等学院)
本研究通过构建源自两个建筑资产分类词典的六个数据集,对最先进文本嵌入模型在聚类、检索和重排序任务上进行基准测试,评估其对齐建筑资产信息与领域技术概念的能力,并开源相关资源以支持未来研究。
2024-11-18 cs.AI cs.CL cs.IR
Benchmarking Constraint-Based Bayesian Structure Learning Algorithms: Role of Network Topology
Children’s Hospital of Orange County(橙县儿童医院);Istituto Dalle Molle di Studi sull'Intelligenza Artificiale (IDSIA)(达勒·莫勒人工智能研究所)
本文在节点、边和样本量受控条件下,系统比较三种基于约束的BSL算法在亚线性、线性和超线性优先连接DAG拓扑上的结构学习灵敏度,证明拓扑是不可忽视的基准测试因素。
2025-01-02 cs.AI cs.LG q-bio.MN
From Variability to Stability: Advancing RecSys Benchmarking Practices
Skoltech(斯科尔特科技大学);Sber AI Lab(Sber人工智能实验室);MIPT(莫斯科物理技术学院);AIRI(人工智能研究所);HSE University(高等经济大学);BIMSA(北京数学与系统科学研究院)
本文提出一种新颖的推荐系统基准测试方法,利用30个数据集和11种协同过滤算法在9个指标上进行评估,验证了数据集特征对算法性能的影响及多数据集结果聚合的可行性,实现了公平稳健的算法比较。
2024-08-27 cs.AI cs.IR cs.LG
Benchmarking Randomized Optimization Algorithms on Binary, Permutation, and Combinatorial Problem Landscapes
University of Saskatchewan(萨斯喀彻温大学);Delft University of Technology(代尔夫特理工大学)
本文评估了RHC、SA、GA和MIMIC四种随机优化算法在二进制、排列和组合问题上的表现,分析了它们在解质量、收敛速度、计算成本和鲁棒性上的权衡,为根据问题类型和计算约束选择合适算法提供了实用指导。
2025-01-21 cs.AI cs.CL cs.LG
DSLOB: A Synthetic Limit Order Book Dataset for Benchmarking Forecasting Algorithms under Distributional Shift
University of Southern California(南加州大学);J.P.Morgan AI Research(摩根大通人工智能研究院)
在电子交易市场中,限价订单簿(LOB)提供关于给定证券在不同价格水平的待决买入/卖出订单的信息。最近,人们对使用LOB数据来解决下游机器学习任务(例如,预测)。然而,处理分布外(OOD)LOB数据是具有挑战性的,因为在当前公开可用的LOB数据集中,分布偏移是未标记的。因此,构建一个带有标记的OOD样本的合成LOB数据集作为开发模型的测试平台至关重要,这些模型可以很好地推广到看不见的场景。在这项工作中,我们利用多智能体市场模拟器来构建一个合成LOB数据集,命名为DSLOB,有和没有市场压力的情况下,它允许设计的控制分布转移基准。使用所提出的合成数据集,我们提供了一个全面的分析三种不同的国家的最先进的预测方法的预测性能。我们的研究结果反映了需要增加研究人员的努力,以开发具有鲁棒性的算法,在高频时间序列数据的分布变化。
2022-11-17 cs.AI cs.LG q-fin.ST
Improving and benchmarking of algorithms for decision making with lower previsions
极大性、区间优势和E-可容许性是在严重不确定性下使用较低预测进行决策的三个著名准则。提出了一种新的求最大赌博的快速算法。我们将其性能与现有算法进行了比较,其中一个由Troffaes和Hable(2014)提出,另一个由Jansen,Augustin和Schollmeyer(2017)提出。要做到这一点,我们开发了一种新的方法来生成随机判定问题的最大和区间占主导地位的赌博预先指定的比率。基于早期的工作,我们提出了有效的方法来找到这些算法中的共同可行的起点。然后,我们利用这些可行的起始点开发早期停止的原始-对偶内点方法的标准,进一步提高效率。我们发现原始-对偶内点方法效果最好。我们还研究了使用区间优势,以消除非最大赌博。这可以使问题更小,我们观察到,这有利于詹森等人。的算法,但也许令人惊讶的是,不是其他两个算法。我们发现,我们的算法,不使用区间优势,优于所有其他算法在所有情况下,在我们的基准测试。
2019-06-28 cs.DS math.OC stat.CO
Improving and benchmarking of algorithms for $Γ$-maximin, $Γ$-maximax and interval dominance
$Γ$ -maximin、$Γ$ -maximax和区间优势是在严重不确定性情况下,当概率分布只能部分确定时进行决策的常见决策准则。人们可以通过求解线性规划序列来应用这三个准则。在这项研究中,我们提出了新的算法,这些标准和现有的标准算法的性能进行比较。具体来说,我们使用有效的方法,在以前的工作的基础上,找到这些算法的共同的初始可行点。利用这些初始可行点,我们开发早期停止标准,以确定赌博是否是$Γ$ -maximin,$Γ$ -maximax或区间显性。我们观察到,原始-对偶内点方法从这些改进中受益匪浅。在我们的模拟中,我们发现,我们提出的算法优于标准算法时,较低的预测域的大小是小于或等于决策和结果的大小。然而,我们提出的算法不优于标准算法的情况下,较低的预测域的大小是远远大于的大小的决定和结果。
2021-03-23 math.OC stat.CO
An empirical comparison between stochastic and deterministic centroid initialisation for K-Means variations
University of Sheffield(谢菲尔德大学);Numerical Algorithms Group (NAG)(数值算法集团(NAG))
K-Means是最常用的数据聚类算法之一,也是基准测试的常用聚类方法。尽管它的广泛应用,它是众所周知的,它遭受了一系列的缺点;它只能找到局部极小值和初始聚类中心(质心)的位置可以大大影响聚类解决方案。多年来,已经提出了许多K-Means变化和初始化技术,具有不同程度的复杂性。在这项研究中,我们专注于常见的K均值变化以及一系列确定性和随机初始化技术。我们发现,平均而言,更复杂的初始化技术减轻了复杂的聚类方法的需要。此外,确定性方法的性能优于随机方法。然而,有一个权衡:不太复杂的随机方法,多次执行,可以产生更好的聚类。考虑到执行时间,确定性方法可以是有竞争力的,并产生良好的集群解决方案。这些结论是通过使用一系列合成模型生成器和真实世界数据集进行广泛的基准测试获得的。
2021-02-27 cs.LG stat.ML
SCPP: A Unified Python Library for Soft Clustering
介绍用于软聚类的开源Python框架SCPP,它建立规范接口统一多种软聚类方法,集成40种算法及综合基准测试,提供文档、示例等,实现可重复实验与新算法扩展。
2026-08-18 cs.AI cs.LG
SPINEX-Clustering: Similarity-based Predictions with Explainable Neighbors Exploration for Clustering Problems
Clemson University(克莱姆森大学);University of Manitoba(曼尼托巴大学)
本研究提出新型聚类算法SPINEX-Clustering,利用子空间高阶交互实现聚类,经51个多类型数据集基准测试,性能跻身前5且复杂度适中,兼具可解释性。
2024-07-09 cs.LG stat.ML
Benchmarking optimality of time series classification methods in distinguishing diffusions
Johns Hopkins University(约翰斯·霍普金斯大学);University of Oxford(牛津大学)
本文提出用似然比检验(LRT)作为最优性基准,评测随机森林、ResNet 和 ROCKET 等时间序列分类算法在区分扩散过程时的表现,发现这些算法在单变量及多元高斯过程上可达最优,但在高维非线性多元时间序列上仍为次优。
2023-04-12 cs.LG stat.ML
Short Communication on QUIST: A Quick Clustering Algorithm
The University of Jordan(约旦大学)
在这篇简短的通讯中,我们介绍了快速聚类算法(QUIST),一个有效的基于排序的层次聚类算法。QUIST是一种多对数分裂聚类算法,它不假设聚类的数量和/或聚类的大小是提前知道的。它对输入的原始顺序也不敏感。
2016-06-01 cs.LG stat.ML
Detecting outliers by clustering algorithms
School of Information Science and Technology, Beijing Forestry University(北京林业大学信息科学与技术学院);School of Computer Science & Technology, Beijing Institute of Technology(北京理工大学计算机科学与技术学院)
针对多数聚类算法缺乏离群点检测能力、额外检测流程繁琐的问题,提出ODAR方法,通过特征变换分离离群点与正常对象,使任意聚类算法可通过识别簇检测离群点,在多数数据集上有效提升聚类准确率。
2024-12-07 cs.LG stat.ML
We Need to Rethink Benchmarking in Anomaly Detection
University of Mainz(马尔堡大学);TU Dortmund(杜伊斯堡-艾森大学);University of Würzburg(维尔茨堡大学)
本文指出当前异常检测基准测试导致进展停滞,提出基于场景分类的评估框架以改进算法选择和性能评估。
2026-06-19 cs.LG
An Efficient Smoothing Proximal Gradient Algorithm for Convex Clustering
University of Miami(迈阿密大学)
聚类分析将数据组织成合理的分组,是理解和学习的基本模式之一。广泛使用的K-means和层次聚类方法可能由于局部最小值而显着次优。最近引入的凸聚类方法将聚类问题转化为凸优化问题,并保证了全局最优解。然而,现有的基于交替方向乘子法(ADMM)或交替最小化算法(AMA)的凸聚类算法需要大量的计算和存储空间,限制了它们的应用。在本文中,我们开发了一个非常有效的平滑近似梯度算法(SSTRA)的凸聚类。我们的Sphera比ADMM或AMA为基础的凸聚类算法快一到两个数量级。Sundra所需的内存空间比ADMM和AMA所需的内存空间少至少一个数量级。计算机模拟和实际数据分析表明,该算法优于几个著名的聚类算法,包括K-均值和层次聚类。该算法的高效性和优越性将有助于凸聚类的广泛应用。
2020-06-22 cs.LG stat.ME stat.ML
Benchmarking ChatGPT on Algorithmic Reasoning
University of Maryland(马里兰大学);Carnegie Mellon University(卡内基梅隆大学)
本研究针对专为GNN设计的CLRS基准测试ChatGPT的算法推理能力,发现其通过编写Python代码求解问题的表现优于专业GNN模型,为算法学习与分布外测试的相关讨论带来新视角。
2024-04-16 cs.AI cs.CL cs.LG
Improvement of K Mean Clustering Algorithm Based on Density
Harbin Institute of Technology(哈尔滨工业大学);Beihang University(北京航空航天大学);Jilin University(吉林大学)
本文的目的是对传统的K-means算法进行改进。在传统的K均值聚类算法中,初始聚类中心是在数据集中随机产生的。当初始聚类中心是随机产生的时,容易陷入局部极小解。基于密度的K均值聚类算法选择的初始聚类中心更具代表性。实验结果表明,改进的K聚类算法消除了对初始聚类的依赖,提高了聚类的准确率。
2018-10-09 cs.LG
Feature Embedding Clustering using POCS-based Clustering Algorithm
Myongji University(明知大学)
本研究将基于POCS的新型聚类算法应用于特征嵌入问题,通过将数据点视为凸集、并行投影更新原型来优化聚类,在合成嵌入数据集上表现优于经典聚类算法。
2023-03-25 cs.LG
Benchmarking the Accuracy and Robustness of Feedback Alignment Algorithms
AIP Labs(AIP实验室)
由于其简单、高效和高收敛速度,反向传播是训练深度神经网络的默认算法。然而,它的要求使得它不可能在人脑中实现。近年来,人们提出了更多生物学上合理的学习方法。这些方法中的一些可以匹配反向传播精度,并且同时提供其他额外的好处,例如在专用硬件上更快的训练(例如,ASIC)或对对抗攻击具有更高的鲁棒性。虽然对该领域的兴趣正在增长,但有必要建立开源库和工具包来促进研究和基准算法。在本文中,我们提出了BioTorch,一个软件框架来创建,训练,和基准生物激励的神经网络。此外,我们研究了文献中提出的几种反馈对齐方法的性能,从而揭示了前向和后向权重初始化和优化器选择的重要性。最后,我们提供了一个新的鲁棒性研究,这些方法对国家的最先进的白盒和黑盒对抗攻击。
2021-08-30 cs.LG
A survey of benchmarking frameworks for reinforcement learning
University of South Africa(南非大学)
强化学习最近在机器学习社区中越来越突出。随着新技术的不断发展,解决强化学习问题的方法也越来越多。当使用强化学习解决问题时,有各种困难的挑战需要克服。为了确保该领域的进展,基准测试对于测试新算法和与其他方法进行比较非常重要。因此,公平比较结果的可重复性对于确保准确判断改进至关重要。本文概述了强化学习基准测试的不同贡献,并讨论了它们如何帮助研究人员解决强化学习面临的挑战。讨论的贡献是最常用的和最近的文献。本文讨论的贡献方面的实施,任务和提供的算法实现与基准。该调查旨在引起人们对广泛的强化学习基准测试任务的关注,并鼓励以标准化的方式进行研究。此外,这项调查还为不熟悉可用于开发和测试新的强化学习算法的不同任务的研究人员提供了概述。
2020-11-27 cs.LG
POCS-based Clustering Algorithm
Myongji University(明知大学);University of Texas Medical Branch(德克萨斯大学医学分部);Sejong University(世宗大学);OCST Co., Ltd.(OCST有限公司);HCMC University of Technology and Education(胡志明市工业大学)
提出了一种基于凸集投影(POCS)的聚类算法。基于POCS的聚类算法利用POCS的并行投影方法在特征空间中找到合适的聚类原型。该算法将每个数据点视为一个凸集,并将聚类原型映射到成员数据点上。投影凸组合,以最小化数据聚类的目的的目标函数。通过在各种合成数据集上的实验,验证了所提出的基于POCS的聚类算法的性能。实验结果表明,与传统的模糊C均值(FCM)聚类算法和K均值聚类算法相比,该算法在聚类误差和执行速度方面具有较强的竞争力和较高的效率.
2023-03-23 cs.LG
Comparison three methods of clustering: k-means, spectral clustering and hierarchical clustering
对三种聚类方法进行了比较,并求出了代价函数和损失函数,并进行了计算。聚类方法的出错率以及如何计算出错率一直是评价聚类方法优劣的重要因素之一,因此本文介绍了一种计算聚类方法出错率的方法。聚类算法可以分为几类,包括分区聚类算法,分层算法和基于密度的算法。一般来说,我们应该比较聚类算法的可扩展性,工作能力与不同的属性,集群形成的常规,具有最小的知识的计算机识别的输入参数,类处理噪声和额外的沉积,同样的出错率聚类一个新的数据,从而,有没有影响的输入数据,不同的维度的高水平,K-means是一种最简单的聚类方法,聚类是一个无监督的问题。
2014-11-13 cs.LG
TextClusterLab: An Integrated Framework for Reliable Text Clustering Studies
提出TextClusterLab框架,包含基于大语言模型的文本聚类数据集生成器和基准测试,支持设置聚类属性,用于评估算法鲁棒性和多样性。
2026-05-17 cs.IR cs.LG
A Short Survey on Data Clustering Algorithms
City University of Hong Kong(香港城市大学)
随着数据的快速增长,聚类算法是现代研究中数据分析的重要工具。它们已经成功地应用于广泛的领域;例如,生物信息学、语音识别和金融分析。从形式上讲,给定一组数据实例,聚类算法预期将数据实例集划分为最大化子集内相似性和子集间相异性的子集,其中预先定义相似性度量。在这项工作中,国家的最先进的聚类算法从设计概念到方法进行了审查,不同的聚类范式进行了讨论。先进的聚类算法进行了讨论。在此基础上,对现有的聚类评价指标进行了综述。最后提供了一个总结和未来的见解。
2015-11-25 cs.CV cs.DS cs.LG
Normalization based K means Clustering Algorithm
Bhagwan Parshuram Institute of Technology(帕舒拉姆理工学院)
K-means是一种有效的聚类技术,用于根据聚类的初始质心将相似的数据分成组。本文提出了一种基于归一化的K-means聚类算法(N-K means)。提出的N-K均值聚类算法在聚类之前对可用数据进行归一化,并且所提出的方法基于权重计算初始质心。实验结果表明,提出的N-K均值聚类算法在复杂度和整体性能方面优于现有的K-means聚类算法。
2015-03-03 cs.DB cs.LG
Attend or Perish: Benchmarking Attention in Algorithmic Reasoning
Kempelen Institute of Intelligent Technologies(智能技术研究所);Language Technology, University of Helsinki(语言技术,赫尔辛基大学)
本文提出算法基准AttentionSpan,通过五个无限输入域任务分离并追踪正确算法,分析注意力图与干预实验,揭示注意力机制直接导致Transformer外推失败。
2025-07-21 cs.AI cs.LG
Review: Metaheuristic Search-Based Fuzzy Clustering Algorithms
Imam Abdulrahman Bin Faisal University(伊玛目阿卜杜勒拉赫曼·本·费萨尔大学)
模糊聚类是一种著名的无监督学习方法,用于根据相似性度量在类内收集相似的数据元素。但是,聚类算法也存在一些缺点。其中的主要弱点包括,选择初始的聚类中心和适当的聚类数通常是未知的。这些弱点被认为是聚类算法中最具挑战性的任务。本文介绍了一个全面的审查元启发式搜索解决模糊聚类算法的问题。
2018-01-21 cs.LG cs.NE
Searching for a Search Method: Benchmarking Search Algorithms for Generating NLP Adversarial Examples
University of Virginia(弗吉尼亚大学)
我们研究了几种黑盒搜索算法的行为,这些算法用于为自然语言处理(NLP)任务生成对抗性示例。我们对与搜索相关的三个元素进行细粒度分析:搜索算法、搜索空间和搜索预算。在过去的工作中,当新的搜索算法被提出时,攻击搜索空间经常随着搜索算法而被修改。在没有消融研究基准的情况下,搜索算法随着搜索空间保持恒定而变化,人们无法判断攻击成功率的增加是由于改进的搜索算法还是限制较少的搜索空间。此外,许多以前的研究未能正确考虑搜索算法的运行时成本,这对于对抗训练等下游任务至关重要。我们的实验提供了一个可重复的基准搜索算法在各种搜索空间和查询预算,以指导未来的研究在对抗性NLP。基于我们的实验,我们建议贪婪攻击字的重要性排名时,在一个时间限制或攻击长的输入,或者束搜索或粒子群优化,否则。通过https://github.com/QData/TextAttack-Search-Benchmark共享代码实现
2020-10-12 cs.AI cs.CL cs.CR
Local algorithms for interactive clustering
Princeton University(普林斯顿大学);Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
我们研究了满足自然稳定性假设的交互式聚类算法的设计。我们的算法从任何初始聚类开始,在每一步中只进行局部更改;这两个功能在许多应用中都是理想的。我们表明,在这种约束设置仍然可以设计可证明有效的算法,产生准确的聚类。我们还表明,我们的算法在现实世界的数据上表现良好。
2015-03-19 cs.DS cs.LG
An Optical Control Environment for Benchmarking Reinforcement Learning Algorithms
Carnegie Mellon University(卡内基梅隆大学)
针对强化学习算法在光学控制场景的基准测试需求,本文构建了具备非凸、非线性和时变噪声特性的光学仿真环境,测试显示离策略强化学习方法优于传统控制算法,并开源了相关代码。
2023-10-01 cs.LG cs.RO cs.SY
A hybrid clustering algorithm for data mining
School of Computer Science & IT, Devi Ahilya Vishwavidyalaya(Devi Ahilya Vishwavidyalaya计算机科学与信息技术学院)
数据聚类是将相似数据分组的过程。聚类算法将数据集划分为几个组,使得组内的相似性优于组间的相似性。提出了一种基于K-均值和K-调和均值的混合聚类算法。该算法在五个不同的数据集上进行了测试。研究的重点是快速和准确的聚类。并与传统的K-means & KHM算法进行了性能比较。混合算法的计算结果明显优于传统的K-mean & KHM算法。
2012-05-24 cs.DB cs.LG