A Comparative Study of OpenMP Scheduling Algorithm Selection Strategies
Department of Mathematics and Computer Science University of Basel(数学与计算机科学系 巴塞尔大学)
本研究针对OpenMP调度算法选择问题,对比评估基于专家知识与强化学习的方法,结合二者实现更优性能与适应性,证明动态调度选择可行且有益,还可扩展至MPI程序。
2025-07-27 cs.AI cs.DC cs.LG
Client Selection in Federated Learning: Convergence Analysis and Power-of-Choice Selection Strategies
Carnegie Mellon University(卡内基梅隆大学)
联邦学习是一种分布式优化范例,它使大量资源有限的客户端节点能够在没有数据共享的情况下协作训练模型。有几篇文章分析了联邦学习的收敛性,包括数据异构性、通信和计算限制以及部分客户端参与。然而,他们假设客户的参与是无偏见的,客户是随机选择的,或者是按照数据大小的比例选择的。在本文中,我们提出了第一个有偏见的客户端选择策略的联邦优化的收敛性分析,并量化选择偏见如何影响收敛速度。我们发现,偏置客户端的选择对客户端具有较高的本地损失实现更快的误差收敛。利用这一洞察力,我们提出了选择的力量,一个通信和计算效率的客户端选择框架,可以灵活地跨越收敛速度和解决方案之间的权衡。我们的实验表明,权力的选择策略收敛到3 $\times$更快,并给出$10$ %的测试精度比基线随机选择。
2020-10-03 cs.DC cs.LG stat.ML
Evaluation of Seed Set Selection Approaches and Active Learning Strategies in Predictive Coding
Cleary Gottlieb Steen & Hamilton LLP(佳利律师事务所);Ankura Consulting Group, LLC(安库拉咨询集团有限责任公司)
主动学习是文本分类中的一种流行方法-在法律领域称为“预测编码”或“技术辅助审查”或“TAR”-由于其可能最大限度地减少构建有效分类器所需的审查工作。在这项研究中,我们使用广泛的实验来研究流行的种子集选择策略在主动学习的影响,在预测编码练习,并评估不同的主动学习策略对良好的研究连续主动学习策略的目的,确定有效的训练方法,快速,准确地分类大人口。我们研究了如何随机抽样,关键字模型和聚类的种子集选择策略相结合的排名靠前的,不确定的,随机的,召回的启发,和混合主动学习文件选择策略的影响性能的主动学习预测编码。我们使用需要审查的文件的百分比达到75%的召回率作为“基准”指标来评估和比较我们的方法。在大多数情况下,我们发现种子集选择方法的影响很小,尽管它们在较低丰富度的数据集或选择排名靠前的主动学习选择策略时确实显示出显著的影响。我们的研究结果还表明,主动学习选择策略实施不确定性,随机,或75%的召回选择策略有可能达到最佳的主动学习轮比流行的连续主动学习方法(排名靠前的选择)。我们的研究结果揭示了主动学习种子集选择策略的影响,以及选择策略对后续学习轮的有效性。法律从业者可以使用本研究的结果,以提高其预测编码过程的效率,精度和简单性。
2019-06-11 cs.IR cs.LG
Automatic Combination of Sample Selection Strategies for Few-Shot Learning
Faculty of Information Technology, Brno University of Technology(布拉格技术学院,布拉格技术大学);Kempelen Institute of Intelligent Technologies(智能技术研究所);Eindhoven University of Technology(埃因霍温技术大学)
本文提出ACSESS方法,通过结合多种样本选择策略提升少样本学习性能,实验显示组合策略优于单一策略,且在小数据集上效果更佳。
2026-04-17 cs.AI cs.CL cs.LG
Bandit-based Communication-Efficient Client Selection Strategies for Federated Learning
Carnegie Mellon University(卡内基梅隆大学)
由于联邦学习中的通信约束和间歇性客户端可用性,只有一部分客户端可以参与每个培训轮。虽然大多数以前的作品假设统一和公正的客户端选择,最近的工作有偏见的客户端选择表明,选择具有较高的本地损失的客户端可以提高误差收敛速度。然而,以前提出的偏置选择策略要么需要额外的通信成本来评估准确的本地损失,或利用陈旧的本地损失,这甚至可以使模型发散。在本文中,我们提出了一个基于带宽的通信效率的客户端选择策略UCB-CS,实现了更快的收敛,降低通信开销。我们还展示了如何客户端选择可以用来提高公平性。
2020-12-14 cs.AI cs.LG
Search Strategies for Binary Feature Selection for a Naive Bayes Classifier
Université Paris 1 Panthéon-Sorbonne(巴黎第一大学先贤祠-索邦大学);Snecma Groupe Safran(赛峰集团斯奈克玛公司)
本文比较了几种特征选择方法的朴素贝叶斯分类器(NBC)时,所研究的数据描述了大量的冗余二进制指标。由分类错误概率的NBC估计指导的包装器方法优于过滤器方法,同时保持合理的计算成本。
2015-06-12 cs.LG stat.ML
Consistency of Selection Strategies for Fraud Detection
Tilburg University Department of Econometrics and Operations Research(蒂尔堡大学经济计量学与运筹学系)
本文针对保险欺诈检测中仅调查最高预测概率索赔所导致的学习不一致问题,提出随机化选择策略,并在二元回归框架下证明其可支持一致的模型更新与最大似然估计,模拟结果验证了该策略相比常用方法和汤普森采样更具一致性与效率优势。
2025-09-23 cs.LG stat.ML
Investigating the Impact of Data Selection Strategies on Language Model Performance
McGill University(麦吉尔大学)
本文通过随机选择与分布对齐方法的对比实验,考察不同数据选择策略及n-gram、嵌入神经特征对语言模型下游性能和目标分布对齐的影响。
2025-01-07 cs.CL cs.LG
Data Selection Strategies for Multi-Domain Sentiment Analysis
Aylien Ltd.(Aylien有限公司);National University of Ireland, Galway(爱尔兰国立大学戈尔韦分校)
领域自适应在情感分析中是重要的,因为情感指示词在领域之间是变化的。近来,多领域自适应已经变得更加普遍,但是现有的方法训练所有可用的源域,包括不同的源域。然而,选择合适的训练数据与选择算法同样重要。我们进行-我们的知识第一次-广泛的研究领域相似性指标的背景下,情感分析,并提出了新的表示,指标,和一个新的数据选择范围。我们评估了两个大规模的多领域自适应设置的推文和评论,并证明他们一贯优于强随机和平衡的基线,而我们提出的选择策略优于实例级的选择,并产生最好的分数在一个大型的评论语料库。
2017-02-08 cs.CL cs.LG
A Large-scale Study on Unsupervised Outlier Model Selection: Do Internal Strategies Suffice?
Carnegie Mellon University(卡内基梅隆大学)
给定一个无监督的离群值检测任务,应该如何选择检测算法及其超参数(统称为模型)?无监督模型选择是出了名的困难,在没有坚持的验证数据与地面真理标签。因此,这个问题还没有得到充分的研究。在这项工作中,我们研究的可行性,采用内部模型评估策略选择模型离群检测。这些所谓的内部策略仅依赖于候选模型的输入数据(没有标签)和输出(离群值分数)。我们设置(并开源)了一个大型测试平台,其中包含39个检测任务和297个候选模型,包括8个检测器和各种超参数配置。我们评估了7种不同的策略,以区分模型w.r.t.检测性能,无需使用任何标签。我们的研究揭示了进步的空间--我们发现没有一个是实际有用的,因为他们选择的模型只能与最先进的探测器(具有随机配置)相媲美。
2021-04-12 cs.LG
A review of feature selection strategies utilizing graph data structures and knowledge graphs
University of California, Los Angeles(加州大学洛杉矶分校);Cedars-Sinai Medical Center(西达赛奈医疗中心)
本文综述了知识图谱特征选择方法在多领域的应用与作用,指出其关键特性与优化方向,展望了动态算法、可解释AI融合等未来研究路径。
2024-06-21 cs.LG stat.AP stat.ML
Distribution-Controlled Client Selection to Improve Federated Learning Strategies
Bielefeld University(比勒菲尔德大学);CITEC(CITEC研究中心)
本文提出一种分布控制的客户端选择方法,通过将标签分布对齐到平衡分布或联邦整体分布,改进联邦学习在数据不平衡下的性能,并在三种策略和两个数据集上验证了有效性。
2025-09-25 cs.LG
Active Output Selection Strategies for Multiple Learning Regression Models
Mercedes-Benz AG(梅赛德斯-奔驰公司);TU Dresden(德累斯顿工业大学)
主动学习有望减少基于模型的驾驶性能校准的测试台架时间。本文提出了一种新的主动输出选择策略,它适合校准任务的需要。该策略是在同一输入空间中主动学习多个输出。它选择具有最高交叉验证误差的输出模型作为主导模型。所提出的方法被应用到三个不同的玩具的例子,在现实世界的范围内的噪声和基准数据集。结果进行了分析,并与其他现有的战略。在最好的情况下,所提出的策略是能够减少高达30%的点的数量相比,一个连续的空间填充设计,同时优于其他现有的主动学习策略。结果是有希望的,但也表明,该算法必须加以改进,以增加噪声环境的鲁棒性。进一步的研究将集中在改进算法,并将其应用到一个现实世界的例子。
2020-11-29 cs.LG
BoSS: A Best-of-Strategies Selector as an Oracle for Deep Active Learning
Intelligent Embedded Systems University of Kassel(智能嵌入式系统卡塞尔大学);Machine Learning Research Unit TU Wien(机器学习研究单位维也纳技术大学);University of Kassel(卡塞尔大学);TU Wien(维也纳技术大学)
本文提出BoSS,一种可扩展的Oracle策略,用于大规模主动学习。通过集成多种策略选择候选批次,BoSS在性能提升方面优于现有策略,且表明集成方法能有效应对策略不一致问题。
2026-03-13 cs.AI cs.LG
Online Selective Conformal Prediction: Errors and Solutions
Carnegie Mellon University(卡内基梅隆大学);Munich Center for Machine Learning (MCML)(慕尼黑机器学习中心)
针对在线选择性共形推断中现有校准选择策略存在的理论错误,本文提出可保持数据可交换性的新策略,证明其能同时保证选择条件覆盖率与FCR控制,并通过实验验证了有效方法间的权衡关系。
2025-03-21 cs.LG stat.ML
Feature Selection via the Intervened Interpolative Decomposition and its Application in Diversifying Quantitative Strategies
在本文中,我们提出了一个概率模型,用于计算插值分解(ID),其中所观察到的矩阵的每一列都有自己的优先级或重要性,使最终结果的分解找到一组功能,是整个功能集的代表,和选定的功能也有更高的优先级比别人。这种方法通常用于低秩近似、特征选择和提取数据中的隐藏模式,其中矩阵因子是与每个数据维度相关联的潜在变量。吉布斯抽样贝叶斯推理应用进行优化。我们在真实世界的数据集上评估了所提出的模型,包括10只中国A股股票,并证明了所提出的具有干预的贝叶斯ID算法(IID)在选择具有更高分数或优先级的特征时产生与现有贝叶斯ID算法相当的重建错误。
2022-09-29 cs.LG q-fin.ST
Benchmarking on Tasks That Matter: Dataset Selection for Preserving Model Rankings
Applied AI Institute Moscow(莫斯科应用人工智能研究所)
提出一个框架,通过评估不同选择策略如何保持全局模型排名,从大量数据集中选择代表性子集,并利用自举聚合提供置信区间。在时间序列分类和NLP基准上,简单策略如FAFI优于随机选择;在推荐系统中改进不显著。
2026-06-29 cs.LG stat.ML
Revisiting Intermediate-Layer Matching in Knowledge Distillation: Layer-Selection Strategy Doesn't Matter (Much)
Dept. Computing Science & Alberta Machine Intelligence Institute (Amii), University of Alberta(计算科学系及阿尔伯塔人工智能研究所(Amii),阿尔伯塔大学);Canada CIFAR AI Chair, Amii(加拿大CIFAR人工智能主席,Amii)
本研究重新审视知识蒸馏中的中间层匹配策略,发现层选择策略对结果影响有限,普通前向匹配在多数情况下表现良好。
2025-12-10 cs.AI cs.CL cs.LG
Client Selection Strategies for Federated Semantic Communications in Heterogeneous IoT Networks
Faculty of Computer Science Dalhousie University(计算机科学学院达尔豪斯大学);Laboratoire DAVID Université de Versailles(DAVID实验室巴黎- versailes大学)
针对异构物联网中联邦语义通信的客户端选择难题,提出三种策略,在重建质量、资源效率与公平性间取得平衡,实验证明比例公平策略综合性能最优。
2025-06-20 cs.LG cs.NI
Efficient Pairwise Difference Learning: A Comparative Study of Encoding Strategies and Training Pair Selection
University of Minho(米尼奥大学);IDIADA Fahrzeugtechnik GmbH(IDIADA Fahrzeugtechnik有限公司)
本文研究成对差异学习(PDC)的编码与对选择策略,提出的带绝对差异的三元组编码器表现最优,上三角对训练可降40%计算量且精度损失小,PDC在94%案例中优于基模型。
2026-10-16 cs.AI cs.LG
An Empirical Study of Sample Selection Strategies for Large Language Model Repair
Zhejiang University(浙江大学)
本研究系统比较了五种样本选择策略用于LLM行为修复,提出SAPS方法,在去毒、效用保持和效率间取得最佳平衡,证明基于选择的修复是高效可扩展的范式。
2025-10-23 cs.LG
A Reproducible and Realistic Evaluation of Partial Domain Adaptation Methods
Mila - Quebec AI Institute(米拉-魁北克人工智能研究所);McGill University(麦吉尔大学);Université de Montréal(蒙特利尔大学)
无监督领域自适应(UDA)的目的是利用源标记图像对未标记的目标图像进行分类。在这项工作中,我们认为部分领域自适应(PDA)的变种,我们有额外的源类不存在于目标域。大多数成功的算法使用依赖于目标标签的模型选择策略,以在训练过程中找到最佳的超参数和/或模型。然而,这些策略违反了PDA中的主要假设:只有未标记的目标域样本可用。此外,在实验设置中也存在不一致性-架构,超参数调整,运行次数-产生不公平的比较。这项工作的主要目标是提供一个现实的评价PDA方法与不同的模型选择策略下一致的评价协议。我们使用7种不同的模型选择策略,在2个不同的真实数据集上评估了7种代表性的PDA算法。我们的两个主要发现是:(i)如果没有用于模型选择的目标标签,方法的准确性降低高达30个百分点;(ii)只有一种方法和模型选择对在两个数据集上都表现良好。实验是用我们开源的PyTorch框架BenchmarkPDA进行的。
2022-10-03 cs.CV cs.LG stat.ML
On feature selection and evaluation of transportation mode prediction strategies
Institute for Big Data Analytics, Dalhousie University(达尔豪斯大学大数据分析研究所);Institute for Computer Science, Polish Academy of Sciences(波兰科学院计算机科学研究所)
交通模式预测是智慧城市和交通管理系统决策的基本任务。基于轨迹挖掘设计的交通政策可以为当局和公众节省金钱和时间。它可以减少燃料消耗和通勤时间,此外,可以为居民和游客提供更多愉快的时刻。由于可用于预测用户交通模式的特征的数量可能是相当大的,因此找到使性能度量最大化的特征的子集是值得研究的。在这项工作中,我们探索包装和信息检索方法,以找到最佳的轨迹特征子集。在找到最佳分类器和最佳特征子集后,我们的结果与两篇应用深度学习方法的相关论文进行了比较,结果表明我们的框架取得了更好的性能。此外,两种类型的交叉验证方法进行了研究,性能结果表明,随机交叉验证方法提供了乐观的结果。
2018-09-05 cs.AI cs.LG stat.ML
Surprisal-Guided Selection: Compute-Optimal Test-Time Strategies for Execution-Grounded Code Generation
Arc Intelligence(Arc智能)
本文提出惊讶引导选择策略,通过提升样本多样性和智能选择,优化执行导向代码生成任务的测试时间策略,实现计算最优的高成功率。
2026-02-07 cs.AI cs.LG
Intelligent Routing for Sparse Demand Forecasting: A Comparative Evaluation of Selection Strategies
Independent Researcher(独立研究者)
本文提出模型路由器框架,通过比较规则、LightGBM和InceptionTime三种选择策略,为不同需求模式动态分配最优预测模型,在Favorita数据集上实现最高11.8%的NWRMSLE精度提升和4.67倍推理加速。
2025-06-30 cs.LG
Classifier Transfer with Data Selection Strategies for Online Support Vector Machine Classification with Class Imbalance
University of Bremen(不来梅大学);German Research Center for Artificial Intelligence GmbH(德国人工智能研究中心)
目的:分类器转移通常伴随着数据集的变化。为了克服这些问题,必须采用在线战略。对于实际应用,必须考虑用于适应批量学习算法(如SVM)的计算资源的限制。方法:我们回顾并比较了支持向量机在线学习的几种策略。我们专注于限制存储的训练数据大小的数据选择策略[.]主要结果:对于不同的数据偏移,适用不同的标准。对于合成数据,将所有样本添加到所考虑的样本池中通常比其他标准执行得更差。特别是,只添加错误分类的样本表现得非常好。在这里,当其他标准没有很好地选择时,平衡标准非常重要。对于传输设置,结果表明,最佳策略取决于传输过程中漂移的强度。添加所有样本并移除最旧的样本会产生最佳性能,而对于较小的漂移,仅添加SVM的潜在新支持向量就足够了,这会减少处理资源。重要性:对于基于EEG模型的BCI,使用来自校准会话、先前记录会话或甚至来自与一个或多个其他受试者的记录会话的数据进行训练。学习模型的这种转移通常会降低性能,因此可以从在线学习中受益,在线学习可以像建立的SVM一样调整分类器。我们表明,通过使用正确的数据选择标准的组合,可以适应分类器,并大大提高性能。此外,在某些情况下,可以通过用特殊样本的子集进行更新并保留用于训练分类器的样本的小子集来加速处理并节省计算。
2022-08-10 cs.HC cs.LG
Realistic Evaluation of Test-Time Adaptation Algorithms: Unsupervised Hyperparameter Selection
IDEAS NCBR;Warsaw University of Technology(华沙理工大学);Tooploox;CVC Barcelona(巴塞罗那计算机视觉中心)
本文通过无监督超参数选择策略对测试时自适应算法进行现实评估,发现部分最新方法性能不佳,遗忘问题仍存,并强调需更严格的基准测试,开源代码以促进研究。
2024-07-19 cs.CV cs.LG
Hard Negative Sampling Strategies for Contrastive Representation Learning
Virginia Tech(弗吉尼亚理工大学)
对比学习的挑战之一是在没有标签信息的情况下选择适当的\textit{hard negative}示例。基于特征相似性的随机采样或重要性采样方法通常导致次优性能。在这项工作中,我们介绍了UnReMix,一个硬负采样策略,考虑到锚相似性,模型的不确定性和代表性。在几个基准测试上的实验结果表明,UnReMix与最先进的对比学习方法相比,改进了负样本选择,并随后提高了下游性能。
2022-06-02 cs.AI cs.CV cs.LG
What Makes a Good Example? Modeling Exemplar Selection with Neural Network Representations
Department of Psychology, University of Southern California(心理学系,南加州大学);Department of Statistics and Data Science, University of California, Los Angeles(统计与数据科学系,加州大学洛杉矶分校)
本文通过神经网络表示和原则性子集选择标准建模人类实例选择,发现联合代表性与多样性结合的策略最能反映人类判断,且转换器表示比卷积网络更符合人类行为。
2026-02-03 cs.LG
Sensitivity of Stability: Theoretical & Empirical Analysis of Replicability for Adaptive Data Selection in Transfer Learning
Center for Language and Speech Processing(语言与语音处理中心);Johns Hopkins University(约翰霍普金斯大学)
本文提出选择敏感性 $Δ_Q$ 与数学框架,分析迁移学习自适应数据选择的性能—可复现性权衡,并通过 MultiNLI 实验验证失败率规律及预训练的缓解作用。
2025-08-29 cs.LG
On the equivalence of different adaptive batch size selection strategies for stochastic gradient descent methods
University of Nottingham(诺丁汉大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);RWTH Aachen University(亚琛工业大学);King Abdullah University of Science & Technology(阿卜杜拉国王科技大学);Stevens Institute of Technology(史蒂文斯理工学院)
本文证明了在ε²=θ²+ν²条件下,SGD方法中范数检验与内积/正交性检验在收敛速率上等价,并分析了两种自适应批量选择策略的计算开销关系。
2023-07-04 cs.LG math.OC stat.ML
Chance-constrained selection of sequential intervention strategies from counterfactual estimates
Graduate School of Information, Yonsei University(延世大学信息研究生院)
本文提出预测-优化框架,通过机会约束选择控制累积成本超预算概率,在临床治疗等环境中可在点估计规则超支时维持预算,所有代码公开。
2026-08-14 cs.LG stat.ME stat.ML
Strategic Sample Selection for Improved Clean-Label Backdoor Attacks in Text Classification
Department of Computer Engineering, Koç University(计算机工程系,科大学院)
本文提出 Minimum、Above50 和 Below50 三种样本选择策略,通过选择模型预测错误或低置信度样本注入后门触发器,在多个数据集和模型上显著提升清洁标签后门攻击成功率,且几乎不影响清洁准确率,并优于现有方法 BITE。
2025-08-21 cs.AI cs.CR cs.LG
Noise-aware Client Selection for carbon-efficient Federated Learning via Gradient Norm Thresholding
Technische Universität Berlin(柏林技术大学)
本文提出一种基于梯度范数阈值的噪声感知客户端选择方法,以提升碳高效联邦学习的模型性能和可持续性。
2026-03-04 cs.AI cs.LG
Feature selection strategies for optimized heart disease diagnosis using ML and DL models
School of Computer Science and Communication Engineering, Jiangsu University(江苏大学计算机科学与通信工程学院)
本研究对比互信息、方差分析、卡方检验三种特征选择方法对11种ML/DL心脏病预测模型的性能影响,发现MI适配复杂模型效果最优,为临床诊断工具开发提供选型参考。
2025-03-20 cs.AI cs.LG
A Coreset Selection of Coreset Selection Literature: Introduction and Recent Advances
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));RPTU Kaiserslautern-Landau(科隆大学(RPTU)凯斯堡-兰道)
本文综述了核心集选择的最新进展,统一了无训练、有训练和无标签方法,并探讨了剪枝策略对泛化能力的影响及未来挑战。
2026-01-29 cs.CV cs.LG
Non-Convex Federated Optimization under Cost-Aware Client Selection
Saarland University & CISPA(萨尔兰州大学及CISPA);CISPA;CISPA Helmholtz Center for Information Security(CISPA信息安全中心)
本文提出了一种新的非凸联邦优化算法,通过引入成本感知的客户端选择策略,改进了通信和本地计算的复杂度。
2025-12-05 cs.LG math.OC
Benchmarking Active Spot Selection for Cost-Efficient Spatial Transcriptomics
University of Pennsylvania(宾夕法尼亚大学);Vanderbilt University(范德堡大学);Cornell Tech(康奈尔科技校区);University of Notre Dame(圣母大学);New York Medical College(纽约医学院);Vanderbilt University Medical Center(范德堡大学医学中心);Weill Medical College of Cornell University(康奈尔大学威尔医学院)
该研究通过回顾性基准测试,比较主动学习与随机采样在空间转录组学中的点位选择,发现主动策略在小预算下未持续优于随机采样,且性能排名因评估指标而异。
2026-09-24 cs.CV cs.LG q-bio.OT