The Gram-Charlier A Series based Extended Rule-of-Thumb for Bandwidth Selection in Univariate and Multivariate Kernel Density Estimations
Dhirubhai Ambani Institute of Technology (DAIICT)(迪鲁巴伊·安巴尼信息技术学院)
本文推导了一种新的基于Gram-Charlier A(GCA)级数的扩展经验法则(ExROT)用于核密度估计(KDE)中的带宽选择。现有的各种带宽选择规则实现估计的概率密度函数(PDF)和实际PDF之间的渐近平均积分平方误差(AMISE)最小化。这些规则在估计未知PDF $(f(\cdot))$的平方二阶导数的积分方面有所不同,该未知PDF $(f(\cdot))$被标识为粗糙度$R(f''(\cdot))$。最简单的经验法则(ROT)估计$R(f''(\cdot))$时假设所估计的密度是高斯的。直观地,如果通过基于更广义的密度假设的无穷级数展开来近似未知PDF,则可以导出对$R(f''(\cdot))$的更好的估计以及因此更好的带宽选择规则。作为对这一概念的论证和验证,本文中导出的ExROT使用了一个扩展的假设,即所估计的密度接近高斯。这有助于使用GCA展开作为对未知的近高斯PDF的近似。将单变量KDE的ExROT扩展到多变量KDE。所需的多变量AMISE标准是重新推导出使用初等微积分的几个变量,而不是张量演算。推导过程使用Kronecker积和向量微分算子来实现向量符号的AMISE表达式。还导出了基于核的密度导数估计的ExROT。
2015-04-03 cs.LG stat.CO stat.ME
Kernel Bandwidth Selection for SVDD: Peak Criterion Approach for Large Data
SAS Institute Inc.(赛仕软件研究所)
支持向量数据描述(SVDD)为多变量数据的单类分类和离群点检测提供了一种有效的描述方法,具有广泛的实际应用。在SVDD公式中使用的高斯核允许由指定为支持向量的观测定义的灵活的数据描述。这种描述的数据边界是非球形的,并且符合数据的几何特征。通过改变高斯核带宽参数,SVDD生成的边界可以变得更平滑(更球形)或更紧密/锯齿状。前者可能导致欠拟合,而后者可能导致过拟合。峰值准则已被提出来选择一个最佳值的核带宽之间的数据边界的平滑性和它的能力,以捕捉数据的一般几何形状的平衡。峰值准则涉及在核带宽参数的各种值下训练SVDD。当训练数据集很大时,根据Peak方法获得高斯核带宽参数的最佳值所需的时间可能会变得非常大。本文提出了一种扩展的峰值方法的情况下,大数据。当应用于多个数据集时,所提出的方法给出了良好的结果。两个现有的替代方法计算高斯核带宽参数(变异系数和距离的Faradian邻居)进行了修改,以便与所提出的方法的收敛性进行比较。实证比较表明了该方法的优越性。
2017-05-19 cs.LG stat.ML
Input Selection for Bandwidth-Limited Neural Network Inference
University of Copenhagen(哥本哈根大学);University of Münster(明斯特大学)
数据通常容纳在集中式存储服务器上。例如,在遥感和天文学领域,项目每年产生数PB的数据。虽然机器学习模型通常是在相对较小的数据子集上训练的,但推理阶段通常需要在服务器和客户端之间传输大量数据。在许多情况下,每个用户可用的带宽是有限的,这使得数据传输成为主要瓶颈之一。在这项工作中,我们提出了一个框架,自动选择一个给定的神经网络的输入数据的相关部分。同时训练模型以及相关联的选择掩码,使得在仅选择最少量的数据的同时实现良好的模型性能。在推理阶段,只有这些部分的数据必须在服务器和客户端之间传输。我们提出了独立于实例和依赖于实例的选择掩码。前一种方法对于所有要传输的实例都是相同的,而后一种方法允许每个实例的传输大小可变。我们的实验表明,通常可以显着减少需要传输的数据量,而不会对模型质量产生太大影响。
2022-01-19 cs.LG stat.ML
A distributed neural network architecture for dynamic sensor selection with application to bandwidth-constrained body-sensor networks
KU Leuven(鲁汶大学);Leuven.AI - KU Leuven institute for AI(鲁汶AI——鲁汶大学人工智能研究所)
提出一种端到端学习的 DNN 动态传感器选择方法,利用 Gumbel-Softmax 实现离散选择训练,并结合动态空间滤波与分布式节点选择,在 EEG 身体传感器网络中权衡传输负载与任务准确率。
2023-08-16 cs.LG eess.SP
The Trace Criterion for Kernel Bandwidth Selection for Support Vector Data Description
Internet of Things, SAS Institute Inc., Cary, NC, 27513(物联网,SAS公司,北卡罗来纳州卡里,27513)
本文提出了一种新的无监督方法,用于选择支持向量数据描述(SVDD)中高斯核的带宽,通过利用核矩阵的低秩表示来建议带宽值,该方法在低维数据中与当前最佳方法竞争,并在许多高维数据类别中表现极佳。
2020-02-05 cs.LG cs.NA math.NA
Semantic CSI Feedback for Beam Selection: When Task-Aware Embeddings from Sparse Pilots Outperform Full-Bandwidth Reconstruction
Ericsson Research(爱立信研究院)
本文提出语义CSI反馈方法,用稀疏导频的紧凑嵌入替代全带宽重构,在波束选择任务上超越CsiNet,验证了“传输意图而非信号”的语义通信原则。
2026-09-22 cs.AI cs.LG eess.SP
Communication-Efficient Decentralized Learning with Sparsification and Adaptive Peer Selection
Hong Kong Baptist University(香港浸会大学)
分布式学习技术(如联邦学习)使多个工作人员能够一起训练机器学习模型,以减少总体训练时间。然而,目前的分布式训练算法(集中式或分散式)遭受多个低带宽工作者(也在集中式架构下的服务器上)的通信瓶颈。尽管分散式算法通常比集中式算法具有更低的通信复杂性,但是对于具有低网络带宽的工作者,它们仍然遭受通信瓶颈。为了在保持收敛性能的同时处理通信问题,我们引入了一种新的分散式训练算法,该算法具有以下主要特点:1)在训练过程中不需要参数服务器来维护模型,这避免了对任何单个节点的通信压力。2)每个工作者在每一轮通信中只需要与一个对等体进行通信,并且具有高度压缩的模型,这可以显着减少工作者上的通信流量。我们从理论上证明,我们的稀疏化算法仍然保持收敛特性。3)每个工作者在不同的通信回合动态地选择其对等体以更好地利用带宽资源。我们进行实验与卷积神经网络对32名工人,以验证我们提出的算法相比,现有的七种方法的有效性。实验结果表明,该算法显著降低了通信量,并且通常选择相对高带宽的节点。
2020-02-22 cs.DC cs.LG stat.ML
Online waveform selection for cognitive radar
Institute for Experiential AI(体验式人工智能研究院);Northeastern University(东北大学);DRDO(国防研究与发展组织);Indian Institute of Technology Madras(马德拉斯印度理工学院)
本文针对弹道导弹全程跟踪难题,提出基于弹道轨迹领域知识的在线自适应波形选择强化学习算法,实现最小化距离误差与持续跟踪目标的双重目标。
2024-10-14 cs.LG eess.SP
Adaptive Semantic Token Selection for AI-native Goal-oriented Communications
Sapienza University of Rome(罗马第一大学);Consorzio Nazionale Interuniversitario per le Telecomunicazioni(意大利国家电信大学联盟)
本文提出一种基于Transformer条件计算的自适应语义令牌选择机制,在可变时延和带宽约束下动态选择相关令牌,以单一模型实现优于现有方法的AI原生目标导向通信性能,并增强可解释性。
2024-04-25 cs.AI cs.IT cs.LG
A new approach to locally adaptive polynomial regression
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tata Institute of Fundamental Research(塔塔基础研究 Institute);Indian Statistical Institute(印度统计研究所)
针对非参数回归中自适应带宽选择的核心挑战,提出基于$\u2113_2$范数区间投影准则的新带宽选择流程,推导了非渐近风险界,证明其可近乎最优地适应局部Hölder指数,为该经典问题提供新视角。
2025-05-20 cs.LG math.PR math.ST
IBAC: An Intelligent Dynamic Bandwidth Channel Access Avoiding Outside Warning Range Problem
University of Quebec(魁北克大学)
IEEE 802.11ax使用主信道和辅助信道的概念,从而产生了动态带宽信道接入(DBCA)机制。通过应用DBCA,无线站可以通过应用信道绑定特征来选择更宽的信道带宽,诸如40/80/160 MHz。然而,在信道绑定期间,不适当的带宽选择可能导致冲突。因此,为了避免冲突,一个发达的媒体访问控制(MAC)协议是至关重要的,以有效地利用信道绑定机制。在本文中,我们解决了一个冲突的情况下,被称为警告范围外的问题(OWRP),可能会发生在DBCA时,一个无线站干扰另一个无线站后,信道绑定执行。因此,我们提出了一种MAC层机制,智能绑定避免冲突(IBAC),适应DBCA中的信道绑定级别,以避免OWRP。我们首先设计了一个理论模型的基础上马尔可夫链的DBCA,同时避免OWRP。基于此模型,我们设计了一个基于汤普森抽样的贝叶斯方法来选择最佳的信道绑定水平智能。我们分析了IBAC的性能,通过模拟观察到,相比其他竞争机制,所提出的方法可以提高网络性能显着,同时避免OWRP。
2022-01-15 cs.LG cs.NI
Uniform Convergence Bounds for Codec Selection
我们框架的问题选择一个最佳的音频编码方案作为一个监督学习任务。通过一致收敛理论,我们保证近似最优的编解码器选择,同时控制选择偏差。我们提出了严格的统计保证的编解码器的选择问题,任意分布的音频序列和任意的质量指标。因此,我们的技术可以平衡音质和压缩比,并使用来自分布的音频样本来选择对特定类型的数据表现良好的编解码器。我们的技术的应用是巨大的,因为它可以用于优化流媒体和其他数字媒体的质量和带宽使用,同时显著优于将固定编解码器应用于所有数据源的方法。
2018-12-18 cs.LG cs.SD eess.AS
Client Selection Approach in Support of Clustered Federated Learning over Wireless Edge Networks
Hamad Bin Khalifa University(哈马德·本·哈利法大学)
针对数据不平衡、非独立同分布的情况,提出了一种有效的联合多任务学习方法(CFL).(非独立和同分布)时尚之间的客户。虽然相似性度量指标(如余弦相似性)可用于为客户端组赋予专门的模型,但此过程可能很艰巨,因为服务器应在每一轮联邦学习中涉及所有客户端。因此,由于网络边缘的有限带宽和延迟约束,必须定期选择客户端的子集。为此,本文提出了一种新的客户端选择算法,旨在加快收敛速度,以获得专门的机器学习模型,实现高测试精度的所有客户端组。具体来说,我们引入了一种客户端选择方法,利用设备的异构性,根据其轮延迟来调度客户端,并利用带宽重用的客户端,消耗更多的时间来更新模型。然后,服务器执行模型平均并基于预定义的阈值对客户端进行聚类。当一个特定的集群到达一个稳定点,该算法使用贪婪调度算法,该组通过选择具有较少的延迟来更新模型的客户端。大量的实验表明,该方法降低了训练时间,加快了收敛速度高达50%,同时为每个客户端注入了适合其本地数据分布的专用模型。
2021-08-16 cs.DC cs.LG
Optimal Kernel for Kernel-Based Modal Statistical Methods
Kyoto University(京都大学)
本文研究核函数对基于核的众数估计、回归与聚类精度的影响,并在按符号变化次数定义的核类中证明了配合最优带宽可最小化渐近误差准则的多元最优核。
2023-04-20 cs.LG stat.ML
Anisotropic Agglomerative Adaptive Mean-Shift
Georgia Institute of Technology(佐治亚理工学院);Magic Leap, Inc.(Magic Leap公司)
Mean Shift被广泛用于模式检测和聚类。然而,由于各向同性和方差齐性的假设,该技术在实践中受到挑战。我们提出了一种自适应均值漂移方法,允许完全各向异性聚类,通过无监督的本地带宽选择。带宽矩阵自然演变,通过聚集在本地进行适应,反过来又引导进一步的聚集。在线方法是实用和有效的低维特征空间,保持更好的细节和聚类的显着性。另外,常规均值偏移要么严格地取决于带宽的每个实例选择,要么依赖于不灵活的和/或再次数据实例特定的离线方法。由于其自适应设计,所提出的方法也解决了这个问题-默认形式通常表现良好。然而,该方法允许有效地调整结果。
2014-11-15 cs.CV cs.LG