Scalable Vector Gaussian Information Bottleneck
Sharif University of Technology(谢里夫理工大学);Technical University of Munich(慕尼黑工业大学);Universite Paris-Est(巴黎东部大学)
在统计学习的背景下,信息瓶颈方法通过在压缩复杂度(由最小描述长度测量)和在对数损失度量下评估的失真之间进行适当的权衡来寻求准确性和泛化能力之间的正确平衡。在本文中,我们研究的问题,称为可扩展的信息瓶颈,其中编码器输出多个描述的观察越来越丰富的功能的变化。该模型,这是连续的细化类型与降级的边信息流在解码器,是由一些应用场景,需要不同的准确性水平取决于允许的(或目标)的复杂性水平的动机。我们建立了一个分析表征的最佳相关性复杂度区域的矢量高斯源。然后,我们推导出一个变分推理型算法的一般来源未知的分布,并显示使用神经网络参数化的手段。最后,我们提供的MNIST数据集上的实验结果表明,该方法更好地推广到看不见的数据在训练阶段。
2021-02-15 cs.IT cs.LG math.IT
Scalable Delphi: Large Language Models for Structured Risk Estimation
本文提出可扩展的德尔菲方法,利用大型语言模型进行结构化风险评估,通过多样化的专家人设和迭代优化,实现了高效且准确的风险估计。
2026-10-02 cs.AI
A Framework for Scalable Ambient Air Pollution Concentration Estimation
University of Exeter(埃克塞特大学);Met Office(英国气象局);Federal University of Ceará(塞阿拉联邦大学)
本文提出一个可扩展的监督机器学习框架,通过填补英国空气污染监测数据的时间和空间缺口,生成2018年英格兰1km×1km小时分辨率数据集,为高分辨率空气污染研究提供支持。
2024-01-16 cs.LG stat.AP
DOA Estimation by DNN-based Denoising and Dereverberation from Sound Intensity Vector
NTT Media Intelligence Laboratories(NTT媒体情报实验室);University of Padova(帕多瓦大学)
提出了一种结合基于声强矢量的DOA估计和基于DNN的去噪去混响的波达方向估计方法。由于基于IV的DOA估计的准确性由于环境噪声和混响而降低,因此使用两个DNN来从观察到的IV中去除这种影响。然后,基于波传播的物理学,从改进的IV估计DOA。在开放数据集上的实验表明,该方法的平均DOA误差为0.528度,优于传统的基于IV和基于DNN的DOA估计方法。
2019-10-10 cs.LG cs.SD eess.AS
DMin: Scalable Training Data Influence Estimation for Diffusion Models
Rochester Institute of Technology(罗切斯特理工学院);Tufts University(塔夫茨大学)
本文提出DMin框架,用于高效估计扩散模型中每个训练样本对生成图像的影响,解决了传统方法在大规模模型上的计算限制问题,实现了存储和计算效率的显著提升。
2026-04-09 cs.AI cs.CV cs.LG
EfficientPose 6D: Scalable and Efficient 6D Object Pose Estimation
本文针对实时工业6D位姿估计中的效率与准确性权衡,基于GDRNPP提出可扩展估计器集合,并用AMIS按应用约束选择模型,在四个基准上验证有效性。
2025-02-19 cs.AI cs.CV cs.LG
Scardina: Scalable Join Cardinality Estimation by Multiple Density Estimators
Osaka University(大阪大学)
针对复杂关系模式下现有方法基数估计不精确的问题,提出基于模式结构的多分区模型Scardina,通过组合多个密度估计器有效提升连接基数估计的准确性。
2023-03-31 cs.DB cs.LG
Scalable and Efficient Methods for Uncertainty Estimation and Reduction in Deep Learning
Karlsruhe Institute of Technology (KIT)(卡尔斯鲁厄理工学院)
本文围绕资源受限安全关键系统中的神经网络部署难题,提出面向存内计算的训练算法、新型拓扑及硬件协同设计,利用二值贝叶斯神经网络提升分布外检测、推理精度与能效。
2024-01-13 cs.AI cs.LG
Once-for-All: Scalable Simultaneous Forecasting via Equilibrium State Estimation
RMIT University(皇家墨尔本理工大学);Monash University(莫纳什大学);University of Adelaide(阿德莱德大学)
提出均衡状态估计(ESE)范式,通过一次前向传播估计多系统均衡状态并基于状态差异生成预测,在保持精度的同时实现10-70倍加速,且具有线性时间复杂度和鲁棒性。
2026-06-12 cs.AI cs.LG
Direct Advantage Estimation for Scalable and Sample-efficient Deep Reinforcement Learning
针对直接优势估计(DAE)在部分可观测域和高维观测下的局限性,本文扩展其理论框架并引入离散潜动态模型降低计算复杂度,在Arcade学习环境中验证了DAE的可扩展性和样本效率。
2026-06-19 cs.LG
Scalable Estimation of Dirichlet Process Mixture Models on Distributed Data
The Chinese University of Hong Kong(香港中文大学)
我们考虑的狄利克雷过程混合模型(DPMM)在分布式环境中,数据分布在多个计算节点的估计。贝叶斯非参数模型(如DPMM)的一个关键优势是,它们允许根据需要动态引入新组件。然而,这给分布式评估带来了一个重要的挑战--如何有效地和一致地处理新的组件。为了解决这个问题,我们提出了一种新的估计方法,它允许新的组件本地创建在各个计算节点。将通过概率合并方案确定和合并对应于同一集群的组件。这样,我们可以保持估计的一致性与非常低的通信成本。在大规模真实数据集上的实验表明,该方法在不影响混合性能的前提下,能够在分布式和异步环境下实现较高的可扩展性。
2017-09-19 cs.LG stat.ML
Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning
ETH Zurich(苏黎世联邦理工学院);Max Planck ETH Center for Learning Systems(马克斯·普朗克-苏黎世联邦理工学习系统中心);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);University of Cambridge(剑桥大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
基于边缘似然的模型选择尽管很有前途,但由于估计困难,很少用于深度学习。相反,大多数方法依赖于验证数据,而这些数据可能并不容易获得。在这项工作中,我们提出了一种可扩展的边缘似然估计方法来选择超参数和网络架构,仅基于训练数据。一些超参数可以在训练过程中在线估计,简化了过程。我们的边际似然估计是基于拉普拉斯方法和高斯-牛顿近似的Hessian,它优于交叉验证和手动调整标准回归和图像分类数据集,特别是在校准和分布检测方面。我们的工作表明,边缘似然可以提高泛化能力,并且在验证数据不可用时(例如,在非固定设置中)。
2021-06-15 cs.LG stat.ML
Scalable Whole Slide Image Representation Using K-Mean Clustering and Fisher Vector Aggregation
Department of Electrical Engineering, Indian Institute of Technology Bombay(印度理工学院孟买分校电气工程系)
本文提出一种可扩展的WSI分类方法,通过补丁特征提取、K均值聚类和Fisher向量编码,生成紧凑表示,实现高准确性和可扩展性。
2025-01-21 cs.AI cs.CV cs.LG
Scalable Continuous-time Diffusion Framework for Network Inference and Influence Estimation
National University of Singapore(新加坡国立大学);CNRS(法国国家科学研究中心);Université Paris-Saclay(巴黎萨克雷大学);CNRS IPAL(法国国家科学研究中心IPAL)
针对现有连续时间扩散方法可扩展性不足的问题,提出基于连续时间动力系统的FIM框架,结合先进采样技术,实现大规模网络下的推断与影响力估计效率和效果均更优。
2024-05-21 cs.LG cs.SI
EiGLasso for Scalable Sparse Kronecker-Sum Inverse Covariance Estimation
Carnegie Mellon University(卡内基梅隆大学)
在许多现实问题中,样本之间和特征之间都存在复杂的依赖关系。两个图的克罗内克和或笛卡尔积(每个图对特征和样本之间的依赖性进行建模)由于其更直观的稀疏结构而被用作矩阵变量高斯分布的逆协方差阵,作为克罗内克积逆协方差阵的替代。然而,现有的稀疏Kronecker和逆协方差估计的方法是有限的,因为它们不能扩展到超过几百个特征和样本,并且不可识别的参数在估计中构成挑战。在本文中,我们介绍了EiGLasso,稀疏Kronecker和逆协方差估计的高度可扩展的方法,基于牛顿的方法结合特征分解的两个图,利用Kronecker和的结构。EiGLasso通过基于样本和特征图的特征分解来近似Hessian,进一步减少了计算时间。EiGLasso实现了精确Hessian的二次收敛和近似Hessian的线性收敛。我们描述了一个简单的新方法来估计不可识别的参数,概括了现有的方法。在模拟和真实世界的数据,我们证明了EiGLasso实现了两到三个数量级的速度相比,现有的方法。
2021-05-20 cs.LG stat.ML
A deep scalable neural architecture for soil properties estimation from spectral information
Istituto Nazionale di Fisica Nucleare(意大利国家核物理研究所);Università Milano-Bicocca(米兰比可卡大学)
在本文中,我们提出了一种自适应深度神经架构,用于从高光谱特征分析中预测多种土壤特性。所提出的方法克服了现有技术中以前方法的局限性:(i)它允许一次预测多个土壤变量;(ii)它允许回溯对给定变量的估计最有贡献的光谱带;(iii)它基于能够自动适应分析下的光谱库的灵活神经架构。实验所提出的架构上LUCAS,一个大型的实验室数据集和通过模拟PRISMA高光谱传感器实现的数据集。与其他最先进的方法相比,结果证实了所提出的解决方案的有效性。
2022-10-26 cs.CV cs.LG
Towards Scalable Backpropagation-Free Gradient Estimation
Australian National University(澳大利亚国立大学)
针对反向传播计算和存储开销大、前向模式自动微分高方差难扩展的问题,提出一种通过处理上游 Jacobian 矩阵同时降低偏差与方差的无反向传播梯度估计方法,具有扩展到更大网络的潜力。
2025-11-05 cs.LG
Scalable bayesian shadow tomography for quantum property estimation with set transformers
Department of Electrical and Computer Engineering, Seoul National University(电气与计算机工程系,首尔国立大学)
本文提出了一种结合经典阴影协议和集合变换器的贝叶斯方法,用于高效估计量子态属性,显著降低均方误差。
2025-12-04 cs.LG quant-ph
Robust and highly scalable estimation of directional couplings from time-shifted signals
Inria Saclay(法国国家信息与自动化研究所萨克雷中心);Université Paris-Sud(巴黎第十一大学);Donders Institute for Brain, Cognition, and Behaviour(唐德斯脑、认知与行为研究所);Radboud University(拉德堡德大学)
针对网络节点间有向耦合估计中的未知延迟问题,提出基于变分贝叶斯框架的混合变分推断方法,通过边缘化延迟和梯度变分推断获得保守估计,在真实标签实验中优于回归动态因果模型。
2025-01-27 cs.LG
Scalable Intervention Target Estimation in Linear Models
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research AI(IBM研究院)
本文研究了在因果有向无环图中由观测数据和干预数据估计未知干预目标的问题。重点是在线性结构方程模型(SEM)的软干预。目前的因果结构学习方法要么使用已知的干预目标,要么使用假设检验来发现未知的干预目标,即使是线性SEM。这严重限制了它们的可扩展性和样本复杂性。本文提出了一种可扩展的和有效的算法,一致地识别所有干预目标。其关键思想是根据与观察数据集和介入数据集相关的精度矩阵之间的差异来估计介入部位。它涉及在不同的变量子集中重复估计这些站点。所提出的算法也可以用来更新一个给定的观测马尔可夫等价类到介入马尔可夫等价类。一致性,马尔可夫等价性和样本复杂性建立分析。最后,在真实数据和合成数据上的仿真结果证明了所提出的方法在可扩展因果结构恢复中的优势。该算法的实现和再现仿真结果的代码可在\url{https://github.com/bvarici/intervention-estimation}上获得。
2021-11-15 cs.LG stat.ME stat.ML
Linear Algorithms for Robust and Scalable Nonparametric Multiclass Probability Estimation
University of Arizona(亚利桑那大学)
多类概率估计是在给定协变量信息的情况下,估计数据点属于某类的条件概率的问题。它在统计分析和数据科学中有着广泛的应用。最近,已经开发了一类加权支持向量机(wSVM),通过集成学习来估计$K$类问题的类概率(Wu,Zhang和Liu,2010; Wang,Zhang和Wu,2019),其中$K$是类的数量。估计器是鲁棒的,并实现高精度的概率估计,但他们的学习是通过成对耦合,这需要在$K$多项式时间。在本文中,我们提出了两个新的学习方案,基线学习和一对所有(OVA)学习,以进一步提高wSVM的计算效率和估计精度。特别地,基线学习在$K$中是线性的意义上具有最佳计算复杂度。虽然不是最有效的计算,OVA提供了最好的估计精度在所有的程序进行比较。由此产生的估计是分布自由,并显示是一致的。我们进一步进行了广泛的数值实验,以证明有限样本的性能。
2022-09-22 cs.LG stat.ME stat.ML
Scalable Counterfactual Distribution Estimation in Multivariate Causal Models
Shiga University(滋贺大学);RIKEN(理化学研究所);The Institute of Statistical Mathematics(统计数理研究所)
针对扩展双重差分多元因果模型中的反事实联合分布估计,本文提出利用稳健潜在一维子空间兼顾维度相关性与单变量估计效率,并在合成及真实数据上验证其优势。
2023-11-02 cs.AI cs.LG stat.ME
Towards calibrated and scalable uncertainty representations for neural networks
Cornell University(康奈尔大学);Cornell Tech(康奈尔理工学院);Shutterstock(Shutterstock公司);Rochester Institute of Technology(罗切斯特理工学院)
对于许多应用来说,了解神经网络预测的不确定性是至关重要的。虽然已经提出了各种神经网络参数估计方法用于不确定性估计,但是它们没有在不确定性度量之间进行严格的比较。我们评估这些参数估计方法校准不确定性估计使用四种不同的不确定性度量:熵,互信息,任意的不确定性和认知的不确定性。我们评估这些参数估计方法的校准使用预期的校准误差。此外,我们提出了一种新的神经网络参数估计方法,称为RECST,它结合了余弦退火与热重启与随机梯度Langevin动力学,捕捉更多样化的参数分布。当基准对残缺的图像数据,我们表明,RECAST是良好的校准和预测熵和认知不确定性相结合时,它提供了最好的校准措施的不确定性相比,最近的方法。
2019-12-04 cs.CV cs.LG stat.ML
BézierSketch: A generative model for scalable vector sketches
University of Surrey(萨里大学);iFlyTek-Surrey Joint Research Centre on Artificial Intelligence(科大讯飞-萨里大学人工智能联合研究中心);University of Edinburgh(爱丁堡大学)
人体素描的神经生成模型的研究是一个迷人的当代建模问题,由于素描图像生成和人类绘画过程之间的联系。具有里程碑意义的SketchRNN通过顺序生成草图作为一系列路点提供了突破。然而,这会导致生成低分辨率图像,并且无法对长草图进行建模。在本文中,我们提出了BézierSketch,一种新的生成模型,完全矢量草图,可自动扩展和高分辨率。为此,我们首先介绍了一种新的逆图形方法来嵌入笔划,该方法训练编码器将每个笔划嵌入到其最佳拟合的Bézier曲线。这使我们能够将草图视为参数化笔划的短序列,从而训练具有更大容量的周期性草图生成器,以生成更长的草图,同时生成可扩展的高分辨率结果。我们报告定性和定量结果的快速,绘制!标杆
2020-07-14 cs.CV cs.LG eess.IV
Scalable Multi-Agent Reinforcement Learning with General Utilities
University of California at Berkeley(加州大学伯克利分校);J.P. Morgan AI Research(摩根大通人工智能研究院)
针对通用效用下多智能体强化学习的完全可观测性限制问题,提出带影子奖励的分布式策略梯度算法,利用空间相关性衰减实现局部策略优化,首次在无完全观测条件下达成ε平稳收敛。
2023-08-27 cs.AI cs.LG cs.MA
A Scalable Deep Neural Network Architecture for Multi-Building and Multi-Floor Indoor Localization Based on Wi-Fi Fingerprinting
XJTLU(西交利物浦大学)
未来覆盖多层建筑群的大规模位置感知服务的关键技术之一--例如,大型购物中心和大学校园-是一种可扩展的室内定位技术。在本文中,我们报告了我们的调查使用深度神经网络(DNN)的可扩展的建筑物/楼层分类和楼层水平的位置估计的基础上的Wi-Fi指纹的现状。利用建筑物/楼层估计和位置的楼层坐标估计的分层性质,我们提出了一种新的DNN架构,该架构由用于减少特征空间维度的堆叠式自编码器和用于建筑物/楼层/位置的多标签分类的前馈分类器组成,并在其上构建了基于Wi-Fi指纹的多建筑物和多楼层室内定位系统。针对给定位置的建筑物/楼层估计和楼层坐标估计的性能的实验结果证明了所提出的基于DNN的室内定位系统的可行性,其可以使用单个DNN提供接近最先进的性能,用于在移动设备处以较低的复杂度和能耗实现。
2017-12-06 cs.LG cs.NE cs.NI
Scalable Expectation Estimation with Subtractive Mixture Models
本文提出基于减法混合模型差分表示的无偏重要性采样估计器$\Delta\text{Ex}$,避免直接采样,实现高维期望估计,实验证明其估计质量与自回归采样相当且速度更快,并初步探索了安全提议的构建。
2025-03-27 cs.LG stat.CO stat.ML
MixTTE: Multi-Level Mixture-of-Experts for Scalable and Adaptive Travel Time Estimation
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
MixTTE通过多级专家混合模型整合链路级建模与工业级TTE系统,提升大规模交通预测的准确性和稳定性。
2026-01-06 cs.LG cs.MA
Scalable Lipschitz Estimation for CNNs
本文提出一种通过联合层划分和宽度划分将大卷积块拆分为小卷积块的方法来加速CNN的Lipschitz常数估计,并证明其上界关系,从而在保持精度的同时显著提升可扩展性并支持并行化。
2024-08-07 cs.LG
CHIP: A Hawkes Process Model for Continuous-time Networks with Scalable and Consistent Estimation
University of Toledo(托莱多大学);The Ohio State University(俄亥俄州立大学)
在许多涉及网络的应用环境中,例如在线社交网络用户之间的消息或金融市场交易员之间的交易,观察到的数据由时间戳关系事件组成,这些事件形成连续时间网络。我们提出了社区霍克斯独立对(CHIP)生成模型,这样的网络。我们表明,应用谱聚类的聚合邻接矩阵构造的CHIP模型提供了一致的社区发现的节点数量和持续时间不断增加。我们还开发了一致的和计算效率的模型参数的估计。我们证明了我们提出的CHIP模型和估计过程可扩展到具有数万个节点的大型网络,并在几个真实网络上提供优于现有连续时间网络模型的拟合。
2020-11-10 cs.LG cs.SI physics.soc-ph
Deep Learning Enhanced Road Traffic Analysis: Scalable Vehicle Detection and Velocity Estimation Using PlanetScope Imagery
Heidelberg Institute for Geoinformation Technology (HeiGIT)(海德堡地理信息技术研究所);Heidelberg University(海德堡大学);University of Lodz(罗兹大学)
本文提出基于PlanetScope SuperDove卫星影像和Keypoint R-CNN的车辆检测与速度估计方法,利用波段时序差异跟踪车辆轨迹,在德国和波兰高速公路上验证了其可扩展的全球交通监测潜力。
2024-10-04 cs.CV cs.LG
$p$-Generalized Probit Regression and Scalable Maximum Likelihood Estimation via Sketching and Coresets
TU Dortmund University(多特蒙德工业大学);Dortmund Data Science Center(多特蒙德数据科学中心)
本文研究了$p$ -广义概率单位回归模型,它是一个二元响应的广义线性模型。它扩展了标准的概率单位模型,用$p$-$p\in[1, \infty)$的广义正态分布替换其链接函数,标准正态cdf。$p$ -广义正态分布\citep{Sub23}在统计建模中具有特殊意义,因为它们更灵活地拟合数据。它们的尾部行为可以通过选择参数$p$来控制,该参数影响模型对离群值的敏感性。特殊情况包括拉普拉斯分布、高斯分布和均匀分布。我们进一步展示了如何最大似然估计$p$ -广义概率回归可以有效地近似到$(1+\varepsilon)$的大数据的一个因素,通过结合草图技术与重要性子采样,以获得一个小的数据摘要称为coreset。
2022-03-25 cs.DS cs.LG stat.ML
Integrating Recurrent Neural Networks with Data Assimilation for Scalable Data-Driven State Estimation
Cooperative Institute for Research in Environmental Sciences(环境科学合作研究所);University of Colorado Boulder(科罗拉多大学博尔德分校);Physical Sciences Laboratory(物理科学实验室);National Oceanic and Atmospheric Administration(美国国家海洋和大气管理局);University of California San Diego(加州大学圣地亚哥分校);Scripps Institution of Oceanography(斯克里普斯海洋研究所)
数据同化(DA)与机器学习相结合,以执行完全数据驱动的在线状态估计。为了实现这一目标,循环神经网络(RNN)实现代理模型,以取代数值天气预报(NWP)中的DA循环的关键组件,包括传统的数值预报模型,预报误差协方差矩阵,切线线性和伴随模型。它显示了如何使用DA方法初始化这些RNN,以直接更新隐藏/水库状态与目标系统的观察。结果表明,这些技术可以应用于估计的短期预测的重复初始化的系统的状态,即使在没有一个传统的数值预报模型。此外,还演示了这些集成的RNN-DA方法如何通过应用域本地化和并行化扩展到更高的维度,为NWP的实际应用提供了一条路径。
2021-09-25 cs.AI cs.LG math.DS
Probabilistic Unrolling: Scalable, Inverse-Free Maximum Likelihood Estimation for Latent Gaussian Models
Harvard University(哈佛大学);Boston University(波士顿大学)
针对潜在高斯模型 EM 需大量矩阵求逆、难以扩展的问题,提出结合 Monte Carlo 采样与迭代线性求解器的概率展开方法,可更快估计梯度并实现近一个数量级的训练加速。
2023-06-05 cs.LG eess.SP stat.CO
Scalable Natural Gradient Langevin Dynamics in Practice
Department of Biomedical Engineering, Columbia University(哥伦比亚大学生物医学工程系)
随机梯度朗之万动力学(SGLD)是一种适用于大型数据集和模型的贝叶斯建模抽样方案。SGLD依赖于在随机梯度下降(SGD)更新的每一步注入高斯噪声。在该方案中,噪声向量中的每个分量都是独立的,并且具有相同的尺度,而我们试图估计的参数在尺度和显著的相关结构中表现出强烈的变化,导致收敛性差和混合时间。我们比较了不同的预处理方法对噪声向量的归一化,并根据以下标准对这些方法进行了基准测试:1)多变量参数向量的混合时间,2)对容易过拟合的小数据集的正则化效果,3)协变量偏移检测和4)抵抗对抗性示例。
2018-06-07 cs.AI cs.LG cs.NE
A Learned Representation for Scalable Vector Graphics
Google Brain(谷歌大脑)
生成模型的巨大进步已经使人工渲染的人脸、动物和自然世界中的其他物体达到了近乎摄影的质量。尽管有这些进步,但对视觉和图像的更高层次的理解并不来自对对象的详尽建模,而是识别最能概括对象各方面的更高层次的属性。在这项工作中,我们试图通过建立矢量图形的顺序生成模型来模拟字体的绘制过程。该模型的好处是提供了一个规模不变的图像表示,其潜在的表示可以系统地操纵和利用执行风格传播。我们在一个大型的字体数据集上展示了这些结果,并强调了这样一个模型如何捕捉这个数据集的统计依赖性和丰富性。我们设想,我们的模型可以找到使用作为一个工具,图形设计师,以促进字体设计。
2019-04-04 cs.CV cs.LG stat.ML
Sliced Score Matching: A Scalable Approach to Density and Score Estimation
Stanford University(斯坦福大学);Tsinghua University(清华大学)
分数匹配是一种用于估计非归一化统计模型的流行方法。然而,到目前为止,它一直局限于简单的,浅的模型或低维数据,由于难以计算的对数密度函数的海森。我们表明,这种困难可以通过将分数投影到随机向量上进行比较来减轻。这个目标,称为切片分数匹配,只涉及海森矢量产品,这可以很容易地实现使用反向模式自动微分。因此,与分数匹配相比,切片分数匹配适用于更复杂的模型和更高维的数据。在理论上,我们证明了切片得分匹配估计的相合性和渐近正态性。此外,我们证明了切片分数匹配可以用于学习隐式分布的深度分数估计。在我们的实验中,我们证明了切片分数匹配可以有效地学习基于能量的深度模型,并且可以为应用程序(如隐式分布的变分推理和训练Wasserstein自动编码器)生成准确的分数估计。
2019-06-27 cs.LG stat.ML
Scalable Influence Estimation in Continuous-Time Diffusion Networks
Georgia Institute of Technology(佐治亚理工学院);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
如果一条信息从一个媒体网站发布,它能在一个月内传播到一百万个网页吗?这个影响估计问题是非常具有挑战性的,因为这两个问题的时间敏感性和可扩展性的问题需要同时解决。本文提出了一种连续时间扩散网络影响估计的随机算法。我们的算法可以估计的|V|节点和|E|边的网络中的每个节点的影响$\varepsilon$的精度使用$n=O(1/\varepsilon^2)$随机化和对数因子O(nPDMATHABMN +n |V|)的计算。当作为一个贪婪的影响力最大化算法的子程序,我们提出的方法是保证找到一组节点的影响至少(1-1/e)OPT-2 $\varepsilon$,其中OPT是最佳值。在合成数据和真实数据上的实验表明,该方法可以很容易地扩展到数百万节点的网络,同时在估计影响的准确性和最大化影响时所选节点的质量方面比以前的最新技术有显着提高。
2013-11-14 cs.LG cs.SI
Scalable Counterfactual Risk Estimation for Rare Events in Longitudinal Data
University of Connecticut Storrs(康涅狄格大学斯托尔分校);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
针对纵向生存数据中罕见事件导致的类不平衡和计算负担问题,提出一种可扩展的子采样与重加权策略,应用于ICE等因果效应估计器,在保持一致性的同时提高稳定性。
2026-06-01 cs.LG stat.ME
Neural Calibration for Scalable Beamforming in FDD Massive MIMO with Implicit Channel Estimation
The Hong Kong University of Science and Technology(香港科技大学);The Hong Kong Polytechnic University(香港理工大学)
信道估计和波束形成在频分双工(FDD)大规模多输入多输出(MIMO)系统中起着关键作用。然而,这两个模块已被视为两个独立的组件,这使得很难实现全局系统最优。在本文中,我们提出了一种基于深度学习的方法,该方法根据接收到的上行链路导频直接优化基站处的波束成形器,从而绕过显式信道估计。与现有的完全数据驱动的方法不同,其中所有模块都被深度神经网络(DNN)取代,提出了一种神经校准方法,以提高端到端设计的可扩展性。特别是,传统的时间有效算法的骨干,即,最小二乘(LS)信道估计器和迫零(ZF)波束形成器被保留,并且DNN被利用来校准它们的输入以获得更好的性能。然后确定所制定的资源分配问题的置换等方差属性,以设计一个低复杂度的神经网络架构。仿真结果将显示所提出的神经校准方法的优越性,在大规模无线网络的频谱效率和可扩展性方面的基准计划。
2021-08-03 cs.LG eess.SP
Cross-Scale Vector Quantization for Scalable Neural Speech Coding
Communication University of China(中国传媒大学);Microsoft Research Asia(微软亚洲研究院)
比特率可伸缩性是实时通信中音频编码的期望特征。现有的神经音频编解码器通常在训练过程中强制执行特定的比特率,因此需要为每个目标比特率训练不同的模型,这增加了发送方和接收方的内存占用,并且通常需要转码来支持多个接收方。在本文中,我们介绍了一种跨尺度可伸缩矢量量化方案(CSVQ),其中多尺度特征编码逐步特征融合和细化。以这种方式,如果仅接收到比特流的一部分,则重建粗级信号,并且随着更多比特可用,逐步提高质量。所提出的CSVQ方案可以灵活地应用于具有镜像自动编码器结构的任何神经音频编码网络,以实现比特率可伸缩性。主观实验结果表明,该方案优于经典的残差矢量量化(RVQ)的可扩展性。此外,所提出的CSVQ在3kbps下优于Opus在9kbps下和Lyra在3kbps下,并且随着比特率的增加,它可以提供优雅的质量提升。
2022-07-07 cs.LG cs.SD eess.AS
Task Vector Bases: A Unified and Scalable Framework for Compressed Task Arithmetic
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Pennsylvania(宾夕法尼亚大学);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
提出任务向量基框架,将T个任务向量压缩为M<T个基向量,支持加法、否定等算术操作,理论保证泛化与遗忘,实验表明压缩后性能优于或持平完整集合。
2026-06-24 cs.LG
Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles
DeepMind
深度神经网络(NN)是功能强大的黑盒预测器,最近在广泛的任务上取得了令人印象深刻的性能。量化神经网络中的预测不确定性是一个具有挑战性且尚未解决的问题。贝叶斯神经网络学习权重分布,是目前估计预测不确定性的最先进方法;然而,与标准(非贝叶斯)神经网络相比,这些方法需要对训练过程进行重大修改,并且计算成本很高。我们提出了一种替代贝叶斯神经网络,是简单的实现,易于并行化,需要很少的超参数调整,并产生高质量的预测不确定性估计。通过对分类和回归基准的一系列实验,我们证明了我们的方法可以产生校准良好的不确定性估计,这些估计与近似贝叶斯神经网络一样好或更好。为了评估对数据集偏移的鲁棒性,我们评估了已知和未知分布的测试示例的预测不确定性,并表明我们的方法能够在分布外的示例中表达更高的不确定性。我们通过评估ImageNet上的预测不确定性估计来证明我们方法的可扩展性。
2017-11-04 cs.LG stat.ML
DBSCAN++: Towards fast and scalable density clustering
Uber(优步);Google Research(谷歌研究院)
DBSCAN是一个经典的基于密度的聚类过程,具有巨大的实际意义。然而,DBSCAN隐式地需要计算每个样本点的经验密度,导致二次最坏情况时间复杂度,这在大型数据集上太慢。我们提出DBSCAN++,一个简单的修改DBSCAN,只需要计算选定的点的子集的密度。我们的经验表明,与传统的DBSCAN相比,DBSCAN++不仅可以提供有竞争力的性能,而且还可以在带宽超参数中增加鲁棒性,同时占用一小部分运行时间。我们还提出了统计一致性保证计算成本和估计率之间的权衡。令人惊讶的是,在一定程度上,我们可以享受相同的估计率,同时降低计算成本,这表明DBSCAN++是一种次二次算法,可以获得最小最大最优水平集估计率,这可能是一种独立的质量。
2019-05-17 cs.LG stat.ML
Scalable Multi-Class Bayesian Support Vector Machines for Structured and Unstructured Data
IBM Research(IBM研究(中心));Dublin, Ireland(爱尔兰都柏林(注意:Dublin, Ireland是地址,非机构,按要求不应提取,此处原数据中可能存在格式错误,正确机构应为IBM Research,而Dublin, Ireland是地点信息,根据提取规则,不应提取地址,因此仅保留IBM Research))
我们引入了一个新的贝叶斯多类支持向量机,制定了一个伪似然多类铰链损失的形式的位置-规模混合高斯。我们推导出一个基于变分推理的训练目标,基于梯度的学习。此外,我们采用了一个诱导点近似的规模推断大数据集。此外,我们开发了混合贝叶斯神经网络,将标准深度学习组件与所提出的模型相结合,以实现对非结构化数据的学习。我们提供的经验证据表明,我们的模型优于竞争对手的方法在68个结构化和两个非结构化数据集的分类实验的训练时间和准确性。最后,我们强调了我们的模型在产生分类预测不确定性方面的关键能力,并通过展示其在大规模主动学习和对抗图像检测任务中的有效性。
2018-06-07 cs.CR cs.LG stat.ML
Joint Graph Convolution and Sequential Modeling for Scalable Network Traffic Estimation
Carnegie Mellon University(卡内基梅隆大学);University of Southern California(南加州大学);Brown University(布朗大学);Northeastern University(东北大学);Rochester Institute of Technology(罗切斯特理工学院)
针对复杂拓扑下的网络流量预测问题,提出融合GCN空间依赖建模与GRU时间序列建模的时空框架,并在Abilene数据集上通过对比和消融实验验证其优越性能、稳定性与泛化能力。
2025-05-12 cs.LG
Fast Bounded Online Gradient Descent Algorithms for Scalable Kernel-Based Online Learning
Nanyang Technological University(南洋理工大学);Michigan State University(密歇根州立大学)
基于内核的在线学习通常在许多在线学习任务中表现出最先进的性能。然而,它有一个主要的缺点,即支持向量的数量是无限的,这使得它不具有可扩展性,不适合大规模数据集的应用。在这项工作中,我们研究的问题,有界核为基础的在线学习,旨在限制支持向量的数量由一个预定义的预算。虽然在文献中已经提出了几种算法,它们既不是计算效率,由于其密集的预算维护策略,也不是有效的,由于使用简单的感知器算法。为了克服这些限制,我们提出了一个框架,有界核为基础的在线学习的基础上在线梯度下降的方法。我们提出了两个有效的算法有界在线梯度下降(BOGD)的可扩展的基于内核的在线学习:(i)BOGD通过维护支持向量使用均匀采样,和(ii)BOGD++通过维护支持向量使用非均匀采样。我们目前的理论分析的遗憾界的算法,并发现有前途的实证性能方面的功效和效率进行比较,几个著名的算法有界核为基础的在线学习大规模数据集。
2012-06-18 cs.LG stat.ML
Generalized Precision Matrix for Scalable Estimation of Nonparametric Markov Networks
Carnegie Mellon University(卡内基梅隆大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出广义精度矩阵(GPM),在涵盖连续、离散及混合型数据的一般分布下刻画条件独立结构,并在正则化分数匹配框架下实现了非参数马尔可夫网络的可扩展结构学习。
2023-05-19 cs.LG stat.ML
FlashAttention for Scalable Vector Architectures
Chalmers University of Technology(查尔姆斯理工大学);University of Glasgow(格拉斯哥大学)
本文提出面向可扩展向量架构的FlashAttention-V,将其集成到ggml并在多模型与平台上评估,该方法在预填充、解码阶段均实现显著加速,但Q8_0量化线性层的结构性瓶颈制约了长向量可扩展性。
2026-08-20 cs.LG cs.PF
dotears: Scalable, consistent DAG estimation using observational and interventional data
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出dotears连续优化框架,结合观测与干预数据,在温和假设下一致地估计线性SEM的DAG结构,并在模拟和真实基因调控网络推断中优于现有方法。
2024-02-20 cs.LG stat.ML
Scalable Decentralized Algorithms for Online Personalized Mean Estimation
Politecnico di Torino(都灵理工大学);INRIA(法国国家信息与自动化研究所)
针对在线个性化均值估计中现有去中心化算法复杂度随智能体数量二次增长的问题,提出基于自组织图的两种可扩展协作算法,并证明其渐近最优性。
2025-02-19 cs.DC cs.LG
Scalable Personalised Item Ranking through Parametric Density Estimation
CyberAgent, Inc.(赛博特工公司);Waseda University(早稻田大学)
从内隐反馈中学习是具有挑战性的,因为一类问题的困难性质:我们只能观察到积极的例子。大多数传统的方法使用成对排序方法和负采样器来处理一类问题。然而,这种方法有两个主要缺点,特别是在大规模应用中;(1)由于二次计算成本,成对方法效率非常低;(2)由于训练额外的模型,即使是最近的基于模型的采样器(例如IRGAN)也无法实现实际效率。在本文中,我们提出了一种学习排名的方法,它实现了收敛速度相媲美的逐点对应,同时执行类似的成对对应的排名有效性。我们的方法估计的概率密度的积极项目为每个用户在一个丰富的类的分布,即。\emph{exponential family}。在我们的公式中,我们推导出一个损失函数和适当的负抽样分布的基础上最大似然估计。我们还开发了一个实用的技术风险近似和正规化计划。然后,我们讨论了我们的单模型方法是等价的一个IRGAN变种在一定的条件下。通过在真实数据集上的实验,我们的方法在有效性和效率方面优于逐点和逐对的方法。
2021-05-11 cs.IR cs.LG
Evaluating Scalable Uncertainty Estimation Methods for DNN-Based Molecular Property Prediction
Massachusetts Institute of Technology(麻省理工学院);Politecnico di Milano(米兰理工大学);National Taiwan University(台湾大学)
基于深度神经网络(DNN)的分子性质预测的进展最近导致了具有显着准确性和泛化能力的模型的开发,图卷积神经网络(GCNN)报告了该任务的最新性能。然而,仍然存在一些挑战,需要充分解决的最重要的问题之一是不确定性量化。DNN的性能受到训练样本的数量和质量的影响。因此,确定预测何时以及在多大程度上可以被认为是可靠的,与输出准确的预测一样重要,特别是当目标是域外分子时。最近,已经提出了几种方法来解释DNN中的不确定性,其中大多数是基于近似贝叶斯推理。其中,只有少数可扩展到应用程序所需的大型数据集。评价和比较这些方法最近引起了极大的兴趣,但结果通常是支离破碎的,缺乏分子性质的预测。在本文中,我们的目标是定量比较GCNN中不确定性估计的可扩展技术。我们引入了一组定量标准来捕获不同的不确定性方面,然后使用这些标准来比较MC-Dropout,深度集成和自举,理论上都是在一个统一的框架中,该框架分离了任意/认知的不确定性,并在QM 9数据集上进行了实验。我们的实验量化了不同的不确定性估计方法的性能及其对不确定性相关误差减少的影响。我们的研究结果表明,集成和自举始终优于MC-Dropout,具有不同的上下文特定的优点和缺点。我们的分析还导致更好地理解任意/认知不确定性的作用,并强调了域外不确定性带来的挑战。
2019-10-07 cs.LG stat.ML
NanoFlow: Scalable Normalizing Flows with Sublinear Parameter Complexity
Seoul National University(首尔国立大学)
规范化流(NF)已经成为深度生成模型的一种重要方法,可以进行分析概率密度估计和有效合成。然而,基于流的网络被认为是低效的参数复杂性,因为降低了表达的双射映射,这使得模型不可行昂贵的参数。我们提出了一种称为NanoFlow的替代参数化方案,它使用单个神经密度估计器来模拟多个转换阶段。因此,我们提出了一个有效的参数分解方法和流指示嵌入的概念,这是关键的缺失组件,使密度估计从一个单一的神经网络。在音频和图像模型上进行的实验证实,我们的方法为具有显着次线性参数复杂度的可扩展NF提供了一种新的参数有效的解决方案。
2020-10-23 cs.LG stat.ML