Aggregation of Models, Choices, Beliefs, and Preferences
聚合模型的合理性/一致性的自然概念是,对于所有(可能聚合的)模型$A$和$B$,如果模型$A$的输出是$f(A)$,并且如果输出模型$B$是$f(B)$,则通过聚合$A$和$B$获得的模型的输出必须是$f(A)$和$f(B)$的加权平均。类似地,对于集合专家的偏好的合理性的一个自然概念是,对于所有(可能聚集的)专家$A$和$B$,以及所有可能的选择$x$和$y$,如果$A$和$B$都偏好$x$而非$y$,然后,通过聚合$A$和$B$获得专家还必须优先选择$x$而不是$y$。理性聚合是不确定性量化的一个重要因素,它隐藏在经济理论中许多看似不同的结果背后:跨越社会选择、信念形成和个人决策。下面是三个合理聚合规则的例子。(1)给每个模型(专家)一个权重(分数),并使用加权平均来聚合单个或有限的模型(专家)集合。(2)对个体模型(专家)进行排序/排名,并让个体模型(专家)的有限集合的聚合成为该集合中排名最高的个体模型(专家)。(3)给每个模型(专家)一个权重,在模型/专家集上引入弱顺序/排名,将$A$和$B$聚合为$A$或$B$中排名最高的模型(专家)的加权平均值。注意,(1)和(2)是(3)的特殊情况。在本文中,我们证明了所有的有理集结规则都是形式(3)。这一结果统一了不同经济环境下的汇总程序。在主要的表示之后,我们展示了我们的表示在各种独立的经济学主题中的应用和扩展,如信念形成,选择理…
2021-11-23 econ.TH math.PR stat.ML
Fishnets: Information-Optimal, Scalable Aggregation for Sets and Graphs
Imperial College London(伦敦帝国学院);Stockholm University(斯德哥尔摩大学);Sorbonne Université(索邦大学);Flatiron Institute(弗拉蒂伦研究所)
本文提出 Fishnets 聚合策略,用于集合和图的信息最优嵌入,兼具可扩展性与分布鲁棒性,并能作为 GNN 的即插即用聚合方案,在 ogbn-protein 上以更少参数和更快训练达到最先进性能。
2024-06-28 cs.LG stat.ML
Addressing Parameter Choice Issues in Unsupervised Domain Adaptation by Aggregation
Johannes Kepler University Linz(林茨约翰内斯·开普勒大学);Dynatrace Research(Dynatrace研究院);Austrian Academy of Sciences(奥地利科学院);Software Competence Center Hagenberg(哈根贝格软件能力中心);Institute of Advanced Research in Artificial Intelligence(高级人工智能研究所)
针对无监督域自适应的超参数选择难题,提出将加权最小二乘推广至向量值函数的模型线性聚合方法,有理论误差保障且在多类数据集上性能优于现有方法。
2023-05-02 cs.LG cs.NA math.NA
Time Aggregation and Model Interpretation for Deep Multivariate Longitudinal Patient Outcome Forecasting Systems in Chronic Ambulatory Care
Bakar Computational Health Sciences Institute, University of California, San Francisco(加州大学旧金山分校巴卡尔计算健康科学研究所)
门诊护理的临床数据占国家医疗保健支出的90%,其特点是纵向数据的样本量相对较小,每个患者的就诊间隔不等,患者之间收集的数据点数量不等。虽然深度学习已成为序列建模的最新技术,但尚不清楚哪种时间聚合方法最适合这些具有挑战性的时间用例。此外,医生通常认为深度模型不可解释,这可能会阻止临床采用,即使是性能良好的模型。我们表明,时间分布密集层与GRU相结合,产生最普遍的模型。此外,我们提供了一个框架的模型的临床解释。
2018-11-30 cs.AI cs.LG stat.ML
Uncertainty-Aware Data Aggregation for Deep Imitation Learning
University of Texas at Austin(得克萨斯大学奥斯汀分校);Honda Research Institute USA(本田美国研究院)
估计统计不确定性允许自主智能体在任务执行期间传达其信心,并且对于安全关键领域(例如自动驾驶)中的应用是重要的。在这项工作中,我们提出了不确定性感知的模仿学习(UAIL)算法,通过数据聚合来改善端到端控制系统。UAIL应用蒙特卡罗丢弃来估计端到端系统的控制输出中的不确定性,使用不确定的状态来选择性地获取新的训练数据。与迫使人类专家随机访问次优状态的现有数据聚合算法相比,UAIL可以预测自己的错误并将控制权切换到专家,以防止访问一系列次优状态。模拟驾驶任务的实验结果表明,我们提出的不确定性估计方法可以用来可靠地预测违规行为。我们的分析表明,UAIL优于现有的数据聚合算法的一系列基准任务。
2019-05-07 cs.LG cs.RO stat.ML
Federated Bayesian Deep Learning: The Application of Statistical Aggregation Methods to Bayesian Models
Naval Postgraduate School(海军研究生院)
本文针对贝叶斯深度学习模型难以直接使用联邦聚合的问题,在 CIFAR-10 的 IID 与非 IID 设置下评估六种策略及 Monte Carlo dropout 联邦平均,证明聚合策略是影响准确率、校准和不确定性的关键超参数。
2024-04-04 cs.LG stat.ML
Communication-Efficient Federated Deep Learning with Asynchronous Model Update and Temporally Weighted Aggregation
China University of Mining and Technology(中国矿业大学);University of Surrey(萨里大学)
联邦学习通过聚合在客户端本地训练的模型来在服务器上获得中心模型。因此,联邦学习不需要客户端将其数据上传到服务器,从而保护客户端的数据隐私。联邦学习中的一个挑战是减少客户端-服务器通信,因为终端设备通常具有非常有限的通信带宽。本文提出了一种增强的联邦学习技术,提出了一个同步学习策略的客户端和一个时间加权聚合的本地模型的服务器上。在异步学习策略中,深度神经网络的不同层被分类为浅层和深层,并且深层的参数比浅层的参数更新得更少。此外,在服务器上引入时间加权聚合策略,以利用先前训练的局部模型,从而提高中心模型的准确性和收敛性。所提出的算法是经验上的两个数据集与不同的深度神经网络。我们的研究结果表明,所提出的异步联邦深度学习在通信成本和模型准确性方面都优于基线算法。
2019-03-18 cs.AI cs.DC cs.LG
Deep Partition Aggregation: Provable Defense against General Poisoning Attacks
University of Maryland(马里兰大学)
对抗性中毒攻击扭曲训练数据,以破坏分类器的测试时行为。可证明的防御为每个测试样本提供了一个证书,这是训练集的任何对抗性失真的幅度的下限,可以破坏测试样本的分类。我们提出了两种新的针对中毒攻击的可证明防御:(i)深度分区聚合(DPA),针对一般中毒威胁模型的认证防御,定义为向训练集插入或删除有限数量的样本-通过暗示,该威胁模型还包括对有限数量的图像和/或标签的任意扭曲;以及(ii)半监督DPA(SS-DPA),一种针对标签翻转中毒攻击的认证防御。DPA是一种集成方法,其中基础模型在由散列函数确定的训练集的分区上训练。DPA与子集聚合(经典机器学习中一种研究得很好的集成方法)以及随机平滑(一种流行的可证明防御规避攻击的方法)有关。我们对标签翻转攻击的防御,SS-DPA,使用半监督学习算法作为其基本分类器模型:每个基本分类器除了使用分区的标签外,还使用整个未标记的训练集进行训练。SS-DPA在MNIST和CIFAR-10上的标签翻转攻击方面明显优于现有的认证防御:可以证明,对于至少一半的测试图像,MNIST上的标签翻转超过600次(相对于< 200次标签翻转),CIFAR-10上的标签翻转超过300次(相对于175次标签翻转)。针对一般中毒攻击,在没有事先认证的防御措施的情况下,DPA可以针对MNIST上的500多个中毒图像插入和CIFAR-10上的9个插入认证>= 50%的测试图像。这…
2021-03-18 cs.LG stat.ML
Unsupervised MR Motion Artifact Deep Learning using Outlier-Rejecting Bootstrap Aggregation
Korea Advanced Institute of Science and Technology (KAIST)(韩国高等科学技术院(KAIST));Chungnam National University Hospital(忠南大学医院);Chungnam National University College of Medicine(忠南大学医学院)
最近,用于MR运动伪影校正的深度学习方法已经被广泛研究。尽管这些方法与经典方法相比表现出高性能和降低的计算复杂性,但它们中的大多数需要使用成对的无伪影和伪影损坏的图像进行监督训练,这可能会阻止其在许多重要的临床应用中的使用。例如,由于Gd-EOB-DTPA增强MR中的急性短暂性呼吸困难导致的短暂性严重运动(TSM)难以控制和建模以生成配对数据。为了解决这个问题,在这里,我们提出了一种新的无监督深度学习方案,通过离群拒绝自举子采样和聚合。这是受到运动通常在相位编码方向上引起稀疏k空间异常值的观察的启发,因此沿着相位编码方向的k空间子采样可以去除一些异常值,并且聚合步骤可以进一步改善来自重建网络的结果。我们的方法不需要任何配对数据,因为训练步骤只需要无伪影的图像。此外,为了解决从潜在偏差到无伪影图像的平滑问题,使用最优传输驱动的cycleGAN以无监督的方式训练网络。我们验证了我们的方法可以成功地应用于模拟运动的伪影校正以及TSM的真实运动,优于现有的最先进的深度学习方法。
2020-11-12 cs.CV cs.LG eess.IV
SCHA-VAE: Hierarchical Context Aggregation for Few-Shot Generation
Technical University of Denmark(丹麦技术大学);University of Copenhagen(哥本哈根大学)
一个Few-Shot生成模型应该能够通过只观察有限的一组例子来从一个新的分布中生成数据。在少样本学习中,模型是在来自共享一些基本属性的分布的许多集合的数据上训练的,例如来自不同字母表的字符集或来自不同类别的对象。我们扩展当前的潜变量模型集的一个完全分层的方法与注意力为基础的点集级聚合和调用我们的方法SCHA-VAE集上下文层次聚合变分自编码器。我们探索基于似然的模型比较,迭代数据采样,和适应自由分布外泛化。我们的研究结果表明,分层制定更好地捕捉内在的变化,在小数据制度的集合。这项工作将深度潜在变量方法推广到Few-Shot学习,向大规模Few-Shot生成迈出了一步,其公式易于与当前最先进的深度生成模型一起使用。
2022-07-03 cs.AI cs.LG stat.ML
On Practical Aspects of Aggregation Defenses against Data Poisoning Attacks
University of Maryland(马里兰大学)
本文针对数据投毒攻击,评估了Deep Partition Aggregation等聚合防御的实践表现,提出了提升模型扩展效率的方法,并揭示了投毒过拟合现象是增强鲁棒性的关键机制。
2023-06-28 cs.AI cs.CR cs.CV
Set Aggregation Network as a Trainable Pooling Layer
Faculty of Mathematics and Computer Science Jagiellonian University(雅盖隆大学数学与计算机科学学院);Ardigen
全局池化,例如最大池化或和池化,是用于处理图像、文本、图形和其他类型的结构化数据的深度神经网络中的关键成分之一。基于Zaheer等人最近提出的DeepSets架构(NIPS 2017),我们引入了集合聚合网络(SAN)作为替代全局池化层。与典型的池运算符相比,SAN允许将给定的一组特征嵌入到任意大小的向量表示中。我们表明,通过调整嵌入的大小,SAN是能够保持从输入的整个信息。在实验中,我们证明了用SAN代替全局池化层可以提高分类精度。此外,它不太容易过拟合,可以用作正则化器。
2019-11-25 cs.AI cs.CV cs.LG