Multi-Tier Federated Learning for Vertically Partitioned Data
Rensselaer Polytechnic Institute(伦斯勒理工学院)
我们考虑分层通信网络中的分散模型训练。我们的网络模型由一组筒仓组成,每个筒仓保存数据的垂直分区。每个筒仓都包含一个集线器和一组客户端,筒仓的垂直数据分片在其客户端之间水平分区。我们提出了分层分散式坐标下降(TDCD),这种双层网络的通信效率分散的训练算法。为了减少通信开销,每个思洛存储器中的客户端在与其集线器共享更新之前执行多个本地梯度步骤。每个枢纽通过平均其工作者的更新来调整其坐标,然后枢纽彼此交换中间更新。我们提出了一个理论分析,我们的算法,并显示的收敛速度上的垂直分区的数量,本地更新的数量,以及在每个枢纽的客户端的数量的依赖。我们进一步验证我们的方法经验,通过基于模拟的实验,使用各种数据集和凸和非凸目标。
2021-02-06 cs.DC cs.LG
Privacy-preserving Data Sharing on Vertically Partitioned Data
Helsinki Institute for Information Technology HIIT(赫尔辛基信息技术研究所(HIIT));Aalto University(阿尔托大学);University of Manchester(曼彻斯特大学);University of Helsinki(赫尔辛基大学)
在这项工作中,我们介绍了一种差分私有的方法,用于从垂直分区的数据,\emph{i.e.},其中相同的个人的数据分布在多个数据持有者或各方的合成数据。我们提出了一个差分隐私随机梯度下降(DP-SGD)算法训练的混合模型在这样的分区数据使用变分推理。我们修改了一个安全多方计算(MPC)框架,将MPC与差分隐私(DP)相结合,以便有效地使用差分隐私MPC来学习DP下的概率生成模型。假设混合成分不包含不同参与方之间的依赖关系,目标函数可以分解为参与方计算的贡献的乘积之和。最后,MPC用于计算不同贡献之间的聚合。此外,我们严格定义了系统中不同参与者的隐私保证。为了证明我们的方法的准确性,我们在UCI机器学习存储库中的Adult数据集上运行我们的算法,在那里我们获得了与非分区情况相当的结果。
2022-09-02 cs.CR cs.LG stat.ML
Decentralized EM to Learn Gaussian Mixtures from Datasets Distributed by Features
CMU(卡内基梅隆大学);IST(高等理工学院);NOVA(新大学)
期望最大化(EM)是学习高斯混合的标准方法。然而,由于隐私问题以及计算和通信瓶颈,其经典的集中式形式通常是不可行的。以前的工作处理的数据分布的例子,水平分区,但我们缺乏一个对应的数据分散的功能,一个越来越常见的方案(例如,用户分析数据来自多个实体)。为了填补这一空白,我们提供了一个基于EM的算法来拟合高斯混合垂直分区数据(VP-EM)。在联邦学习设置中,我们的算法匹配高斯混合约束到一个子空间的集中EM拟合。在任意通信图中,共识平均允许VP-EM在大型对等网络上运行作为EM近似。这种不匹配仅来自共识误差,它随着共识轮数的增加而呈指数级快速消失。我们证明了VP-EM的各种拓扑结构的合成和真实的数据,评估其近似集中EM,并看到它优于现有的基准。
2022-01-24 cs.LG
Adaptive Bounded Exploration and Intermediate Actions for Data Debiasing
Ohio State University(俄亥俄州立大学);UC, Santa Cruz(加州大学圣克鲁兹分校);UC, San Diego(加州大学圣迭戈分校)
本文提出通过自适应有界探索和低成本中间动作对训练数据进行顺序去偏的算法,以在降低探索风险的同时提升决策的准确性与公平性,并通过理论分析和数值实验验证其有效性。
2025-04-10 cs.LG
Privacy-Preserving Federated Learning on Partitioned Attributes
Shanghai Jiao Tong University(上海交通大学);Ant Group(蚂蚁集团)
真实世界的数据通常按属性划分,并分布在不同的各方。联邦学习支持协作培训,而无需暴露本地数据或模型。正如我们通过设计攻击所展示的那样,即使有一小部分损坏的数据,对手也可以准确地推断出输入属性。我们引入了一个基于对抗学习的过程,该过程调整局部模型以释放隐私保护的中间表示。针对准确性下降的问题,提出了一种基于前后向分裂算法的防御方法,在前向和后向梯度下降步骤中分别处理准确性损失和隐私性损失,同时实现了两个目标。在各种数据集上进行的大量实验表明,我们的防御方法显著减轻了隐私泄露,对联邦学习任务的影响可以忽略不计。
2021-04-29 cs.CR cs.LG
Hybrid Differentially Private Federated Learning on Vertically Partitioned Data
Tencent Inc.(腾讯公司)
我们提出了HDP-VFL,第一个混合差分私有(DP)框架垂直联邦学习(VFL),以证明它是可能的,共同学习广义线性模型(GLM)从垂直分区的数据,只有一个可以忽略不计的成本,w.r.t.训练时间、准确性等,与理想化的非私有VFL相比。我们的工作建立在不同组织之间基于VFL的协作训练的最新进展之上,这些组织依赖于同态加密(HE)和安全多方计算(MPC)等协议来确保计算和训练的安全。特别是,分析了VFL的中间结果(IR)在通信过程中如何泄漏训练数据的隐私信息,并设计了一种基于DP的隐私保护算法来保证VFL参与者的数据机密性。我们从数学上证明了我们的算法不仅为VFL提供了效用保证,而且还提供了多层次的隐私,即DP w.r.t. IR和联合差分隐私(JDP)w.r.t.模型权重实验结果表明,我们的工作,在足够的隐私预算,是定量和定性类似的GLM,学习在理想化的非私人VFL设置,而不是增加成本的内存和处理时间在大多数以前的作品的基础上HE或MPC。如果这篇论文被接受,我们的代码将被发布。
2020-09-06 cs.AI cs.LG stat.ML
VertiBayes: Learning Bayesian network parameters from vertically partitioned data with missing values
Maastricht University Medical Centre+(马斯特里赫特大学医学中心+);Statistics Netherlands(荷兰统计总局)
针对垂直划分数据下贝叶斯网络研究有限且缺失数据处理不足的问题,提出VertiBayes方法,结合隐私保护协议与两步参数学习实现多参与方下含缺失值的贝叶斯网络训练,性能接近传统算法且给出性能评估方案。
2024-05-21 cs.CR cs.LG
Distributed Principal Subspace Analysis for Partitioned Big Data: Algorithms, Analysis, and Implementation
Rutgers University–New Brunswick(罗格斯大学新布朗斯维克分校);ByteDance Ltd.(字节跳动有限公司)
主子空间分析(PSA)-及其兄弟,主成分分析(PCA)-是信号处理和机器学习中最流行的降维方法之一。但是,集中式PSA/PCA解决方案在现代大数据时代迅速变得无关紧要,其中样本的数量和/或样本的维度通常超过单个机器的存储和/或计算能力。这导致了对分布式PSA/PCA解决方案的研究,其中数据被划分到多台机器上,并且通过机器之间的协作获得主子空间的估计。正是在这种情况下,本文重新访问的分布式PSA/PCA的一般框架下的任意连接的网络的机器,缺乏一个中央服务器的问题。本文件在这方面的主要贡献有三个方面。首先,本文提出了两种可用于分布式PSA/PCA的算法,其中一种用于数据跨样本分区的情况,另一种用于数据跨(原始)特征分区的情况。其次,在样本划分数据的情况下,分析了所提出的算法及其变形,并证明了它们以线性速率收敛于真子空间。第三,在合成数据和真实数据上进行了大量的实验,以验证所提出的算法的有效性。特别是,在样本明智的分区数据的情况下,基于MPI的分布式实现进行研究网络拓扑结构和通信成本之间的相互作用,以及研究所提出的算法上的落后机器的影响。
2021-10-12 cs.DC cs.LG eess.SP
CLEVR-Ref+: Diagnosing Visual Reasoning with Referring Expressions
Peking University(北京大学);Johns Hopkins University(约翰斯·霍普金斯大学);Northwestern Polytechnical University(西北工业大学)
参照目标检测和参照图像分割是一项重要的任务,需要对视觉信息和自然语言进行联合理解。然而,有证据表明,当前的基准数据集存在偏差,并且当前最先进的模型无法在其中间推理过程中进行评估。为了解决这些问题,并补充类似的努力,在视觉问答,我们建立CLEVR-Ref+,一个综合的诊断数据集,涉及表达理解。对象的精确位置和属性很容易获得,引用表达式自动与函数程序相关联。合成性质允许控制数据集偏差(通过采样策略),并且模块化程序允许在没有人类注释者的情况下进行中间推理。除了在CLEVR-Ref+上评估几个最先进的模型外,我们还提出了IEP-Ref,这是一种模块网络方法,在我们的数据集上显著优于其他模型。特别是,我们提出了两个有趣的和重要的发现,使用IEP-Ref:(1)模块训练转换特征映射到分割掩模可以附加到任何中间模块揭示整个推理过程的一步一步;(2)即使所有的训练数据至少有一个对象引用,IEP-Ref可以正确地预测无前景时,假前提引用表达式。据我们所知,这是第一个直接和定量的证据,证明神经模块的行为方式。
2019-04-06 cs.CL cs.CV cs.LG
Nonconvex Latent Optimally Partitioned Block-Sparse Recovery via Log-Sum and Minimax Concave Penalties
Nagoya Institute of Technology(名古屋工业大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Keio University(庆应义塾大学)
本文提出非凸正则化方法LogLOP-l2/l1和AdaLOP-l2/l1,用于恢复具有未知块划分的块稀疏信号,通过新颖的变分公式提升恢复精度,实验显示优于现有方法。
2026-03-01 cs.LG stat.ML
Preserving Differential Privacy Between Features in Distributed Estimation
Disney Research(迪士尼研究中心)
隐私在机器学习的许多应用中至关重要。法律、道德和社会问题限制了敏感数据的共享,使得很难从多方之间划分的数据集中学习。这种分布式设置的一个重要实例是,当数据集中每个记录的信息由不同的数据所有者持有时(设计矩阵是“垂直分区的”)。在这种情况下,很少有出于统计估计目的而共享私人数据的方法,并且具有准备数据的“可信管理者”的差异隐私的经典设置不适用。我们的工作与$(ε,δ)$的概念-分布式差分隐私扩展到分布式的,垂直分区的情况下,单方差分隐私。我们提出了PriDE,一个可扩展的框架,分布式估计,每一方通信扰动随机投影的本地举行的功能,确保$(ε,δ)$ -分布式差分隐私被保存。对于$\ell_2$ -惩罚监督学习问题,PriDE有界估计误差相比,在非分布式设置中没有隐私约束的最优估计。我们在现实世界和合成数据集上证实了这一点。
2017-06-27 cs.CR cs.DC cs.LG
G-SMOTE: A GMM-based synthetic minority oversampling technique for imbalanced learning
College of Information Science and Technology(信息科学技术学院);Dalian Maritime University(大连海事大学)
不平衡学习是一种重要的分类模型学习算法,在许多应用中得到了广泛的应用。通常,不平衡学习算法可以被划分为两种类型,即,数据级方法和算法级方法。在本文中,重点是开发一个强大的合成少数过采样技术属于数据级方法的保护伞。一方面,我们提出了一种在高维特征空间而不是线性采样空间中生成合成样本的方法。另一方面,在所提出的不平衡学习框架中,高斯混合模型被用来区分少数类实例中的离群值,并过滤掉合成的多数类实例。最后,提出了一种自适应优化方法,对采样过程中的参数进行优化。通过这样做,一个有效性和效率不平衡的学习框架的发展。
2018-10-24 cs.LG stat.ML
Disjoint Generation of Synthetic Data
Department of Mathematics and Computer Science(数学与计算机科学系);University of Southern Denmark(南方大学)
提出通过分离生成模型生成表格合成数据的新框架,将数据集分区后独立生成再合并,在无公共变量时实现连接,提升隐私性、计算可行性和混合模型合成能力。
2026-06-08 cs.LG
Differentially Private Label Protection in Split Learning
ByteDance(字节跳动)
分裂学习是一种分布式训练框架,它允许多方在垂直分区的数据(按属性分区)上联合训练机器学习模型。其思想是,只有中间计算结果,而不是私有特征和标签,在各方之间共享,以便原始训练数据保持私有。然而,最近的研究表明,分裂学习的明文实现存在严重的隐私风险,半诚实的对手可以很容易地重建标签。在这项工作中,我们提出了\textsf{TPSL}(转录私有分裂学习),一个通用的梯度扰动为基础的分裂学习框架,提供可证明的差分隐私保证。差分隐私不仅对模型权重,而且对分布式计算设置中的通信消息强制执行。我们在大规模真实数据集上的实验证明了\textsf{TPSL}对标签泄漏攻击的鲁棒性和有效性。我们还发现,\textsf{TPSL}有一个更好的实用性,隐私权衡比基线。
2022-03-04 cs.CR cs.DS cs.LG
How Does Unfaithful Reasoning Emerge from Autoregressive Training? A Study of Synthetic Experiments
University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本研究通过合成实验探讨自回归训练如何导致不忠推理,发现训练噪声阈值影响推理的忠实性,模型在低噪声下能学习因果推理,高噪声下则出现跳步推理。
2026-02-01 cs.AI cs.LG
FedIN: Federated Intermediate Layers Learning for Model Heterogeneity
The University of Hong Kong(香港大学)
针对联邦学习中需设备模型架构一致的局限,提出无需公共数据集的FedIN异构联邦学习方法,通过划分模型、IN训练对齐中间层并求解凸优化缓解梯度发散,性能优于现有最优算法。
2024-02-01 cs.LG
Generate synthetic samples from tabular data
AskExplain;University of Queensland(昆士兰大学)
从数据集生成新样本可以减少额外昂贵的操作,增加侵入性程序,并减轻隐私问题。当隐私受到关注时,这些统计上稳健的新型样本可以用作临时和中间替代品。这种方法可以实现更好的数据共享实践,而不会出现与识别问题或偏见有关的问题,这些问题是对抗攻击的缺陷。
2022-12-23 cs.CR cs.LG
SiloFuse: Cross-silo Synthetic Data Generation with Latent Tabular Diffusion Models
TU Delft(代尔夫特理工大学);University of Neuchatel(纳沙泰尔大学)
针对跨筒仓垂直分布表格数据,本文提出 SiloFuse 分布式潜在扩散框架,以单步堆叠训练实现高质量、隐私可量化且通信高效的合成。
2024-04-04 cs.CR cs.DB cs.DC
$S^3$-R1: Learning to Retrieve and Answer Step-by-Step with Synthetic Data
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google DeepMind(谷歌DeepMind)
提出S^3-R1框架,通过合成数据生成和密集奖励信号,解决强化学习后训练中稀疏奖励和缺乏多跳问题数据的问题,提升模型搜索与问答能力。
2026-09-09 cs.LG
Compositional Capabilities of Autoregressive Transformers: A Study on Synthetic, Interpretable Tasks
University of Pennsylvania(宾夕法尼亚大学);Harvard University(哈佛大学);University of Michigan(密歇根大学);MIT(麻省理工学院);NTT Research(NTT研究院)
本研究通过合成任务训练自回归Transformer,发现其能从小数据学习组合结构并泛化至指数级函数,且生成中间输出有助于新组合泛化,注意力层选择能力而前馈层执行。
2024-02-05 cs.LG
Synthetic Programming Elicitation for Text-to-Code in Very Low-Resource Programming and Formal Languages
UC Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学);UCLA(加利福尼亚大学洛杉矶分校);University of Edinburgh(爱丁堡大学)
针对大语言模型难以生成极低资源编程语言(VLPL)有效代码的问题,提出合成编程启发与编译(SPEAC)方法,通过可编译的中间语言及编译器代码修复技术,在UCLID5案例中实现了更优的语法正确率且不损失语义正确性。
2024-10-31 cs.LG cs.PL
Eureka-Moments in Transformers: Multi-Step Tasks Reveal Softmax Induced Optimization Problems
University of Freiburg(弗莱堡大学);Bosch Center for AI(博世人工智能中心);Amazon(亚马逊)
本文发现 Transformer 在多步决策任务中会经历损失突降的“尤里卡时刻”,并将其归因于自注意力中 Softmax 引发的优化问题,进而提出改进方法以加速训练、提升准确率和鲁棒性。
2024-06-06 cs.AI cs.CV cs.LG
Exploiting Edge Features for Transferable Adversarial Attacks in Distributed Machine Learning
Department of Excellence in Robotics and AI, TeCIP, Scuola Superiore Sant'Anna(机器人与人工智能卓越部门,TeCIP,圣安娜高等学院);Department of Electrical and Electronic Engineering, University of Cagliari(电气与电子工程系,卡利亚里大学)
本研究针对分布式机器学习中模型拆分部署的安全漏洞,提出利用拦截的中间特征构建替代模型以生成高可迁移对抗样本的方法,实验证明该方法显著提升攻击迁移性,凸显了中间特征泄漏的紧迫性。
2025-07-09 cs.AI cs.LG
Gradual Domain Adaptation in the Wild:When Intermediate Distributions are Absent
Google Research(谷歌研究院)
我们专注于当目标是将模型向目标分布移动时的领域自适应问题,而不是学习领域不变表示。已经表明,在以下两个假设下:(a)访问来自中间分布的样本,以及(b)用来自源分布的变化量注释的样本,可以成功地将自训练应用于逐渐移动的样本,以使模型适应目标分布。我们假设有(a)就足以使迭代自我训练能够通过使用内隐课程来慢慢地使模型适应目标分布。在(a)不成立的情况下,我们观察到迭代自我训练不足。我们提出了GIFT,一种方法,通过从源域和目标域插入示例的表示,从中间分布创建虚拟样本。我们在具有自然分布偏移的数据集上评估了迭代自训练方法,并表明当应用于其他领域自适应方法时,它提高了模型在目标数据集上的性能。我们对一个合成数据集进行了分析,结果表明,在存在(a)迭代自训练的情况下,自然形成了一个样本课程。此外,我们还证明了当(a)不成立时,GIFT的性能优于迭代自训练。
2021-07-13 cs.AI cs.LG
MantisV2: Closing the Zero-Shot Gap in Time Series Classification with Synthetic Data and Test-Time Strategies
MantisV2通过合成数据和测试时策略提升时间序列分类的零样本性能
2026-02-19 cs.AI cs.LG
Revisiting Intermediate Layer Distillation for Compressing Language Models: An Overfitting Perspective
KAIST(韩国科学技术院)
知识蒸馏(KD)是一种非常有前途的方法,用于减轻预训练语言模型(PLM)的计算问题。在各种KD方法中,中间层蒸馏(ILD)已成为NLP领域的事实标准KD方法。在本文中,我们发现现有的ILD方法容易过拟合训练数据集,尽管这些方法比原始KD传递更多的信息。接下来,我们提出了一些简单的观察来减轻ILD的过拟合:只提取最后一个Transformer层,并在补充任务上进行ILD。基于我们的两个发现,我们提出了一个简单而有效的一致性正则化ILD(CR-ILD),它可以防止学生模型过度拟合训练数据集。在GLUE基准数据集和多个合成数据集上提取BERT的大量实验表明,我们提出的ILD方法优于其他KD技术。我们的代码可在https://github.com/jongwooko/CR-ILD上获得。
2023-02-03 cs.AI cs.CL cs.LG
The Importance of Being Discrete: Measuring the Impact of Discretization in End-to-End Differentially Private Synthetic Data
UCL(伦敦大学学院);SAS(SAS公司);UC Riverside(加州大学河滨分校)
该研究针对差分隐私边缘生成模型中离散化可能破坏端到端隐私保障、效用不佳的问题,对比四种离散化策略,提出带差分隐私的离散器与改进的最优分箱选择方法,提升效用并降低隐私与计算开销。
2025-10-28 cs.CR cs.LG
Improved Generation of Synthetic Imaging Data Using Feature-Aligned Diffusion
Researcher Boston, Massachusetts, USA
本文提出特征对齐扩散方法,通过将扩散模型中间特征与专家输出特征对齐,在医学图像合成中提升生成准确率9%并改善多样性,且可与现有方法协同集成。
2024-10-01 cs.CV cs.LG
Generalizable LLM Learning of Graph Synthetic Data with Post-training Alignment
University of Washington(华盛顿大学);Xi’an Jiaotong University(西安交通大学);University of Notre Dame(圣母大学);Google(谷歌)
本文提出用基于合成图数据的后训练对齐替代直接监督微调,通过设计基于解和基于过程的奖励并结合GRPO、DPO等算法,提升大语言模型从合成图任务到真实世界隐式图结构任务的泛化能力,在5个数据集上平均提升12.9%。
2025-08-17 cs.CL cs.LG
SynAE: A Framework for Measuring the Quality of Synthetic Data for Tool-Calling Agent Evaluations
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
本文提出SynAE框架,用于评估多轮工具调用代理合成数据的质量,通过四个指标类别评估合成数据的有效性、保真度和多样性,揭示单一指标不足以全面表征合成数据质量。
2026-05-21 cs.CL cs.LG cs.SE
SH-SAS: An Implicit Neural Representation for Complex Spherical-Harmonic Scattering Fields for 3D Synthetic Aperture Sonar
Arizona State University(亚利桑那州立大学);Dartmouth College(达特茅斯学院)
本文提出SH-SAS隐式神经表示,利用球谐系数建模复杂声散射场,通过多分辨率哈希编码器与轻量级MLP预测复系数,直接从一维飞行时间信号训练,在合成与真实SAS基准上实现了更优的三维重建质量。
2025-09-14 cs.CV cs.GR cs.LG
Sampling at intermediate temperatures is optimal for training large language models in protein structure prediction
Department of Physics, via Celoria 16, 20133 Milano, Italy(米兰大学物理系);Department of Physics and INFN, via Celoria 16, 20133 Milano, Italy(米兰大学物理系与意大利国家核物理研究院)
研究通过统计力学框架分析transformer模型在蛋白质序列数据上的参数空间,发现transformer在蛋白质结构预测中表现优异的原因是其损失函数中缺乏一阶相变,从而在中间温度下具有良好的学习特性。
2026-09-23 cond-mat.dis-nn cs.LG q-bio.BM