Efficient Deep Learning on Multi-Source Private Data
UC Berkeley（加州大学伯克利分校）
机器学习模型受益于大型和多样化的数据集。然而，使用这样的数据集通常需要信任一个集中的数据聚合器。对于医疗保健和金融等敏感应用，这是不可取的，因为它可能会损害患者隐私或泄露商业机密。安全和隐私保护计算的最新进展，包括可信硬件飞地和差分隐私，为相互不信任的各方提供了一种有效训练机器学习模型而不泄露训练数据的方法。在这项工作中，我们介绍了髓鞘，一个深度学习框架，它结合了这些隐私保护原语，并使用它来建立一个基线水平的性能完全私人机器学习。
2018-07-17 cs.LG stat.ML
Scaling up Differentially Private Deep Learning with Fast Per-Example Gradient Clipping
Penn State University（宾夕法尼亚州立大学）；University of Georgia（佐治亚大学）
Renyi差分隐私最近的工作表明了将差分隐私应用于深度学习任务的可行性。然而，尽管它们有希望，但差异私有深度网络在准确性方面往往远远落后于非私有网络，这表明需要在模型架构、优化器等方面进行更多的研究。这种放缓的原因是一个关键的隐私相关步骤，称为"每个示例的梯度裁剪"，其幼稚的实现取消了使用GPU进行批量训练的好处。通过分析反向传播方程，我们推导出与自动微分兼容的每个示例梯度裁剪的新方法（例如，在PyTorch和TensorFlow中），并提供更好的GPU利用率。我们在PyTorch中的实现显示了显著的训练速度提升（对于批量大小为128的各种模型，训练速度提高了54 - 94倍）。这些技术适用于各种架构选择，包括卷积层、递归网络、注意力、残差块等。
2020-09-07 cs.LG stat.ML
Generating Artificial Data for Private Deep Learning
Artificial Intelligence Laboratory（人工智能实验室）；Ecole Polytechnique Fédérale de Lausanne（洛桑联邦理工学院）
在本文中，我们建议生成保留真实数据的统计特性的人工数据，作为提供原始数据集隐私的手段。我们使用生成对抗网络来提取隐私保护的人工数据样本，并推导出一个经验方法来评估信息披露的风险，在一个不同的隐私类的方式。我们的实验表明，我们能够生成高质量的人工数据，并在此数据上成功地训练和验证机器学习模型，同时限制潜在的隐私损失。
2019-04-28 cs.CR cs.LG stat.ML
DP-MAC: The Differentially Private Method of Auxiliary Coordinates for Deep Learning
Max Planck Institute for Intelligent Systems（马克斯·普朗克智能系统研究所）；University of Amsterdam（阿姆斯特丹大学）
开发差分私有深度学习算法是具有挑战性的，这是由于难以分析通常用于训练深度神经网络的目标函数的灵敏度。许多现有的方法诉诸于随机梯度下降算法，并应用一个预先定义的灵敏度的梯度私有化的权重。然而，它们的缓慢收敛通常产生高累积隐私损失。在这里，我们通过采用辅助坐标的方法采取不同的路线，该方法允许我们通过优化每层目标函数来独立更新每层的权重。这个目标函数可以很好地近似低阶泰勒展开，其中灵敏度分析变得易于处理。为了隐私，我们扰动了扩展的系数，我们使用比SGD更先进的优化例程进行优化，以加快收敛速度。我们的经验表明，我们的算法在适度的隐私预算下提供了一个体面的训练模型质量。
2019-10-15 cs.LG stat.ML
Differentially Private and Fair Deep Learning: A Lagrangian Dual Approach
Syracuse University（雪城大学）；Georgia Institute of Technology（佐治亚理工学院）
数据驱动决策的一个关键问题是建立模型，其结果不会歧视某些人口群体，包括性别，种族或年龄。为了确保学习任务中的不歧视，了解敏感属性是必不可少的，而在实践中，由于法律和道德要求，这些属性可能无法提供。为了应对这一挑战，本文研究了一个模型，保护个人的隐私敏感信息，同时也允许它学习非歧视性的预测。该方法依赖于差分隐私的概念和拉格朗日对偶的使用来设计神经网络，可以适应公平性约束，同时保证敏感属性的隐私。本文分析了准确性，隐私性和公平性之间的紧张关系，实验评估说明了所提出的模型在几个预测任务上的好处。
2020-09-26 cs.AI cs.CR cs.LG
Differentially Private Learning Needs Better Features (or Much More Data)
Stanford University（斯坦福大学）
我们证明了差异私有机器学习在许多规范视觉任务上尚未达到其“AlexNet时刻”：在中等隐私预算下，手工特征训练的线性模型显著优于端到端深度神经网络。为了超过手工制作的功能的性能，我们表明，私人学习需要更多的私人数据，或访问从类似的域的公共数据上学到的功能。我们的工作为差异化的私人学习引入了简单而强大的基线，可以为评估这一领域的未来进展提供信息。
2021-02-18 cs.CR cs.LG stat.ML
AdaDPIGU: Differentially Private SGD with Adaptive Clipping and Importance-Based Gradient Updates for Deep Neural Networks
Guangdong Provincial Key Laboratory of IRADS Beijing Normal-Hong Kong Baptist University（广东省IRADS关键实验室北京师范大学-香港 Baptist大学）
提出AdaDPIGU，一种结合重要性剪枝与自适应裁剪的差分隐私SGD框架，在MNIST和CIFAR-10上实现高精度，甚至超越非隐私基线，兼顾隐私与效用。
2025-07-09 cs.LG math.ST stat.ML
Private Dataset Generation Using Privacy Preserving Collaborative Learning
Technische Hochschule Ingolstadt（英戈尔施塔特应用技术大学）
随着深度学习算法在许多应用中的使用越来越多，与隐私和对抗攻击相关的新研究问题正在出现。然而，深度学习算法的改进需要越来越多的数据在研究社区内共享。联邦学习、差分隐私、附加秘密共享等方法提供了一种在边缘上训练机器学习模型而不从边缘移动数据的方法。然而，它是非常计算密集型的，并且容易受到对抗攻击。因此，这项工作引入了一个隐私保护FedCollabNN框架，用于在边缘训练机器学习模型，该框架具有计算效率和对对抗攻击的鲁棒性。使用MNIST数据集的仿真结果表明了该框架的有效性。
2020-04-28 cs.CR cs.LG stat.ML
ARIANN: Low-Interaction Privacy-Preserving Deep Learning via Function Secret Sharing
Columbia University（哥伦比亚大学）；ENS（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL University（巴黎文理研究大学）；INRIA（法国国家信息与自动化研究所）；Arkhn
我们提出了AriaNN，一个低交互的隐私保护框架，用于私人神经网络训练和敏感数据的推理。我们的半诚实的2方计算协议（与可信的经销商）利用功能秘密共享，最近的轻量级加密协议，使我们能够实现一个有效的在线阶段。我们为神经网络的构建块设计了优化的原语，如ReLU，MaxPool和BatchNorm。例如，我们在在线阶段使用输入大小的单个消息对ReLU操作进行私有比较，并且预处理密钥比以前的工作小近4倍。最后，我们提出了一个扩展来支持n方私有联邦学习。我们将我们的框架实现为PyTorch之上的可扩展系统，该系统利用CPU和GPU硬件加速进行加密和机器学习操作。我们评估了我们的端到端系统，用于在标准神经网络（如AlexNet，VGG 16或ResNet 18）上的远程服务器之间进行私有推理，以及在较小的网络（如LeNet）上进行私有训练。我们表明，计算而不是通信是主要的瓶颈，使用GPU与减少密钥大小是一个很有前途的解决方案，以克服这一障碍。
2021-10-28 cs.CR cs.LG stat.ML
Towards Differentially Private Text Representations
National University of Singapore（新加坡国立大学）；The University of Melbourne（墨尔本大学）；Monash University（莫纳什大学）；Northeastern University（东北大学）
大多数深度学习框架要求用户将其本地数据或模型更新汇集到可信服务器，以训练或维护全局模型。在许多应用程序中，可以访问用户信息的可信服务器的假设是不合适的。为了解决这个问题，我们在不可信服务器设置下开发了一个新的深度学习框架，该框架包括三个模块：（1）嵌入模块，（2）随机化模块和（3）分类器模块。对于随机化模块，我们提出了一种新的本地差分隐私（LDP）协议，以减少隐私参数$ε$的准确性的影响，并提供增强的灵活性，在选择随机化概率LDP。分析和实验表明，我们的框架提供了可比的性能，甚至更好的非私有框架和现有的LDP协议，展示了我们的LDP协议的优势。
2020-06-25 cs.CL cs.CR cs.LG
Privacy Amplification by Structured Subsampling for Deep Differentially Private Time Series Forecasting
Technical University of Munich \& Munich Data Science Institute；Machine Learning Research, Morgan Stanley
针对DP-SGD与时间序列预测不兼容的问题，提出结构化子采样实现隐私放大，支持训练具有严格事件级和用户级隐私保证的预测模型，并证明数据增强可进一步放大隐私。
2025-08-04 cs.CR cs.LG stat.ML
Efficient Deep Feature Learning and Extraction via StochasticNets
University of Waterloo（滑铁卢大学）
深度神经网络是特征学习和提取的强大工具，因为它们能够对高度复杂数据中的高级抽象进行建模。在使用深度神经网络的特征学习和提取中值得探索的一个领域是用于更快特征学习和提取的有效神经连接形成。受大脑中随机突触连接形成的发现以及大脑有效表示信息的不可思议的能力的启发，我们提出了通过StochasticNets进行特征的有效学习和提取，其中稀疏连接的深度神经网络可以通过神经元之间的随机连接形成。为了评估这种深度神经网络架构用于特征学习和提取的可行性，我们训练深度卷积StochasticNets，以使用CIFAR-10数据集学习抽象特征，并从图像中提取学习的特征，以在SVHN和STL-10数据集上执行分类。实验结果表明，使用深度卷积StochasticNets学习的特征，比传统的深度卷积神经网络具有更少的神经连接，可以实现比传统的深度神经网络更好或相当的分类精度：STL-10数据集上分类的相对测试误差降低约4.5%，SVHN数据集上分类的相对测试误差降低约1%。此外，研究表明，即使只有10%的训练数据用于特征学习，使用深度卷积StochasticNets提取的深度特征也可以提供相当的分类精度。最后，它还表明，显着增益的特征提取速度可以实现在嵌入式应用程序中使用随机网络。因此，StochasticNets允许更快的特征学习和提取性能，同时有助于更好或相当的准确性性能。
2015-12-11 cs.LG stat.ML
Style Transfer and Extraction for the Handwritten Letters Using Deep Learning
Univ. Grenoble-Alpes（格勒诺布尔阿尔卑斯大学）
我们如何使用深度神经网络学习、传输和提取手写风格？本文探讨了这些问题，使用深空调自动编码器的铁关闭手写数据集。我们进行了三个实验，系统地探讨我们的风格提取过程的质量。首先，我们使用多维性能指标将我们的模型与手写基准进行比较。其次，我们探讨风格转移的质量，即模型如何在新的、看不见的作家身上表现。在这两个实验中，我们通过大幅度提高了最先进方法的度量。最后，我们分析了我们的模型的潜在空间，我们看到它分离一致的写作风格。
2018-12-10 cs.CV cs.LG stat.ML
Deep-FExt: Deep Feature Extraction for Vessel Segmentation and Centerline Prediction
TU München（慕尼黑工业大学）；Klinikum Rechts der Isar（伊萨尔河畔临床医院）
在生物医学图像建模中，特征提取是图像和像素（体素）分类和回归的一项非常关键的任务。在这项工作中，我们提出了一个机器学习为基础的特征提取方案的基础上的初始模型的像素分类任务。我们通过卷积算子在多尺度和多层方案下提取特征。全卷积网络的层随后堆叠在该特征提取层上，并进行端到端的训练以用于分类。我们测试我们的模型的驱动器和STARE公共数据集的分割和中心线检测的目的，它执行大多数现有的手工制作或确定性的功能方案在文献中找到。我们在DRIVE数据集上实现了0.85的平均最大Dice，该数据集的第二个人类注释者的得分超过了该数据集。在STARE数据集上，我们还实现了平均最大Dice为0.85，Kappa为0.84。虽然这些数据集主要是2-D的，我们也提出了扩展这种特征提取方案来处理3-D数据集的方法。
2017-04-12 cs.CV cs.LG stat.ML
Neither Private Nor Fair: Impact of Data Imbalance on Utility and Fairness in Differential Privacy
Seldon（塞尔顿）；University of California San Diego（加州大学圣地亚哥分校）；Ford R&A（福特研发中心）；University of Oxford（牛津大学）；OpenMined（开放挖掘）
深度学习在不同领域和行业的部署日益增长，这是由于其性能依赖于数据和计算的可用性。数据通常是众包的，并且包含关于其贡献者的敏感信息，这些信息会泄漏到在其上训练的模型中。为了实现严格的隐私保证，使用了不同的隐私训练机制。然而，最近的研究表明，差分隐私会加剧数据中现有的偏见，并对不同数据子组的准确性产生不同的影响。在本文中，我们的目标是研究差异私有深度学习中的这些影响。具体来说，我们的目标是研究数据中不同程度的不平衡如何影响模型在不同隐私级别下做出的决策的准确性和公平性。我们证明，即使是很小的不平衡和宽松的隐私保障也会造成不同的影响。
2020-10-03 cs.AI cs.CR cs.LG
Practical Privacy Filters and Odometers with Rényi Differential Privacy and Applications to Differentially Private Deep Learning
Microsoft Research（微软研究院）
差分隐私（DP）是隐私保护深度学习的主要方法。因此，有多种努力来提供DP到流行框架中的直接集成。这些努力将噪声添加到每个梯度计算以使其成为DP，依赖于合成定理来限制在该DP计算序列上引起的总隐私损失。然而，现有的组合定理提出了效率和灵活性之间的紧张关系。大多数定理要求序列中的所有计算都有一个预定义的DP参数，称为隐私预算。这阻止了训练算法的设计，即在运行中调整隐私预算，或者提前终止以减少总的隐私损失。或者，现有的几个自适应隐私预算的组合结果提供了复杂的隐私损失的界限，常数太大，是不切实际的。本文从Rényi差分隐私的角度研究了自适应隐私预算下的DP合成问题，证明了一个简单的合成定理，该定理具有较小的常数，使其在算法设计中具有足够的实用性。我们展示了这个定理在DP深度学习中的两个应用：在线调整噪声或批量大小，以在固定的总隐私损失内提高模型的准确性，以及在微调模型时提前停止，以减少总隐私损失。
2021-06-04 cs.LG stat.ML
Not Just Privacy: Improving Performance of Private Deep Learning in Mobile Cloud
National University of Defense Technology（国防科技大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Facebook Inc.（脸书公司）；Tsinghua University（清华大学）
对设备上深度学习服务的日益增长的需求要求以高效的方式在具有有限容量的移动设备上部署深度神经网络（DNN）。基于云的解决方案是在移动设备上实现深度学习应用的一种有前途的方法，其中DNN的大部分被卸载到云。然而，将数据泄露到云端会导致潜在的隐私风险。为了从云数据中心中受益而不存在隐私风险，我们设计、评估和实现了一个基于云的框架ARDEN，该框架将DNN划分为移动设备和云数据中心。简单的数据转换在移动终端上进行，而资源消耗的训练和复杂的推理则依赖于云数据中心。为了保护敏感信息，引入了一种轻量级的隐私保护机制，该机制由任意数据无效和随机噪声添加组成，提供了强隐私保护。给出了严格的隐私预算分析。尽管如此，对原始数据的私有扰动不可避免地对云侧的进一步推理的性能产生负面影响。为了减轻这种影响，我们提出了一种噪声训练方法来增强云端网络对扰动数据的鲁棒性。通过精心设计，ARDEN不仅可以保护隐私，而且还可以提高推理性能。为了验证所提出的ARDEN，一系列的实验的基础上，三个图像数据集和一个真正的移动应用程序进行。实验结果证明了ARDEN的有效性。最后，我们在一个演示系统上实现了ARDEN，验证了其实用性。
2019-01-05 cs.AI cs.DC cs.LG
A hybrid deep learning approach for medical relation extraction
International Institute of Information Technology（国际信息技术研究所）
挖掘治疗和医疗问题之间的关系在生物医学领域至关重要。这有助于各种应用，如决策支持系统，安全监测和新的治疗发现。我们提出了一种深度学习方法，该方法利用单词级和单词级表示来提取治疗和问题之间的关系。虽然深度学习技术需要大量数据进行训练，但我们使用基于规则的系统，特别是对于样本较少的关系类。我们的最终关系是通过将深度学习和基于规则的模型的结果联合起来得出的。我们的系统在I2b2 2010关系抽取任务的关系类上取得了令人满意的性能。
2018-06-26 cs.IR cs.LG stat.ML
Extraction of digital wavefront sets using applied harmonic analysis and deep neural networks
Technische Universität Berlin（柏林工业大学）；KTH - Royal Institute of Technology（KTH皇家理工学院）；University of Oxford（牛津大学）
微局部分析提供了对奇异结构的深入洞察，并且对于解决成像科学中的反问题通常至关重要。特别重要的是波前集的分析和正确的提取。在本文中，我们介绍了第一个算法的方法来提取波前集的图像，它结合了基于数据和基于模型的方法。基于剪切波变换的一个著名属性来解开波前集上的信息，我们首先应用离散剪切波变换来提取图像的波前集，然后将该变换的局部补丁馈送到在标记数据上训练的深度卷积神经网络。由此产生的算法优于所有竞争的算法在边缘方向和斜坡方向检测。
2019-07-10 cs.LG eess.IV eess.SP
Feature Extraction of Text for Deep Learning Algorithms: Application on Fake News Detection
Soongsil University（崇实大学）
特征提取是机器学习和深度学习的一个重要过程，因为该过程使算法运行得更有效、更准确。在自然语言处理中，用于虚假新闻检测等欺骗检测的方法中，已经引入了几种统计方面的特征提取方法（例如N-gram）。在这项研究中，它将被证明，通过使用深度学习算法和字母频率的原始文本的新闻没有任何信息的顺序的字母表实际上可以用来分类假新闻和可信的高精度（85\%）。由于这种预处理方法使数据非常紧凑，但也包括分类器所需的特征，因此字母频率似乎包含一些有用的特征，用于理解原始文本的复杂上下文或含义。
2020-11-03 cs.CL stat.ML
