Efficient and Verifiable Privacy-Preserving Convolutional Computation for CNN Inference with Untrusted Clouds
Shandong University（山东大学）；Binzhou Polytechnic（滨州职业学院）；Shandong Sansec Information Technology Co., Ltd（山东三未信安信息科技有限公司）
本文针对不可信云环境下CNN推理的隐私与效率问题，提出一种面向卷积层的高效可验证隐私保护方案，在10个数据集上实现26至87倍加速且保持准确率。
2025-08-19 cs.CR cs.LG
Privacy-Preserving Intrusion Detection using Convolutional Neural Networks
ST Engineering Singapore（新加坡 ST 工程公司）
针对入侵检测服务中客户端数据与分析师模型的双向隐私保护需求，本文结合最初面向医疗数据的PriMIA框架，增强了基于卷积神经网络的攻击检测系统的隐私保护能力，为适配部署约束的最优设置评估提供支撑。
2024-04-15 cs.AI cs.CR cs.LG
Efficient privacy-preserving inference for convolutional neural networks
University of Cambridge（剑桥大学）
使用深度学习模型处理敏感用户数据是最近获得关注的一个领域。现有的工作已经利用同态加密（HE）方案来实现对加密数据的计算。早期的工作是CryptoNets，它需要250秒进行一次MNIST推理。这种方法的主要限制是对HE加密的密文执行操作所需的昂贵的FFT类操作。其他人已经提出使用模型修剪和有效的数据表示来减少所需的HE操作的数量。我们专注于改进现有的工作，提出改变中间张量的表示在CNN推理。我们在MNIST和CIFAR-10数据集上构建和评估私有CNN，并将用于CryptoNets架构推理的操作数量减少了两倍以上。
2022-08-26 cs.CR cs.LG
Scalable and Efficient Training of Large Convolutional Neural Networks with Differential Privacy
University of Pennsylvania（宾夕法尼亚大学）
大型卷积神经网络（CNN）可能难以在差分私有（DP）机制中进行训练，因为优化算法需要计算上昂贵的操作，称为每样本梯度裁剪。我们提出了一种高效且可扩展的卷积层裁剪实现，称为混合重影裁剪，它在时间和空间复杂性方面大大简化了私人训练，而不会影响准确性。通过第一次复杂度分析，严格研究了混合鬼裁剪和现有DP训练算法的效率提高。使用大型ResNet，VGG和视觉Transformer对视觉分类任务进行的广泛实验表明，使用混合重影裁剪的DP训练增加了$1\sim 10\%$内存开销和$<2\times$对标准非私有训练的减速。具体而言，当在CIFAR10上训练VGG 19时，混合重影裁剪比具有$3\times$更大最大批量大小的最新Opacus库更快。为了强调卷积层上高效DP训练的重要性，我们使用BEiT在$ε=1$上在CIFAR10上实现了96.7\%的准确率，在CIFAR100上实现了83.0\%的准确率，而之前的最佳结果分别为94.8\%和67.4\%。我们开源了一个隐私引擎（\url{https://github.com/woodyx218/private_vision}），它用几行代码实现了CNN的DP训练。
2022-11-29 cs.CC cs.CV cs.LG
I Know What You See: Power Side-Channel Attack on Convolutional Neural Network Accelerators
The Chinese University of Hong Kong（香港中文大学）；Sangfor Technologies Inc.（深信服科技股份有限公司）
深度学习已成为各种感知问题的事实上的计算范式，包括许多隐私敏感应用，例如在线医学图像分析。毫无疑问，这些深度学习系统的数据隐私是一个严重的问题。与以往研究侧重于利用深度学习模型的隐私泄漏不同，本文提出了对深度学习模型实现的第一次攻击。具体来说，我们对基于FPGA的卷积神经网络加速器进行攻击，并且在不知道神经网络中的详细参数的情况下，我们设法从收集的功率迹线恢复输入图像。对于MNIST数据集，我们的功率侧信道攻击能够实现高达89%的识别准确率。
2019-11-29 cs.CV cs.LG
Controlling Information Capacity of Binary Neural Network
Russian Research Center Huawei Technologies, Russia（华为技术有限公司俄罗斯研究中心）；Department of Computer Science ETH Zurich, Switzerland（苏黎世联邦理工学院计算机科学系）
尽管深度学习技术越来越受欢迎，但高内存要求和功耗本质上限制了其在移动和物联网领域的应用。虽然二进制卷积网络可以缓解这些问题，但权重的有限位宽通常会导致预测精度的显着下降。在本文中，我们提出了一种训练二进制网络的方法，通过将基于香农熵的惩罚应用于卷积滤波器，在整个训练过程中保持其信息容量的稳定预定义水平。在SVHN、CIFAR和ImageNet数据集上进行的实验结果表明，该方法可以显著提高二进制网络的准确性。
2020-08-04 cs.CV cs.LG cs.NE
CorGAN: Correlation-Capturing Convolutional Generative Adversarial Networks for Generating Synthetic Healthcare Records
Virginia Polytechnic Institute and State University (Virginia Tech)（弗吉尼亚理工学院暨州立大学（弗吉尼亚理工））
深度学习模型在图像分类和语音处理等领域表现出高质量的性能。然而，使用电子健康记录（EHR）数据创建深度学习模型需要解决该领域研究人员特有的特定隐私挑战。这件事的重点是在确保隐私的同时生成现实的合成数据。在本文中，我们提出了一种新的框架，称为相关捕获生成对抗网络（CorGAN），生成合成的医疗记录。在CorGAN中，我们利用卷积神经网络通过结合卷积生成对抗网络和卷积自动编码器来捕获数据表示空间中相邻医学特征之间的相关性。为了证明模型的保真度，我们展示了CorGAN在各种机器学习设置（如分类和预测）中生成的合成数据与真实数据的性能相似。我们还对合成数据的现实特征进行了隐私评估和统计分析。这项工作的软件是开源的，可在https://github.com/astorfi/cor-gan上获得。
2020-03-04 cs.LG stat.ML
Optimizing Privacy-Preserving Outsourced Convolutional Neural Network Predictions
Wuhan University（武汉大学）；State Key Laboratory of Cryptology（密码科学技术国家重点实验室）；The Chinese University of Hong Kong（香港中文大学）；Huazhong University of Science and Technology（华中科技大学）；Xi’an Jiaotong University（西安交通大学）
卷积神经网络是一种广泛应用于各种预测任务的机器学习模型，如计算机视觉和医学图像分析。它们强大的预测能力需要大量的计算，这鼓励模型所有者在云平台上托管预测服务。最近的研究集中在查询和结果的隐私，但他们没有提供对模型托管服务器的模型隐私，并可能泄漏部分信息的结果。它们中的一些还需要与查询器的频繁交互或繁重的计算开销，这阻碍了查询器使用预测服务。提出了一种新的外包环境下隐私保护神经网络预测方案，服务器不能学习查询、（中间）结果和模型。类似于SecureML（S&P'17），一个提供模型隐私的代表性工作，我们利用两个具有秘密共享和三元组生成的非合谋服务器来最大限度地减少重量级加密的使用。此外，我们采用异步计算，以提高吞吐量，并设计乱码电路的非多项式激活函数，以保持相同的精度作为底层网络（而不是近似）。我们在MNIST数据集上的实验表明，与SecureML，MiniONN（CCS'17）和EzPC（EuroS& P' 19）相比，我们的方案分别实现了平均122倍，14.63倍和36.69倍的延迟减少。在通信成本方面，我们的方案平均比SecureML高1.09倍，比MiniONN高36.69倍，比EzPC高31.32倍。在CIFAR数据集上，与MiniONN和EzPC相比，我们的方案分别实现了7.14倍和3.48倍的低延迟。在CIFAR数据集上，我们的方案还提供了比MiniONN和EzPC低1…
2020-06-29 cs.CR cs.LG
Privacy Preserving Federated Learning with Convolutional Variational Bottlenecks
Technische Universität Ilmenau（伊尔梅瑙工业大学）
本文揭示 PRECODE 防御梯度反转的随机梯度机制及其失效攻击，并提出可早置于网络、参数与开销更低的卷积变分瓶颈 CVB。
2023-09-08 cs.AI cs.CR cs.LG
Risk-Equalized Differentially Private Synthetic Data: Protecting Outliers by Controlling Record-Level Influence
本文提出风险均等的差分隐私合成方法，通过降低高风险记录的影响来增强对异常值的保护，减少成员推断攻击的成功率。
2026-02-10 cs.LG
Differentially Private Synthetic Medical Data Generation using Convolutional GANs
Virginia Tech（弗吉尼亚理工大学）
深度学习模型在几个应用问题中表现出了卓越的性能，例如图像分类和语音处理。然而，使用健康记录数据创建深度学习模型需要解决某些隐私挑战，这些挑战给在该领域工作的研究人员带来了独特的担忧。处理这种私有数据问题的一种有效方法是生成真实的合成数据，其可以提供实际上可接受的数据质量和相应的模型性能。为了应对这一挑战，我们开发了一个差分隐私框架的合成数据生成使用雷尼差分隐私。我们的方法建立在卷积自动编码器和卷积生成对抗网络的基础上，以保留生成的合成数据的一些关键特征。此外，我们的模型还可以捕获原始数据中可能存在的时间信息和特征相关性。我们证明了我们的模型在相同的隐私预算下，在监督和无监督环境下使用几个公开的基准医疗数据集，优于现有的最先进的模型。
2020-12-22 cs.AI cs.LG
Local Differential Privacy for Deep Learning
RMIT University（皇家墨尔本理工大学）；CSIRO Data61（澳大利亚联邦科学与工业研究组织数据61研究所）；University of Oklahoma（俄克拉荷马大学）
物联网（IoT）正在改变主要行业，包括但不限于医疗保健，农业，金融，能源和运输。物联网平台正在通过创新不断改进，例如在边缘云交互中融合软件定义网络（SDN）和网络功能虚拟化（NFV）。深度学习（DL）由于其在使用大量数据（例如物联网生成的数据）进行训练时的出色准确性而变得越来越受欢迎。然而，DL算法在训练高度敏感的众包数据（如医疗数据）时往往会泄露隐私。现有的隐私保护DL算法依赖于传统的以服务器为中心的方法，需要高处理能力。我们提出了一个新的本地差分私有（LDP）算法命名为LATENT，重新设计的训练过程。LATENT使数据所有者能够在数据离开数据所有者的设备并到达可能不受信任的机器学习服务之前添加随机化层。该功能是通过将卷积神经网络（CNN）的架构分为三层来实现的：（1）卷积模块，（2）随机化模块和（3）全连接模块。因此，随机化模块可以在SDN控制的NFV中作为NFV隐私保护服务操作，使得LATENT与现有方法相比对于IoT驱动的基于云的环境更实用。随机化模块采用了一种新提出的LDP协议，称为效用增强随机化，它允许LATENT保持高效用相比，现有的LDP协议。我们在卷积深度神经网络上对LATENT的实验评估表明，即使在低隐私预算（例如$\varepsilon=0.5$）下，也具有出色的准确性（例如91%- 96%）和高模型质量。
2019-11-09 cs.CR cs.LG
Kernel Normalized Convolutional Networks for Privacy-Preserving Machine Learning
Technical University of Munich（慕尼黑工业大学）；Azad University of Kerman（克尔曼阿扎德大学）；Imperial College London（帝国理工学院）；Helmholtz Zentrum Munich（慕尼黑亥姆霍兹中心）
本文比较FL、DP和DP-FL中的LayerNorm、GroupNorm与KernelNorm，证明KernelNorm在准确率、收敛和通信效率上更优，并提出KNResNet-13，在CIFAR-10和Imagenette上取得差分隐私学习新SOTA。
2022-11-23 cs.CR cs.LG
Differential Privacy of Gaussian Process Posterior Sampling
School of Mathematics, University of Bristol（布里斯托大学数学学院）
研究高斯过程后验样本路径的隐私性，通过Rényi-DP界分离后验均值与协方差泄露，揭示有效岭正则化的关键作用，并验证成员推断攻击与正则化的依赖关系。
2026-09-15 cs.CR cs.LG stat.ML
Sequentially Auditing Differential Privacy
Carnegie Mellon University（卡内基梅隆大学）；Google Research（谷歌研究）
针对黑盒机制差分隐私保证审计问题，提出实用序贯测试方法，处理输出流实现随时有效推理并控制第一类错误，样本量比现有方法小几个数量级，可在一次训练运行内识别DP-SGD违规，突破批量方法固定样本限制。
2025-11-14 cs.CR cs.LG stat.ME
pvCNN: Privacy-Preserving and Verifiable Convolutional Neural Network Testing
Jinan University（暨南大学）；Pazhou Lab（琶洲实验室）；Dongguan University of Technology（东莞理工学院）；Guangzhou Fongwell Data Limited Company（广州方纬数据有限公司）
本文提出 pvCNN 框架，通过划分 CNN 模型并结合同态加密与 zk-SNARK，实现隐私保护且可验证的神经网络测试，并利用基于 QMPs 的电路和证明聚合显著提升证明效率。
2023-05-28 cs.CR cs.LG
Convolutional Neural Networks with Transformed Input based on Robust Tensor Network Decomposition
Nanyang Technological University（南洋理工大学）；University of Southern California（南加州大学）
张量网络分解起源于量子物理学，用于对纠缠的多粒子量子系统进行建模，结果证明是一种有前途的数学技术，可以以简约的方式有效地表示和处理大数据。在这项研究中，我们证明了张量网络可以系统地划分结构化数据，例如彩色图像，以保护隐私的方式进行分布式存储和通信。利用大数据和元数据隐私的海洋，实证结果表明，无法识别以张量网络格式存储的隐含信息的相邻子张量进行数据重建。这种技术补充了现有的加密和随机化技术，这些技术将显式数据表示存储在一个地方，并且非常容易受到对抗攻击，例如侧信道攻击和去匿名化。此外，我们提出了一个理论的对抗性的例子，误导卷积神经网络错误分类使用基于奇异值分解（SVD）的子空间分析。该理论被扩展到使用张量训练SVD（TT-SVD）分析高阶张量;它有助于解释不同数据集对对抗攻击的敏感性水平，不同对抗攻击（包括全局和局部攻击）的结构相似性，以及基于输入变换的不同对抗防御的有效性。基于鲁棒的TT-SVD，提出了一种有效的自适应算法来检测强静态对抗攻击。
2018-12-11 cs.CV cs.LG stat.ML
A Vertical Federated Learning Framework for Graph Convolutional Network
Ant Group（蚂蚁集团）
近年来，图神经网络（GNN）在解决现实世界中的各种图数据问题上取得了显著的成功。然而，在大多数行业中，数据以孤岛的形式存在，数据隐私和安全也是一个重要问题。在本文中，我们提出了FedVGCN，联邦GCN学习范式的隐私保护节点分类任务下的数据垂直分区设置，它可以推广到现有的GCN模型。具体来说，我们将计算图数据分为两部分。对于训练过程的每次迭代，双方在同态加密下相互传输中间结果。我们在基准数据上进行了实验，结果证明了FedVGCN在GraphSage情况下的有效性。
2021-06-22 cs.AI cs.LG
Differentially Private Variational Dropout
Boğaziçi University（海峡大学）
具有大量参数的深度神经网络是高度灵活的学习系统。这种网络的高度灵活性带来了一些严重的问题，如过拟合，正则化被用来解决这个问题。目前流行的一种有效的正则化技术是dropout。通常，神经网络所需的大量数据集合包含敏感信息，例如患者的病史，并且应该保护训练数据的隐私。在本文中，我们修改了最近提出的变分辍学技术，提供了一个优雅的贝叶斯解释辍学，并表明，在变分辍学的固有噪声可以利用，以获得一定程度的差分隐私。训练神经网络的迭代性质对隐私保护估计提出了挑战，因为多次迭代增加了添加的噪声量。我们克服了这一点，使用一个宽松的概念，差分隐私，称为集中差分隐私，它提供了更严格的估计整体隐私损失。我们在基准数据集上证明了我们的隐私保护变分丢弃算法的准确性。
2017-12-16 cs.LG stat.ML
The Tradeoff Between Privacy and Accuracy in Anomaly Detection Using Federated XGBoost
City University of Hong Kong（香港城市大学）；University of Miami（迈阿密大学）；Sun Yat-sen University（中山大学）；Dalian University of Technology（大连理工大学）
近年来，隐私问题引起了人们的广泛关注，特别是随着信息爆炸和众多数据采掘技术的出现，人们开始探索大量数据中的信息。在这种背景下，一种新的分布式学习范式联邦学习成为最近突出的分布式学习中的隐私问题，其中只有学习模型将被传输到服务器从分布式节点不泄露用户自己的数据，从而保护用户的隐私。本文提出了一种水平联邦XGBoost算法来解决联邦异常检测问题，其中异常检测的目的是从极端不平衡的数据集中识别异常，可以被认为是一个特殊的分类问题。我们提出的联邦XGBoost算法结合了数据聚合和稀疏联邦更新过程，以平衡隐私和学习性能之间的权衡。特别是，我们引入了虚拟数据样本聚合一组用户的数据在一个单一的分布式节点在一起。我们在本地节点中基于这些虚拟数据样本计算参数，并在中央服务器中聚合学习模型。在学习模型的升级过程中，我们更多地关注虚拟样本中之前错误分类的数据，从而生成稀疏的学习模型参数。通过仔细控制这些样本组的大小，我们可以在隐私和学习性能之间取得平衡。我们的实验结果表明，我们所提出的方案的有效性，通过与现有的国家的艺术。
2019-10-14 cs.CR cs.LG stat.ML
ShadowNet: A Secure and Efficient On-device Model Inference System for Convolutional Neural Networks
Google（谷歌）；Florida International University（佛罗里达国际大学）；Northeastern University（东北大学）；University of California, San Diego（加州大学圣地亚哥分校）；University of Wisconsin-Madison（威斯康星大学麦迪逊分校）
ShadowNet利用TEE保护端侧CNN模型隐私，通过权重变换将线性层安全外包给不可信AI加速器，并在TEE内恢复结果，在五个流行CNN上验证了其安全性与实用性。
2023-07-06 cs.CR cs.LG
Towards Practical Control of Singular Values of Convolutional Layers
HSE University（高等经济大学）；ETH Zürich（苏黎世联邦理工学院）
一般来说，卷积神经网络（CNN）很容易训练，但它们的基本特性，如泛化误差和对抗鲁棒性，很难控制。最近的研究表明，卷积层的奇异值显著影响这种难以捉摸的特性，并提供了几种控制它们的方法。然而，这些方法提出了一个棘手的计算挑战或诉诸粗糙的近似。在本文中，我们提供了一个原则性的方法来减轻现有技术的限制，在层的表现力的一个微不足道的减少为代价。我们的方法是基于张量训练分解;它保留了对卷积映射的实际奇异值的控制，同时提供结构稀疏和硬件友好的表示。我们用我们的方法展示了现代CNN的改进特性，并分析了它对模型性能、校准和对抗鲁棒性的影响。源代码可在https://github.com/WhiteTeaDragon/practical_svd_conv上获得
2022-11-24 cs.CV cs.LG
How Does a Deep Learning Model Architecture Impact Its Privacy? A Comprehensive Study of Privacy Attacks on CNNs and Transformers
University of Technology Sydney（悉尼科技大学）；Data 61；City University of Macau（澳门城市大学）
该研究对比CNN与Transformer的隐私脆弱性，发现Transformer更易受隐私攻击，明确激活层等微观设计及注意力模块对隐私性的影响，为隐私友好的模型架构设计提供参考。
2024-02-02 cs.AI cs.CR cs.LG
PPGAN: Privacy-preserving Generative Adversarial Network
Heilongjiang University（黑龙江大学）；Southern University of Science and Technology（南方科技大学）
生成对抗网络（GAN）及其变体作为数据生成模型的完美代表，为研究人员提供了大量高质量的生成数据。它们说明了一个有希望的方向，研究有限的数据可用性。当GAN从数据集中学习语义丰富的数据分布时，生成的分布的密度倾向于集中在训练数据上。由于深度神经网络的梯度参数包含了训练样本的数据分布，它们可以很容易地记住训练样本。当GAN应用于私人或敏感数据时，例如，患者的医疗记录，因为私人信息可能会泄漏。为了解决这个问题，我们提出了一个隐私保护生成对抗网络（PPGAN）模型，在该模型中，我们通过在模型学习过程中向梯度中添加精心设计的噪声来实现GANs中的差分隐私。此外，在PPGAN训练过程中引入了Moments Accountant策略，通过控制隐私丢失来提高模型的稳定性和兼容性。并给出了差分隐私策略的数学证明。通过对基准数据集的广泛案例研究，我们证明了PPGAN可以生成高质量的合成数据，同时在合理的隐私预算下保留所需的数据。
2019-10-04 cs.LG stat.ML
Assessing the Impact of Image Dataset Features on Privacy-Preserving Machine Learning
affiliation1.de（德机构）
本研究探讨图像数据集特征对隐私保护机器学习模型效用与隐私权衡的影响，发现数据集不平衡性、类数及熵值等因素会影响模型性能与隐私保护。
2024-12-11 cs.AI cs.CR cs.CV
Property Inference Attacks on Convolutional Neural Networks: Influence and Implications of Target Model's Complexity
University of Amsterdam（阿姆斯特丹大学）；CrySyS Lab, Dept. of Networked Systems and Services, Fac. of Electrical Engineering and Informatics, Budapest Univ. of Technology and Economics（布达佩斯经济与技术大学电气工程与信息学院网络系统与服务系CrySyS实验室）；Vrije Universiteit（阿姆斯特丹自由大学）
机器学习模型的目标是通过从数据中学习重要的属性和模式来对特定任务做出正确的预测。通过这样做，模型有可能学习到与其主要任务无关的属性。属性推断攻击利用这一点，旨在从给定的模型（\ie目标模型）推断与模型的主要目标无关的训练数据集的属性。如果训练数据是敏感的，则这种攻击可能导致隐私泄露。本文研究了目标模型的复杂性对这类攻击精度的影响，重点是卷积神经网络分类器。我们对在面部图像上训练的模型进行攻击，以预测某人的嘴巴是否张开。我们的攻击目标是推断训练数据集在性别方面是否平衡。我们的研究结果表明，隐私泄露的风险与目标模型的复杂性无关：对于所有研究的架构，攻击的准确性显然超过了基线。我们根据《数据保护条例和指南》讨论了个人数据的财产推断的含义。
2021-04-27 cs.CR cs.LG
Finding Solutions to Generative Adversarial Privacy
Stanford University（斯坦福大学）
我们提出了解决线性和卷积神经网络（CNN）对手的生成对抗隐私设置引起的最大最小问题的算法。在线性对手设置，我们提出了一个贪心算法的私有化，表现更好的情况下，增加的数量接近最优解。我们还提供了对该算法的分析，以表明它不仅首先删除了与私有标签最相关的特征，而且还保留了与私有标签相关的特征充分独立的公共标签的预测准确性。在CNN对手设置，我们提出了一种方法，隐藏选定的信息从对手，同时保留其他通过交替优化私有化和对手的目标，使用神经网络反向传播。我们的实验表明，我们的方法成功地对一个固定的对手。
2018-10-04 cs.LG stat.ML
Convolutional Recurrent Neural Networks for Music Classification
Queen Mary University of London（伦敦玛丽女王大学）；New York University（纽约大学）
我们介绍了一个卷积递归神经网络（CRNN）的音乐标签。CRNN利用卷积神经网络（CNN）进行局部特征提取，并利用循环神经网络对提取的特征进行时间总结。我们将CRNN与三种用于音乐标记的CNN结构进行比较，同时控制每个样本的性能和训练时间的参数数量。总体而言，我们发现CRNN在参数数量和训练时间方面表现出很强的性能，表明其混合结构在音乐特征提取和特征摘要中的有效性。
2016-12-21 cs.LG cs.MM cs.NE
DAL: Feature Learning from Overt Speech to Decode Imagined Speech-based EEG Signals with Convolutional Autoencoder
Korea University（高丽大学）
脑-机接口（BCI）是通过反映人的意图和状态来实现人与设备之间通信的工具之一。随着人工智能的发展，人们对使用脑电图（EEG）在人类和无人机之间进行通信的兴趣增加。特别是，在控制无人机群的情况下，例如方向或编队，与控制无人机单元相比，有许多优点。想象言语是一种内源性的脑机接口范式，它可以识别用户的意图。当进行想象语音时，用户想象发音就像实际说话一样。相比之下，显性语音是用户直接发音的任务。当使用想象的语音控制无人机群时，可以更直观地传递复杂的命令，但解码性能低于其他内源性BCI范例。提出了深度自学习算法（DAL）来学习明显语音的脑电信号特征，用于基于想象语音的脑电信号分类。据我们所知，这项研究是第一次尝试使用脑电特征的公开语音解码想象的语音为基础的脑电信号与自动编码器。共有8名受试者参加了实验。当对四个词进行分类时，DAL的平均正确率为48.41%。此外，当比较明显语音的w/o和w/ EEG特征之间的性能时，当包括明显语音的EEG特征时，性能提高了7.42%。因此，我们证明了公开语音的EEG特征可以提高想象语音的解码性能。
2021-07-15 cs.HC cs.LG cs.SD
Efficient Per-Example Gradient Computations in Convolutional Neural Networks
ENS, PSL University（巴黎高等师范学院，PSL大学）；Owkin, Inc.（Owkin公司）
深度学习框架利用GPU来高效地对批量的许多训练样本执行并行计算。然而，对于某些任务，人们可能对执行每个示例的计算感兴趣，例如使用每个示例的梯度来评估每个示例唯一的感兴趣的量。一个值得注意的应用来自差分隐私领域，其中每个示例的梯度必须是范数有界的，以限制每个示例对聚合批次梯度的影响。在这项工作中，我们讨论了如何在卷积神经网络（CNN）中有效地计算每个示例的梯度。我们通过对不同规模的CNN进行几步不同的私有训练来比较现有的策略。我们还介绍了一种新的策略，用于每个示例的梯度计算，这取决于模型架构和模型的训练方式。这是使CNN的差异化私人培训实用化的第一步。
2019-12-12 cs.CV cs.LG stat.ML
On the privacy-utility trade-off in differentially private hierarchical text classification
SAP（思爱普）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
分层文本分类是将文本文档分类为类和子类的层次结构。虽然人工神经网络已被证明可用于执行此任务，但不幸的是，由于训练数据记忆，它们可能会将训练数据信息泄漏给对手。在模型训练期间使用差分隐私可以减轻对训练模型的泄漏攻击，使模型能够以降低模型准确性为代价安全地共享。这项工作调查的隐私效用权衡分层文本分类与差分隐私保证，并确定神经网络架构，提供优越的权衡。为此，我们使用白盒成员推断攻击经验评估三个广泛使用的神经网络架构的信息泄漏。我们发现，大的差分隐私参数已经足以完全减轻成员推断攻击，从而导致模型效用的适度下降。更具体地说，对于具有长文本的大型数据集，我们观察到基于transformer的模型可以实现整体有利的隐私-效用权衡，而对于具有较短文本的较小数据集，卷积神经网络更可取。
2021-12-09 cs.CL cs.CR cs.LG
Graph-Convolutional-Beta-VAE for Synthetic Abdominal Aorta Aneurysm Generation
Gran Sasso Science Institute（Gran Sasso科学研究所）；INFN Tor Vergata（意大利国家核物理研究所Tor Vergata分校）；University of Bordeaux（波尔多大学）；University of Edinburgh（爱丁堡大学）
本研究提出一种图卷积Beta-VAE框架，结合Procrustes分析数据增强，生成合成腹主动脉瘤数据，在隐私保护下提升数据多样性与鲁棒性，支撑医学研究等场景。
2025-06-17 cs.AI cs.LG q-bio.TO
Morse-STF: Improved Protocols for Privacy-Preserving Machine Learning
安全多方计算使相互不信任的多方能够在不泄露数据本身的情况下对数据执行计算，并且已经成为隐私保护机器学习背后的核心技术之一。在这项工作中，我们提出了几个改进的隐私保护协议的线性和非线性层在机器学习。对于线性层，我们提出了一个扩展的海狸三重协议的双线性映射，显着减少卷积层的通信。对于非线性层，我们引入了计算sigmoid和softmax函数的新协议。这两个函数都是分类任务的机器学习训练的基本构建块。我们的协议比以前的构造更具可扩展性和鲁棒性，并将运行时性能提高了3- 17倍。最后，我们介绍Morse-STF，一个端到端的隐私保护系统，用于机器学习训练，利用所有这些改进的协议。与现有的最先进的系统相比，我们的系统在逻辑回归上实现了1.8倍的加速，在卷积神经网络上实现了3.9- 4.9倍的加速。
2022-05-19 cs.CR cs.LG math.NT
Understanding the Covariance Structure of Convolutional Filters
Carnegie Mellon University（卡内基梅隆大学）；Bosch Center for AI（博世人工智能中心）
神经网络权重通常从单变量分布随机初始化，即使在卷积等高度结构化的操作中，也仅控制单个权重的方差。最近的受ViT启发的卷积网络，如ConvMixer和ConvNeXt，使用大内核dependency卷积，其学习的滤波器具有显着的结构;这为研究其经验协方差提供了机会。在这项工作中，我们首先观察到这种学习滤波器具有高度结构化的协方差矩阵，此外，我们发现从小型网络计算的协方差可以用于有效地初始化各种不同深度，宽度，补丁大小和内核大小的较大网络，表明协方差结构的模型独立性程度。受这些发现的启发，我们提出了一种用于卷积滤波器的免学习多变量初始化方案，该方案使用其协方差的简单闭合形式构造。使用我们的初始化的模型优于使用传统单变量初始化的模型，并且通常达到或超过从学习的滤波器的协方差初始化的模型的性能;在某些情况下，这种改进可以在根本不训练dependency卷积滤波器的情况下实现。
2022-10-07 cs.AI cs.CV cs.LG
SHAP-Integrated Convolutional Diagnostic Networks for Feature-Selective Medical Analysis
Guilin University of Electronic Technology（桂林电子科技大学）；École de Technologie Supérieure（高等技术学院）
本文提出SHAP集成的卷积诊断网络SICDN，通过可解释特征选择和历史加权移动平均技术，在有限医学数据集上实现超过97%的分类准确率，超越四种流行CNN模型。
2025-03-10 cs.AI cs.CV cs.LG
Kernel Normalized Convolutional Networks
Technical University of Munich（慕尼黑工业大学）；Helmholtz Munich（亥姆霍兹慕尼黑中心）；Imperial College London（伦敦帝国学院）
针对BatchNorm小批量性能差且不适用差分隐私的问题，提出KernelNorm及KNConvNets，在分类和分割任务中兼具批量无关性与优异性能。
2024-03-04 cs.CV cs.LG
Differentially Private Kernel Inducing Points using features from ScatterNets (DP-KIP-ScatterNet) for Privacy Preserving Data Distillation
University of Tübingen（蒂宾根大学）；International Max Planck Research School for Intelligent Systems (IMPRS-IS)（国际马克斯·普朗克智能系统研究院）；Technical University of Denmark（丹麦技术大学）
针对数据蒸馏中的隐私保护问题，本文提出DP-KIP-ScatterNet方法，利用ScatterNet小波特征替代计算昂贵的conv-NTKs特征执行差分隐私核诱导点，在单GPU上以低成本生成具备隐私保证且性能优越的蒸馏数据。
2024-04-22 cs.LG stat.ML
Measuring the Privacy Leakage via Graph Reconstruction Attacks on Simplicial Neural Networks (Student Abstract)
Texas Tech University（德克萨斯理工大学）；Xavier University of Louisiana（泽维尔大学路易斯安那分校）；The Ohio State University（俄亥俄州立大学）
在本文中，我们通过研究图表示是否可以被反转来恢复用于生成它们的图，通过图重构攻击（GRA）来测量隐私泄漏。我们提出了一个GRA，通过一个图形解码器，最大限度地减少部分图和重建图之间的重建损失的表示恢复图的邻接矩阵。我们研究了在图上训练的三种类型的表示，即，表示输出从图卷积网络（GCN），图注意力网络（GAT），和我们提出的单纯神经网络（SNN）通过高阶组合拉普拉斯算子。与仅编码成对关系的前两种类型的表示不同，第三种类型的表示，即，SNN输出、编码高阶交互（例如，同调特征）之间的节点。我们发现，SNN的输出揭示了最低的隐私保护能力，以保护GRA，其次是GAT和GCN，这表明了建立更多的私人表示与高阶节点信息，可以防御潜在的威胁，如GRA的重要性。
2023-02-08 cs.CR cs.LG
Towards Efficient and Secure Delivery of Data for Deep Learning with Privacy-Preserving
Zhejiang University（浙江大学）；Tsinghua University（清华大学）；Duke University（杜克大学）
隐私问题是深度学习中的一个重要问题，即在深度神经网络开发过程中，必须禁止与第三方共享敏感数据。在本文中，我们提出了Morphed Learning（MoLe），这是一种高效安全的深度学习数据传输方案。MoLe有两个主要组件：数据变形和增强卷积（Aug-Conv）层。数据变形允许数据提供者在没有隐私信息的情况下发送变形的数据，而Aug-Conv层帮助深度学习开发人员将其网络应用于变形的数据，而不会带来性能损失。与GAZELLE（USENIX Security 2018）相比，MoLe提供了更强的安全性，同时引入了更低的开销，这是另一种对神经网络没有性能损失的方法。在CIFAR数据集上使用MoLe进行VGG-16网络时，计算开销仅为9%，数据传输开销为5.12%。作为比较，GAZELLE具有10，000次的计算开销和421，000次的数据传输开销。在这种情况下，MoLe和GAZELLE的攻击成功率分别为7.9 x 10^{-90}和2.9 x 10^{-30}。
2019-09-17 cs.CR cs.LG
Tight and Efficient Upper Bound on Spectral Norm of Convolutional Layers
HSE University（高等经济大学）
针对现有卷积层谱范数计算方法高估或性能随尺寸下降的问题，提出与输入分辨率无关、可微且高效的四维卷积核张量谱范数上界，可提升卷积架构性能。
2024-09-18 cs.LG
Decentralizing Feature Extraction with Quantum Convolutional Neural Network for Automatic Speech Recognition
Georgia Institute of Technology（佐治亚理工学院）；Brookhaven National Laboratory（布鲁克海文国家实验室）；IBM Research（IBM研究院）；University of Enna（恩纳大学）；NTNU（挪威科技大学）
我们提出了一种新的分散式联邦学习特征提取方法，以解决语音识别的隐私保护问题。它建立在量子卷积神经网络（QCNN）上，该网络由用于特征提取的量子电路编码器和基于递归神经网络（RNN）的端到端声学模型（AM）组成。为了增强分散式架构中的模型参数保护，输入语音首先被上行到量子计算服务器以提取Mel频谱图，并且使用具有随机参数的量子电路算法对相应的卷积特征进行编码。然后，编码后的特征被向下传输到本地RNN模型进行最终识别。所提出的去中心化框架利用量子学习过程来保护模型并避免隐私泄露攻击。在Google Speech Commands Dataset上进行测试，提出的QCNN编码器在去中心化模型中达到了95.12%的竞争准确率，这比之前使用具有卷积特征的集中式RNN模型的架构要好。我们还对不同的量子电路编码器架构进行了深入研究，以提供设计基于QCNN的特征提取器的见解。神经显着性分析证明了所提出的QCNN特征、类激活图和输入谱图之间的相关性。我们为未来的研究提供了一个实现。
2021-02-12 cs.LG cs.NE cs.SD
Scribbler: Controlling Deep Image Synthesis with Sketch and Color
Georgia Institute of Technology（佐治亚理工学院）；Adobe Research（Adobe研究院）；Princeton University（普林斯顿大学）
最近，有几种很有前途的方法可以从深度卷积网络生成逼真的图像。这些方法避开了传统的计算机图形渲染管道，而是通过从大量照片（例如脸部或卧室）中学习来生成像素级别的图像。然而，这些方法的效用有限，因为用户难以控制网络产生什么。在本文中，我们提出了一种深度对抗图像合成架构，该架构以草图边界和稀疏颜色笔画为条件，以生成逼真的汽车、卧室或人脸。我们展示了一个基于草图的图像合成系统，它允许用户在草图上“涂鸦”，以指示对象的首选颜色。然后，我们的网络可以生成令人信服的图像，满足用户的颜色和草图约束。网络是前馈的，它允许用户实时的看到他们编辑的效果。我们比较最近的工作草图图像合成，并表明我们的方法可以产生更逼真，更多样化，更可控的输出。该架构在用户引导的灰度图像着色方面也是有效的。
2016-12-05 cs.CV cs.LG
Multi-Hop Privacy Propagation for Differentially Private Federated Learning in Social Networks
School of Artificial Intelligence, Sun Yat-sen University, China（人工智能学院，中山大学）
本文研究社交网络中联邦学习的隐私外部性问题，提出一种社会感知的隐私保护机制，通过多跳传播模型量化间接隐私泄露，并利用两阶段Stackelberg博弈和平均场估计器优化客户端隐私预算，实验证明该方法在保持模型性能的同时显著提升了客户端效用并降低了服务器成本。
2025-08-11 cs.DC cs.GT cs.LG
CryptoDL: Deep Neural Networks over Encrypted Data
University of North Texas（北德克萨斯大学）；University of Saskatchewan（萨斯喀彻温大学）
基于深度神经网络的机器学习算法已经取得了显著的成果，并在不同的领域得到了广泛的应用。然而，机器学习算法需要访问原始数据，这通常是隐私敏感的。为了解决这个问题，我们开发了新的技术来提供在加密数据上运行深度神经网络的解决方案。在本文中，我们开发了新技术，以在当前同态加密方案的实际限制内采用深度神经网络。更具体地说，我们专注于著名的卷积神经网络（CNN）的分类。首先，我们设计了用低次多项式近似CNN（即ReLU，Sigmoid和Tanh）中常用的激活函数的方法，这对于高效的同态加密方案至关重要。然后，我们训练卷积神经网络的近似多项式代替原来的激活函数，并分析模型的性能。最后，我们在加密数据上实现了卷积神经网络，并测量了模型的性能。我们的实验结果验证了我们的方法与几个不同层数和结构的卷积神经网络的合理性。当应用于MNIST光学字符识别任务时，我们的方法达到了99.52%的准确率，这明显优于最先进的解决方案，并且非常接近最好的非私有版本的准确率，99.77%。此外，它每小时可以做出接近164000个预测。我们还将我们的方法应用于CIFAR-10，与MNIST相比，CIFAR-10要复杂得多，并且使用近似多项式作为激活函数能够达到91.5%的准确度。这些结果表明，CryptoDL提供了有效，准确和可扩展的隐私保护预测。
2017-11-14 cs.CR cs.LG
A Dual Convolutional Neural Network Pipeline for Melanoma Diagnostics and Prognostics
University of Stavanger（斯塔万格大学）；Stavanger University Hospital（斯塔万格大学医院）
针对黑色素瘤诊断耗时、需求增长的问题，提出由诊断、预后两个卷积神经网络组成的流水线，可定位全切片恶性斑块并给出良恶性诊断与预后评估，同分布测试下F1达0.79。
2023-12-14 cs.CV cs.LG eess.IV
Synthetic Trajectory Generation Through Convolutional Neural Networks
University of New South Wales（新南威尔士大学）；CSIRO’s Data61（澳大利亚联邦科学与工业研究组织数据61部）
针对轨迹数据发布的隐私与效用权衡，提出RTCT将轨迹转换为CNN可用格式，并结合DCGAN验证其生成合成轨迹的可行性与局限。
2024-07-24 cs.AI cs.CR cs.LG
Packing Sparse Convolutional Neural Networks for Efficient Systolic Array Implementations: Column Combining Under Joint Optimization
Harvard University（哈佛大学）
本文描述了一种新的方法，包装稀疏卷积神经网络的有效脉动阵列实现。通过组合与卷积层相关联的原始滤波器矩阵中的列的子集，我们实质上提高了脉动阵列的利用效率（例如，~4x），这是由于在所得到的压缩滤波器矩阵中非零的密度增加。在组合列中，对于每一行，除了具有最大幅度的一个滤波器权重之外的所有滤波器权重都被修剪。我们重新训练剩余的权重以保持高精度。我们证明，在减轻数据隐私问题的重新训练可以完成只有原始数据集的一部分（例如，CIFAR-10为10%）。我们研究了这种联合优化的有效性，高利用率和分类精度与ASIC和FPGA设计的基础上，有效的位串行实现乘法器，乘法器。我们提出了分析和经验证据，我们的列组合方法对现有技术的性能优越的指标，如能源效率（3倍）和推理延迟（12倍）。
2018-11-07 cs.AR cs.LG stat.ML
Knowledge Distillation for Variational Quantum Convolutional Neural Networks on Heterogeneous Data
College of Computer and Cyber Security, Fujian Normal University（福建师范大学计算机与网络安全学院）；Digital Fujian Internet-of-Things Laboratory of Environmental Monitoring, Fujian Normal University（福建师范大学环境监测数字福建物联网实验室）
本文针对异构数据下的分布式量子学习问题，提出一种基于量子门数量估计和粒子群优化的VQCNN知识蒸馏框架，通过软硬标签融合聚合全局模型，在保护隐私的同时实现接近集中式训练的准确率并降低资源消耗。
2025-09-20 cs.LG quant-ph
CryptoGCN: Fast and Scalable Homomorphically Encrypted Graph Convolutional Network Inference
Lehigh University（理海大学）；Microsoft（微软）；Florida International University（佛罗里达国际大学）
最近，基于云的图卷积网络（GCN）在许多隐私敏感的应用（如个人医疗保健和金融系统）中表现出巨大的成功和潜力。尽管其在云上具有很高的推理准确性和性能，但在GCN推理中维护数据隐私对这些实际应用至关重要，但在很大程度上尚未探索。在本文中，我们采取了初步的尝试，并开发了$\textit{CryptoGCN}$ -一个同态加密（HE）的GCN推理框架。我们的方法成功的关键是减少HE操作的巨大计算开销，这可能比明文空间中的对应操作高出几个数量级。为此，我们开发了一种方法，可以有效地利用GCN推理中矩阵运算的稀疏性，以显着降低计算开销。具体而言，我们提出了一种新的AMA数据格式化方法和相关的空间卷积方法，它可以利用复杂的图形结构，并在HE计算中执行高效的矩阵-矩阵乘法，从而大大减少HE操作。我们还开发了一个协同优化框架，可以探索的准确性，安全级别和计算开销之间的权衡，明智的修剪和多项式近似的激活模块的GCN。基于NTU-XVIEW骨骼关节数据集，即，就我们所知，同态评估的最大数据集，我们的实验结果表明，$\textit{CryptoGCN}$在等待时间和同态操作的数量方面优于现有技术的解决方案，即，在等待时间上实现多达3.10 $\times$的加速，并且将总同态操作计数减少77.4%，具有1-1.5 $\%$的小准确度损失。
2022-10-26 cs.AI cs.CR cs.LG
SecGNN: Privacy-Preserving Graph Neural Network Training and Inference as a Cloud Service
Harbin Institute of Technology（哈尔滨工业大学）；City University of Hong Kong（香港城市大学）
图被广泛用于对实体之间的复杂关系进行建模。图神经网络作为一种强大的图分析工具，由于其端到端的处理能力，近年来得到了广泛的关注。随着云计算的普及，将复杂且资源密集型的模型训练和推理服务部署在云中，因其显著的优势而越来越受欢迎。然而，GNN训练和推理服务如果部署在云中，将引发对信息丰富和专有图数据（以及由此产生的模型）的严重隐私问题。虽然已经有一些关于安全神经网络训练和推理的工作，但它们都专注于处理图像和文本的卷积神经网络，而不是具有丰富结构信息的复杂图形数据。在本文中，我们设计，实现和评估SecGNN，这是第一个在云中支持隐私保护GNN训练和推理服务的系统。SecGNN是基于对轻量级密码学和机器学习技术的见解的协同作用而构建的。我们深入研究了GNN的训练和推理过程，并设计了一系列相应的安全定制协议来支持整体计算。大量的实验表明，SecGNN实现了相当的明文训练和推理精度，具有良好的性能。
2023-01-31 cs.CR cs.LG
Energy-efficient and Privacy-aware Social Distance Monitoring with Low-resolution Infrared Sensors and Adaptive Inference
Politecnico di Torino（都灵理工大学）
结合机器学习（ML）的低分辨率红外（IR）传感器可用于在室内空间中实施隐私保护社交距离监控解决方案。然而，在物联网（IoT）边缘节点上执行这些应用程序的需求使得能耗变得至关重要。在这项工作中，我们提出了一个节能的自适应推理解决方案，包括一个简单的唤醒触发器和一个8位量化的卷积神经网络（CNN），这是只调用难以分类的帧的级联。在物联网微控制器上部署这样的自适应系统，我们表明，当处理8x8低分辨率红外传感器的输出时，我们能够将基于静态CNN的方法的能耗降低37-57%，精度下降不到2%（83%平衡精度）。
2022-04-22 cs.LG
PrivyNet: A Flexible Framework for Privacy-Preserving Deep Neural Network Training
University of Texas at Austin（德克萨斯大学奥斯汀分校）；Arm Inc.（Arm 公司）
海量数据存在于用户本地平台之间，由于计算和存储资源的限制，这些平台通常无法支持深度神经网络（DNN）训练。基于云的培训方案提供有益的服务，但由于过度收集用户数据而遭受潜在的隐私风险。为了实现基于云的DNN训练，同时保护数据隐私，我们建议利用数据的中间表示，这是通过拆分DNN并将其单独部署到本地平台和云上来实现的。局部神经网络（NN）用于生成特征表示。为了避免局部训练和保护数据隐私，局部NN来自预训练的NN。然后，基于所提取的目标学习任务的中间表示来训练云NN。我们验证DNN分裂的想法，通过表征的依赖性的隐私损失和分类精度的局部NN拓扑结构的卷积神经网络（CNN）为基础的图像分类任务。基于特征，我们进一步提出了PrivyNet来确定局部NN拓扑结构，该拓扑结构在隐私损失、局部计算和存储的约束下优化了目标学习任务的准确性。PrivyNet的效率和有效性与CIFAR-10数据集证明。
2018-01-12 cs.LG
Combined Learning of Neural Network Weights for Privacy in Collaborative Tasks
Universidade de São Paulo（圣保罗大学）
我们介绍了CoLN，组合学习的神经网络的权重，一种新的方法，安全地结合机器学习模型在敏感数据没有共享的数据。通过CoLN，本地主机使用相同的神经网络架构和基本参数来仅使用本地可用数据训练模型。然后，将本地训练的模型提交给组合代理，组合代理生成组合模型。新模型的参数可以发送回主机，然后可以用作新训练迭代的初始参数。CoLN能够组合几个相同种类的分布式神经网络，但不限于任何单个神经架构。在本文中，我们详细介绍了组合算法和目前的实验与前馈，卷积和循环神经网络架构，表明CoLN组合模型近似的性能，一个假设的理想集中式模型，训练使用的组合的本地数据集。CoLN可以有助于安全的合作研究，如医疗领域所需，其中隐私问题排除了数据共享，但本地数据的局限性需要从更大的数据集获得信息。
2022-04-30 cs.AI cs.CR cs.LG
Fidel: Reconstructing Private Training Samples from Weight Updates in Federated Learning
Delft University of Technology（代尔夫特理工大学）
随着智能手机等数据收集器的数量不断增加，可获得大量数据。联邦学习的开发是为了允许大规模的分布式学习，同时仍然保护每个用户的隐私。这种隐私是由这样的概念所主张的，即集中式服务器不能访问客户端的数据，只能访问客户端的模型更新。在本文中，我们评估了常规联邦学习中的一种新型攻击方法，我们将其命名为第一密集层攻击（Fidel）。使用这种攻击的方法进行了讨论，并作为可行性的证明，我们展示了这种攻击方法可以用于密集连接的网络和卷积神经网络的巨大影响。我们评估了一些关键的设计决策，并表明ReLu和Dropout的使用对客户端本地数据集的隐私是有害的。我们展示了如何从客户端的模型更新中恢复平均20个私有数据样本，采用完全连接的神经网络，只需很少的计算资源。同样，我们表明，超过十三个二十个样本可以恢复从卷积神经网络更新。此攻击的开放源代码实现可以在https://github.com/Davidenthoven/Fidel-Reconstruction-Demo上找到
2022-04-08 cs.LG
