AlignDP: Hybrid Differential Privacy with Rarity-Aware Protection for LLMs
Microsoft(微软)
AlignDP通过混合差分隐私与稀有性感知保护,有效阻止大语言模型的知识转移,通过PAC和RAPPOR技术实现稀有和非稀有字段的隐私保护。
2025-12-19 cs.AI cs.CR cs.LG
Effective and Efficient Cross-City Traffic Knowledge Transfer: A Privacy-Preserving Perspective
Zhejiang University(浙江大学)
本文提出FedTT框架,通过隐私保护和高效联邦学习方法解决跨城市交通知识迁移中的隐私泄露、数据分布差异和低数据质量问题。
2026-02-01 cs.CR cs.LG
Federated Transfer Learning with Differential Privacy
School of Mathematics, University of Birmingham(伯明翰大学数学学院);Department of Statistics, Columbia University(哥伦比亚大学统计系);Department of Biostatistics, School of Global Public Health, New York University(纽约大学全球公共卫生学院生物统计系);Department of Statistics, University of Warwick(华威大学统计系)
本文提出联邦差分隐私框架,解决分布式数据异质性和隐私保护问题,通过多源数据信息提升目标数据集学习效果,分析隐私模型的统计问题及最小最大率。
2026-04-06 cs.CR cs.LG math.ST
Sensitivity analysis in differentially private machine learning using hybrid automatic differentiation
Technical University of Munich(慕尼黑工业大学);OpenMined;Imperial College London(帝国理工学院)
近年来,出现了能够部署到数据驱动任务(如机器学习(ML))的隐私保护的正式方法,如差分隐私(DP)。要用个体隐私损失的原则性分析所需的封闭式推理来验证大规模ML,需要引入新的工具来进行自动敏感性分析,并通过计算流程跟踪个人数据及其特征。为此,我们引入了一种新的\textit{hybrid}自动微分(AD)系统,它结合了反向模式AD的效率,能够获得一个封闭形式的表达式中的任何给定的数量的计算图。这使得能够对任意可微函数组合的敏感性进行建模,例如在私有数据上训练神经网络。我们通过分析统计数据库查询的个人DP保证来证明我们的方法。此外,我们调查我们的技术的应用程序的DP神经网络的训练。我们的方法可以使原则推理的隐私损失的数据处理的设置,并进一步发展的自动敏感性分析和隐私预算系统。
2021-08-17 cs.CR cs.LG cs.SC
FedDCL: a federated data collaboration learning as a hybrid-type privacy-preserving framework based on federated learning and data collaboration
University of Tsukuba(筑波大学)
FedDCL将联邦学习与数据协作分析结合,通过机构内构建降维中间表示并在组内DC服务器间进行联邦学习,解决了联邦学习在难以持续对外通信环境中的实施难题,且性能与现有联邦学习相当。
2024-09-27 cs.CR cs.LG
A Hybrid Approach to Privacy-Preserving Federated Learning
Georgia Institute of Technology(佐治亚理工学院);IBM Research Almaden(IBM阿尔马登研究中心)
联邦学习促进了模型的协作训练,而无需共享原始数据。然而,最近的攻击表明,在训练过程中简单地维护数据局部性并不能提供足够的隐私保证。相反,我们需要一个联邦学习系统,能够防止对训练期间交换的消息和最终训练模型的推断,同时确保最终模型也具有可接受的预测准确性。现有的联邦学习方法要么使用易受推断影响的安全多方计算(SMC),要么使用差分隐私,这可能导致低准确性,因为大量的参与方各自具有相对少量的数据。在本文中,我们提出了一种替代方法,利用差分隐私和SMC来平衡这些权衡。将差分隐私与安全多方计算相结合,使我们能够在不牺牲隐私的情况下减少噪声注入的增长,同时保持预定义的信任率。因此,我们的系统是一种可扩展的方法,可以防止推理威胁,并生成高精度的模型。此外,我们的系统可以用于训练各种机器学习模型,我们验证了3种不同的机器学习算法的实验结果。我们的实验表明,我们的方法优于最先进的解决方案。
2019-08-14 cs.LG stat.ML
A Privacy-Preserving Hybrid Federated Learning Framework for Financial Crime Detection
Michigan State University(密歇根州立大学);University of Calgary(卡尔加里大学);Coinbase Global, Inc.(Coinbase全球公司)
针对跨机构金融犯罪检测中的数据隐私与分布式样本、特征协作难题,提出兼具安全学习推理与抗攻击能力的混合联邦学习框架,并通过实验验证其检测及隐私保护性能。
2023-04-18 cs.LG
Differential Private Knowledge Transfer for Privacy-Preserving Cross-Domain Recommendation
Zhejiang University(浙江大学);Ant Group(蚂蚁集团);Sony AI(索尼人工智能);JZTData Technology(捷智数科技术)
跨域推荐(CDR)是目前推荐系统中普遍存在的冷启动和数据稀疏性问题。CDR模型可以通过利用其他源域的数据来提高目标域的推荐性能。然而,大多数现有的CDR模型假设信息可以直接“跨桥传输”,忽略了隐私问题。为了解决CDR中的隐私问题,本文提出了一种新的基于两阶段的隐私保护CDR框架(PriCDR)。在第一阶段,我们提出了两种方法,即,基于Johnson-Lindenstrauss变换(JLT)和基于稀疏感知JLT(SJLT),使用差分隐私发布源域的评级矩阵。我们从理论上分析了我们提出的基于差分隐私的评级发布方法的隐私性和实用性。在第二阶段,我们提出了一种新的异构CDR模型(HeteroCDR),该模型使用深度自动编码器和深度神经网络分别对发布的源评级矩阵和目标评级矩阵进行建模。为此,PriCDR不仅可以保护源域的数据隐私,还可以缓解源域的数据稀疏性。我们在两个基准数据集上进行了实验,结果证明了我们提出的PriCDR和HeteroCDR的有效性。
2022-02-10 cs.LG
AdeptHEQ-FL: Adaptive Homomorphic Encryption for Federated Learning of Hybrid Classical-Quantum Models with Dynamic Layer Sparing
University of Southern California(南加州大学);Islamic University of Technology(伊斯兰科技大学);American International University-Bangladesh(孟加拉国美国国际大学);Multimedia University(多媒体大学)
本文提出AdeptHEQ-FL框架,结合混合CNN-PQC架构、自适应准确度加权聚合方案、选择性同态加密和动态层冻结技术,提升联邦学习在非独立同分布环境下的性能、隐私保护与通信效率。
2025-07-09 cs.CR cs.LG
Federating Quantum and Classical Computing: A Privacy-Preserving Hybrid Approach
本研究提出用联邦学习结合盲垂直联邦学习协议,实现隐私保护的量子-经典混合模型协作,在SMPP基准上显著提升准确率并减少通信与参数。
2026-09-23 cs.AI cs.DC cs.LG
NoEsis: Differentially Private Knowledge Transfer in Modular LLM Adaptation
Brave Research(Brave研究)
NoEsis框架结合差分隐私与混合两阶段参数高效微调,在模块化LLM适配中实现可证明隐私保证与跨域知识迁移,并在CodeXGLUE上弥补至少77%的准确率差距。
2025-04-25 cs.CR cs.LG
ConvXformer: Differentially Private Hybrid ConvNeXt-Transformer for Inertial Navigation
School of Computing, Korea Advanced Institute of Science and Technology(韩国科学技术院计算机科学学院);School of Information Technology, Deakin University(德金大学信息科技学院);Department of Computer Science and Technology, University of Cambridge(剑桥大学计算机科学与技术系)
针对现有差分隐私方案在惯性导航任务中性能损失大的问题,提出融合ConvNeXt与Transformer的混合架构ConvXformer,结合自适应梯度裁剪等高效差分隐私机制,在保障隐私的同时实现定位精度超40%的提升,且在强磁干扰场景下具备鲁棒性。
2025-10-22 cs.CR cs.LG cs.RO
DP-MemArc: Differential Privacy Transfer Learning for Memory Efficient Language Models
Zhejiang University(浙江大学);Southeast University(东南大学);Harvard University(哈佛大学);University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Massachusetts Institute of Technology(麻省理工学院);Renmin University of China(中国人民大学);The University of Tokyo(东京大学);Tongji University(同济大学)
本文提出 DP-MemArc 训练框架,通过侧网络或可逆网络支持多种差分隐私内存高效微调,在保障用户数据隐私的同时实现约 2.5 倍内存优化。
2025-02-20 cs.AI cs.CL cs.CR
ZK-HybridFL: Zero-Knowledge Proof-Enhanced Hybrid Ledger for Federated Learning
Electrical Engineering Department, Columbia University(哥伦比亚大学电气工程系)
ZK-HybridFL通过整合DAG账本、侧链和零知识证明,实现隐私保护的分布式联邦学习,提升模型训练效率和安全性。
2026-01-29 cs.CR cs.DC cs.LG
FedBlockHealth: A Synergistic Approach to Privacy and Security in IoT-Enabled Healthcare through Federated Learning and Blockchain
University of Technology Sydney(悉尼科技大学);University of Haripur(哈里普尔大学);Thapar University Patiala(帕蒂亚拉塔帕尔大学);Abdul Wali Khan University(阿卜杜勒·瓦利·汗大学)
本文提出FedBlockHealth框架,融合联邦学习与区块链,通过公钥密码保障本地模型更新安全,在EMNIST数据集上验证了物联网医疗场景下的隐私保护、安全性与计算效率。
2023-04-16 cs.AI cs.CR cs.LG
Hybrid Differentially Private Federated Learning on Vertically Partitioned Data
Tencent Inc.(腾讯公司)
我们提出了HDP-VFL,第一个混合差分私有(DP)框架垂直联邦学习(VFL),以证明它是可能的,共同学习广义线性模型(GLM)从垂直分区的数据,只有一个可以忽略不计的成本,w.r.t.训练时间、准确性等,与理想化的非私有VFL相比。我们的工作建立在不同组织之间基于VFL的协作训练的最新进展之上,这些组织依赖于同态加密(HE)和安全多方计算(MPC)等协议来确保计算和训练的安全。特别是,分析了VFL的中间结果(IR)在通信过程中如何泄漏训练数据的隐私信息,并设计了一种基于DP的隐私保护算法来保证VFL参与者的数据机密性。我们从数学上证明了我们的算法不仅为VFL提供了效用保证,而且还提供了多层次的隐私,即DP w.r.t. IR和联合差分隐私(JDP)w.r.t.模型权重实验结果表明,我们的工作,在足够的隐私预算,是定量和定性类似的GLM,学习在理想化的非私人VFL设置,而不是增加成本的内存和处理时间在大多数以前的作品的基础上HE或MPC。如果这篇论文被接受,我们的代码将被发布。
2020-09-06 cs.AI cs.LG stat.ML
Fedlearn-Algo: A flexible open-source privacy-preserving machine learning platform
JD Finance America Corporation(京东金融美国公司)
在本文中,我们提出了Fedlearn-Algo,一个开源的隐私保护机器学习平台。我们使用这个平台来展示我们在隐私保护机器学习算法方面的研究和开发成果。作为第一批新的FL算法实例,我们发布了垂直联邦核二进制分类模型和垂直联邦随机森林模型。在我们的实践中,它们已经被测试为比现有的垂直联邦学习模型更有效。除了新颖的FL算法示例外,我们还发布了机器通信模块。统一的数据传输接口支持在机器之间传输广泛使用的数据格式。我们将通过添加更多的功能模块和算法示例来维护这个平台。该代码可在https://github.com/fedlearnAI/fedlearn-algo上获得。
2021-07-30 cs.CR cs.DC cs.LG
A unified view on differential privacy and robustness to adversarial examples
Université Paris-Dauphine, PSL Research University(巴黎第九大学,PSL研究大学);Institut LIST, CEA(法国原子能与替代能源委员会LIST研究所);Université Paris-Saclay(巴黎萨克雷大学)
这篇简短的笔记强调了可信机器学习这一新兴主题中两条研究路线之间的一些联系:差分隐私和对抗性示例的鲁棒性。通过抽象这两个概念的定义,我们表明,它们建立在相同的理论基础上,因此迄今为止在一个域中获得的结果可以转移到其他。更确切地说,我们的分析是基于两个关键要素:概率映射(也称为随机算法在差分隐私社区),和Renyi分歧,其中包括一个大家庭的分歧。我们首先将对抗性示例的鲁棒性定义推广到包含概率映射。然后,我们观察到Renyi-差分隐私(差分隐私的一个推广,最近在~ \cite{Mironov2017RenyiDP}中提出)和我们的鲁棒性定义有一些相似之处。最后,我们将讨论如何从这种联系中受益,将技术工具从一个研究领域转移到另一个领域。
2019-06-19 cs.CR cs.LG stat.ML
HybridVFL: Disentangled Feature Learning for Edge-Enabled Vertical Federated Multimodal Classification
University of Hull(赫尔大学)
HybridVFL通过客户端特征解耦与服务器跨模态Transformer融合,提升边缘计算中多模态分类的隐私保护性能。
2025-12-11 cs.LG
Preserving privacy in domain transfer of medical AI models comes at no performance costs: The integral role of differential privacy
University Hospital RWTH Aachen(亚琛工业大学医院);RWTH Aachen University(亚琛工业大学);Technical University of Munich(慕尼黑工业大学);Helmholtz-Zentrum Munich(慕尼黑亥姆霍兹中心)
本文利用五家机构逾59万张胸片证明,在医疗AI模型领域迁移中采用差分隐私,即使 epsilon 约为1,也能在域外诊断中保持与非DP模型相当的准确性和公平性。
2023-12-07 cs.AI cs.CR cs.LG
On Optimal Hyperparameters for Differentially Private Deep Transfer Learning
Department of Computer Science, University of Helsinki(赫尔辛基大学计算机科学系)
本文研究差分隐私迁移学习中剪裁界C和批量大小B的最优选择,揭示理论与实证结果的不匹配,并分析累积差分隐私噪声对批量大小的影响。
2026-04-17 cs.LG
Decision Making in Changing Environments: Robustness, Query-Based Learning, and Differential Privacy
研究时变环境下的交互式决策问题,提出hybrid DMSO框架以统一分析LDP决策、SQ学习及鲁棒决策,并基于DEC变体推导界,揭示其与SQ维度等概念的关联,应用于上下文赌博机。
2025-01-24 cs.AI cs.IT cs.LG
Collaborative Synthetic Data Generation for Knowledge Transfer in Federated Learning
Fraunhofer Heinrich Hertz Institute(弗劳恩霍夫海因里希·赫茨研究所);BIFOLD Technical University Berlin(BIFOLD技术大学柏林)
研究一次性联邦学习通信开销问题,提出FedKT-CSD框架,利用预训练自动编码器作共享潜在空间,客户端编码传输数据统计量,服务器解码合成数据集训练模型,兼顾隐私保证,在多场景下表现良好。
2026-07-09 cs.AI cs.LG
Hybrid quantum image classification and federated learning for hepatic steatosis diagnosis
Terra Quantum AG(泰拉量子公司);Azienda Sanitaria Universitaria Giuliana Isontina(的里雅斯特大学综合卫生局);University of Trieste(的里雅斯特大学)
本文提出一种混合量子神经网络结合联邦学习的方法,用于肝脂肪变性诊断,在保护隐私的同时实现97%的分类准确率,超越传统方法1.8%。
2024-03-28 cs.CV cs.LG quant-ph
Secure and Fast Asynchronous Vertical Federated Learning via Cascaded Hybrid Optimization
Mohamed Bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学);Western University(韦仕敦大学);Xidian University(西安电子科技大学)
针对零阶优化纵向联邦学习收敛慢的问题,提出级联混合优化方法,客户端用零阶优化保护隐私,服务器用一阶优化加速收敛,理论证明其收敛不受服务器模型大小限制,实验表明该方法收敛更快且保持同等隐私保护。
2023-06-29 cs.AI cs.DC cs.LG
Adaptive Hybrid Masking Strategy for Privacy-Preserving Face Recognition Against Model Inversion Attack
Ant Group(蚂蚁集团);University of Canterbury(坎特伯雷大学);CAICT(中国信息通信研究院)
本文提出一种基于强化学习的自适应混合掩码算法,在频域对人脸图像进行掩码处理,以抵御模型反演攻击,在隐私保护与识别准确率间取得更优平衡。
2024-04-23 cs.CR cs.CV cs.LG
Privacy-Preserving Hybrid Ensemble Model for Network Anomaly Detection: Balancing Security and Data Protection
Stevens Institute of Technology(史蒂文斯理工学院);UCLA(加利福尼亚大学洛杉矶分校);Virginia Tech(弗吉尼亚理工大学);University of Southern California(南加利福尼亚大学)
本文提出融合 KNN、SVM、XGBoost 与 ANN 的隐私保护混合集成模型,并结合先进预处理应对小样本和数据不平衡,以兼顾网络异常检测性能与数据隐私。
2025-02-13 cs.LG
GuardML: Efficient Privacy-Preserving Machine Learning Services Through Hybrid Homomorphic Encryption
Tampere University(坦佩雷大学)
本研究提出面向终端设备的GuardML隐私保护机器学习方案,基于混合同态加密实现加密数据的安全分类,在心脏病ECG分类任务中准确率下降极小,且通信与计算成本低,为终端设备隐私保护ML提供了可行路径。
2024-01-26 cs.CR cs.LG
Hybrid Federated and Split Learning for Privacy Preserving Clinical Prediction and Treatment Optimization
Dept. of Information Technology, Washington University of Science and Technology(信息科技系,华盛顿科学大学)
本文提出混合联邦与分割学习方法,通过保留客户端特征提取和服务器预测头部,实现隐私保护下的临床预测与治疗优化,兼顾隐私与效用的平衡。
2026-02-17 cs.AI cs.LG
Cross-reality location privacy protection in 6G-enabled vehicular metaverses: an LLM-enhanced hybrid generative diffusion model-based approach
School of Automation, Guangdong University of Technology(自动化学院,广东技术大学);School of Computer Science and Engineering, Nanyang Technological University(计算机科学与工程学院,南洋理工大学);Department of Electrical and Computer Engineering, University of Manitoba(电气与计算机工程系,曼尼托巴大学);Department of Electrical and Computer Engineering, Sungkyunkwan University(电气与计算机工程系,成均馆大学)
本文提出了一种基于LLM增强混合生成扩散模型的方法,用于6G赋能车联网元宇宙中的跨现实位置隐私保护,通过混合动作优化平衡隐私保护、延迟降低和服务质量维护。
2026-07-27 cs.CR cs.HC cs.LG
PAT: Privacy-Preserving Adversarial Transfer for Accurate, Robust and Privacy-Preserving EEG Decoding
Hubei Key Laboratory of Brain-inspired Intelligent Systems, School of Artificial Intelligence and Automation, Huazhong University of Science and Technology(华中科技大学人工智能与自动化学院脑启发智能系统湖北省重点实验室);Shenzhen Huazhong University of Science and Technology Research Institute(深圳华中科技大学研究院);Zhongguancun Academy(中关村学院)
本文提出PAT框架,结合数据对齐、对抗训练和隐私保护迁移,提升EEG解码的准确性、鲁棒性和隐私保护,实验表明其在多个数据集上优于现有方法。
2026-04-11 cs.HC cs.LG eess.SP
Detecting Privacy Requirements from User Stories with NLP Transfer Learning Models
University of Salerno(萨勒诺大学)
为了提供隐私感知的软件系统,从开发的一开始就考虑隐私是至关重要的。然而,开发人员不具备将数据保护的法律和社会要求嵌入软件系统所需的专业知识和知识。目的:我们提出了一种方法,以减少敏捷软件开发过程中的隐私风险,通过自动检测隐私相关的信息,在用户故事的要求,敏捷需求工程(RE)中的一个突出的符号。研究方法:所提出的方法将自然语言处理(NLP)和语言资源与深度学习算法相结合,以将隐私方面识别到用户故事中。NLP技术用于提取关于文本的语义和句法结构的信息。然后,这些信息由预先训练的卷积神经网络处理,这为迁移学习技术的实现铺平了道路。我们通过对1680个用户故事的数据集进行实证研究来评估所提出的方法。结果如下:实验结果表明,深度学习算法可以获得比传统(浅)机器学习方法更好的预测。此外,迁移学习的应用允许相当大地提高预测的准确性。百分之十结论:我们的研究有助于鼓励软件工程研究人员考虑在设计的早期阶段自动化隐私检测的机会,也利用迁移学习模型。
2022-02-02 cs.CR cs.LG cs.SE
Transferable Embedding Inversion Attack: Uncovering Privacy Risks in Text Embeddings without Model Queries
National Taiwan University(台湾大学)
本研究针对攻击者无法访问原始嵌入模型的现实场景,提出基于代理模型的可迁移嵌入反演攻击,在多模型与临床数据集上验证其性能优于传统方法,揭示文本嵌入的隐私漏洞并呼吁加强安全防护。
2024-06-12 cs.CL cs.CR cs.LG
ObCLIP: Oblivious CLoud-Device Hybrid Image Generation with Privacy Preservation
TikTok Inc.(TikTok公司);National University of Singapore(新加坡国立大学)
针对扩散模型云侧推理的提示词隐私泄露问题,提出即插即用的ObCLIP云-端混合生成框架,通过候选提示词混淆、分步去噪及缓存加速实现严格隐私保障与接近云端的生成效用。
2025-10-05 cs.CR cs.LG
HETAL: Efficient Privacy-preserving Transfer Learning with Homomorphic Encryption
University of California, Berkeley(加州大学伯克利分校);CryptoLab Inc.(CryptoLab公司);Inha University(仁荷大学)
本研究针对迁移学习在机器学习即服务场景下的隐私保护问题,提出基于CKKS同态加密的HETAL算法,实现了与非加密训练精度相当的加密训练,训练效率大幅提升。
2024-03-21 cs.CR cs.LG
SSP-Bench: A Hybrid Data Generation Framework for Safety, Security, and Privacy Evaluation
Qatar Computing Research Institute (QCRI)(卡塔尔计算研究所(QCRI));HBKU(哈马德·本·哈利法大学)
针对静态基准的缺陷,提出动态框架SSP-Bench,通过多目标优化生成评估实例,在24个模型上揭示静态评估的系统性失败,推动部署相关评估。
2026-09-29 cs.CR cs.LG cs.SE
Membership Privacy for Machine Learning Models Through Knowledge Transfer
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
大容量的机器学习(ML)模型容易受到成员推断攻击(MIA)的攻击,MIA的目的是推断目标样本是否是目标模型的训练数据集的成员。由于成员推断引起的严重隐私问题已经激发了针对MIA的多种防御,例如,差分隐私和对抗正则化。不幸的是,这些防御产生的ML模型具有不可接受的低分类性能。我们的工作提出了一种新的防御,称为蒸馏会员隐私(蒸馏),对MIA,保留了所产生的模型的效用显着优于以前的防御。EML利用知识蒸馏来训练具有成员隐私的ML模型。我们提供了一个新的标准来调整用于知识转移的数据,以放大的会员隐私的研究。我们广泛的评估表明,与最先进的MIA防御相比,MIA在成员隐私和分类准确性之间提供了更好的权衡。例如,在CIFAR100上训练的DenseNet的对抗正则化的准确率提高了100%,对于类似的成员隐私(使用MIA风险测量):当MIA风险为53.7%时,对抗正则化的DenseNet的准确率为33.6%,而DMP训练的DenseNet的准确率为65.3%。
2020-12-31 cs.LG stat.ML
Privacy Analysis of Deep Learning in the Wild: Membership Inference Attacks against Transfer Learning
CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心)
虽然机器学习(ML)模型被部署在许多关键应用程序中作为核心组件,但它容易受到各种安全和隐私攻击。该领域中的一个主要隐私攻击是成员推断,其中攻击者旨在确定目标数据样本是否是目标ML模型训练集的一部分。到目前为止,大多数当前的成员推断攻击都是针对从头开始训练的ML模型进行评估的。然而,现实世界的ML模型通常是按照迁移学习范式训练的,其中模型所有者采用从不同数据集(即教师模型)学习的预训练模型,并通过使用自己的数据微调教师模型来训练自己的学生模型。在本文中,我们进行了第一次系统的评估成员推断攻击迁移学习模型。我们采用阴影模型训练的策略来获得训练我们的隶属推理分类器的数据。在四个真实图像数据集上的实验表明,隶属度推理可以达到有效的性能。例如,在从ResNet20(用Caltech 101预训练)转移的CIFAR 100分类器上,我们的成员推理实现了$95\%$攻击AUC。此外,我们表明,隶属推理仍然是有效的目标模型的架构是未知的。我们的研究结果揭示了在实践中源于机器学习模型的成员风险的严重性。
2020-09-10 cs.CR cs.LG stat.ML
PrivNet: Safeguarding Private Attributes in Transfer Learning for Recommendation
HKUST(香港科技大学)
迁移学习是利用源领域知识改进目标推荐系统的一种有效方法。现有的研究主要关注目标域的推荐性能,而忽略了源域的隐私泄露问题。然而,转移的知识可能会无意中泄露源域的私有信息。例如,攻击者可以从源域数据所有者提供的用户历史购买中准确地推断出用户人口统计信息。本文通过学习一种隐私感知神经表示,在保护源隐私的同时提高目标性能,解决了上述隐私保护问题。其核心思想是在训练过程中模拟攻击,以保护未来未见过用户的隐私,通过对抗游戏建模,使迁移学习模型对攻击具有鲁棒性。实验结果表明,该模型能够有效地分离出有利于知识传输的知识和泄露的隐私。
2020-10-16 cs.AI cs.CL cs.IR
Feature-based Federated Transfer Learning: Communication Efficiency, Robustness and Privacy
Syracuse University(雪城大学)
该研究提出基于特征的联邦迁移学习方法,通过上传特征与输出替代参数更新大幅降低上行负载,同时分析其鲁棒性与隐私问题,并经多任务实验验证有效性。
2024-05-15 cs.LG cs.MA
Private Knowledge Transfer via Model Distillation with Generative Adversarial Networks
Zhejiang University(浙江大学)
深度学习应用的部署必须解决在使用私人和敏感数据进行训练时日益增长的隐私问题。传统的深度学习模型容易受到隐私攻击,隐私攻击可以从模型参数或对目标模型的访问中恢复个体的敏感信息。最近,已经提出了提供可证明的隐私保证的差分隐私来以隐私保护的方式训练训练神经网络以保护训练数据。然而,许多方法倾向于为模型发布提供最坏情况的隐私保证,不可避免地损害了训练模型的准确性。在本文中,我们提出了一种新的私人知识转移策略,私人教师接受敏感数据的培训是不可公开访问的,但教学生公开发布。特别是,一个三人(教师-学生-学习者)的学习框架,提出了实现效用和隐私之间的权衡,学生从教师那里获得的蒸馏知识,并与学习者训练,以产生类似的输出作为教师。然后,我们将差分隐私保护机制集成到学习过程中,这使得严格的隐私预算的培训。该框架最终允许学生仅使用未标记的公共数据和很少的时期进行训练,从而防止敏感的训练数据的暴露,同时确保模型实用性与适度的隐私预算。在MNIST、SVHN和CIFAR-10数据集上的实验表明,在隐私边界为(1.93,10^-5)、(5.02,10^-6)、(8.81,10^-6)的情况下,我们的学生获得了相对于教师的0.89%、2.29%、5.16%的准确率损失。当与现有的作品\cite{papernot2016semi,wang2019private}相比,所提出的工作可以实现5-82%的精度损失的改善…
2020-04-05 cs.CR cs.LG stat.ML
Efficient and Privacy-Preserving Soft Prompt Transfer for LLMs
CISPA Helmholtz Center for Information Security(信息安全研究中心);Google DeepMind(谷歌DeepMind)
针对软提示调优的高计算成本与隐私泄露问题,提出POST框架,通过知识蒸馏在小模型上私有调优软提示并迁移至大模型,兼顾效率、隐私与效用。
2025-06-19 cs.LG
Communication-Efficient and Privacy-Preserving Feature-based Federated Transfer Learning
Syracuse University(雪城大学)
联邦学习由于其保护了客户的隐私而引起了越来越多的关注。联邦迁移学习作为联邦学习的一种变体,利用了来自相似任务的知识,因此也得到了深入的研究。然而,由于有限的无线电频谱,通过无线链路的联邦学习的通信效率是至关重要的,因为一些任务可能需要数千TB的上行链路有效载荷。为了提高通信效率,我们在本文中提出了基于特征的联邦迁移学习作为一种创新的方法,以减少超过五个数量级的上行链路的有效载荷相比,现有的方法。我们首先介绍的系统设计中,提取的功能和输出被上传,而不是参数更新,然后确定所需的有效载荷与这种方法,并提供与现有的方法进行比较。随后,我们分析了随机洗牌方案,保护客户端的隐私。最后,我们通过一个图像分类任务的实验来评估所提出的学习方案的性能,以显示其有效性。
2022-09-12 cs.LG
Readout-Side Bypass for Residual Hybrid Quantum-Classical Models
Department of Engineering Management and Systems Engineering, George Washington University, USA(工程管理与系统工程系,乔治华盛顿大学);Department of Computer Science, University of Warwick, UK(计算机科学系,沃林汉姆大学);Department Computer Science, Kent State University, USA(计算机科学系,肯特州立大学);Department of Computer Science, Information, and Engineering Technology, Youngstown State University, USA(计算机科学、信息与工程技术系,扬斯敦州立大学)
本文提出了一种残差混合架构,通过连接量子特征与原始输入,绕过量子-经典读取瓶颈,提升模型准确率并增强隐私保护。
2026-01-29 cs.CR cs.DC cs.LG
A Multi-input Multi-output Transformer-based Hybrid Neural Network for Multi-class Privacy Disclosure Detection
Boise State University(博伊西州立大学)
由于通信平台、社交网站的大量增加,以及更多用户参与在线公共话语,对用户数据隐私的关注已上升到最高水平。越来越多的人通过电子邮件、短信和社交媒体交换私人信息,却没有意识到其中的风险和影响。自然语言处理(NLP)领域的研究人员一直致力于创建工具和策略来识别、分类和净化文本数据中的私有信息,因为大量的数据是以文本形式交换的。然而,大多数检测方法仅仅依赖于文本中预先识别的关键字的存在,而忽略了在特定上下文中对话语的潜在含义的推断。因此,在某些情况下,这些工具和算法无法检测到披露,或者产生的结果被错误分类。在本文中,我们提出了一个多输入,多输出的混合神经网络,利用迁移学习,语言学,和元数据来学习隐藏的模式。我们的目标是更好地分类披露/不披露内容的情况下的背景。我们在人工注释的地面实况数据集上训练和评估了我们的模型,该数据集总共包含5,400条推文。结果表明,该模型能够通过两个单独的任务联合学习,以77.4%的准确率识别通过推文的隐私泄露,同时以99%的准确率对这些推文的信息类型进行分类。
2021-08-20 cs.LG
Privacy-preserving Transfer Learning via Secure Maximum Mean Discrepancy
Tongji University(同济大学);Alibaba Group(阿里巴巴集团)
机器学习算法的成功通常依赖于大量高质量的数据来训练性能良好的模型。然而,数据是一种宝贵的资源,在现实中总是由不同的方持有。对于这种数据隔离问题的有效解决方案是采用联邦学习,它允许多方协作训练模型。在本文中,我们提出了一个安全版本的广泛使用的最大均值离散(SMMD)的基础上同态加密,使有效的知识转移下的数据联邦设置不损害数据的隐私。该算法能够有效避免迁移学习在调整源数据和目标数据分布时可能出现的信息泄漏。因此,源域和目标域都可以充分利用它们的数据来构建更具可伸缩性的模型。实验结果表明,我们提出的SMMD是安全和有效的。
2020-10-03 cs.LG stat.ML
Differentially Private Meta-Learning
Carnegie Mellon University(卡内基梅隆大学);Determined AI(Determined AI公司);Carnegie Mellon University & Determined AI(卡内基梅隆大学与Determined AI公司(联合))
参数转移是元学习的一种众所周知的通用方法,其应用包括少样本学习,联邦学习和强化学习。然而,参数传递算法通常需要共享已经在特定任务的样本上训练过的模型,从而使任务所有者容易受到隐私侵犯。我们进行了第一次正式的隐私研究,在这种情况下,正式的概念,任务全局差分隐私作为一个更普遍的研究威胁模型的实际放松。然后,我们提出了一个新的差分隐私算法的基于梯度的参数传输,不仅满足这一隐私要求,但也保留了可证明的迁移学习保证凸设置。从经验上讲,我们将我们的分析应用于个性化和Few-Shot分类的联邦学习问题,表明允许从更常见的本地隐私概念放松到任务全局隐私,会导致递归神经语言建模和图像分类的性能显着提高。
2020-02-21 cs.AI cs.CR cs.LG
A Hybrid Deep Learning Architecture for Privacy-Preserving Mobile Analytics
Sharif University of Technology(谢里夫理工大学);Queen Mary University of London(伦敦玛丽女王大学);Idiap Research Institute(Idiap 研究院);Ecole Polytechnique Federale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL));Imperial College London(伦敦帝国理工学院);Samsung AI Center(三星人工智能中心);University of Oxford(牛津大学)
物联网(IoT)设备和应用正在我们的家庭和工作场所部署。这些设备通常依赖于连续的数据汇集来为机器学习模型提供数据。然而,这种方法引入了几个隐私和效率挑战,因为服务运营商可以对可用数据执行不必要的推断。最近,边缘处理的进步为更高效、更私密的数据处理铺平了道路,这些数据处理可以用于简单的任务和更轻的模型,尽管对于更大、更复杂的模型来说,它们仍然是一个挑战。在本文中,我们提出了一种混合方法,用于分解大型复杂的深度神经网络,以进行合作,隐私保护分析。为此,我们让物联网设备运行神经网络的初始层,然后将输出发送到云,以馈送剩余层并产生最终结果,而不是在云上执行整个操作。为了确保用户的设备不包含除了主要任务所需的信息之外的额外信息,并防止对数据的任何二次推断,我们引入了Siamese微调。我们根据暴露给云服务的信息评估这种方法的隐私优势。我们还评估了现代手机上不同层的本地推理成本。我们的评估表明,通过使用Siamese微调,并在一个小的处理成本,我们可以大大减少不必要的,潜在的敏感信息的个人数据的水平,从而实现所需的效用,隐私和性能之间的权衡。
2019-12-27 cs.CV cs.LG
A Comprehensive Analysis of Information Leakage in Deep Transfer Learning
Alibaba Group(阿里巴巴集团)
迁移学习被广泛用于将知识从源域迁移到标记数据稀缺的目标域。最近,深度迁移学习在各种应用中取得了显著的进展。然而,在许多现实场景中,源数据集和目标数据集通常属于两个不同的组织,在深度迁移学习中存在潜在的隐私问题。在这项研究中,为了彻底分析深度迁移学习中潜在的隐私泄露,我们首先将以前的方法分为三类。在此基础上,我们展示了导致每个类别中无意隐私泄露的具体威胁。此外,我们还提供了一些解决方案来防止这些威胁。据我们所知,我们的研究是第一个对深度迁移学习方法中的信息泄漏问题进行彻底分析并提供潜在解决方案的研究。在两个公共数据集和一个行业数据集上进行了大量的实验,以显示不同深度迁移学习设置下的隐私泄漏和防御解决方案的有效性。
2020-09-04 cs.CL cs.LG
A Privacy-Preserving Federated Framework with Hybrid Quantum-Enhanced Learning for Financial Fraud Detection
University of Melbourne(墨尔本大学);Trinity College Dublin(都柏林三一学院);Indian Institute of Technology(印度理工学院);Birla Institute of Technology and Science Pilani(比拉理工学院和科学学院);South Asian University(南亚大学);New York University Abu Dhabi (NYUAD)(纽约大学阿布扎克分校);NYUAD Research Institute(NYUAD研究机构)
本文提出一种结合量子增强LSTM与隐私保护技术的联邦学习框架,用于提升金融欺诈检测的准确性和数据安全性。
2025-07-15 cs.AI cs.LG q-fin.CP
Hybrid Data can Enhance the Utility of Synthetic Data for Training Anti-Money Laundering Models
College of William and Mary(威廉姆斯大学学院);The University of Alabama(阿拉巴马大学)
本文针对反洗钱模型训练数据因隐私受限的问题,提出用混合数据集融合合成数据与公开真实特征,在保护隐私的同时提升模型效用。
2025-09-23 cs.LG
Privacy-Preserving Communication-Efficient Federated Multi-Armed Bandits
City University of Hong Kong(香港城市大学);City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院)
通信瓶颈和数据隐私是联邦多臂强盗(MAB)问题中的两个关键问题,例如通过无线连接车辆的决策和推荐情况。在本文中,我们设计的隐私保护通信效率的算法在这样的问题,并研究隐私,通信和学习性能之间的相互作用的遗憾。具体而言,我们设计了保护隐私的学习算法和通信协议,并推导出了网络私有代理在主从结构、分散结构和混合结构下进行在线强盗学习时的学习遗憾。我们的强盗学习算法是基于时代明智的次优臂消除在每个代理和代理交换学习知识与服务器/彼此在每个时代结束。此外,我们采用了差分隐私(DP)的方法来保护数据隐私在每个代理交换信息时,我们削减通信成本,使更少的代理参与更少的通信频率。通过分析我们提出的算法框架在主-工,分散和混合结构中的遗憾,我们从理论上展示了遗憾和通信成本/隐私之间的权衡。最后,我们实证显示这些权衡与我们的理论分析是一致的。
2021-11-02 cs.LG cs.NI
Automated PII Extraction from Social Media for Raising Privacy Awareness: A Deep Transfer Learning Approach
University of Arizona(亚利桑那大学);University of Maryland(马里兰大学);University of South Florida(南佛罗里达大学);University of Georgia(佐治亚大学)
互联网用户在社交媒体上暴露了越来越多的个人身份信息(PII)。此类暴露的PII可能会给用户造成严重损失,告知用户他们的PII暴露对于提高他们的隐私意识并鼓励他们采取保护措施至关重要。为此,需要先进的自动化技术。虽然信息抽取(IE)技术可用于自动提取PII,但基于深度学习(DL)的IE模型减轻了对特征工程的需求并进一步提高了效率。然而,基于DL的IE模型通常需要大规模的标记数据进行训练,但由于隐私问题,PII标记的社交媒体帖子很难获得。此外,这些模型严重依赖于预先训练的词嵌入,而社交媒体中的PII通常形式不同,因此在预先训练的词嵌入中没有固定的表示。在这项研究中,我们提出了用于PII提取的深度迁移学习(DTL-PIIE)框架来解决这两个限制。DTL-PIIE将从公开的PII数据中学到的知识转移到社交媒体,以解决罕见的PII标记数据的问题。此外,我们的框架利用图卷积网络(GCN)来整合语法模式来指导PIIE,而不依赖于预先训练的词嵌入。对基准IE模型的评估表明,我们的方法优于国家的最先进的DL为基础的IE模型。我们的框架可以促进各种应用,如PII误用预测和隐私风险评估,保护互联网用户的隐私。
2021-11-11 cs.AI cs.LG cs.SI
Privacy-Preserving Transfer Learning for Community Detection using Locally Distributed Multiple Networks
School of Mathematics, Northwest University, China(西北大学数学学院,中国);Department of Statistics and Data Science, Washington University in St. Louis, U.S.A.(圣路易斯华盛顿大学统计与数据科学系,美国);School of Management, Xi’an Jiaotong University, China(西安交通大学管理学院,中国)
本文提出TransNet框架,利用本地存储的隐私保护辅助网络提升目标网络的社区检测性能,通过自适应加权方案平衡隐私与异质性,并理论证明其误差界优于仅使用目标网络或单一源网络的方法。
2026-04-14 cs.LG stat.ML