Personalization Improves Privacy-Accuracy Tradeoffs in Federated Learning
New York University(纽约大学);University of Southern California(南加州大学);Microsoft Research(微软研究院);Carnegie Mellon University(卡内基梅隆大学)
大规模机器学习系统通常涉及分布在用户集合中的数据。联邦学习算法通过将模型更新传递到中央服务器而不是整个数据集来利用这种结构。在本文中,我们研究了随机最优化算法的个性化联邦学习设置,涉及本地和全球模型的用户级(联合)差分隐私。虽然学习私有全局模型会导致隐私成本,但局部学习是完全私有的。我们提供的泛化保证表明,协调本地学习与私人集中式学习产生了普遍有用的和改进的准确性和隐私之间的权衡。我们用合成和真实世界数据集上的实验来说明我们的理论结果。
2022-07-15 cs.CR cs.LG math.OC
Separable Expert Architecture: Toward Privacy-Preserving LLM Personalization via Composable Adapters and Deletable User Proxies
Microsoft AI(微软人工智能)
本文提出一种三层架构,通过静态基础模型、可组合的领域专家LoRA适配器和可删除的用户代理,实现将个人数据与共享权重解耦,从而在不重新训练的情况下实现隐私保护的个性化LLM。
2026-04-23 cs.AI cs.LG
Privacy-Preserving Personalization in Education: A Federated Recommender System for Student Performance Prediction
Federal Institute of Education, Science, and Technology of Rio Grande do Norte(IFRN)(里约格朗德杜斯北联邦教育、科学和技术研究所)
针对教育数字化中数据驱动个性化与学生数据隐私的矛盾,本文提出基于联邦学习(FL)的隐私保护推荐系统,通过DNN和ASSISTments数据集特征,对比聚合策略发现FedProx更优,模型F1达76.28%(为集中式XGBoost的92%),解决个性化-隐私困境。
2025-11-10 cs.AI cs.CY cs.LG
Privacy-Preserving Personalized Federated Prompt Learning for Multimodal Large Language Models
Rensselaer Polytechnic Institute(伦斯勒理工学院);IBM Research(IBM研究院)
针对多模态LLM联邦提示学习中个性化、泛化性与隐私难以平衡的问题,提出DP-FPL方法,通过低秩分解与差异化差分隐私保护策略,在减轻隐私噪声影响的同时平衡权衡,实验效果优于基准方法。
2025-02-13 cs.LG
Silent Failures in Federated Personalization of Foundation Models
Medical & Imaging Informatics (MII) Group, University of California, Los Angeles (UCLA)(医学与影像信息学(MII)组,加州大学洛杉矶分校(UCLA))
本文提出联邦基础模型个性化中因隐私约束导致的一类信任失败——静默失败,包括偏差放大、公平性崩溃和对齐侵蚀,并引入六种静默失败模式的分类法,强调隐私保护训练不足以保障可信部署。
2026-06-15 cs.AI cs.LG
Privacy Preserving Machine Learning Model Personalization through Federated Personalized Learning
American International University-Bangladesh(孟加拉国美国国际大学);North South University(北南大学)
本文通过PPMLFPL框架分析隐私保护下的机器学习模型个性化方法,比较APPLE+DP与APPLE+HE算法,发现前者执行效率高,后者整体表现更优,为隐私保护个性化学习提供实践指导。
2025-05-03 cs.CR cs.DC cs.LG
Enabling On-Device LLMs Personalization with Smartphone Sensing
The University of Melbourne(墨尔本大学)
提出首个结合设备端LLMs与智能手机传感的端到端个性化框架,通过上下文感知与定制提示工程在保护隐私的同时实现低延迟、低成本的个性化服务,并在多维度指标上达到最佳权衡。
2024-07-24 cs.AI cs.HC cs.LG
NU:BRIEF -- A Privacy-aware Newsletter Personalization Engine for Publishers
University College Dublin(都柏林大学)
时事通讯已(重新)成为出版商直接、更有效地与读者互动的强大工具。尽管读者的多样性,出版商的时事通讯在很大程度上仍然是一种一刀切的产品,这是次优的。在本文中,我们提出了NU:BRIEF,一个网络应用程序的出版商,使他们能够个性化他们的通讯,而无需收集个人数据。个性化通讯建立了一种习惯,并成为出版商的一个很好的转换工具,提供了一种替代读者产生的收入模式,以减少广告/点击诱饵为中心的商业模式。
2021-09-08 cs.CY cs.DL cs.HC
Proximity Features: Privacy-Compliant Cold-Start Personalization at Airbnb
Airbnb Inc.(爱彼迎公司)
针对爱彼迎冷启动个性化推荐难题,引入基于地理IP数据和自适应聚类算法的邻近特征系统,无需个人标识符,在保护隐私的同时实现聚合用户信号生成,经实验验证能显著提升预订量。
2026-07-15 cs.LG
Know Your Personalization: Learning Topic level Personalization in Online Services
Bell Labs Research(贝尔实验室研究院)
在线服务平台(OSP),例如搜索引擎、新闻网站、广告提供商等,基于从用户与OSP的历史中提取的简档,向用户提供高度个性化的内容。虽然个性化(通常)会带来更好的用户体验,但它也会引起用户的隐私问题-他不知道他的个人资料中有什么,更重要的是,他不知道什么被用来个性化内容。在本文中,我们捕获OSP的个性化用户在一个新的数据结构,称为个性化向量($η$),这是一个加权向量的一组主题,并提出技术来计算它的用户的OSP。我们的方法将OSP视为黑盒,并通过只挖掘其输出来提取$η$,具体地,个性化(针对用户)和普通(没有任何用户信息)内容以及这些内容的差异。我们制定了一个新的模型,称为潜在主题个性化(LTP),捕捉到一个学习框架的个性化向量,并提出了有效的推理算法it.We做了大量的实验,搜索结果个性化使用的数据,从真正的谷歌用户和合成数据集。我们的研究结果表明,高精度(R-pre = 84%)的LTP在寻找个性化的主题。对于Google数据,我们的定性结果显示了LTP如何也可以识别证据--对具有高$η$值的主题结果的查询被重新排序。最后,我们展示了我们的方法可以用来建立一个新的隐私评估框架,专注于最终用户的隐私商业OSP。
2012-12-14 cs.IR cs.LG
Federated Short-Term Load Forecasting with Personalization Layers for Heterogeneous Clients
University of California, Santa Cruz(加州大学圣克鲁兹分校);Argonne National Laboratory(阿贡国家实验室)
针对联邦短期负荷预测中客户端数据异构导致模型性能下降的问题,提出PL-FL算法,通过仅在本地训练个性化层提升异构商业建筑负荷预测效果。
2023-09-22 cs.LG
The Privacy-Utility Trade-Off of Location Tracking in Ad Personalization
Cornell University(康奈尔大学)
研究探讨了位置跟踪数据在广告个性化中的价值及其与行为数据的互补性,发现早期冷启动阶段地理位置数据能显著提升目标性能,但随着用户行为数据积累,其作用逐渐被行为数据替代。
2026-03-12 cs.LG econ.EM
Strategies for Improving Communication Efficiency in Distributed and Federated Learning: Compression, Local Training, and Personalization
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本论文提出压缩、本地训练与个性化策略以提升分布式和联邦学习的通信效率,通过统一框架、Scafflix及剪枝方法在保持精度的同时降低通信开销。
2025-09-10 cs.AI cs.LG
Privacy in Metalearning and Multitask Learning: Modeling and Separations
Rice University(莱斯大学);Hariri Institute for Computing at Boston University(波士顿大学哈里里计算研究所);Boston University(波士顿大学);Northeastern University(东北大学);Simons Institute for the Theory of Computing(西蒙斯理论计算研究所);Khoury College of Computer Sciences, Northeastern University(东北大学库尔计算机科学学院);Google(谷歌)
本研究系统研究差分隐私下的个性化学习,构建形式框架分类体系,并证明私有多任务学习与私有元学习之间存在新颖分离。
2024-12-16 cs.CR cs.LG
Addressing Heterogeneity in Federated Load Forecasting with Personalization Layers
University of California, Santa Cruz(加利福尼亚大学圣克鲁兹分校);Argonne National Laboratory(阿贡国家实验室)
本文提出 PL-FL 框架,通过在联邦负荷预测中引入个性化层,在降低通信带宽的同时提升异质数据下的预测性能,并在三个数据集上验证其优于联邦学习和纯本地训练。
2024-04-01 cs.LG eess.SP
Private Model Personalization Revisited
Department of Computer Science & Engineering, The Ohio State University(计算机科学与工程系,俄亥俄州立大学);Department of Computer Science & Engineering and the Translational Data Analytics Institute (TDAI), The Ohio State University(计算机科学与工程系和转化数据分析研究所(TDAI),俄亥俄州立大学);Google Research, NY(谷歌研究,纽约)
研究联邦设置下用户级差分隐私的模型个性化,提出基于FedRep的私有高效算法以恢复共享嵌入,在更广分布下提供效用保证并改进隐私误差项,且利用JL变换实现独立于维度的二分类准确率保证。
2025-06-24 cs.AI cs.CR cs.DC
Blind Targeting: Personalization under Third-Party Privacy Constraints
The Wharton School, University of Pennsylvania(宾夕法尼亚大学沃顿商学院)
针对广告平台限制个体数据访问、仅允许含差分隐私噪声的有限聚合查询的情况,提出基于贝叶斯优化的概率机器学习方法,通过动态数据探索实现有效靶向策略,在Criteo数据集上表现接近非隐私保护方法。
2025-07-07 cs.LG econ.EM stat.AP
Prototype-Aligned Federated Soft-Prompts for Continual Web Personalization
Shenzhen Campus of Sun Yat-sen University(中山大学深圳校区);Hunan University(湖南大学)
本文提出ProtoFed-SP框架,通过双时间尺度软提示实现隐私保护的持续个性化,提升NDCG和HR指标,降低遗忘率并保持准确性。
2026-03-29 cs.LG
FedEgo: Privacy-preserving Personalized Federated Graph Learning with Ego-graphs
Sun Yat-sen University(中山大学)
图作为包含结构和特征信息的特殊信息载体,在图挖掘中有着广泛的应用,图神经网络。然而,在一些实际场景中,图数据被单独存储在多个分布式方中,由于利益冲突,这些数据可能不会直接共享。因此,联邦图神经网络被提出来解决这样的数据筒仓问题,同时保护每一方(或客户端)的隐私。然而,不同方之间的不同图数据分布,这被称为统计异质性,可能会降低像FedAvg这样的朴素联邦学习算法的性能。在本文中,我们提出了FedEgo,一个基于自我图的联邦图学习框架来解决上述挑战,每个客户端将训练他们的本地模型,同时也有助于训练一个全球模型。FedEgo将GraphSAGE应用于自我图,以充分利用结构信息,并利用Mixup解决隐私问题。为了处理统计异质性,我们将个性化学习,并提出了一个自适应的混合系数策略,使客户端实现其最佳个性化。大量的实验结果和深入的分析证明了FedEgo的有效性。
2022-09-09 cs.CR cs.LG
Federated User Representation Learning
University of Michigan(密歇根大学);Facebook(脸书)
协作个性化,例如通过学习用户表示(嵌入),可以显着提高基于神经网络的模型的预测准确性。我们提出了联合用户表示学习(FURL),一个简单的,可扩展的,隐私保护和资源有效的方式来利用现有的神经个性化技术在联邦学习(FL)设置。FURL将模型参数分为联邦参数和私有参数。私有参数(如私有用户嵌入)是在本地训练的,但与联邦参数不同,它们不会传输到服务器或在服务器上进行平均。我们从理论上证明,这种参数分割不影响大多数模型个性化方法的训练。本地存储用户嵌入不仅可以保护用户隐私,而且与服务器上的训练相比,还可以提高个性化的内存局部性。我们在两个数据集上评估了FURL,结果表明模型质量有了显著提高,性能分别提高了8%和51%,与集中式训练的性能水平大致相同,仅降低了0%和4%。此外,我们发现在FL和集中式设置中学习的用户嵌入具有非常相似的结构,这表明FURL可以通过共享参数进行协作学习,同时保护用户隐私。
2019-09-27 cs.LG stat.ML
Multi-Task Model Personalization for Federated Supervised SVM in Heterogeneous Networks
针对异构网络中设备算力差异导致联邦训练收敛慢的问题,提出基于ADMM的SVM高效迭代分布式方法,支持非独立同分布数据下的模型个性化,并引入随机掩码增强隐私。
2023-04-01 cs.LG
Privacy-Preserving Bandits
Queen Mary University of London(伦敦玛丽女王大学);Brave Software(勇敢软件公司);Imperial College London(帝国理工学院)
上下文强盗算法(CBAs)通常依赖于个人数据来提供建议。集中式CBA代理利用来自最近交互的潜在敏感数据为最终用户提供个性化服务。通过在用户的设备上运行本地代理,将敏感数据保持在本地,保护了用户的隐私,然而,代理需要更长的时间来产生有用的建议,因为它不利用来自其他用户的反馈。本文提出了一种技术,我们称之为隐私保护的强盗(P2B),一个系统,更新本地代理通过收集反馈,从其他本地代理在一个不同的私人方式。我们所提出的方法与非私人,以及一个完全私人(本地)系统的比较,显示合成基准和现实世界的数据的竞争力表现。具体来说,我们观察到多标签分类准确率仅下降了2.6%和3.6%,而在线广告的CTR增加了0.0025,用于隐私预算$ε\approx 0.693$。这些结果表明,P2B是解决设备上隐私保护个性化挑战的有效方法。
2020-03-11 cs.CR cs.LG cs.MA
Survey of Personalization Techniques for Federated Learning
Vishwakarma University(维什瓦卡玛大学);DeepTek Inc(迪普泰克公司)
联邦学习使机器学习模型能够在不损害隐私的情况下从私有分散数据中学习。联邦学习的标准制定为所有客户生成一个共享模型。由于跨设备的数据的非IID分布导致的统计异质性通常会导致这样的场景:对于某些客户端来说,仅在其私有数据上训练的本地模型比全局共享模型表现更好,从而剥夺了他们参与该过程的动力。已经提出了几种技术来个性化全局模型,以便更好地为各个客户端工作。本文强调了个性化的必要性,并调查了最近关于这一主题的研究。
2020-03-19 cs.LG stat.ML
FedCAP: Robust Federated Learning via Customized Aggregation and Personalization
University of Texas at Dallas(德克萨斯大学达拉斯分校);Microsoft(微软公司);Lehigh University(里海大学);Florida International University(佛罗里达国际大学)
本文提出FedCAP框架,通过模型更新校准、定制化聚合规则和基于欧几里得范数的异常检测来抵抗数据异质性及拜占庭攻击,并结合客户端个性化进一步提升鲁棒性。
2024-10-16 cs.AI cs.CR cs.LG
Federated Learning with Personalization Layers
Adobe Research(奥多比研究院);Indian Institute of Technology, Roorkee(印度理工学院鲁尔基分校);Indian Institute of Technology, Kharagpur(印度理工学院克勒格布尔分校)
新兴的联邦学习范式致力于在网络边缘实现机器学习模型的协作训练,而无需集中聚合原始数据,从而提高数据隐私。这大大偏离了传统的机器学习,并且需要设计对各种异质性来源鲁棒的算法。具体而言,用户设备之间的数据统计异质性可能会严重降低传统机器学习应用(如使用深度学习进行个性化)的标准联邦平均的性能。本文提出了FedPer,一种用于深度前馈神经网络联邦训练的基础+个性化层方法,可以对抗统计异质性的不良影响。我们证明了FedPerfor非相同的数据分区的CIFARnets和个性化的图像美学数据集从Flickr的有效性。
2019-12-02 cs.DC cs.LG stat.ML
RegionFed: Federated Learning for Personalized Query Understanding in Heterogeneous Retail Environments
Walmart Global Tech(沃尔玛全球技术部门)
针对异构零售环境中查询理解的数据异质性问题,提出在梯度层面操作的RegionFed联邦学习框架,在Transformer等模型上大幅提升性能,接近集中式上界且具备差分隐私保障。
2026-09-07 cs.AI cs.LG
Privacy-Preserving Load Forecasting via Personalized Model Obfuscation
University of California, Santa Cruz(加州大学圣克鲁兹分校);Argonne National Laboratory(阿贡国家实验室)
本文提出隐私保护联邦学习(PPFL),通过个性化层和差分隐私机制在异构智能电表数据上实现短期负荷预测,并在NREL ComStock数据集上验证了其有效性。
2023-11-21 cs.CR cs.LG
Preserving Privacy in Personalized Models for Distributed Mobile Services
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
移动设备的普及导致了向其用户提供个性化和上下文感知内容的移动服务的激增。现代移动服务分布在终端设备(如智能手机)和驻留在云中的远程服务器之间。这些服务的蓬勃发展取决于它们预测未来上下文的能力,以预取内容或提出特定于上下文的建议。一种越来越常见的预测未来上下文(如位置)的方法是通过机器学习(ML)模型。最近在上下文预测方面的工作集中在ML模型个性化上,其中为每个单独的用户学习个性化模型,以便根据用户的移动行为定制预测或建议。虽然个性化模型的使用提高了移动服务的效率,但我们认为它增加了隐私风险,因为个性化模型编码了每个用户独有的上下文行为。为了证明这些隐私风险,我们提出了几种基于属性推理的隐私攻击,并表明这种攻击可以泄露隐私,前3名预测的有效性高达78%。我们介绍了Pelican,这是一个用于上下文感知移动服务的隐私保护个性化系统,它利用设备和云资源来个性化ML模型,同时最大限度地降低用户隐私泄露的风险。我们评估鹈鹕使用真实世界的痕迹位置感知移动服务,并表明鹈鹕可以大大减少隐私泄露高达75%。
2021-04-21 cs.DC cs.LG
Never Start from Scratch: Expediting On-Device LLM Personalization via Explainable Model Selection
University of Pittsburgh(匹兹堡大学)
针对端侧 LLM 个性化受限于算力和个人数据的问题,提出 XPerT,通过可解释性选择已个性化模型再微调,显著降低计算成本并提升数据效率。
2025-04-15 cs.AI cs.CL cs.HC
User-Centric Federated Learning: Trading off Wireless Resources for Personalization
EURECOM(欧洲通信学院);Mitsubishi Electric R&D Centre Europe(三菱电机欧洲研发中心)
针对联邦学习中的统计异构与通信开销问题,提出基于梯度信息和风险上界的用户中心个性化聚合规则,并通过用户聚类得到通信高效变体,在准确率、最差节点性能和开销上优于基线。
2023-04-25 cs.LG
FedRLHF: A Convergence-Guaranteed Federated Framework for Privacy-Preserving and Personalized RLHF
National University of Singapore(新加坡国立大学);CFAR, A*STAR(新加坡科技研究局CFAR);ETH Zurich(苏黎世联邦理工学院)
本文提出FedRLHF框架,通过联邦学习将RLHF去中心化,在保护隐私的同时实现个性化策略学习,并提供收敛保证与样本复杂度界,实验证明其性能可与集中式RLHF相媲美。
2025-02-08 cs.AI cs.CR cs.LG
Contrastive Explainable Clustering with Differential Privacy
University of Virginia(弗吉尼亚大学);Biocomplexity Institute and Initiative(生物复杂性研究所);Bar-Ilan University(巴伊兰大学)
本文提出将对比解释与差分隐私结合用于k-median和k-means聚类,证明差分隐私解释能达到与非隐私解释基本相同的效用界限,在保护隐私的同时提供个性化且不显著损害聚类效用的解释。
2025-06-01 cs.CR cs.LG
On-Device Personalization of Automatic Speech Recognition Models for Disordered Speech
Google(谷歌)
虽然当前最先进的自动语音识别(ASR)系统在典型语音上实现了高准确度,但是它们在无序语音和其他非典型语音模式上遭受显著的性能降级。ASR模型的个性化(对该问题的常用解决方案)通常在基于服务器的训练环境中执行,从而引起关于数据隐私、延迟的模型更新时间以及用于在移动终端和服务器基础设施之间复制数据和模型的通信成本的问题。在本文中,我们提出了一种基于设备的ASR个性化的方法,具有非常少量的特定于说话者的数据。我们测试了我们的方法在一组不同的100位发言者与无序的讲话,并发现中位数相对字错误率提高了71%,只有50个短的话语,每个发言者。当在语音控制的家庭自动化平台上进行测试时,设备上的个性化模型显示出81%的任务成功率中位数,而未经调整的模型只有40%。
2021-06-18 cs.CL cs.LG cs.SD
Unifying Distillation with Personalization in Federated Learning
Purdue University(普渡大学)
联邦学习(FL)是一种去中心化的隐私保护学习技术,其中客户端通过中央聚合器学习联合协作模型,而无需共享数据。在此设置中,所有客户端学习单个公共预测器(FedAvg),由于客户端之间的统计数据异构性,该预测器不能很好地概括每个客户端的本地数据。在本文中,我们解决这个问题的离散两阶段个性化的学习算法的RMBFL。在第一阶段中,EFL在FL培训阶段找到每个客户的最佳教师模型。在第二阶段中,EMPFL提取有用的知识,从最佳的教师到每个用户的本地模型。教师模型为每个客户端提供了一些丰富的高级表示,客户端可以很容易地适应其本地模型,这克服了不同客户端存在的统计异质性。我们使用三种数据分割策略来控制客户端数据分布之间的多样性,在CIFAR-10和MNIST数据集上评估CIFFL。我们的经验表明,TCFFL优于FedAvg和三个国家的最先进的个性化方法,pFedMe,每FedAvg,FedPer的大多数数据分裂,以最小的通信成本。此外,我们研究了不同蒸馏目标上的ECOFL的性能,这种性能如何受到客户之间公平性的公平概念的影响,以及所需的通信回合数。可在https://tinyurl.com/hdh5zhxs上获得EFL代码,供公众使用和验证。
2021-05-31 cs.AI cs.LG
Federated Two Stage Decoupling With Adaptive Personalization Layers
Jiangnan University(江南大学)
提出两阶段解耦联邦学习算法FedTSDP,通过双重客户端聚类、Hopkins修正抽样确定聚类时机及自适应个性化层调整,有效应对数据异构性,在IID和非IID场景下表现可靠。
2023-12-31 cs.AI cs.LG
Group privacy for personalized federated learning
Scuola Normale Superiore(比萨高等师范学校);INRIA(法国国家信息与自动化研究所);École Polytechnique(巴黎综合理工学院);Scuola Superiore Sant’Anna(圣安娜高等学校)
联邦学习(FL)是一种协作式机器学习,其中参与的对等体/客户端在本地处理其数据,仅共享对协作模型的更新。这使得能够构建隐私感知的分布式机器学习模型等。目标是通过最小化由一组客户端本地存储的数据集集合的成本函数来优化统计模型的参数。这个过程暴露给客户端两个问题:隐私信息的泄漏和缺乏个性化的模型。另一方面,随着最近各种数据分析技术的进步,人们对参与客户端的隐私侵犯的担忧激增。为了缓解这种情况,差分隐私及其变体作为提供正式隐私保证的标准。通常,客户端代表非常异构的社区,并持有非常多样化的数据。因此,与FL社区最近关注的为代表其多样性的用户构建个性化模型框架相一致,保护客户的敏感和个人信息免受潜在威胁也至关重要。为了实现这一目标,我们考虑$d$ -隐私,也被称为度量隐私,这是本地差分隐私的变体,使用基于度量的混淆技术,保留了原始数据的拓扑分布。为了解决保护客户隐私和允许个性化模型训练以增强系统的公平性和实用性的问题,我们提出了一种利用$d$的一些关键属性来提供组隐私保证的方法。隐私,使个性化模型的框架下的FL。我们提供了理论的适用性和实验验证的真实数据集上说明的工作,我们的方法
2022-09-04 cs.AI cs.CR cs.LG
An Investigation Into On-device Personalization of End-to-end Automatic Speech Recognition Models
Google(谷歌)
用来自许多用户的数据训练的说话者无关语音识别系统通常对说话者可变性是鲁棒的,并且对于大量说话者工作良好。然而,这些系统并不总是很好地推广具有非常不同的语音特征的用户。这个问题可以通过构建针对每个特定用户的个性化系统来解决。在本文中,我们研究了在移动设备上安全地训练个性化端到端语音识别模型的想法,这样用户数据和模型就不会离开设备,也不会存储在服务器上。我们通过模拟设备上的数据消耗来研究移动训练环境如何影响性能。我们使用从言语障碍用户收集的数据进行个性化实验。我们的研究结果表明,个性化实现了63.7%的相对字错误率降低时,在服务器环境和58.1%,在移动环境中训练。迁移到设备上的个性化导致性能下降18.7%,以换取更好的可扩展性和数据隐私。为了在设备上训练模型,我们将梯度计算分为两部分,并以增加42%的训练时间为代价,实现了45%的内存减少。
2019-09-14 cs.LG cs.SD eess.AS
Efficient Model Personalization in Federated Learning via Client-Specific Prompt Generation
National Taiwan University(台湾大学);NVIDIA(英伟达)
提出pFedPG框架,通过服务器端生成客户端特定视觉提示,实现联邦学习中高效且个性化的模型适配,优于现有方法。
2023-08-29 cs.AI cs.CV cs.LG
Efficient Personalized Learning for Wearable Health Applications using HyperDimensional Computing
University of California Irvine(加州大学欧文分校)
健康监测应用越来越依赖于机器学习技术来学习日常环境中的终端用户生理和行为模式。考虑到可穿戴设备在监测人体参数方面的重要作用,可以利用设备上学习来建立行为和生理模式的个性化模型,同时为用户提供数据隐私。然而,这些可穿戴设备中的大多数上的资源约束阻止了在它们上执行在线学习的能力。为了解决这个问题,需要从算法的角度重新思考机器学习模型,以适合在可穿戴设备上运行。超维计算(HDC)为资源受限的设备提供了非常适合的设备上学习解决方案,并为隐私保护个性化提供了支持。我们基于HDLC的方法提供了灵活性、高效率、弹性和性能,同时实现了设备上的个性化和隐私保护。我们使用三个案例研究来评估我们的方法的有效性,并表明与最先进的深度神经网络(DNN)算法相比,我们的系统将训练的能量效率提高了$45.8\times$,同时提供了相当的准确性。
2022-08-01 cs.AI cs.HC cs.LG
DP-MemView: A Memory Interface for Attribute-Level Transcript Privacy in Long-Term LLM Agents
Sangmyung University(祥明大学);College of Staten Island, The City University of New York(纽约城市大学斯塔滕岛学院);Sookmyung Women’s University(淑明女子大学);Hansung University(汉城大学);Yonsei University(延世大学)
针对长期LLM智能体的自适应对话记录隐私威胁,提出差分隐私内存接口DP-MemView,经实验验证可在保留个性化和响应质量的同时降低隐私泄露风险。
2026-08-05 cs.CL cs.CR cs.LG
Addressing Skewed Heterogeneity via Federated Prototype Rectification with Personalization
School of Computer Science and Engineering, Southeast University(东南大学计算机科学与工程学院);Key Laboratory of New Generation Artificial Intelligence Technology and Its Interdisciplinary Applications (Southeast University), Ministry of Education, China(教育部新一代人工智能技术及其交叉应用重点实验室(东南大学))
本文针对私有数据倾斜分布的联邦学习挑战,提出带个性化的联邦原型校正方法,通过联邦个性化构建平衡决策边界并利用类间判别与类内一致性校正原型,在个性化和泛化上均优于现有方法。
2024-08-23 cs.DC cs.LG
Cost-Free Personalization via Information-Geometric Projection in Bayesian Federated Learning
EURECOM;University of Granada(格拉纳达大学)
本文提出了一种基于信息几何投影的无成本个性化方法,用于贝叶斯联邦学习,通过在统计流形上计算barycenter实现全局与局部性能的平衡。
2026-01-21 cs.IT cs.LG cs.NI
On Handling Catastrophic Forgetting for Incremental Learning of Human Physical Activity on the Edge
Technology Innovation Institute(技术创新研究所)
人体活动识别(HAR)一直是一个经典的研究课题。特别是,随着最近的机器学习(ML)技术,识别任务已在很大程度上被公司研究,并集成到他们的产品为客户。然而,它们中的大多数应用预定义的活动集并在云上进行学习过程,从而阻碍了最终用户的特定个性化(即,边缘设备)。尽管增量学习的最新进展允许动态学习新类数据,但学习过程通常在云上进行,需要在云和边缘设备之间进行持续的数据交换,从而导致数据隐私问题。在本文中,我们提出了PILOTE,它将增量学习过程推向极端,同时提供可靠的数据隐私和实用性,例如,特别是,我们考虑了在边缘上的增量学习过程中数据极其有限的实际挑战,其中需要以实用的方式处理灾难性遗忘。我们验证PILOTE广泛的实验从移动传感器收集的人类活动数据。结果表明,PILOTE可以在资源极其有限的边缘设备上工作,同时提供可靠的性能。
2023-02-18 cs.AI cs.LG
Co-LoRA: Collaborative Model Personalization on Heterogeneous Multi-Modal Clients
KU Leuven(库勒芬大学);Seoul National University(首尔国立大学);Sungkyunkwan University(成均馆大学)
Co-LoRA通过任务相关性感知的模型聚合和维度不变模块,实现了在异构多模态客户端上的协同模型个性化,提升了在异构场景下的性能。
2026-03-09 cs.AI cs.DC cs.LG
Personalized and privacy-preserving federated heterogeneous medical image analysis with PPPML-HMI
King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
本文提出开源框架PPPML-HMI,通过集成PerFedAvg和同态加密循环安全聚合,首次在联邦异构医学图像分析中同时实现个性化与隐私保护,并在分类和分割任务上验证了其性能提升、隐私保护能力和鲁棒性。
2023-02-20 cs.CV cs.LG eess.IV
Ethical AI for Young Digital Citizens: A Call to Action on Privacy Governance
Vancouver Island University(温哥华岛大学)
本文呼吁建立以青少年为中心的伦理AI治理框架,强调隐私保护、透明数据实践和问责措施,以应对AI在青少年数字平台中的隐私和数据保护挑战。
2026-01-29 cs.AI cs.CY cs.LG
Federated Transfer Learning with Task Personalization for Condition Monitoring in Ultrasonic Metal Welding
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Michigan(密歇根大学)
本文提出FTL-TP框架,通过联邦迁移学习与任务个性化在保护隐私的前提下实现跨制造商的域泛化,使超声波金属焊接状态监测准确率提升5.35%至8.08%。
2024-04-20 cs.AI cs.DC cs.LG
FedCLIP: Fast Generalization and Personalization for CLIP in Federated Learning
Chinese Academy of Sciences(中国科学院);City University of Hong Kong(香港城市大学);Microsoft Research Asia(微软亚洲研究院)
本文提出 FedCLIP 方法,通过基于注意力的轻量级适配器在联邦学习中实现 CLIP 的快速泛化与个性化,显著提升精度并大幅降低计算和通信成本。
2023-07-09 cs.AI cs.LG
GPFL: Simultaneously Learning Global and Personalized Feature Information for Personalized Federated Learning
Queen’s University Belfast(贝尔法斯特女王大学);Louisiana State University(路易斯安那州立大学);Shanghai Jiao Tong University(上海交通大学)
针对现有pFL方法仅提取全局或个性化特征信息的问题,提出GPFL方法,在每个客户端同时学习全局和个性化特征信息,在六个数据集上优于十种先进方法,准确率提升最高8.99%。
2023-10-14 cs.CR cs.DC cs.LG
Machine Unlearning for Recommendation Systems: An Insight
Indira Gandhi Delhi Technical University for Women(英迪拉·甘地德里女子技术大学);Jagiellonian University(雅盖隆大学)
本文综述推荐系统中的机器遗忘(MUL),分析其在适应性、个性化、隐私、偏见与算法透明度方面的应用、挑战及方法局限,并指出未来研究方向。
2024-01-17 cs.AI cs.IR cs.LG
Personalized explanation in machine learning: A conceptualization
University of Liechtenstein(列支敦士登大学)
在机器学习和相关领域(如人工智能)中的解释旨在使机器学习模型及其决策为人类所理解。现有的工作表明,个性化的解释可能有助于提高可理解性。在这项工作中,我们得到了一个概念化的个性化解释的定义和结构的问题的基础上,以前的工作机器学习解释,个性化(在机器学习)和概念和技术,如隐私和知识的启发。我们对个性化过程中使用的解释数据进行分类,并描述收集这些数据的方法。我们还确定了三个关键的解释属性,是与个性化:复杂性,决策信息和演示。我们还通过引入额外的必要条件和措施来量化个性化解释的质量,从而加强现有的解释工作。
2019-04-26 cs.LG stat.ML
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks
The University of Edinburgh(爱丁堡大学);Heriot-Watt University(赫瑞-瓦特大学);Weizmann Institute of Science(魏茨曼科学研究所)
本文提出一种无线网络中结合部分模型剪枝与个性化的联邦学习框架,通过KKT条件联合优化剪枝比例和带宽分配,在保证精度的同时降低约50%的计算与通信时延。
2024-01-15 cs.LG cs.NI
Personalized Federated Training of Diffusion Models with Privacy Guarantees
TTIC(芝加哥丰田技术学院);UNC Chapel Hill(北卡罗来纳大学教堂山分校);NJIT(新泽西理工学院)
针对敏感领域数据稀缺与隐私限制问题,提出一种基于个性化机制和前向扩散固有噪声的联邦学习框架,在去中心化私有数据上训练扩散模型,在保证差分隐私的同时提升了样本质量与下游公平性。
2025-04-01 cs.AI cs.CV cs.LG
Operationalizing Data Minimization for Privacy-Preserving LLM Prompting
Northeastern University(东北大学);Carnegie Mellon University(卡内基梅隆大学)
针对LLM应用中用户提示过度分享隐私的问题,提出数据最小化形式化框架与优先级队列树搜索方法,实验证明大模型可承受更强数据最小化,且模型存在预测最优最小化方案的能力差距。
2025-10-04 cs.AI cs.LG