PFAdapter: Hierarchical LoRA Decomposition for Personalized Federated MLLMs
PFAdapter：用于个性化联邦多模态大语言模型的分层LoRA分解
机构 * College of Future Information Technology, Fudan University（复旦大学未来信息技术学院） ； Division of Natural and Applied Sciences, Duke Kunshan University（昆山杜克大学自然科学与应用科学部） ； Department of Electrical and Computer Engineering, The University of British Columbia（英属哥伦比亚大学电气与计算机工程系） ； Ant Group（蚂蚁集团） ； College of Information Science and Electronic Engineering, Zhejiang University（浙江大学信息科学与电子工程学院） ； School of Data Science and Engineering, East China Normal University（华东师范大学数据科学与工程学院） ； College of Intelligent Robotics and Advanced Manufacturing, Fudan University & Fysics AI（复旦大学智能机器人与先进制造学院及复肆智能科技（上海）有限公司） ； Xiaomi EV, Xiaomi Campus（小米汽车、小米园区） ； Information and Communications Technology Cluster, Singapore Institute of Technology (SIT)（新加坡理工学院信息通信技术集群） ； College of Electronic and Information Engineering, Tongji University（同济大学电子与信息工程学院） ； School of Computer Science and Informatics, Cardiff University（卡迪夫大学计算机科学与信息学院）
AI总结 针对分布式网络中联邦微调平衡全局知识与局部适应的挑战，提出PFAdapter框架，用分层LoRA分解将适配器参数分离，通过正交正则化和选择性聚合协议减少通信成本，实验证明该框架在多数据集上性能优于基线，为智能AI部署提供有效方案。
Comments submitted to IEEE TCCN
