PEOAT: Personalization-Guided Evolutionary Question Assembly for One-Shot Adaptive Testing
PEOAT通过个性化引导的进化算法,解决一次性自适应测试中高效选择最优题目的问题,提升测试效率和准确性。
2025-11-29 cs.AI cs.CY cs.IR
Adaptive Model Pruning and Personalization for Federated Learning over Wireless Networks
The University of Edinburgh(爱丁堡大学);Heriot-Watt University(赫瑞-瓦特大学);Weizmann Institute of Science(魏茨曼科学研究所)
本文提出一种无线网络中结合部分模型剪枝与个性化的联邦学习框架,通过KKT条件联合优化剪枝比例和带宽分配,在保证精度的同时降低约50%的计算与通信时延。
2024-01-15 cs.LG cs.NI
pFedAFM: Adaptive Feature Mixture for Batch-Level Personalization in Heterogeneous Federated Learning
Nankai University(南开大学);Nanyang Technological University (NTU)(南洋理工大学);Tianjin University(天津大学);The University of British Columbia(不列颠哥伦比亚大学)
针对异构联邦学习无法处理批次级数据异构的问题,提出pFedAFM方法,通过共享全局小特征提取器、交替训练策略和动态特征混合,实现批次级个性化并显著提升准确率。
2024-04-27 cs.LG
Adaptive Test-Time Personalization for Federated Learning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出测试时个性化联邦学习设定及ATP算法,通过从源领域分布偏移中自适应学习各模块自适应率,无需标注数据即可处理多种分布偏移,并在多数据集和架构上优于现有TTA方法。
2023-10-28 cs.LG
FARE: Deep Reinforcement Learning For Fair Exposure Constrained Uncertainty Aware Financial Content Personalization
FARE提出将SOV约束排序建模为深度强化学习,并引入CTR预测不确定性到策略设计,通过模块化执行层实现公平曝光,减少偏差同时最小化参与度损失。
2026-09-29 cs.AI cs.IR cs.LG
Adaptive Client Selection with Personalization for Communication Efficient Federated Learning
Universidade Estadual de Campinas(坎皮纳斯州立大学);Federal University of Pará(帕拉联邦大学);Federal University of Minas Gerais(米纳斯吉拉斯联邦大学);Federal University of Ceará(塞阿拉联邦大学)
针对联邦学习的通信瓶颈与可扩展性挑战,提出ACSP-FL方案,通过自适应客户端选择动态调整参与设备数与收敛轮数,支持模型个性化,实验显示其可减少高达95%的通信量并高效收敛。
2024-11-26 cs.DC cs.LG
Mix-Opt: Mixed Optimization for Memory-Efficient Personalization of Text-to-Image Diffusion Models
Qualcomm AI Research(高通人工智能研究)
针对文本到图像扩散模型的内存高效个性化需求,提出结合低分辨率反向传播与高分辨率零阶优化的选择性框架,辅以时间步感知策略,在降内存的同时实现有竞争力的设备端个性化性能。
2026-11-18 cs.CV cs.LG
Towards Scalable Adaptive Learning with Graph Neural Networks and Reinforcement Learning
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学院);Centre Borelli(博雷利中心);onepoint(一点公司);Inria Saclay(法国国家信息与自动化研究所萨克雷分院)
本文提出一种基于图神经网络和强化学习的灵活可扩展序列推荐系统,用于学习路径个性化,在模拟学习者上验证了其在小数据场景下的良好推荐能力。
2023-05-10 cs.AI cs.LG
A Closer Look at Personalization in Federated Image Classification
Xiamen University(厦门大学);Kennesaw State University(肯尼索州立大学)
联邦学习(FL)是为了在分散的数据中学习单个全局模型而开发的,而在存在统计异质性的情况下实现特定于客户的个性化时是敏感的。然而,研究的重点是学习一个强大的全局模型或个性化的分类器,这会产生分歧,由于不一致的目标。本文表明,通过引入表示学习,在全局模型收敛后实现灵活的个性化是可能的。在本文中,我们首先分析和确定,非IID数据危害表示学习的全球模型。现有FL方法坚持联合学习表示和分类器的方案,其中全局模型是基于分类的局部模型的平均值,这些局部模型始终受到来自非IID数据的异质性的影响。作为解决方案,我们将FL中的表示学习与分类学习分离,提出了一个独立的两阶段个性化FL框架RepPer,首先学习对非IID数据具有鲁棒性的客户端特征表示模型,并将它们聚合成一个全局公共表示模型。在此之后,我们通过学习每个客户端的分类器头,在前一阶段获得的共同表示的基础上实现个性化。值得注意的是,所提出的两阶段学习方案的RepPer可以潜在地用于轻量级边缘计算,涉及设备与有限的计算能力。在各种数据集(CIFAR-10/100,CINIC-10)和异构数据设置上的实验表明,RepPer在非IID数据的灵活性和个性化方面优于替代方案。
2022-04-22 cs.AI cs.CV cs.LG
PRISP: Privacy-Safe Few-Shot Personalization via Lightweight Adaptation
Department of Electrical and Computer Engineering, Seoul National University(电子与计算机工程系,首尔国立大学);ASRI/INMC/IPAI/AIIS, Seoul National University(ASRI/INMC/IPAI/AIIS,首尔国立大学)
研究针对大语言模型个性化中数据、资源和隐私问题,提出PRISP框架,利用文本到LoRA超网络生成参数,结合少样本用户数据优化,减少计算开销并消除隐私风险,相比先前方法性能更强。
2026-07-22 cs.AI cs.CL cs.LG
Incremental Real-Time Personalization in Human Activity Recognition Using Domain Adaptive Batch Normalization
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);Carnegie-Mellon-University(卡内基梅隆大学)
来自智能手机加速度计等设备的人类活动识别(HAR)是普适计算中的一个基本问题。基于机器学习的识别模型在应用于不是训练数据的一部分的新用户时通常表现不佳。以前的工作已经解决了这一挑战,通过个性化的一般识别模型的新用户在一个静态的批量设置的独特的运动模式。它们要求预先提供目标用户数据。更具挑战性的在线设置受到的关注较少。没有来自目标用户的样本可以提前获得,但它们会按顺序到达。另外,用户的运动模式可随时间改变。因此,适应新的和忘记旧的信息必须权衡。最后,目标用户不应该做任何工作来使用识别系统,比如标记任何活动。我们的工作解决了所有这些挑战,提出了一个无监督的在线领域自适应算法。分类和个性化都是实时的连续和增量发生的。我们的解决方案通过对齐隐藏神经网络层中所有主题的特征分布来工作,无论是源还是目标。为此,我们使用用户特定的均值和方差统计数据对层的输入进行归一化。在训练期间,这些统计信息是在用户特定的批处理上计算的。在联机阶段,对任何新的目标用户进行增量估计。
2020-12-21 cs.LG eess.SP stat.ML
pMixFed: Efficient Personalized Federated Learning through Adaptive Layer-Wise Mixup
Florida International University(佛罗里达国际大学);USC Information Sciences Institute(南加州大学信息科学研究所)
pMixFed 提出一种动态逐层个性化联邦学习方法,通过在全局与局部模型间引入自适应 mixup、渐进个性化过渡和新聚合机制,缓解客户端漂移与灾难性遗忘,提升非IID场景下的精度与训练效率。
2025-11-09 cs.DC cs.LG
Hollowed Net for On-Device Personalization of Text-to-Image Diffusion Models
Qualcomm AI Research(高通人工智能研究部);Seoul National University(首尔大学)
该研究提出基于LoRA的Hollowed Net方法,通过临时移除扩散U-Net部分深层形成中空结构,实现端侧文本到图像扩散模型的高效个性化,既降低训练内存至推理级,又保持或提升性能。
2024-11-02 cs.AI cs.CV cs.GR
Optimization-Driven Adaptive Experimentation
Columbia University(哥伦比亚大学);Meta;University of Pittsburgh(匹兹堡大学)
针对现实实验中的批处理延迟反馈、非平稳性、多目标约束及个性化挑战,提出基于中心极限近似动态规划的数学规划框架,利用自动微分和GPU并行化,在数百个实例上优于静态随机对照试验,性能稳健。
2024-11-07 cs.LG
Adaptive Personalized Federated Learning
The Pennsylvania State University(宾夕法尼亚州立大学)
对联邦学习算法中个性化程度的研究表明,只有最大化全局模型的性能才能限制局部模型的个性化能力。在本文中,我们提倡一种自适应个性化联邦学习(APFL)算法,每个客户端将训练他们的本地模型,同时有助于全球模型。我们推导了局部和全局模型混合的推广界,并找到了最佳的混合参数。我们还提出了一种通信效率的优化方法来协同学习个性化模型,并分析其收敛性在光滑强凸和非凸设置。大量的实验证明了我们的个性化模式的有效性,以及建立泛化理论的正确性。
2020-11-06 cs.DC cs.LG stat.ML
Sample-Constrained Black Box Optimization for Audio Personalization
本文研究音频个性化中的黑盒优化问题,提出将整体音频样本评分与最优滤波器元素评分相结合的混合查询方法,并基于稀疏高斯过程回归证明其优于单一查询方式,通过仿真和真实实验验证了有效性。
2025-07-17 cs.LG cs.SD eess.AS
Elastically-Constrained Meta-Learner for Federated Learning
Linklogis Inc.(联易融科技集团)
针对联邦学习中元学习方法因非凸损失和采样随机性导致本地适配目标不稳定、收敛受阻的问题,本文提出利用历史本地适配模型约束内循环方向的弹性约束方法,在不增加计算和通信开销的情况下加速元学习收敛并提升个性化性能,在三个公开数据集上达到SOTA。
2023-08-05 cs.AI cs.CV cs.LG
Collaborative and Efficient Personalization with Mixtures of Adaptors
Ohio State University(俄亥俄州立大学);Google Research(谷歌研究院)
本文提出联邦低秩自适应学习框架FLoRAL,通过客户端特定的低秩适配器混合实现分组个性化,将个性化联邦学习转化为多任务学习,在提升泛化与个性化效果的同时降低过拟合风险并改善梯度方差。
2025-03-08 cs.LG
Never Start from Scratch: Expediting On-Device LLM Personalization via Explainable Model Selection
University of Pittsburgh(匹兹堡大学)
针对端侧 LLM 个性化受限于算力和个人数据的问题,提出 XPerT,通过可解释性选择已个性化模型再微调,显著降低计算成本并提升数据效率。
2025-04-15 cs.AI cs.CL cs.HC
Profit: Benchmarking Personalization and Robustness Trade-off in Federated Prompt Tuning
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google(谷歌);The University of Washington(华盛顿大学)
该研究针对联邦参数高效微调中个性化与鲁棒性的权衡空白,对联邦提示调优的基础算法开展多场景基准测试,发现小学习率多本地轮次等设置可提升鲁棒性,正则化等方法能改善受限场景下的权衡效果。
2023-10-06 cs.LG
Representation-Aligned Multi-Scale Personalization for Federated Learning
Department of Electrical and Electronic Engineering, Nanyang Technological University, Singapore(南洋理工大学电气与电子工程学院)
本文提出FRAMP框架,通过生成客户端特定模型实现个性化和资源适应的联邦学习,提升泛化能力和适应性。
2026-04-13 cs.LG
Adaptive Personlization in Federated Learning for Highly Non-i.i.d. Data
Technical University of Munich(慕尼黑工业大学);Johns Hopkins University(约翰斯·霍普金斯大学)
联邦学习(FL)是一种分布式学习方法,为医疗机构提供了在全球模型中进行协作的前景,同时保护了患者的隐私。尽管大多数医疗中心执行类似的医学成像任务,但它们的差异(如专业化、患者数量和设备)导致了独特的数据分布。数据异构性对FL和本地模型的个性化提出了挑战。在这项工作中,我们研究了自适应层次聚类方法FL产生中间半全球模型,使客户端具有类似的数据分布有机会形成一个更专业的模型。我们的方法形成了几个集群组成的客户端最相似的数据分布,然后,每个集群继续单独训练。在集群内部,我们使用元学习来提高参与者模型的个性化。我们比较了聚类方法与经典的FedAvg和集中式训练,通过评估我们提出的方法对HAM10k数据集的皮肤病变分类与极端异构的数据分布。我们的实验表明,显着的性能增益在异构分布相比,标准FL方法的分类精度。此外,我们表明,如果应用于集群,模型收敛速度更快,并且在仅使用一小部分数据的情况下优于集中式训练。
2022-07-07 cs.LG
FedPrism: Adaptive Personalized Federated Learning under Non-IID Data
IISER Bhopal(印度比哈尔州IISER布帕尔)
FedPrism通过Prism分解和双流设计,在非独立同分布数据下实现适应性个性化联邦学习,提升模型准确率与泛化能力。
2026-03-10 cs.LG
Personalized Federated Learning with Adaptive Feature Aggregation and Knowledge Transfer
Zhejiang University(浙江大学)
本文提出FedAFK方法,通过自适应特征聚合与知识迁移平衡泛化与个性化,在Non-IID数据上提升个性化联邦学习性能,并在多数据集实验中优于13个基线。
2024-10-19 cs.AI cs.CR cs.LG
GRP-FED: Addressing Client Imbalance in Federated Learning via Global-Regularized Personalization
Peking University(北京大学);Key Laboratory of Machine Perception (Ministry of Education), Peking University(北京大学机器感知重点实验室(教育部));National Institute of Health Data Science, Peking University(北京大学健康数据科学研究院);Institute of Medical Technology, Health Science Center of Peking University(北京大学医学部医学技术研究院)
由于数据在现实中是长尾的,它是具有挑战性的联邦学习(FL)的训练跨分散的客户端作为实际应用。我们提出了全局正则化个性化(GRP-FED),以解决数据不平衡的问题,考虑一个单一的全球模型和多个本地模型为每个客户端。通过自适应聚合,全局模型公平地对待多个客户端,并缓解全局长尾问题。每个本地模型都是从本地数据中学习的,并与其分布保持一致以进行定制。为了防止局部模型过度拟合,GRP-FED应用对抗性的正则化来正则化学习到的全局-局部特征。广泛的结果表明,我们的GRP-FED在真实世界的MIT-BIH和合成CIFAR-10数据集上的全球和本地场景下都有所改善,实现了相当的性能并解决了客户端不平衡问题。
2021-08-31 cs.AI cs.LG
PA-CoT: Profile-Adaptive Chain-of-Thought for Personalized Nutritional Consulting
ITMO University(ITMO大学)
该研究针对营养咨询提示方法缺乏画像分析步骤的缺陷,提出PA-CoT多阶段提示法,构建QPA基准并经对比实验证实,明确画像分析步骤可显著提升咨询的个性化与安全性。
2026-08-27 cs.AI cs.CL cs.HC
Bridging Generalization and Personalization in Human Activity Recognition via On-Device Few-Shot Learning
Tsinghua University, Sanechips Technology Co.,Ltd.(清华大学,善能芯片技术有限公司);ETH Zürich(苏黎世联邦理工学院);DFKI Kaiserslautern(达姆施塔特人工智能研究所);DFKI and RPTU Kaiserslautern(达姆施塔特人工智能研究所和鲁尔大学)
提出设备端少样本学习框架,在RISC-V微控制器上实现HAR的泛化与个性化统一,仅需少量样本即可适应新用户,在三个基准数据集上分别提升准确率3.73%、17.38%和3.70%。
2025-09-07 cs.AI cs.LG
AutoRank: MCDA Based Rank Personalization for LoRA-Enabled Distributed Learning
The University of Sydney(悉尼大学);University of Oxford(牛津大学);Central South University(中南大学)
提出AutoRank自适应秩设置算法,利用MCDA方法TOPSIS和数据复杂性指标动态分配局部秩,有效解决分布式学习中Non-IID数据的手动秩配置难题,显著降低计算开销并加速收敛。
2024-12-20 cs.DC cs.LG
User-Centric Federated Learning: Trading off Wireless Resources for Personalization
EURECOM(欧洲通信学院);Mitsubishi Electric R&D Centre Europe(三菱电机欧洲研发中心)
针对联邦学习中的统计异构与通信开销问题,提出基于梯度信息和风险上界的用户中心个性化聚合规则,并通过用户聚类得到通信高效变体,在准确率、最差节点性能和开销上优于基线。
2023-04-25 cs.LG
Explain Less, Understand More: Data-Efficient Personalization of Reader-Dependent Jargons
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);William & Mary(威廉与玛丽学院)
本研究针对个性化术语检测的资源消耗问题,提出基于LoRA的轻量级微调与个性化提示策略,结合半监督学习,在仅用10%标注数据下超越GPT-4,实现高效低资源的用户自适应NLP系统。
2026-09-22 cs.AI cs.CL cs.LG
A Locally Penalized Cross-Estimate Federated Method with Guarantees for Constrained Personalized Learning
Department of Industrial and Systems Engineering, Rutgers University(工业与系统工程系,罗杰斯大学);Department of Electrical and Computer Engineering, Rutgers University(电气与计算机工程系,罗杰斯大学)
本文研究了带有个性化约束的联邦优化问题,提出PC-FedAvg方法,通过多块局部决策向量维护交叉估计,实现个性化而不需共识或共享约束信息,理论分析显示通信复杂度为O(ε^{-2})和O(ε^{-1})。
2026-10-05 cs.LG math.OC
NEXUS-MI: Communication-Aware Federated Personalization for Gateway-Coordinated Motor-Imagery Brain-Computer Interfaces
University of Notre Dame(圣母大学)
NEXUS-MI提出网关协调的通信感知联邦个性化框架,通过将同步视为学习与通信控制问题,在BCICIV-2a和OpenBMI上减少约42%骨干流量,同时保持准确性并揭示受试者水平脆弱性。
2026-09-10 cs.LG cs.NI
A Pre-Trained Graph-Based Model for Adaptive Sequencing of Educational Documents
Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心);ENS Paris-Saclay(巴黎萨克雷高等师范学校);Centre Borelli(博雷利中心);onepoint(onepoint公司);University of Augsburg(奥格斯堡大学);Inria Saclay(法国国家信息与自动化研究所萨克雷分部);University of Pittsburgh(匹兹堡大学)
本文提出一种无需专家标注的数据高效学习路径个性化框架,利用强化学习在原始课程材料上预训练图推荐模型,显著提升新教育材料场景下的数据效率,为自适应学习基础模型设计提供新思路。
2024-11-18 cs.AI cs.CY cs.LG
Cluster-Aware Over-the-Air Federated Learning with Energy-Harvesting Devices: From Global Training to Model Personalization
Bilkent University(比尔肯特大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);CentraleSupélec(中央理工学院);Imperial College London(帝国理工学院)
本研究针对带能量收集设备的异质性数据分布场景,提出统一集群感知空中联邦学习框架,可分别实现全局训练的公平性优化与模型个性化,同时降低通信开销。
2026-08-04 cs.DC cs.LG
ComMer: a Framework for Compressing and Merging User Data for Personalization
Google DeepMind(谷歌DeepMind)
本文提出 ComMer 框架,将用户文档压缩并合并为紧凑表示后输入冻结 LLM,以低成本实现个性化,并在 LaMP 与 PerLTQA 任务上验证其效果与局限。
2025-01-05 cs.AI cs.CL cs.IR
Proximity Features: Privacy-Compliant Cold-Start Personalization at Airbnb
Airbnb Inc.(爱彼迎公司)
针对爱彼迎冷启动个性化推荐难题,引入基于地理IP数据和自适应聚类算法的邻近特征系统,无需个人标识符,在保护隐私的同时实现聚合用户信号生成,经实验验证能显著提升预订量。
2026-07-15 cs.LG
FAM: fast adaptive federated meta-learning
Indian Institute of Information Technology Allahabad(阿拉哈巴德印度信息技术学院)
提出FAM框架,通过联邦元学习学习稀疏全局模型,并在各客户端本地生长个性化参数,快速适应MRI数据,降低通信开销并提升个性化模型性能。
2023-09-01 cs.AI cs.CV cs.LG
Privacy Preserving Machine Learning Model Personalization through Federated Personalized Learning
American International University-Bangladesh(孟加拉国美国国际大学);North South University(北南大学)
本文通过PPMLFPL框架分析隐私保护下的机器学习模型个性化方法,比较APPLE+DP与APPLE+HE算法,发现前者执行效率高,后者整体表现更优,为隐私保护个性化学习提供实践指导。
2025-05-03 cs.CR cs.DC cs.LG
Personalization on a Budget: Minimally-Labeled Continual Learning for Resource-Efficient Seizure Detection
Embedded Systems Laboratory, EPFL(EPFL嵌入式系统实验室)
本文提出持续学习框架EpiSMART,通过受限回放缓冲区和知情样本选择策略,在最小标注数据下实现患者个性化癫痫检测,有效避免灾难性遗忘,适用于可穿戴系统实时部署。
2025-09-17 cs.LG eess.SP
Low-Energy On-Device Personalization for MCUs
Imperial College London(帝国理工学院);University of York(约克大学)
本文提出MicroT,一种基于自监督知识蒸馏和阶段决策早退推理的低能耗MCU端侧个性化方法,在保持SRAM低于1MB的同时显著降低训练与推理能耗,并优于传统迁移学习和现有SOTA方法。
2024-10-01 cs.AR cs.LG
Fed-Meta-Align: A Similarity-Aware Aggregation and Personalization Pipeline for Federated TinyML on Heterogeneous Data
本文提出Fed-Meta-Align四阶段联邦学习框架,通过公共数据预训练、串行元初始化、双准则聚合和端侧个性化,在异构IoT故障分类中实现91.27%平均准确率,优于FedAvg和FedProx。
2025-08-15 cs.LG
CiMRAG: CiM-Aware Domain-Adaptive and Noise-Resilient Retrieval-Augmented Generation for Edge-Based LLMs
National Taiwan University(国立台湾大学)
CiMRAG通过TONEL框架提升边缘LLM在噪声环境下的检索准确性和域适应性。
2026-02-03 cs.AI cs.LG
Federated style aware transformer aggregation of representations
Khuynghee Univ(韩国科学技术院)
FedSTAR通过解耦客户端特定风格因素与共享内容表示,结合Transformer注意力机制实现高效个性化联邦学习,提升异构环境下的鲁棒性与泛化能力。
2025-11-24 cs.AI cs.DC cs.LG
UniXGrad: A Universal, Adaptive Algorithm with Optimal Guarantees for Constrained Optimization
EPFL(洛桑联邦理工学院);Technion(以色列理工学院);INRIA(法国国家信息与自动化研究所)
针对随机约束凸优化问题,提出了一种新的自适应加速算法.我们的方法,这是受启发的Prox-Prox方法,\emph{simultaneously}实现了最佳的速度光滑/非光滑问题的确定性/随机一阶预言。这是在没有任何关于平滑度或问题的噪声特性的先验知识的情况下完成的。据我们所知,这是第一个自适应的,统一的算法,在约束设置中实现最佳速率。我们通过大量的数值实验证明了我们的框架的实际性能。
2019-10-30 cs.LG math.OC
Adaptive Learning for the Resource-Constrained Classification Problem
Faculty of Engineering, Bar-Ilan University(巴伊兰大学工程学院);University of Florida(佛罗里达大学)
针对资源受限分类问题,提出一种通过迭代微调误分类成本来联合优化学习与资源约束的自适应学习方法,实验证明其在困难分类任务上显著优于传统方法。
2022-07-19 cs.LG
Evidential Trust-Aware Model Personalization in Decentralized Federated Learning for Wearable IoT
Quantum Cloud Computing and Distributed Systems (qCLOUDS) Lab(量子云计算与分布式系统实验室);School of Computing and Information Systems(计算与信息系统学院);The University of Melbourne, Australia(墨尔本大学)
本文提出Murmura框架,利用证据深度学习实现去中心化联邦学习中的信任感知模型个性化,通过Dirichlet基于的证据模型中的epistemic不确定性直接指示节点兼容性,从而减少非IID条件下的性能下降并加快收敛速度。
2026-02-16 cs.DC cs.LG
FedCLIP: Fast Generalization and Personalization for CLIP in Federated Learning
Chinese Academy of Sciences(中国科学院);City University of Hong Kong(香港城市大学);Microsoft Research Asia(微软亚洲研究院)
本文提出 FedCLIP 方法,通过基于注意力的轻量级适配器在联邦学习中实现 CLIP 的快速泛化与个性化,显著提升精度并大幅降低计算和通信成本。
2023-07-09 cs.AI cs.LG
Convergence of adaptive algorithms for weakly convex constrained optimization
EPFL(洛桑联邦理工学院)
分析了求解弱凸约束随机最优化问题的自适应一阶算法AMSGrad。我们证明了$\mathcal{\tilde O}(t^{-1/4})$的Moreau包络,这是这类问题的标准平稳性措施的梯度的范数的收敛速度。它与自适应算法在无约束光滑随机最优化的特定情况下所享有的已知速率相匹配。我们的分析与小批量大小的$1$,恒定的一阶和二阶矩参数,并可能无界的优化域。最后,我们说明了我们的结果的应用和扩展到特定的问题和算法。
2020-06-11 cs.LG math.OC stat.ML
Constrained Adaptive Rejection Sampling
University of California, Berkeley(加州大学伯克利分校)
提出约束自适应拒绝采样(CARS),通过自适应剪枝无效前缀来提高拒绝采样的样本效率,同时保持无分布扭曲,在程序模糊测试和分子生成等任务中优于现有方法。
2026-06-02 cs.AI cs.CL cs.LG
Adaptive Gradient Methods for Constrained Convex Optimization and Variational Inequalities
Boston University(波士顿大学);Northeastern University(东北大学);CNRS(法国国家科学研究中心);Université de Paris(巴黎大学)
我们提供了新的自适应一阶方法约束凸优化。我们的主要算法AdaACSA和AdaAGD+是加速方法,它们是通用的,因为它们对于光滑和非光滑函数都实现了接近最优的收敛速度,即使它们只能访问随机梯度。此外,它们不需要关于目标函数如何参数化的任何先验知识,因为它们自动调整其每坐标学习率。这些可以被看作是约束优化的真正加速Adagrad方法。我们用一个更简单的算法AdaGrad+来补充它们,该算法具有相同的功能,并实现了标准的非加速收敛速度。我们还提出了一组新的结果,涉及自适应方法的无约束优化和单调算子。
2021-02-15 cs.DS cs.LG math.OC