Pin Once, Swap Light: Subspace-Aligned Centroid-Residual Training for Efficient Ultra-LoRA Serving
针对多租户LoRA服务中高秩适配器开销大、超低秩适配器性能差的困境,提出分层微调框架SALT,通过对齐领域质心与超低秩残差,兼顾性能与服务效率。
2026-08-05 cs.AI cs.LG
SCALE-LoRA: Auditing Post-Retrieval LoRA Composition with Residual Merging and View Reliability
Shuaipeng Zhou 1 2(周朔平 1 2);Yu Zhang 1 2(张宇 1 2)
本文提出SCALE-LoRA框架,通过残差合并和视图可靠性审计,解决开放池LoRA重用问题,提升任务级组合的可靠性。
2026-05-02 cs.AI cs.LG
Feature Geometry of LoRA Adapters: A Sparse Autoencoder Analysis of Representational Divergence in Fine-Tuned Language Models
Independent AI Safety Researcher(独立人工智能安全研究员)
本研究使用稀疏自编码器分析LoRA微调引起的表示几何变化,发现LoRA特征字典与预训练特征存在弱几何对齐,且适配器特定SAE能更有效重建delta激活。
2026-05-27 cs.LG
Context Distillation as Latent Memory Management
The Chinese University of Hong Kong(香港中文大学);Huawei Noah’s Ark Lab(华为诺亚实验室)
将上下文蒸馏视为潜在记忆管理问题,通过独立LoRA适配器形成模块化记忆库,并利用自门控机制决定是否激活潜在记忆,以提升检索鲁棒性和效率。
2026-05-27 cs.AI cs.LG
Improving Robustness of Foundation Models in Domain Adaptation with Soup-Adapters
本文提出Soup-Adapter方法,通过集成多个独立适配器并平均其输出,解决了少样本领域自适应中超参数调优困难和分布偏移鲁棒性问题,并首次将适配器技术应用于DINOv2。
2025-07-08 cs.LG
TALAN: Task-Aligned Latent Adaptation Networks for Targeted Post-Training of Large Language Models
Meta AI
提出TALAN,一种序列条件潜在旁路,插入Transformer残差流并与低秩适配器协同训练,在STEM/代码基准上平均提升LoRA 1.41点、DoRA 1.85点,仅增加<1%可训练参数和1.01-1.02倍推理开销。
2026-06-05 cs.LG
Personalized Federated Direct Preference Optimization via LoRA Adapters
Translational AI Center, Iowa State University(爱荷华州立大学转化人工智能中心);Iowa State University(爱荷华州立大学)
针对现有FedDPO未考虑客户端异质偏好分布的问题,提出基于LoRA适配器的个性化FedDPO,通过同步基础模型、保留本地LoRA适配器,在偏好数据集上实现更低梯度范数且性能相当。
2026-10-12 cs.LG
AutoAdapt: Automatic Domain Discovery Enables Low-Cost Extensibility
University of Limerick(利莫瑞克大学)
AutoAdapt通过自动发现潜在领域并独立训练每个领域的LoRA适配器,实现无需全模型重训的模块化扩展,在14个基准上达到与全局训练相当的性能。
2026-10-08 cs.LG
TFM-Retouche: A Lightweight Input-Space Adapter for Tabular Foundation Models
本文提出TFM-Retouche,一种轻量级输入空间残差适配器,用于调整预训练表格基础模型以适应特定任务,通过在输入空间学习残差修正,提升模型性能。
2026-05-08 cs.AI cs.LG
ReGRA: Residual-Gradient Adaptation for Complementary Low-Rank Fine-Tuning
Communication University of China(中国传媒大学);National University of Singapore(新加坡国立大学);Xidian University(西安电子科技大学)
ReGRA是一种两阶段低秩微调方法,通过利用残差梯度和正交正则化提升固定秩预算的使用效率,在相同总秩下性能优于同类方法,可匹配两倍秩的LoRA适配器。
2026-10-14 cs.LG
Efficient Adapter Tuning of Pre-trained Speech Models for Automatic Speaker Verification
University of Texas at Dallas(德克萨斯大学达拉斯分校)
针对自监督语音模型全量微调成本高且易过拟合的问题,本文提出并行适配器框架,仅更新5%参数即可在VoxCeleb1上优于全量微调和其他参数高效迁移学习方法。
2024-03-01 cs.LG cs.SD eess.AS
Neutral Residues: Revisiting Adapters for Model Extension
针对预训练大语言模型领域扩展存在的新旧领域性能权衡问题,提出从数据、架构、训练流程联合改进适配器的中性残差方法,使残差块在原域输出近零值,在跨语言适配任务上显著优于微调、LoRA等方法。
2025-07-31 cs.AI cs.CL cs.LG
Signs Beat Floats: Low-Rank Double-Binary Adaptation for On-Device Fine-Tuning
Fujitsu Limited(富士通株式会社);Institute of Science Tokyo(东京科学研究所);RIKEN Center for AIP(理化学研究所先进信息处理中心);Tokai University(静冈大学)
提出LoRDBA,一种用二值符号载波和通道级缩放替代低秩因子的适配器,在保持LoRA兼容性的同时显著降低存储和计算开销,并在设备端微调中匹配或超越低比特基线性能。
2026-05-22 cs.AI cs.LG
CT-Merging: Consensus Directions and Task-Specific Scaling for LoRA Adapter Merging
KAIST(韩国科学技术院)
研究针对LoRA适配器合并中系数不匹配问题,提出CT-Merging算法,通过平均任务子空间投影仪估计共识方向并分配任务级系数缩放,利用跨任务SVD子空间构建公共基础,在基准测试中比现有方法准确率更高。
2026-09-28 cs.CV cs.LG
Inducer-tuning: Connecting Prefix-tuning and Adapter-tuning
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa AI(亚马逊Alexa人工智能部门)
前缀调整,或更一般地连续提示微调,已成为参数有效的迁移学习的基本范例。使用大型预训练语言模型(PLM),前缀调整可以通过仅训练一小部分参数来获得强大的性能。在本文中,我们建议通过内核透镜来理解和进一步发展前缀调谐。具体而言,我们在内核方法中的\textit{prefixes}和\textit{inducing variables}之间进行类比,并假设\textit{prefixes}作为\textit{inducing variables}将改善其整体机制。从核估计器的角度来看,我们提出了一个新的变体前缀调整-- \textit{inducer-tuning},它共享前缀调整的确切机制,同时利用在适配器调整中发现的残差形式。这缓解了前缀调优中的初始化问题。通过对自然语言理解和生成任务的综合实验,我们证明了诱导器调整可以缩小前缀调整和微调之间的性能差距。
2022-10-26 cs.CL cs.LG
ELLA: Efficient Lifelong Learning for Adapters in Large Language Models
Purdue University(普渡大学);AWS(亚马逊公司);AWS AI Labs(亚马逊人工智能实验室)
ELLA通过选择性子空间去相关原理,实现高效终身学习,无需数据重放或架构扩展,显著提升连续学习性能和零样本泛化能力。
2026-01-07 cs.LG
Learning Adapter Rank via Symmetry Breaking
Commonwealth Bank of Australia(澳大利亚联邦银行)
本文通过破除LoRA的旋转规范对称性,提出Low-Rank Variational Dropout框架,实现低秩适应空间的贝叶斯推断,有效学习适配器秩并提升预测不确定性。
2026-05-12 cs.AI cs.CL cs.LG
ReCoLoRA: Spectrum-Aware Recursive Consolidation for Continual LLM Fine-Tuning
研究针对持续语言模型微调中类似LoRA方法新任务覆盖旧任务的问题,提出ReCoLoRA框架,通过特定初始化、选秩及递归合并等操作,在多任务持续GLUE序列实验中,用更少参数取得更好成绩。
2026-07-10 cs.AI cs.CV cs.LG
LadderEdit: Edit-Level Residual Compression for Memory-Efficient Lifelong Editing of LLMs
Yale University(耶鲁大学);Washington University in St. Louis(圣路易斯华盛顿大学);Icahn School of Medicine at Mount Sinai(西奈山伊坎医学院);Arizona State University(亚利桑那州立大学)
LadderEdit通过阶梯式提升LoRA适配器秩的压缩方法,在维持编辑覆盖范围的同时,将LLM终身编辑的存储需求降低5.2倍,且在5万次连续编辑下仍保持有效性。
2026-10-09 cs.CL cs.CV cs.LG
tLoRA: Efficient Multi-LoRA Training with Elastic Shared Super-Models
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Siebel School of Computing and Data Science(计算与数据科学学院)
tLoRA通过弹性共享超模型实现多LoRA任务高效训练,提升吞吐量和GPU利用率
2026-02-13 cs.LG
ProjQ: Project-and-Quantize for Adapter-Aware LLM Compression
University of California, Berkeley(加州大学伯克利分校)
提出ProjQ框架,通过正交子空间投影将量化噪声约束到低秩流形,利用交替算法将主导误差卸载给适配器,实现更优的量化误差补偿和下游任务微调。
2026-06-02 cs.LG
RMAdapter: Reconstruction-based Multi-Modal Adapter for Vision-Language Models
RMAdapter通过双分支架构平衡通用与任务特定知识,提升视觉-语言模型在多模态迁移学习中的性能。
2025-12-07 cs.AI cs.CV cs.LG
Localized Latent Updates for Fine-Tuning Vision-Language Models
Visual Computing Institute, RWTH Aachen University(亚琛工业大学视觉计算研究所)
尽管CLIP等大规模预训练的视觉语言模型在许多任务中表现出令人印象深刻的泛化能力,但仍然需要对其进行微调,以提高特定数据集的性能。当这样做时,期望更新模型是快速的,并且模型不会失去其对数据集之外的数据的能力,这通常是经典微调方法的情况。在这项工作中,我们提出了一个轻量级的适配器,只更新模型预测接近看到的数据点。我们在少样本学习的背景下证明了这种相对简单的方法的有效性和速度,其中我们在训练过程中看到和看不到的类上的结果与最先进的方法相当或有所改进。
2022-12-13 cs.CL cs.CV cs.LG
Personalised aesthetics with residual adapters
University of Edinburgh(爱丁堡大学);Seddi Labs(塞迪实验室);School of Informatics, University of Edinburgh(爱丁堡大学信息学院)
本文提出一种基于残差学习的个性化美学模型,以少量用户特定参数学习个体审美偏好,性能超越现有方法,并可用于图像增强和资源受限的推荐系统。
2019-07-08 cs.CV cs.LG stat.ML
Spatial Adapter: Structured Spatial Decomposition and Closed-Form Covariance for Frozen Predictors
Institute of Statistics, National Chung Hsing University(中国铭新大学统计研究所);Department of Applied Mathematics, National Dong Hwa University(东华大学应用数学系)
本文提出空间适配器,通过结构化空间表示和封闭形式协方差增强冻结预测器,利用可处理的mini-batch ADMM方法学习空间正则化正交基和样本得分,实现压缩分布摘要。
2026-05-12 cs.AI cs.LG stat.AP
Semantic Latent Alignment for Flow Matching with Invertible Bi-Lipschitz Adapters
Friedrich-Alexander-Universität Erlangen-Nürnberg(埃尔朗根-纽伦堡弗里德里希-亚历山大大学);Imperial College London(伦敦帝国学院)
该研究提出可逆双利普希茨适配器,通过离线对齐语义教师的方式,在固定预训练自编码器的编码器和解码器的情况下,实现潜在空间的语义对齐,在医学成像数据集上验证了其有效性。
2026-10-16 cs.CV cs.LG
Latent Cache Flow: Model-to-Model Communication Without Text
University of California, Berkeley(加州大学伯克利分校);Stanford University(斯坦福大学)
提出潜在缓存流(LCF)方法,通过联合翻译和压缩键值缓存实现高效模型间通信,在上下文不同场景下比基于文本的通信准确率提高23%、速度提升8.5倍。
2026-06-06 cs.LG
Q-Adapter: Customizing Pre-trained LLMs to New Preferences with Forgetting Mitigation
Nanjing University(南京大学);Polixir Technologies(Polixir科技公司);Nanyang Technological University(南洋理工大学);Skywork AI(天工AI)
本文提出Q-Adapter方法,通过引入适配器模块近似残差Q函数,将预训练LLM定制为新的人类偏好,有效缓解了定制过程中的知识遗忘问题。
2025-03-03 cs.LG
DRIFT: A Residual Flow Adapter for Decoding Continuous Outputs in Vision-Language Models
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);West Lafayette Jr./Sr. High School(韦斯特拉法叶高中)
提出DRIFT框架,通过结合基础预测器和基于流匹配的生成式精化模块,将预训练视觉-语言模型适配到连续解码任务,在视觉定位和机器人控制等任务上优于回归和生成方法。
2026-10-28 cs.AI cs.CV cs.LG
mHC-SSM: Manifold-Constrained Hyper-Connections for State Space Language Models with Stream-Specialized Adapters
Department of Digital Forensics Engineering, Technology Faculty, Firat University(费拉特大学数字取证工程系)
本文提出mHC-SSM,通过约束残差流混合矩阵到双随机矩阵流形,改进状态空间语言模型的性能,并引入流专用适配器以提升模型效果。
2026-05-08 cs.AI cs.CL cs.LG
ServeGuard: Verifiable, Bounded-Residual Confinement of Operator-Invisible Channels Without Revealing the Certified Read Factor
Red Hat AI(红帽人工智能)
ServeGuard通过零知识证明使适配器仅通过监控器覆盖方向读取输入,结构性消除隐藏通道,无需泄露读取因子,实现可验证的供应链安全。
2026-09-21 cs.CR cs.LG
Post-Training Augmentation Invariance
Department of Mathematics, Dartmouth College(达特茅斯学院数学系)
提出训练后增强不变性框架,通过轻量级MLP适配器网络在预训练模型潜空间上实现近似不变性,无需微调且保持原始特征。
2026-06-08 cs.LG stat.ML
FlatVPR: Plug-and-play Geo-linear Residual Adapter for Geometric Rectification of Foundation Model Feature Manifolds
Fundamental Engineering for Knowledge-Based Society, Graduate School of Engineering, University of Fukui(知识社会基础工程,工程研究生院,福井大学)
提出FlatVPR范式,通过可学习残差适配器和Pullback Flatness Loss抑制特征流形曲率,实现稀疏锚点下的线性插值重建,在NCLT数据集上显著提升视觉位置识别精度。
2026-10-27 cs.CV cs.LG cs.RO
Stochastic Latent Residual Video Prediction
Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心);LIP6(巴黎第六大学计算机实验室);Criteo AI Lab(Criteo人工智能实验室)
设计视频预测模型来考虑未来的固有不确定性是一项挑战。文献中的大多数作品都是基于随机图像自回归递归网络,这引起了一些性能和适用性问题。另一种方法是使用完全潜在的时间模型,解开帧合成和时间动态。然而,由于设计和训练困难,在文献中还没有提出这样的随机视频预测模型。在本文中,我们克服了这些困难,通过引入一种新的随机时间模型,其动态在一个潜在的空间由残差更新规则。这种一阶格式是由微分方程的离散化方案所激发的。它自然地对视频动态进行建模,因为它允许我们更简单,更可解释的潜在模型在具有挑战性的数据集上优于现有的最先进的方法。
2020-08-07 cs.CV cs.LG stat.ML
LIDAR-AD: A Decoder-Free Latent-Interaction Dreamer with Action-Residual Chains for Autonomous Driving
School of Mechanical Engineering, Southeast University(东南大学机械工程学院);Department of Civil and Environmental Engineering, University of Michigan(密歇根大学土木与环境工程系);Xheart Technology Co., Ltd.(芯驰科技有限公司)
研究针对自动驾驶中多源观测冗余问题,提出LIDAR-AD,用减少冗余的潜在对齐取代观测重建,将车辆控制建模为残差动作更新,经实验验证其在模拟场景和现实布局下性能优异,能提升风险感知等能力。
2026-07-15 cs.LG
Three-in-One World Model: Energy-Based Consistency, Prediction, and Counterfactual Inference for Marketing Intervention
Meijo University(名古屋大学)
本文提出三位一体世界模型,利用深度玻尔兹曼机学习消费者特征,通过轻量任务适配器实现一致性评估、预测和反事实推断,展示其在营销干预中的优势。
2026-05-08 cs.AI cs.LG
Residual Encoder-Decoder Network for Deep Subspace Clustering
Peking University(北京大学)
子空间聚类的目标是对位于低维线性子空间的并集中的未标记数据进行聚类。基于自动编码器的深度子空间聚类方法已经成为解决子空间聚类问题的一种非常流行的方法。然而,当前深度方法的训练收敛缓慢,这比传统方法效率低得多。我们提出了一种用于深度子空间聚类的残差编码器-解码器网络(RED-SC),它将卷积层和去卷积层与跳过层连接对称地连接起来,使用这种连接,训练收敛得更快。我们使用一个自我表达层,通过多个潜在空间的不同潜在表示来生成更准确的线性表示系数。实验结果表明,RED-SC算法在训练效率和聚类准确率上都具有一定的优势。此外,我们是第一个将残差编码器-解码器应用于无监督学习任务的人。
2019-10-12 cs.LG stat.ML
Dissipative Latent Residual Physics-Informed Neural Networks for Modeling and Identification of Electromechanical Systems
Human-Robot Interfaces and Interaction Lab, Istituto Italiano di Tecnologia, 16163 Genoa, Italy(人机交互实验室,意大利理工学院,意大利热那亚16163)
本文提出DiLaR-PINN,通过潜层残差网络和耗散性约束,更准确地建模电磁机械系统中的耗散效应,并在长时域外推中表现更优。
2026-04-20 cs.LG
SIReN-VAE: Leveraging Flows and Amortized Inference for Bayesian Networks
Stellenbosch University(斯泰伦博斯大学);National Institute for Theoretical and Computational Sciences(国家理论与计算科学研究所)
变分自编码器的初始工作假设具有简单分布的独立潜变量。随后的工作探索了合并更复杂的分布和依赖结构:包括编码器网络中的规范化流允许潜变量非线性地纠缠,为近似后验创建更丰富的分布类别,并且堆叠潜变量层允许为生成模型指定更复杂的先验。这项工作探讨将任意依赖结构,指定的贝叶斯网络,到VAE。这是通过用图形残差流扩展先验和推理网络来实现的-残差流通过掩蔽流的残差块的权重矩阵来编码条件独立性。我们比较了我们的模型在几个合成数据集上的性能,并展示了它在数据稀疏环境中的潜力。
2022-04-23 cs.LG stat.ML
Learning Options for Compositional Motor Control with Adapter Banks
Columbia University(哥伦比亚大学);New York University(纽约大学)
本研究提出一种共享循环核心与残差适配器库结合的架构,通过离散潜在代码选择适配器,在闭环控制中学习低秩运动基元,实现分布外运动泛化,显著优于多任务基线。
2026-09-16 cs.LG cs.RO q-bio.NC
Hyperbolic Residual Quantization: Discrete Representations for Data with Latent Hierarchies
Amazon(亚马逊公司);KAUST(卡塔尔人工智能科技大学)
针对残差量化依赖欧几里得几何难以适配层级数据分支建模的问题,提出双曲残差量化方法,通过双曲流形嵌入与运算引入适配层级结构的归纳偏置,在层级建模与发现任务上性能最高提升20%,增强了潜在层级捕捉能力。
2025-05-18 cs.AI cs.LG
Understanding Latent-Dimension Scaling in Dynamical-System Learning through Spectral Reliability
RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心);Graduate School of Information Science and Technology, The University of Osaka(大阪大学信息科学与技术研究生院)
该研究通过分析Koopman算子的谱可靠性,对比两种损失训练的Koopman自编码器在六个混沌系统上的滚动误差等指标,发现谱残差模型性能更优,验证了谱可靠性对潜维缩放的解释作用。
2026-10-09 cs.LG math.DS nlin.CD
Identification of Latent Variables From Graphical Model Residuals
基于图的因果发现方法旨在捕获与观察数据一致的条件独立性,并将因果关系与间接或诱导的因果关系区分开来。成功构建数据的图形模型取决于因果充分性的假设:即所有混淆变量都被测量。当不满足这个假设时,学习的图形结构可能会变得任意不正确,并且这些模型所暗示的效果可能会被错误地归因,携带错误的幅度或错误地表示相关性的方向。图形模型在越来越少的“大数据”中的广泛应用,重新引起了人们对未观察到的混淆问题的关注。我们提出了一种新的方法,其目的是控制潜在的空间时,估计一个DAG迭代推导代理的潜在空间的残差推断模型。在温和的假设下,我们的方法改进了高斯图模型的结构推理,并提高了因果效应的可识别性。此外,当该模型用于预测结果时,它会消除结果父项系数的混淆,并在样本外制度与训练数据非常不同时提高预测性能。我们表明,任何改善的预测结果是内在的上限,不能上升超过一定的限制相比,混杂模型。我们扩展我们的方法超越GGMs有序变量和非线性的情况下。我们的R包提供了PCA和自动编码器实现的方法,适合GGM的一些保证和更好的性能,在一般情况下,但没有这样的保证。
2021-01-07 cs.LG q-bio.QM stat.ML
Latent Dirichlet Allocation with Residual Convolutional Neural Network Applied in Evaluating Credibility of Chinese Listed Companies
University of Toronto(多伦多大学)
该项目展示了一种方法来估计合作的可信度与自然语言处理的方法。由于公司透明度影响公司的信誉和未来可能的收益,因此,它是银行和投资者在对上市公司进行风险评估时必须考虑的一个重要因素。这种评估合作可信度的方法可以绕过风险评估中的人为偏见和不一致性,与人工评估相比,使用大量定量数据和神经网络模型可以以更有效的方式提供更准确的估计。该模型首先采用潜在狄利克雷分配法和清华大学中文开放词典对文章中可能与企业信誉相关的主题进行分类。然后,根据基金经理和会计师对企业公信力的调查数据,对每个主题的关键词进行标注,训练出一个残差卷积神经网络。训练结束后,我们对所有3065家上市公司的新闻报道进行预处理,运行模型,该模型应该根据公司的透明度水平给出公司排名。
2018-11-24 cs.CL cs.IR cs.LG
All-Atom GPCR-Ligand Dynamics Simulation via a Residual Latent Flow Mode
Swiss Federal Institute of Technology (EPFL)(瑞士联邦理工学院(EPFL))
本文提出GPCRLMD框架,利用残差等距潜在流实现高效全部原子GPCR-配体模拟,准确再现热力学性质与关键相互作用。
2026-09-29 cs.AI cs.LG q-bio.QM
Adapting World Models with Latent-State Dynamics Residuals
University of California Irvine(加利福尼亚大学欧文分校)
提出ReDRAW潜在状态自回归世界模型,通过对潜在状态动态进行残差校正以适应现实环境,使RL智能体能在校正后的想象动态下优化并部署,有效克服低数据场景下的仿真到现实迁移挑战。
2025-04-03 cs.AI cs.LG cs.RO
A Brain Age Residual Biomarker (BARB): Leveraging MRI-Based Models to Detect Latent Health Conditions in U.S. Veterans
Department of Mathematics and Computer Science, Lake Forest College(数学与计算机科学系,拉克森林学院);Captain James A. Lovell Federal Health Care Center(詹姆斯·A·洛夫联邦医疗中心);Rosalind Franklin University of Medicine and Science(罗莎琳德·弗兰克林医学院和科学大学)
本研究利用MRI和CNN构建脑年龄预测模型,通过残差分析发现其与多种疾病状态显著相关,可作为检测退伍军人潜在健康状况的生物标志物。
2025-04-19 cs.LG
Learnable Residual-Based Latent Denoising in Semantic Communication
Department of Electronic Engineering, Shanghai Jiao Tong University(电子工程系,上海交通大学);School of Cyber and Engineering, Shanghai Jiao Tong University(网络与工程学院,上海交通大学);Department of Electrical and Computer Engineering, University of Delaware(电气与计算机工程系,德雷塞尔大学);State Key Laboratory of Networking and Switching Technology, Beijing University of Posts and Telecommunications(网络与交换技术国家重点实验室,北京邮电大学)
本研究提出一种带可学习残差潜空间去噪器的语义通信框架,通过迭代残差学习构建去噪映射,并结合信道信噪比自适应调整去噪步数,在不同噪声水平下高效提升图像传输质量并降低时延。
2025-05-16 cs.IT cs.LG math.IT
Bayesian Residual Policy Optimization: Scalable Bayesian Reinforcement Learning with Clairvoyant Experts
University of Washington(华盛顿大学)
面对不确定性,明智和稳健的决策对于与人类一起执行物理任务的机器人至关重要。我们将其表述为潜在马尔可夫决策过程(MDP)上的贝叶斯强化学习。虽然贝叶斯最优性在理论上是黄金标准,但现有算法不能很好地扩展到连续状态和动作空间。我们的建议基于以下见解:在没有不确定性的情况下,每个潜在的MDP更容易解决。我们首先获得一组专家,每个潜在的MDP一个,并融合他们的建议来计算基线策略。接下来,我们训练贝叶斯残差策略来改进集合的建议并学习减少不确定性。我们的算法,贝叶斯残差策略优化(BRPO),进口的可扩展性的策略梯度方法和特定于任务的专家技能。BRPO显著提高了专家的集合,并大大优于现有的自适应RL方法。
2020-02-07 cs.LG cs.RO
DLR: Zero-Inference-Cost Latent Residuals for Low-Rank Pre-Training
Graz University of Technology, Austria(奥地利格拉茨技术大学);Swiss Data Science Center, Switzerland(瑞士数据科学中心)
提出DLR插件,通过固定结构化残差增强低秩预训练,不增加参数,训练后可吸收,提升模型质量。
2026-06-27 cs.AI cs.LG
Residual Stream Analysis with Multi-Layer SAEs
本研究提出多层稀疏自编码器(MLSAE)以分析Transformer残差流跨层信息流动,发现潜在变量激活层分布方差大且随模型增大而增强,为理解表示变化提供新方法。
2025-02-24 cs.CL cs.LG
Geometry-Aware Hyperbolic Residual-Quantized Variational Autoencoders
Universiteit van Amsterdam(阿姆斯特丹大学)
针对残差量化在欧几里得空间忽视层次结构的问题,提出几何感知双曲残差量化,通过前向聚合与后向梯度路由提升稳定性,在层次任务中优于双曲基线,但纯压缩仍以欧氏方法为佳。
2026-09-28 cs.AI cs.LG
Residual spectral instabilities in representation learning
The University of Tokyo(东京大学)
该研究针对变分自编码器(VAE)的后验崩溃问题,构建残余谱涨落理论,通过数值实验验证潜在维度随谱边际逐步丢失的现象,为表征学习的稳定性提供谱级联解释。
2026-10-09 cond-mat.stat-mech cs.LG
BeliefGraph-JEPA: Structured Latent World Models for Action-Conditioned Time Series
Carnegie Mellon University(卡内基梅隆大学);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校);Stevens Institute of Technology(史蒂文斯理工学院)
针对动作条件时间序列预测,提出BeliefGraph-JEPA结构化潜在世界模型,通过类型化潜在效应状态和图路由捕捉未来驱动因素影响,在四个多目标系统上优于多种基线。
2026-10-06 cs.AI cs.LG