Global Variational Inference Enhanced Robust Domain Adaptation
针对基于深度学习的域适应因依赖小批量训练导致全局分布建模受限、对齐不稳定的问题,提出GVI-DA框架,通过变分推理学习类条件全局先验实现结构感知跨域对齐,在多基准任务上取得最先进性能。
2025-11-16 cs.LG
Domain Adaptation by Using Causal Inference to Predict Invariant Conditional Distributions
IBM Research(IBM研究院);University of Amsterdam(阿姆斯特丹大学);Radboud University Nijmegen(内梅亨大学)
领域自适应和因果推理共同的一个重要目标是当源(或训练)域和目标(或测试)域的分布不同时做出准确的预测。在许多情况下,这些不同的分布可以被建模为单个基础系统的不同背景,其中每个分布对应于系统的不同扰动,或者在因果关系方面,干预。我们专注于一类这样的因果领域自适应问题,其中一个或多个源域的数据给出,和任务是预测的分布从其他变量在一个或多个目标域的测量的某个目标变量。我们提出了一种解决这些问题的方法,利用因果推理,不依赖于先验知识的因果图,干预措施的类型或干预目标。我们通过评估模拟和真实世界数据的可能实现来展示我们的方法。
2018-10-29 cs.LG stat.ML
From Inference to Adaptation: A Unified Optimal Transport View of Vision Language Model
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊公司);Wayne State University(韦恩州立大学)
本研究提出名为algname的VLM测试时适应方法,通过Wasserstein最优传输统一VLM的推理与适应目标,实验显示其性能较最优方法提升7%且效率先进。
2026-08-20 cs.AI cs.CL cs.CV
PriorGuide: Test-Time Prior Adaptation for Simulation-Based Inference
Department of Computer Science, University of Helsinki, Finland(赫尔辛基大学计算机科学系,芬兰);ELLIS Institute Finland(芬兰ELLIS研究所);Department of Computer Science, Aalto University, Finland(芬兰阿尔托大学计算机科学系)
PriorGuide通过在测试阶段灵活调整训练好的扩散模型先验分布,提升模拟推理的适应性与实用性。
2026-04-20 cs.LG stat.ML
IDANI: Inference-time Domain Adaptation via Neuron-level Interventions
Technion - Israel Institute of Technology(以色列理工学院)
大型预训练模型通常会在下游任务数据上进行微调,并在看不见的数据上进行测试。当训练和测试数据来自不同的域时,模型可能会出现问题,因为它不适合测试域。我们提出了一种新的领域自适应(DA)方法,使用神经元级的干预:我们修改每个测试示例在特定神经元中的表示,从而产生一个来自源域的反事实示例,该模型更熟悉。然后将修改后的示例反馈到模型中。虽然大多数其他DA方法都是在训练期间应用的,但我们的方法只在推理期间应用,使其更有效和适用。我们的实验表明,我们的方法提高了性能上看不见的领域。
2022-06-01 cs.AI cs.CL cs.LG
Order-Aware Test-Time Adaptation: Leveraging Temporal Dynamics for Robust Streaming Inference
Princeton University(普林斯顿大学);Duke University(杜克大学);City University of Hong Kong(香港城市大学);Apple(苹果公司)
OATTA通过建模时间动态,提升流推理的鲁棒性和准确性,适用于多种任务。
2026-01-28 cs.LG
IPA: Inference Pipeline Adaptation to Achieve High Accuracy and Cost-Efficiency
University of South Carolina(南卡罗来纳大学);Queen Mary University of London(伦敦玛丽女王大学);Technical University of Darmstadt(达姆施塔特工业大学);Technical University of Ilmenau(伊尔梅瑙工业大学);Roblox(罗布乐思(Roblox));Paderborn University(帕德博恩大学)
提出IPA在线推理流水线自适应系统,通过整数规划动态配置批大小、复制和模型变体,在满足延迟SLA下优化精度与成本,实验显示端到端精度提升21%。
2024-05-26 cs.DC cs.LG cs.PF
ChameleonLLM: Batch-Aware Dynamic Low-Rank Adaptation via Inference-Time Clusters
aiXplain Inc.(aiXplain公司)
针对LLM推理时固定权重难以适配数据变异性的问题,ChameleonLLM通过批量感知聚类和超网络动态生成低秩更新,实现推理时适配,性能优于传统LoRA且无需维护多专家模型。
2025-02-11 cs.AI cs.CL cs.LG
Posterior-driven Heuristic Support Adaptation in a Probabilistic Treatment of Real2Sim2Real for Vision-Driven Deformable Linear Object Manipulation
School of Informatics, The University of Edinburgh(信息学院,爱丁堡大学)
本文提出三种启发式方法,用于改进随机动态系统中似然自由推断的支持适应,提升参数推断和策略学习的鲁棒性。
2026-09-10 cs.LG cs.RO
Stick-Breaking Mixture Normalizing Flows with Component-Wise Tail Adaptation for Variational Inference
Department of Statistics(统计系);Seoul National University(首尔国立大学)
提出StiCTAF方法,通过stick-breaking混合基与分量级尾部自适应,解决归一化流在后验近似中难以捕捉多模态和重尾的问题,实现准确模式覆盖与尾部建模。
2025-10-09 cs.LG stat.ML
Boosting Cross-problem Generalization in Diffusion-Based Neural Combinatorial Solver via Inference Time Adaptation
Department of Computer Science and Engineering, The Chinese University of Hong Kong(香港中文大学计算机科学与工程系);Huawei Noah’s Ark Lab(华为诺亚实验室)
本文提出DIFU-Ada框架,通过推理时间适应提升基于扩散的神经组合求解器在跨问题和跨尺度上的泛化能力。
2026-03-11 cs.AI cs.LG
Distribution Transformers: Fast Approximate Bayesian Inference With On-The-Fly Prior Adaptation
Mind Foundry Ltd(Mind Foundry有限公司)
本文提出分布变换器,一种能够学习任意分布到分布映射的新型架构,通过实时先验适应实现快速近似贝叶斯推断,显著降低计算时间并达到与现有方法相当或更优的对数似然性能。
2026-05-18 cs.LG stat.ML
OCEAN: Online Task Inference for Compositional Tasks with Context Adaptation
Stanford University(斯坦福大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Nvidia(英伟达);California Institute of Technology(加州理工学院);University of Toronto(多伦多大学);Vector Institute(向量研究所)
现实世界的任务通常表现出一种组合结构,其中包含一系列更简单的子任务。例如,开门需要伸手、抓住、旋转和拉动门把手。这样的组合任务需要一个智能体对手头的子任务进行推理,同时相应地编排全局行为。这可以作为一个在线任务推理问题,其中当前的任务身份,表示的上下文变量,估计从代理的过去的经验与概率推理。先前的方法采用简单的潜在分布,例如,高斯,为整个任务建模单个上下文。然而,这种表述缺乏表现力来捕捉子任务的组成和过渡。我们提出了一个变分推理框架OCEAN进行组合任务的在线任务推理。OCEAN在联合潜在空间中对全局和局部上下文变量进行建模,其中全局变量表示任务所需的子任务的混合,而局部变量捕获子任务之间的转换。我们的框架支持基于任务结构的先验知识的灵活潜在分布,并且可以以无监督的方式进行训练。实验结果表明,OCEAN提供了更有效的任务推理与顺序上下文自适应,从而导致复杂的,多阶段的任务的性能提升。
2020-08-17 cs.AI cs.LG stat.ML
Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering
South China University of Technology(华南理工大学);Institute for Infocomm Research(资讯通信研究院);Peng Cheng Laboratory(鹏城实验室)
在目标域数据上部署模型需要适应分布偏移。测试时训练(TTT)出现作为一个现实的情况下,访问完整的源域数据是不可用的,需要对目标域的即时推理这种适应的解决方案。尽管在TTT方面做了很多努力,但实验设置仍存在混乱,从而导致不公平的比较。在这项工作中,我们首先重新审视TTT的假设和分类TTT协议的两个关键因素。在多个协议中,我们采用了一个现实的顺序测试时训练(sTTT)协议,根据该协议,我们进一步开发了一个测试时锚定聚类(TTAC)方法,使更强的测试时特征学习。TTAC发现源域和目标域中的聚类,并将目标聚类与源聚类进行匹配,以提高泛化能力。提出了伪标签过滤和迭代更新的方法来提高锚定聚类的有效性和效率。我们证明,在所有TTT协议TTAC始终优于国家的最先进的方法在六个TTT数据集。我们希望这项工作将提供一个公平的基准TTT方法和未来的研究应在各自的协议进行比较。演示代码可在https://github.com/Gorilla-Lab-SCUT/TTAC上获得。
2022-10-14 cs.CV cs.LG
Empowering On-Device Model Adaptation with an Edge AI Inference Accelerator
Poznan University of Technology(波兹南理工大学);University of Modena and Reggio Emilia(摩德纳大学和雷焦艾米利亚大学)
研究针对资源受限硬件上设备端模型自适应难题,提出用异构自适应管道,借助Hailo-8L加速器提取冻结主干特征,划分计算图,在多架构和数据集上提升训练速度、吞吐量并降低能耗,证明该方法实用。
2026-07-21 cs.AR cs.CV cs.LG
EigenLoRAx: Recycling Adapters to Find Principal Subspaces for Resource-Efficient Adaptation and Inference
Department of Computer Science, Johns Hopkins University, Baltimore, USA(计算机科学系,约翰霍普金斯大学,巴尔的摩,美国)
EigenLoRAx通过回收现有适配器创建主子空间,实现资源高效的微调和推理,适用于边缘计算和资源受限环境。
2026-02-05 cs.AI cs.LG
Online conformal inference with retrospective adjustment for faster adaptation to distribution shift
Inha University(仁荷大学)
针对在线环境数据分布变化问题,提出具有回顾性调整的在线共形推理方法,利用回归方法和高效公式追溯调整预测,经实验表明该方法能在接近标称覆盖率时减少预测区间宽度约30%,提升统计效率与适应性。
2026-07-14 cs.LG stat.ML
Scalable Bayesian Low-Rank Adaptation of Large Language Models via Stochastic Variational Subspace Inference
Neuro-Symbolic Computing and Intelligence Research Group(神经符号计算与智能研究组);Computer Science Laboratory(计算机科学实验室);SRI International(SRI国际)
针对大型语言模型不确定性量化难以扩展的问题,提出ScalaBL方法,通过在低维子空间进行随机变分推断并复用LoRA参数,以极少额外参数实现了与SOTA相当的性能并扩展至迄今最大规模。
2025-06-26 cs.AI cs.CL cs.LG
Statistical Inference for Autoencoder-based Anomaly Detection after Representation Learning-based Domain Adaptation
University of Information Technology(信息技术大学);Vietnam National University(越南国家大学);RIKEN AIP(理化学研究所AIP)
本文提出STAND-DA框架,通过选择性推断为域适应后的自编码器异常检测提供有效p值并控制假阳性率,结合GPU加速使统计推断适用于大规模深度架构。
2025-08-09 cs.LG stat.ML
An Overview of Arithmetic Adaptations for Inference of Convolutional Neural Networks on Re-configurable Hardware
AVI Systems(AVI系统)
本文针对卷积神经网络在FPGA等可重构嵌入式硬件部署的难点,介绍了算术适配相关策略,并展示了基于TinyYOLOv3在XILINX Artix-7 FPGA上结合批归一化融合等技术的最佳实践。
2025-05-19 cs.LG
Does Unsupervised Domain Adaptation Improve the Robustness of Amortized Bayesian Inference? A Systematic Evaluation
Heidelberg University(海德堡大学);Zuse School ELIZA;TU Dortmund University(多特蒙德工业大学);Rensselaer Polytechnic Institute(伦斯勒理工学院)
该研究系统评估了无监督域适应(UDA)对摊销贝叶斯推理(ABI)鲁棒性的提升效果,发现UDA对齐摘要空间可缓解噪声或未建模现象影响,但在先验误设下会失效,提示使用时需考虑误设类型。
2025-05-20 cs.LG stat.ME stat.ML
Revisiting Realistic Test-Time Training: Sequential Inference and Adaptation by Anchored Clustering Regularized Self-Training
I2R, A-STAR(A*STAR信息通信研究所);South China University of Technology(华南理工大学);Southwest Jiaotong University(西南交通大学)
在目标域数据上部署模型需要适应分布偏移。测试时训练(TTT)出现作为一个现实的情况下,访问完整的源域数据是不可用的,和即时推理的目标域上的这种适应的解决方案。尽管在TTT方面做了很多努力,但实验设置仍存在混乱,从而导致不公平的比较。在这项工作中,我们首先重新审视TTT的假设和分类TTT协议的两个关键因素。在多个协议中,我们采用了一个现实的顺序测试时训练(sTTT)协议,根据该协议,我们开发了一个测试时锚定聚类(TTAC)方法,使更强的测试时特征学习。TTAC发现源域和目标域中的簇,并将目标簇与源簇进行匹配,以提高自适应性。当源域信息是严格缺席(即无源),我们进一步开发了一种有效的方法来推断锚定聚类的源域分布。最后,自我训练~(ST)在从未标记数据中学习方面取得了巨大的成功,并且我们经验性地指出,单独将ST应用于TTT容易产生确认偏差。因此,一个更有效的TTT的方法,引入了正则化的自训练与锚定聚类,改进的模型被称为TTAC++。我们证明,在所有TTT协议下,TTAC++在五个TTT数据集上的性能始终优于最先进的方法,包括损坏的目标域,选定的硬样本,合成到真实的自适应和对抗攻击的目标域。我们希望这项工作将提供一个公平的TTT方法的基准,未来的研究应在各自的协议进行比较。
2023-03-20 cs.CV cs.LG
Cerebellar-Inspired Residual Control for Fault Recovery: From Inference-Time Adaptation to Structural Consolidation
University of Illinois at Chicago(伊利诺伊大学芝加哥分校);Northwestern University(西北大学)
该研究提出了一种小脑启发的残差控制框架,通过在线纠正动作实现故障恢复,提升机器人在训练后扰动下的鲁棒性和性能。
2026-02-06 cs.LG cs.RO
Privacy-Preserving Low-Rank Adaptation against Membership Inference Attacks for Latent Diffusion Models
The University of Auckland(奥克兰大学);The National University of Singapore(新加坡国立大学);The University of Melbourne(墨尔本大学);King Abdullah University of Science and Technology(阿卜杜拉国王科技大学)
针对LoRA适配的潜在扩散模型易受成员推理攻击的问题,提出SMP-LoRA,通过最小化适配损失与MI增益的比率实现隐私保护,并理论证明其收敛性,实验验证能防御攻击并生成高质量图像。
2024-12-16 cs.CR cs.CV cs.LG
Statistical Inference for Feature Selection after Optimal Transport-based Domain Adaptation
University of Information Technology(信息科技大学);Vietnam National University(越南国家大学);RIKEN(理化学研究所)
本文提出SFS-DA方法,利用选择性推断框架在域适应下对特征选择结果进行统计检验,实现假阳性率控制并提升真阳性率,实验验证了其有效性。
2024-10-19 cs.LG stat.ML
A Probabilistically Motivated Learning Rate Adaptation for Stochastic Optimization
University of Tübingen(蒂宾根大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);Uppsala University(乌普萨拉大学);University of Newcastle(纽卡斯尔大学)
机器学习从业者在寻找优化算法的合适学习率方面投入了大量的人工和计算资源。我们提供了一个概率的动机,在高斯推断,流行的随机一阶方法。作为一个重要的特例,它恢复了具有一般度量的Polyak步骤。推理允许我们将学习率与无量纲量相关联,该无量纲量可以在训练期间通过控制算法自动适应。所得到的元算法被证明在应用于深度学习基准问题时,在大范围的初始值中以稳健的方式适应学习率。
2021-02-22 cs.LG
Token-Level Adaptation of LoRA Adapters for Downstream Task Generalization
University of Chicago(芝加哥大学)
本文提出一种基于无梯度路由的LoRA适配器令牌级自适应方法,在不增加计算开销的情况下提升小模型在多类下游任务上的泛化性能,并验证其优于基础模型和单任务微调模型。
2023-12-01 cs.CL cs.LG
CeRA: Breaking the Linear Ceiling of Low-Rank Adaptation with Non-linearity Retained at Inference
Computer Science and Information Engineering National Central University(计算机科学与信息工程国立中央大学)
CeRA通过引入SiLU门控和dropout,在推理时引入非线性,提升参数效率,在GSM8K和MATH基准中表现优异,使用更少参数达到更高性能。
2026-07-09 cs.AI cs.CL cs.LG
Exploring Accurate and Transparent Domain Adaptation in Predictive Healthcare via Concept-Grounded Orthogonal Inference
Department of Computer Science, Stevens Institute of Technology, Hoboken, NJ, United States(斯蒂文斯理工学院计算机科学系);UMass Chan Medical School, University of Massachusetts Amherst, Amherst, MA, United States(马萨诸塞大学阿默斯特分校UMass Chan医学学校)
提出ExtraCare模型,通过将患者表示分解为不变和协变分量并强制正交,在保留标签信息的同时暴露域特定变异,实现准确预测并提供基于医疗概念的可解释性。
2026-06-08 cs.AI cs.LG
Domain Adaptation for Industrial Time-series Forecasting via Counterfactual Inference
提出因果域适应(CDA)预测器,通过反事实推断和基于答案的注意力机制,解决工业时间序列少样本预测与决策混淆问题,并在油田数据集上验证了跨域预测有效性。
2024-07-19 cs.IT cs.LG math.IT
FAAST: Forward-Only Associative Learning via Closed-Form Fast Weights for Test-Time Supervised Adaptation
Zhejiang University(浙江大学);Westlake University(西湖大学);Tsinghua University(清华大学);Shanghai Polytechnic University(上海理工大学)
FAAST通过单次传递将标注示例分析性编译为快速权重,实现常数时间推理,减少适应时间90%并节省内存使用,适用于资源受限模型的高效监督任务适应。
2026-05-08 cs.CL cs.LG
ThRIve: Thermally Robust CNN Inference via Low-Rank Adaptation in Heterogeneous PIM Architectures
Washington State University(华盛顿州立大学)
研究针对基于非易失性内存的PIM架构存在热噪声影响推理准确性的问题,提出ThRIve方法,利用低秩自适应实现热鲁棒推理,在异构PIM架构上实验,准确率与SRAM相当,且降低了能量延迟积。
2026-07-21 cs.AR cs.ET cs.LG
Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures
Tufts University(塔夫茨大学)
本文提出 adapter-ALBERT 模型优化方法,通过最大化跨任务数据复用并结合异构片上内存架构映射,在边缘设备上实现高效节能的多任务 NLP 推理。
2023-04-12 cs.AR cs.LG
CD-LoRA: Consistency-Driven Low-Rank Adaptation for Multi-Task Fine-Tuning
School of Artificial Intelligence, Jilin University(吉林大学人工智能学院);International Center of Future Science, Jilin University(吉林大学未来科学国际中心)
该研究针对多任务LoRA方法存在的训练-推理不一致问题,提出无路由的CD-LoRA,通过一致性驱动对齐机制提升多任务微调的稳定性与性能,优于现有多适配器基线。
2026-08-25 cs.LG
Statistical Inference for Sequential Feature Selection after Domain Adaptation
University of Information Technology(信息科技大学);Vietnam National University(越南国家大学);RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心)
针对域适应后序贯特征选择结果缺乏可靠性保障的问题,提出可将假阳性率控制在显著性水平α以下的检验方法,提升了检验统计功效并扩展至多种模型选择准则,经实验验证性能优越。
2025-01-17 cs.LG stat.ML
SALAAD: Sparse And Low-Rank Adaptation via ADMM for Large Language Model Inference
ETH Zurich(苏黎世联邦理工学院);Max Planck Institute for Intelligent Systems(智能系统马克斯·普朗克研究所);École polytechnique fédérale de Lausanne (EPFL)(洛桑联邦理工学院(EPFL))
提出SALAAD框架,通过增广拉格朗日方法在训练中诱导稀疏低秩结构,实现模型容量灵活控制,降低部署内存且无需重训。
2026-05-28 cs.LG
Tensor Methods for Language Models: From Token Representation to Training, Adaptation, Inference, Compression, and Interpretability
Innopolis University(因诺波利斯大学);Federal University of Ceará(塞阿拉联邦大学);Systems Research Institute of Polish Academy of Science(波兰科学院系统研究所);Warsaw University of Technology(华沙理工大学)
本综述以两种互补视角组织LLM的张量方法,提供统一符号与理论基础,分析Transformer组件的张量化策略,引入ρ_gap指标,为张量化语言模型提供结构化入门路径。
2026-09-01 cs.AI cs.LG
Dynamic Features Adaptation in Networking: Toward Flexible training and Explainable inference
IBM Research Europe(IBM欧洲研究院);Trinity College Dublin(三一学院);ADAPT Research Centre(ADAPT研究中心)
本文提出结合自适应随机森林与漂移感知特征重要性方法,实现6G网络中的动态特征自适应与可解释推理,实验显示运行时间可降低2倍。
2025-10-09 cs.LG cs.NI
Causal Inference as Distribution Adaptation: Optimizing ATE Risk under Propensity Uncertainty
本文提出联合鲁棒估计器(JRE),通过联合训练结果模型和不确定性量化,优化平均处理效应风险,提升对倾向性误指定的鲁棒性。
2025-12-19 cs.LG stat.ML
SentinelLMs: Encrypted Input Adaptation and Fine-tuning of Language Models for Private and Secure Inference
University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出SentinelLMs方法,通过对分词器和词元嵌入进行不可逆变换并微调,使语言模型能直接处理加密输入,在保护隐私的同时保持与原始模型相当的性能。
2023-12-28 cs.AI cs.CL cs.CR
Test time Adaptation through Perturbation Robustness
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);University of Geneva(日内瓦大学)
由多个真实世界过程产生的数据样本本质上是动态的\textit{i.e.},它们的特性随时间而变化。因此,不可能使用文献中的大量迁移学习方法来训练和处理训练和推理之间的所有可能的分布转换。在本文中,我们解决了在推理时适应域转移的问题\textit{i.e.},我们不改变训练过程,但在测试时快速调整模型以处理任何域转移。为此,我们建议在图像流形上的测试样本附近采样的数据的预测的一致性。在许多测试场景中,如处理腐败(CIFAR-10-C和CIFAR-100-C)和领域自适应(VisDA-C),我们的方法与以前的方法相当或显着优于以前的方法。
2021-10-19 cs.CV cs.LG
CoLLM: Continuous Adaptation for SLO-Aware LLM Serving on Shared GPU Clusters
Tianjin University(天津大学);King's College London(伦敦大学国王学院);Paiou Cloud Computing (Shanghai) Company, Ltd.(上海帕优云计算有限公司)
CoLLM通过统一联邦参数高效微调与推理,实现LLM服务在共享GPU集群中的连续适应,提升模型质量和效率,实验显示其在吞吐量上表现优异。
2026-05-15 cs.AI cs.DC cs.LG
Backpropagation-Free Test-Time Adaptation via Probabilistic Gaussian Alignment
Sungkyunkwan University(庆尚大学);Amazon(亚马逊)
本文提出ADAPT方法,通过概率高斯推断任务实现测试时间适应,无需反向传播或梯度更新,提升模型在分布偏移下的鲁棒性和可扩展性。
2026-11-03 cs.CV cs.LG
Zygarde: Time-Sensitive On-Device Deep Inference and Adaptation on Intermittently-Powered Systems
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
我们提出了Zygarde -这是一个能量和准确性感知的软实时任务调度框架,适用于无电池系统,可灵活执行适合在微控制器上运行的深度学习任务1。所收集的能量的偶发性、嵌入式平台的资源约束以及深度神经网络(DNN)的计算需求提出了独特且具有挑战性的实时调度问题,在文献中尚未提出解决方案。我们实证研究了这个问题,并对能量收集模式以及DNN的准确性和执行之间的权衡进行了建模。我们开发了一种基于不精确计算的调度算法,提高了DNN任务在间歇供电系统上的及时性。我们评估Zygarde使用四个标准的数据集,以及通过部署在六个现实生活中的应用程序,涉及音频和摄像头传感器系统。结果表明,与最早截止日期优先(EDF)等传统调度器相比,Zygarde将执行时间减少了26%,调度任务增加了9%-34%,推理准确率提高了21%。
2020-09-07 cs.DC cs.LG eess.SP
Fusion: A Framework for Unified Sequential Token AdaptatIon in VisiOn TraNsformers
Brandenburg University of Technology Cottbus-Senftenberg(科特布斯-森夫滕贝格勃兰登堡工业大学);University of Zanjan(赞詹大学);Humboldt University(洪堡大学);Tallinn University of Technology(塔林理工大学)
研究视觉Transformer计算冗余问题,提出Fusion框架,通过有序协调令牌合并、提前退出和修剪机制,配合轻量级路由模块,在多数据集上实验,展现良好性能。
2026-07-07 cs.AI cs.AR cs.CV
Context-Adaptive Inference: A Unified Statistical and Foundation-Model View
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Carnegie Mellon University(卡内基梅隆大学);University of Washington(华盛顿大学);The Ohio State University(俄亥俄州立大学)
研究现代预测系统的上下文自适应推理,统一了统计、元学习和基础模型的相关方法,证明特定条件下显式与隐式自适应等价,提出设计原则、评估指标并识别开放问题。
2026-07-28 cs.LG stat.ME stat.ML
Experience-Guided Adaptation of Inference-Time Reasoning Strategies
University of Pennsylvania(宾夕法尼亚大学);AWS AI(亚马逊AI)
针对现有智能体系统推理策略自适应能力不足的问题,本文提出EGuR框架,通过元策略基于经验动态生成全组件可调整的推理策略,在多个基准上实现准确率最高提升14%、成本最高降低111倍。
2025-11-14 cs.AI cs.LG
SALT: A Lightweight Model Adaptation Method for Closed Split Computing Environments
Institute of Science Tokyo(东京科学研究所)
针对封闭拆分计算中用户无法访问头尾网络、传统适配方法失效的问题,提出轻量级框架SALT,通过客户端可训练适配器优化潜在特征实现适配,在低延迟下提升分类精度,还支持有损网络鲁棒推理,为边缘AI个性化推理提供实用方案。
2025-06-14 cs.AI cs.LG cs.NI
Model Adaptation for Time Constrained Embodied Control
Sungkyunkwan University(成均馆大学)
本文提出时间约束感知的具身控制框架 MoDeC,将资源与时间限制下的模型自适应建模为模块化网络上的动态路由,并在机器人操作和自动驾驶任务中验证了其在性能与时间约束遵守上的优势。
2024-06-17 cs.LG cs.RO
DAPDAG: Domain Adaptation via Perturbed DAG Reconstruction
ETH Zurich(苏黎世联邦理工学院);University of Oxford(牛津大学);University of Cambridge(剑桥大学)
利用来自多个域的标记数据来实现在没有标记的另一个域中的预测是一个重要但具有挑战性的问题。为了解决这个问题,我们引入框架DAPDAG(\textbf{D} omain \textbf{A} daptation via \textbf{P} erturbed \textbf{DAG} Reconstruction),并建议学习一个自动编码器,该编码器承担对给定特征的人口统计数据的推断,并重建有向无环图(DAG)作为辅助任务。假设底层DAG结构在观察到的变量之间是不变的,这些变量的条件分布允许在由潜在环境变量$E$领导的域之间变化。编码器被设计为充当$E$上的推理设备,而解码器则根据DAG中的图形父变量和推断出的$E$来重建每个观察到的变量。我们训练的编码器和解码器联合在一个端到端的方式,并进行实验的合成和真实的数据集与混合变量。实验结果表明,重建的DAG有利于近似推理。此外,我们的方法可以在预测任务中实现与其他基准测试相比具有竞争力的性能,具有更好的适应能力,特别是在与源域显著不同的目标域中。
2022-08-02 cs.AI cs.LG stat.ML
Efficient transfer learning and online adaptation with latent variable models for continuous control
Uber AI Labs(优步人工智能实验室)
传统的基于模型的强化学习依赖于手工指定或学习的环境过渡动态模型。这些方法是样本有效的,并且促进了在现实世界中的学习,但是不能推广到底层动态中的细微变化,例如,这是由于机器人代理或时间上的质量、摩擦或致动器的差异。我们建议使用变分推理来学习未知环境属性的显式潜在表示,以加速学习并促进测试时对新环境的泛化。我们使用这些学习到的潜在的在线贝叶斯推理,以快速适应在线环境的变化,而无需保留最近数据的大型重放缓冲区。结合一个神经网络合奏,模型动态和捕捉动态的不确定性,我们的方法表明,在训练和在线适应的连续控制任务HalfCheetah的正迁移。
2018-12-08 cs.LG stat.ML
Query-Conditioned Prototype Adaptation for Cross-Domain Few-Shot Learning: Single-Query Inference, Controlled Comparisons, and Failure Modes
University of Nottingham Malaysia(诺丁汉大学马来西亚校区)
本研究提出WIPT方法,通过单查询测试时原型自适应改善跨域少样本分类,在部分目标上提升精度,但收益非普遍,且支持流式推理。
2026-09-28 cs.CV cs.LG
Rethinking Test-Time Training: Tilting The Latent Distribution For Few-Shot Source-Free Adaptation
Institute of Business Administration(商业管理学院)
本文提出一种无需训练的测试时间适应方法,通过倾斜潜在分布实现少样本源无关适应,无需修改模型参数,且在严格约束下表现优异。
2026-02-02 cs.LG stat.ML
Statistical Inference for Rank Allocation in Low-Rank Adaptation
Department of Mathematics, National University of Singapore(数学系,新加坡国立大学);Department of Mathematics and Department of Electrical and Computer Engineering, National University of Singapore(数学系和电气与计算机工程系,新加坡国立大学)
研究低秩适应中在固定参数预算下分配秩资源的问题,提出StatLoRA方法,将其表述为统计假设检验问题,通过检验统计量和p值确定组件取舍,实验表明该方法在匹配秩预算下性能良好,支持了分配规则稳定性及渐近理论。
2026-07-23 cs.LG math.ST stat.ML