Fast Second-Order Stochastic Backpropagation for Variational Inference
我们提出了一个基于二阶（Hessian或Hessian-free）的优化方法，用于受高斯反向传播启发的变分推断，并认为可以开发拟牛顿优化。这是通过一个较低复杂度的重新参数化技巧，在随机反向传播中推广梯度计算来实现的。作为一个说明性的例子，我们将这种方法应用到贝叶斯逻辑斯谛回归和变分自动编码器（VAE）的问题。此外，我们计算的估计方差的难以处理的期望的家庭Lipschitz连续函数的界限。我们的方法是实用的，可扩展的和无模型的。我们在几个真实世界的数据集上展示了我们的方法，并与其他随机梯度方法进行了比较，以显示收敛速度的大幅提高。
2017-03-28 stat.ML
Generalizing Cooperative Eco-driving via Multi-residual Task Learning
Massachusetts Institute of Technology（麻省理工学院）；Toyota InfoTech Labs（丰田信息技术实验室）；Toyota Motor North America（丰田北美汽车公司）
针对自动驾驶控制策略泛化难的问题，提出多残差任务学习框架，将控制分解为传统方法求解的标称分量与学习求解的残差项，在近600个交叉口、1200种场景的车队减排任务中验证了其协同DRL与传统方法的泛化优势。
2024-03-07 cs.AI cs.LG cs.MA
Generalizing Differentially Private Decentralized Deep Learning with Multi-Agent Consensus
Princeton University（普林斯顿大学）
针对去中心化协作学习中的参数泄露问题，提出嵌入差分隐私的多智能体共识深度学习框架，证明收敛性并在次梯度与 ADMM 方法上实现接近中心化基线的准确率。
2024-10-24 cs.AI cs.LG
Optimal Cooperative Inference
Rutgers University—Newark（罗格斯大学纽瓦克分校）
数据的合作传输通过有效地结合学习者的经验来促进知识的快速积累。虽然在人类学习和越来越多的机器学习中得到了很好的研究，但我们缺乏正式的框架，通过这种框架，我们可以推理合作推理的好处和局限性。我们提出了这样一个框架。我们引入了新的指标来衡量概率和合作信息传输的有效性。我们将我们的指数与确定性设置中的著名教学维度相关联。我们证明了条件下，可以实现最佳的合作推理，包括表示定理，约束形式的归纳偏见的学习者优化合作推理。最后，我们展示了这些原则如何为机器学习算法的设计提供信息，并讨论了对人类和机器学习的影响。
2018-01-25 cs.LG
Cooperative Parallel Particle Filters for online model selection and applications to Urban Mobility
我们设计了一个序贯蒙特卡罗方案的贝叶斯推断和模型选择的双重目的。我们认为，城市交通的应用背景下，可以采用几种方式的运输和不同的测量设备。因此，我们解决了当前模态的在线跟踪和检测的联合问题。为此，我们使用相互作用的并行粒子滤波器，每一个解决一个不同的模型。它们合作提供感兴趣变量的全局估计，同时提供给定数据的每个模型的后验密度的近似。通过计算工作量的简约分布发生相互作用，根据相应模型的后验概率在线适应每个过滤器的粒子数。所得到的方案简单灵活。我们已经测试了新的技术在不同的数值实验与人工和真实的数据，这证实了所提出的计划的鲁棒性。
2016-09-25 stat.AP stat.CO
Privacy-Aware Multi-Device Cooperative Edge Inference with Distributed Resource Bidding
The Hong Kong Polytechnic University（香港理工大学）
本文提出一种隐私感知的多设备协作边缘推理系统，通过分布式竞价机制分配MEC计算资源，并基于DEC-POMDP建模与MADDPG算法联合优化竞价值和特征压缩比，在保护隐私的同时提升分类准确率。
2024-12-30 cs.LG cs.NI cs.SY
SIDE: State Inference for Partially Observable Cooperative Multi-Agent Reinforcement Learning
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
值分解方法作为求解分散部分可观测马尔可夫决策过程（Dec-POMDP）问题的方法之一，近年来取得了重要的成果。然而，大多数值分解方法需要在训练期间完全可观察的环境状态，但这在某些只能获得不完整和噪声观测的场景中是不可行的。因此，我们提出了一种新的价值分解框架，称为状态推理价值分解（SIDE），它通过同时寻求最优控制和状态推理两个问题的解决方案，消除了了解全局状态的需要。SIDE可以扩展到任何值分解方法，以解决部分可观察的问题。通过比较不同算法在星际争霸II微管理任务中的性能，我们验证了SIDE可以在没有可访问状态的情况下，根据过去的局部观察推断出有助于强化学习过程的当前状态，甚至在一些复杂场景中获得优于许多基线的结果。
2021-12-20 cs.AI cs.LG cs.MA
BRIDGE: Bottleneck-Aware Regulator-Set Inference and Diagnosis for Cooperative Gene Regulatory Recovery
University of Central Florida（中佛罗里达大学）
研究针对协同基因调控依赖联合作用调控因子组，但多数基因调控网络推断方法输出两两调控因子-靶点排名的问题，引入BRIDGE框架及TRACE诊断套件，介绍其核心机制，指出该方法提升了多项指标，区分了相关不同目标。
2026-07-22 cs.LG
CANS: Accelerating Multiuser Collaborative Edge Inference via Cooperative Autodidactic NeuroSurgeon
Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））；Politecnico di Milano（米兰理工大学）；Harbin Institute of Technology（哈尔滨工业大学）；Fudan University（复旦大学）；Shanghai Academy of Artificial Intelligence for Science（上海人工智能科学研究院）
提出CANS框架，利用FedLinUCB-DW算法让异构设备自适应学习最优DNN分区，通过共享在线推理反馈和离线经验加速多用户边缘协同推理，显著降低延迟。
2026-06-08 cs.AI cs.DC cs.LG
Task-Oriented Communication for Multi-Device Cooperative Edge Inference
The Hong Kong University of Science and Technology（香港科技大学）；Hong Kong Polytechnic University（香港理工大学）
本文研究多设备协同边缘推理的任务导向通信，提出基于信息瓶颈原理的分布式特征提取与编码方案，并引入选择性重传机制降低通信开销，实现了优于基线方法的速率-相关性折中。
2023-09-12 cs.LG eess.SP
Cooperative Learning for Cost-Adaptive Inference
North Carolina State University（北卡罗来纳州立大学）；Collins Aerospace（柯林斯宇航公司）
提出协作训练框架，通过知识蒸馏训练队友网络与领导者网络，实现推理时动态调整网络深度以平衡性能与成本，并支持任意架构，达到与完整网络相当的准确性。
2023-12-26 cs.LG
Enabling Federated Inference via Unsupervised Consensus Embedding
School of Engineering, Institute of Science Tokyo（东京科学研究院工程学院）；Research & Development Group, Hitachi Ltd.（日立株式会社研发部）
本文提出CE-FI框架，通过共识嵌入层和协作输出层实现无需共享模型参数或原始输入的联邦推断，实验表明其在图像分类任务中优于单独推断并在非IID条件下表现优异。
2026-05-07 cs.LG
Regularized Frank-Wolfe for Dense CRFs: Generalizing Mean Field and Beyond
Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）；Inria（法国国家信息与自动化研究所）；CNRS（法国国家科学研究中心）；Grenoble INP（格勒诺布尔国立理工学院）
我们介绍了正则化的Frank-Wolfe，一个通用的和有效的算法的推理和学习的稠密条件随机场（CRF）。该算法优化了一个非凸连续松弛的CRF推理问题，使用香草弗兰克-沃尔夫近似更新，这相当于最小化一个正则化的能量函数。我们所提出的方法是现有的算法，如平均场或凹凸过程的推广。这种观点不仅提供了对这些算法的统一分析，而且还允许探索可能产生更好性能的不同变体的简单方法。我们在标准语义分割数据集上的经验结果中说明了这一点，其中我们正则化的Frank-Wolfe的几个实例优于平均场推理，无论是作为独立组件还是作为神经网络中的端到端可训练层。我们还表明，密集的CRF，加上我们的新算法，产生显着的改善强CNN基线。
2022-09-07 cs.CV cs.LG math.OC
Proportional-Fair Resource Allocation and Dual-Threshold Early-Exit Inference for Secure Cooperative Multi-Layer Edge Intelligence
University of Wollongong（伍伦贡大学）；Kennesaw State University（肯尼索州立大学）；CodeZX Software Company Limited（CodeZX软件有限公司）
本文提出FREDI框架，通过比例公平资源分配与双阈值早退推理，实现安全协作边缘智能中的事件触发推理，兼顾公平性与全局最优性。
2026-09-15 cs.CV cs.ET cs.LG
Quantum Machine Learning for Secure Cooperative Multi-Layer Edge AI with Proportional Fairness
School of Computing and Information Technology, University of Wollongong（计算机与信息科技学院，沃林戈恩大学）
本文提出一种通信高效的事件触发协作边缘AI推理框架，将双阈值提前退出策略扩展到多设备场景并引入比例公平约束，通过交替优化与Benders分解求解联合优化问题，实验证明其显著提升系统性能与资源分配公平性。
2025-07-20 cs.LG cs.NI
Towards Generalizing Inferences from Trials to Target Populations
Harvard University（哈佛大学）；Johns Hopkins University（约翰斯·霍普金斯大学）
本文基于跨学科研讨会，综述了将随机对照试验结果推广至目标人群的挑战，提出整合方法、综述进展并指出未来研究方向，以促进因果推断的外部有效性。
2024-05-25 cs.AI cs.LG econ.EM
Energy-Efficient Processing and Robust Wireless Cooperative Transmission for Edge Inference
ShanghaiTech University（上海科技大学）；Shanghai Institute of Microsystem and Information Technology, Chinese Academy of Sciences（中国科学院上海微系统与信息技术研究所）；University of Chinese Academy of Sciences（中国科学院大学）；University of Toronto（多伦多大学）；University of California at Davis（加州大学戴维斯分校）
边缘机器学习可以通过利用网络边缘的计算和存储资源，为移动设备提供低延迟和私有的人工智能（AI）服务。本文提出了一种节能的边缘处理框架，用于在边缘计算节点上执行深度学习推理任务，这些边缘计算节点与移动设备的无线连接容易受到信道不确定性的影响。针对概率服务质量（QoS）约束下计算和传输功耗之和最小化的问题，提出了一种联合推理任务和下行波束赋形问题，其特征在于该问题的目标函数为一组稀疏目标函数。我们提供了一个基于统计学习的鲁棒优化方法来近似高度棘手的概率QoS约束的非凸二次约束，这是进一步重新表示为矩阵不等式与秩一约束通过矩阵提升。我们设计了一个重新加权的功率最小化方法，通过迭代重新加权$\ell_1$最小化与差分凸函数（DC）正则化和更新的权重，其中重新加权的方法是采用增强组稀疏性，而DC正则化是为了诱导秩1的解决方案。数值结果表明，所提出的方法优于其他国家的最先进的方法。
2020-03-02 cs.IT cs.LG eess.SP
FlickerFusion: Intra-trajectory Domain Generalizing Multi-Agent RL
Yonsei University（延世大学）；KAIST AI（韩国科学技术院人工智能研究所）
针对多智能体强化学习在推理轨迹中实体动态增减导致的零样本OOD性能下降，本文提出通用增强方法FlickerFusion，通过随机丢弃观测空间提升奖励并降低不确定性。
2025-06-10 cs.AI cs.LG cs.MA
Improving Device-Edge Cooperative Inference of Deep Learning via 2-Step Pruning
Tsinghua University（清华大学）；Hitachi (China) Research & Development Cooperation（日立（中国）研究开发有限公司）
深度神经网络（DNN）是许多机器学习应用的最先进的解决方案，并且已经在移动设备上广泛使用。在资源受限的移动设备上运行DNN通常需要边缘服务器通过计算卸载提供帮助。然而，由于移动设备上的计算资源与无线资源之间的紧密相互作用，通过带宽受限的无线链路进行卸载是不平凡的。现有的研究集中在合作推理，DNN模型划分在不同的神经网络层，这两个部分分别在移动终端和边缘服务器上执行。由于DNN层的输出数据大小可能大于原始数据的大小，因此在有限的无线带宽下，卸载层之间的中间数据可能遭受高传输延迟。在本文中，我们提出了一个有效和灵活的两步修剪框架，用于移动设备和边缘服务器之间的DNN分区。在我们的框架中，DNN模型只需要在训练阶段修剪一次，迭代地删除不重要的卷积滤波器。通过限制修剪区域，我们的框架可以大大减少设备的无线传输工作量或总的计算工作量。在训练阶段生成一系列修剪模型，框架可以从中自动选择以满足不同的延迟和准确性要求。此外，增加了对中间数据的编码，以提供额外的传输工作量减少。实验结果表明，与不进行剪枝的DNN模型相比，该框架在传输负载上最多可减少25.6 $\times$，在总计算量上最多可减少6.01 $\times$，在端到端延迟上最多可减少4.81 $\times$.
2019-03-08 cs.LG cs.NI
Obsidian: Cooperative State-Space Exploration for Performant Inference on Secure ML Accelerators
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；ARM Inc.（ARM公司）
Obsidian 框架通过协同使用解析模型与周期精确模型进行状态空间探索，为安全 ML 加速器寻找最优内核映射，在云和边缘部署中显著降低推理延迟并改善能耗。
2024-09-04 cs.CR cs.LG
Communication Efficient Cooperative Edge AI via Event-Triggered Computation Offloading
The University of Hong Kong (HKU)（香港大学）；Southern University of Science and Technology (SUSTech)（南方科技大学）
针对6G任务关键型应用中罕见事件边缘推理的通信瓶颈，提出信道自适应事件触发框架，通过双阈值多出口架构、在线阈值优化和强凸重构实现高准确率与低开销。
2025-01-01 cs.LG eess.IV eess.SP
Generalizing MLPs With Dropouts, Batch Normalization, and Skip Connections
Vrije Universiteit Amsterdam（阿姆斯特丹自由大学）
多层感知器（MLP）通常由具有非线性激活函数的多个完全连接的层组成。有几种方法可以使它们更好（例如更快的收敛，更好的收敛极限等）。但研究缺乏结构化的方法来测试它们。我们通过在年龄和性别数据集上进行实验来测试不同的MLP架构。我们的经验表明，通过在每个线性层之前白化输入并添加跳过连接，我们提出的MLP架构可以获得更好的性能。由于白化过程包括丢弃，因此它也可以用于近似贝叶斯推断。我们已经开源了我们的代码，并在https://github.com/tae898/age-gender/上发布了模型和Docker镜像
2021-08-22 cs.LG
CMAD: Cooperative Multi-Agent Diffusion via Stochastic Optimal Control
University of Cambridge（剑桥大学）；Xaira Technologies（Xaira技术公司）
本文提出了一种新的框架，将多模型组合生成问题转化为协作随机最优控制问题，通过联合优化扩散轨迹来实现更有效的生成效果。
2026-05-19 cs.LG
Inference Suboptimality in Variational Autoencoders
Department of Computer Science, University of Toronto（多伦多大学计算机科学系）
分期推理允许通过变分学习训练的潜变量模型扩展到大型数据集。近似推理的质量由两个因素决定：a）变分分布匹配真实后验的能力和b）识别网络为每个数据点产生良好变分参数的能力。我们研究近似推理变分自编码器在这些因素。我们发现，从真正的后验发散往往是由于不完善的识别网络，而不是有限的复杂性的近似分布。我们表明，这部分是由于发电机学习，以适应近似的选择。此外，我们表明，用于增加近似的表达能力的参数在推广推理中发挥作用，而不是简单地提高近似的复杂性。
2018-05-27 cs.LG stat.ML
Generalizing Test-time Compute-optimal Scaling as an Optimizable Graph
The Pennsylvania State University（宾夕法尼亚州立大学）；University of Pittsburgh（匹兹堡大学）；Amazon（亚马逊）；Microsoft（微软）
针对测试时缩放中固定架构和单一模型的局限，提出将多LLM协作图搜索形式化为概率图优化，并设计Agent-REINFORCE框架，利用文本反馈作为梯度高效搜索计算最优的协作图。
2025-10-29 cs.AI cs.CL cs.LG
On Generalizing Beyond Domains in Cross-Domain Continual Learning
The Australian National University（澳大利亚国立大学）；NEC Labs America（美国NEC实验室）；Monash University（莫纳什大学）；Data61（Data61研究院）；Phiar Technologies（Phiar科技公司）；University of California, San Diego（加州大学圣地亚哥分校）
人类有能力在不同的条件下积累新任务的知识，但深度神经网络在学习新任务后，往往会对先前学习的知识产生灾难性遗忘。许多最近的方法集中在防止灾难性遗忘的假设下，训练和测试数据遵循类似的分布。在这项工作中，我们考虑了一个更现实的情况下，持续学习域的变化，模型必须概括其推理到一个看不见的域。为此，我们鼓励学习语义上有意义的功能，通过配备类相似性度量的分类器作为学习参数，通过马氏相似性计算获得。主干表示和这些额外参数的学习以端到端的方式无缝完成。此外，我们提出了一种基于指数移动平均的参数更好的知识蒸馏的方法。我们证明，在很大程度上，现有的持续学习算法无法处理多个分布下的遗忘问题，而我们提出的方法在域转移下学习新任务，在具有挑战性的数据集上，如DomainNet和DomainHome，准确率提高了10%。
2022-03-08 cs.CV cs.LG
