Reducing Action Space: Reference-Model-Assisted Deep Reinforcement Learning for Inverter-based Volt-Var Control
Tsinghua-Berkeley Shenzhen Institute, Tsinghua University（清华大学清华-伯克利深圳学院）；Shanghai University of Electric Power（上海电力大学）；Tsinghua University（清华大学）；Beihang University（北京航空航天大学）
提出了一种基于参考模型辅助的深度强化学习方法用于有源配电网逆变器电压无功控制。我们研究了大的动作空间增加了DRL的学习难度，降低了数据生成和神经网络训练过程中的优化性能。为了减小DRL的动作空间，我们设计了一种参考模型辅助的DRL方法。我们介绍的参考模型，基于参考模型的优化，和参考行动的定义。参考模型辅助的DRL学习参考动作和最优动作之间的剩余动作，而不是直接学习最优动作。由于剩余动作远小于参考模型的最优动作，因此可以为参考模型辅助DRL设计更小的动作空间。它降低了DRL的学习难度，并优化了参考模型辅助DRL方法的性能。值得注意的是，参考模型辅助的DRL方法是兼容的任何政策梯度DRL算法的连续行动问题。本文以软行动者-批评者算法为例，设计了一种参考模型辅助的软行动者-批评者算法。仿真结果表明：1）较大的动作空间会降低DRL在整个训练阶段的性能; 2）参考模型辅助的DRL需要较少的迭代次数，并返回更好的优化性能。
2022-10-10 cs.AI cs.LG cs.SY
Lazily Adapted Constant Kinky Inference for Nonparametric Regression and Model-Reference Adaptive Control
Dept. of Engineering Science University of Oxford, UK（工程科学系 奥克斯福德大学 英国）
本文提出了一种惰性适应的常数Kinky推断方法，用于非参数回归和模型参考自适应控制，通过在线估计Hölder常数并建立强通用逼近保证，展示了在密集数据下学习任意连续函数的能力。
2021-03-10 cs.AI cs.LG cs.SY
AMoPO: Adaptive Multi-objective Preference Optimization without Reward Models and Reference Models
University of Science and Technology of China（中国科学技术大学）；Meituan（美团）
针对多目标偏好对齐难以兼顾各维度且依赖奖励/参考模型的问题，本文提出AMoPO框架，利用维度感知生成指标作为隐式奖励并通过高斯分布建模实现自适应权重分配，在多种规模模型上显著优于基线。
2025-06-08 cs.AI cs.LG
Adaptive Dynamic Programming for Model-free Tracking of Trajectories with Time-varying Parameters
Karlsruhe Institute of Technology (KIT)（卡尔斯鲁厄理工学院）
为了自主学习控制未知系统最优w.r.t.自适应动态规划（ADP）是一种目标函数，非常适合于根据与系统交互的经验来调整控制器。近年来，许多研究人员将重点放在跟踪的情况下，其目的是遵循一个期望的轨迹。到目前为止，ADP跟踪控制器假设参考轨迹遵循时不变的外系统动力学的假设，并不适用于许多应用。为了克服这一限制，我们提出了一个新的Q函数，它明确地采用了参考轨迹的参数化近似。这允许学习通过ADP跟踪一般类别的轨迹。一旦我们的Q函数被学习，相关的控制器就可以处理时变参考轨迹，而不需要进一步的训练，并且独立于外系统动态。在提出了我们的一般无模型离政策跟踪方法后，我们提供了线性二次跟踪的重要特例的分析。最后，我们总结了我们的论文与一个例子，表明我们的新方法成功地学习最优跟踪控制器，并优于现有的方法在跟踪误差和成本。
2020-02-17 cs.LG cs.RO cs.SY
Function Approximation with Randomly Initialized Neural Networks for Approximate Model Reference Adaptive Control
University of Minnesota（明尼苏达大学）
本文定义了软化积分表示方法，为缺乏直接积分表示的激活函数构建目标函数积分表示，从而为多种常用激活函数的随机初始化神经网络提供逼近保证。
2023-04-05 cs.LG math.OC
HEVC Inter Coding Using Deep Recurrent Neural Networks and Artificial Reference Pictures
Leibniz University Hannover（汉诺威莱布尼茨大学）
现代视频编解码器中的运动补偿预测的效率高度依赖于可用的参考图片。遮挡和非线性运动对运动补偿提出了挑战，并且通常导致预测误差的高比特率。我们提出使用深度循环神经网络生成人工参考图片。在概念上，当前编码图片的时间实例处的参考图片是从先前重构的常规参考图片生成的。基于这些人工参考图片，我们提出了一个完整的基于HEVC的编码流水线。通过使用用于运动补偿预测的人工参考图片，实现了相对于HEVC的1.5%的平均BD速率增益。
2018-12-05 cs.LG cs.MM
Behavioral Cloning Outperforms Entropy-Regularized RL: Critic-Driven Failure of Actor-Critic Methods on Adaptive Tumor Treatment
Tilburg University（蒂尔堡大学）
本研究通过最优控制参考证明，行为克隆优于熵正则化强化学习，而演员-评论家方法因批评者误导在自适应肿瘤治疗中失败。
2026-09-09 cs.LG
Phase Aberration Correction without Reference Data: An Adaptive Mixed Loss Deep Learning Approach
Concordia University（康考迪亚大学）
针对超声成像中相位像差校正缺乏无像差参考数据的问题，提出一种无需参考数据的深度学习方法，通过输入随机像差RF数据并采用结合B-mode和RF数据的自适应混合损失函数训练网络，实现了更高效收敛与性能提升。
2023-05-17 cs.LG eess.IV eess.SP
FACET: Force-Adaptive Control via Impedance Reference Tracking for Legged Robots
Tsinghua University（清华大学）；Shanghai Qizhi Institute（上海启芝研究院）；Shanghai AI Lab（上海人工智能实验室）
针对足式机器人现有RL控制方法力感知不足的问题，提出FACET框架，通过RL训练策略模拟虚拟质量-弹簧-阻尼系统实现力自适应控制，在仿真和实体机器人上验证了高鲁棒性与可控柔顺性，可扩展至多类复杂足式机器人场景。
2025-05-19 cs.AI cs.LG cs.RO
AMICA-Python: Adaptive Mixture Independent Component Analysis with Anderson Acceleration
University of Southern California（南加州大学）；University of South Carolina（南卡罗来纳大学）
研究针对AMICA算法依赖单一Fortran实现、限制其在非MATLAB生态系统中应用的问题，提出AMICA-Python这一Python实现，通过符合scikit-learn的API集成，引入安德森加速方案，经测试其数值精度高、运行时具竞争力。
2026-07-22 cs.LG
Deep Reference Priors: What is the best way to pretrain a model?
University of Pennsylvania（宾夕法尼亚大学）
利用额外数据的最佳方法是什么？无论是来自同一任务的未标记数据，还是来自相关任务的标记数据，都可以学习给定任务。本文利用参考先验理论对该问题进行了形式化描述。参考先验是客观的，无信息的贝叶斯先验，最大化任务和模型权重之间的互信息。这样的先验使任务能够最大限度地影响贝叶斯后验，例如，参考先验依赖于可用于学习任务的样本数量，并且对于非常小的样本量，先验将更多的概率质量放在假设空间中的低复杂度模型上。本文首次展示了中等规模深度网络和基于图像的数据的参考先验。我们开发的参考先验的概括和演示应用程序两个问题。首先，通过使用未标记的数据来计算参考先验，我们开发了新的贝叶斯半监督学习方法，即使每个类的样本很少，这些方法也仍然有效。其次，通过使用来自源任务的标记数据来计算参考先验，我们开发了一种新的用于迁移学习的预训练方法，该方法允许来自目标任务的数据最大限度地影响贝叶斯后验。这些方法的实证验证进行图像分类数据集。代码可在https://github.com/grasp-lyrl/deep_reference_priors上获得。
2022-06-15 cs.LG stat.ML
SA6D: Self-Adaptive Few-Shot 6D Pose Estimator for Novel and Occluded Objects
Bosch Center for Artificial Intelligence（博世人工智能中心）；KIT（卡尔斯鲁厄理工学院）
SA6D提出一种自适应少样本6D姿态估计方法，利用分割模块和少量杂乱参考图像构建点云模型，无需物体中心参考，在遮挡场景中优于现有方法。
2023-08-31 cs.CV cs.LG cs.RO
Referenceless Performance Evaluation of Audio Source Separation using Deep Neural Networks
Centre for Vision, Speech and Signal Processing, University of Surrey（萨里大学视觉、语音与信号处理中心）；audEERING GmbH（audEERING有限公司）
当前用于音频声源分离的性能评估依赖于将处理或分离的信号与参考信号进行比较。因此，常见的性能评估工具包不适用于地面实况音频不可用的真实情况。在本文中，我们提出了一个性能评估技术，不需要参考信号，以评估分离质量。所提出的技术使用深度神经网络（DNN）来将经处理的音频映射到其质量分数。我们的实验结果表明，DNN是能够预测的来源，从盲声源分离评估工具包，而不需要参考信号的文物比。
2018-11-01 cs.LG cs.MM cs.SD
Active-GRPO: Adaptive Imitation and Self-Improving Reasoning for Molecular Optimization
School of Medicine, Stanford University（斯坦福大学医学院）；Data Science Institute, University of Chicago（芝加哥大学数据科学研究所）；Pritzker School of Molecular Engineering, University of Chicago（芝加哥大学普利兹克分子工程学院）；Department of Computer Science, University of Chicago（芝加哥大学计算机科学系）；Argonne National Laboratory（阿贡国家实验室）
提出Active-GRPO方法，通过主动模仿-强化和主动参考机制，在分子优化中自适应平衡模仿与自我改进，显著提升性能。
2026-07-02 cs.AI cs.LG q-bio.BM
Deep Adaptive Arbitrary Polynomial Chaos Expansion: A Mini-data-driven Semi-supervised Method for Uncertainty Quantification
National University of Defense Technology（国防科技大学）；Chinese Academy of Military Science（中国人民解放军军事科学院）
基于代理模型的不确定性量化方法在工程领域受到广泛关注。多项式混沌扩展（PCE）和深度学习（DL）是构建代理模型的强大方法。但PCE需要增加扩展阶数来提高代理模型的精度，这就导致需要更多的标记数据来求解扩展系数，DL也需要大量的标记数据来训练深度神经网络（DNN）。首先，本文提出了自适应任意多项式混沌（aPC），并证明了自适应展开系数的两个性质。基于自适应aPC，提出了一种半监督深度自适应任意多项式混沌展开（Deep aPCE）方法，以降低训练数据代价，提高代理模型精度.一方面，Deep aPCE方法使用自适应aPC的两个属性来辅助基于少量标记数据和许多未标记数据训练DNN，从而显著降低了训练数据成本。另一方面，Deep aPCE方法采用DNN动态微调自适应扩展系数，以较低的扩展阶数提高Deep aPCE模型精度。此外，Deep aPCE方法无需复杂的降维和模型分解操作，可以直接构造高维随机系统的精确代理模型。五个数值算例和一个实际工程问题验证了Deep aPCE方法的有效性。
2022-03-01 cs.LG
DLTK: State of the Art Reference Implementations for Deep Learning on Medical Images
我们提出了DLTK，一个工具包提供基线实现的有效实验与生物医学图像上的深度学习方法。它建立在TensorFlow之上，其高度模块化和易于使用的示例允许低阈值访问典型医学成像问题的最先进实现。DLTK的流行的网络架构的参考实现图像分割的比较展示了新的最高性能的公开可用的挑战数据“多图集标签超越脑穹窿”。$81.5$的平均测试Dice相似性系数超过先前表现最好的CNN（$75.7$）和挑战获胜方法（$79.0$）的准确性。
2017-11-18 cs.CV cs.LG
LOTTERY: Learning from Reference-Only Samples in Two-Sample Testing under Size Asymmetry
University of Science and Technology of China（中国科学技术大学）
针对参考样本丰富而查询样本极少的双样本检验问题，提出利用参考样本学习依赖参考的表示并自适应加权，实现置换检验的I类错误控制和一致性。
2026-06-07 cs.LG stat.ML
AdaMS: Deep Metric Learning with Adaptive Margin and Adaptive Scale for Acoustic Word Discrimination
KAIST（韩国科学技术院）
本文提出AdaMS方法，通过将深度度量学习中的边界和尺度超参数替换为每个类别可学习的自适应参数，在Wall Street Journal数据集的词判别任务上取得了优异结果。
2023-05-23 cs.IR cs.LG cs.SD
Closing the Generalization Gap of Adaptive Gradient Methods in Training Deep Neural Networks
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Ohio State University（俄亥俄州立大学）；University of Virginia（弗吉尼亚大学）
自适应梯度方法采用历史梯度信息来自动调整学习率，尽管具有快速收敛的良好特性，但在训练深度神经网络时，已观察到比具有动量的随机梯度下降（SGD）更差的泛化能力。这使得如何缩小自适应梯度方法的泛化差距成为一个悬而未决的问题。在这项工作中，我们表明，自适应梯度方法，如亚当，Amsgrad，有时是“过适应”。我们设计了一种新的算法，称为部分自适应动量估计方法，它通过引入部分自适应参数$p$，将Adam/Amsgrad和SGD统一起来，以达到两个世界的最佳效果。我们还证明了我们所提出的算法收敛到一个平稳点的随机非凸优化设置。在标准基准测试上的实验表明，该算法在训练深度神经网络时，在泛化能力和SGD能力上都能保持Adam/Amsgrad的快速收敛速度。这些结果将建议从业者再次采用自适应梯度方法来更快地训练深度神经网络。
2020-06-23 cs.LG stat.ML
Adaptive optics with reflected light and deep neural networks
光的散射和像差限制了生物组织的光学显微术，这促使了自适应光学技术的发展。在这里，我们开发了一种用于自适应光学的方法，该方法具有与epi检测配置兼容的反射光和深度神经网络。产生由激发和检测路径像差以及相应的反射聚焦图像组成的样品像差的大数据集。这些数据集用于训练深度神经网络。经过训练后，这些网络可以基于从散射样品记录的反射光图像来解开并独立地校正激发和检测像差。类似的深度学习方法也可以通过散射引导星来演示。使用双光子成像验证了预测的像差校正。
2020-04-09 cs.LG eess.IV physics.optics
Deep Reinforcement Learning for Data-Driven Adaptive Scanning in Ptychography
Humboldt Universität zu Berlin（柏林洪堡大学）
我们提出了一种方法，通过自适应扫描的标本，从而提供所需的空间信息冗余的最高重要性的区域，降低了重叠关联重建所需的剂量。所提出的方法建立在通过强化学习（RL）训练的深度学习模型上，使用来自训练数据集的样本结构的先验知识。我们表明，等效的低剂量实验，使用自适应扫描优于传统的重叠关联实验重建分辨率。
2022-03-29 cs.CV cs.LG physics.comp-ph
Adaptive Learning Rate via Covariance Matrix Based Preconditioning for Deep Neural Networks
NTT Software Innovation Center（NTT软件创新中心）
RMSProp等自适应学习率算法广泛用于训练深度神经网络。RMSProp提供了有效的训练，因为它使用一阶梯度来近似基于Hessian的预处理。然而，由于一阶梯度包括由随机优化引起的噪声，因此近似可能不准确。在本文中，我们提出了一种新的自适应学习率算法称为SDProp。其核心思想是通过基于协方差矩阵的预处理来有效地处理噪声。对于各种神经网络，我们的方法是更有效和有效的RMSProp及其变种。
2017-09-28 cs.AI cs.LG stat.ML
ANS: Adaptive Network Scaling for Deep Rectifier Reinforcement Learning Models
National Taiwan University（国立台湾大学）；RIKEN-AIP（理化学研究所人工智能研究中心）
这项工作提供了一个深入的研究如何奖励缩放可以影响深度强化学习代理的性能。特别是，我们想回答这样一个问题：奖励缩放如何影响RL中的非饱和ReLU网络？这个问题很重要，因为ReLU是深度学习模型中最有效的激活函数之一。我们还提出了一个自适应网络缩放框架，在学习过程中找到合适的奖励规模，以获得更好的性能。我们进行了实证研究，以证明解决方案。
2018-10-31 cs.AI cs.LG stat.ML
