Online Convex Optimization with Unconstrained Domains and Losses
Stanford University(斯坦福大学)
我们提出了一个在线凸优化算法(RescaledExp),实现了最佳的遗憾,在无约束的设置没有任何先验知识的损失函数的界限。我们证明了一个下界显示现有的算法,需要一个已知的界上的损失函数和任何算法,不需要这样的知识的遗憾之间的指数分离。RescaledExp在迭代次数上渐进地匹配此下限。RescaledExp本质上是无超参数的,我们根据经验证明它与需要超参数优化的先前优化算法相匹配。
2017-03-07 cs.LG stat.ML
High-level Prior-based Loss Functions for Medical Image Segmentation: A Survey
Normandie Univ(诺曼底大学);INSA Rouen(鲁昂国立应用科学学院);Université Libanaise(黎巴嫩大学);Eindhoven University of Technology(埃因霍温理工大学);Université de technologie de Troyes(特鲁瓦技术大学)
如今,深度卷积神经网络(CNN)已经在各种成像模式和任务中展示了监督医学图像分割的最新性能。尽管早期的成功,分割网络仍然可能产生解剖学上异常的分割,在对象边界附近有洞或不准确。为了减轻这种影响,最近的研究工作集中在结合空间信息或先验知识,以执行解剖学上合理的分割。如果在图像分割中先验知识的整合在经典优化方法中不是一个新的话题,那么今天在基于CNN的图像分割中,它是一个不断增长的趋势,如关于该主题的越来越多的文献所示。在本调查中,我们专注于高级先验,嵌入在损失函数水平。我们根据先验的性质对文章进行分类:对象的形状,大小,拓扑结构和区域间的约束。我们强调了目前的方法的优势和局限性,讨论了与设计和整合先验损失相关的挑战,以及优化策略,并得出未来的研究方向。
2020-11-22 cs.CV cs.LG
Dual Branch Prior-SegNet: CNN for Interventional CBCT using Planning Scan and Auxiliary Segmentation Loss
University of Magdeburg(马格德堡大学)
本文提出了一种扩展的双分支先验网络稀疏视图介入CBCT重建纳入高质量的计划扫描。额外的头部学习分割介入仪器,从而指导重建任务。在训练过程中,先前的扫描在平面内最多不对齐+-5度。实验结果表明,提出的模型,双分支先验SegNet,显着优于任何其他评估模型>2.8dB的PSNR。它也保持强劲的wrt。旋转高达+-5.5度。
2022-05-11 cs.CV cs.LG eess.IV
When does loss-based prioritization fail?
ML Collective(ML 联盟);Uber(优步);Google Research(谷歌研究院)
并不是所有的例子都是平等的,但是标准的深度神经网络训练协议统一对待每个训练点。每个示例通过网络向前和向后传播相同的次数,而与示例对学习协议的贡献大小无关。最近的工作提出了通过偏离这种统一处理来加速训练的方法。流行的方法需要增加权重的例子,这些例子对损失的贡献更大,直觉上,损失低的例子已经被模型学习过了,所以它们对训练过程的边际值应该更低。此视图假定使用高损失示例更新模型将对模型有益。然而,这可能不适用于嘈杂的真实世界数据。在本文中,我们从理论上,然后实证证明,基于损失的加速方法在有噪声和损坏的数据的情况下会降级。我们的工作表明,示例难度的测量需要正确地将噪音从其他类型的具有挑战性的示例中分离出来。
2021-07-16 cs.LG
Unsupervised Single Image Dehazing Using Dark Channel Prior Loss
Technion Institute of Technology(以色列理工学院);Google Research(谷歌研究院)
单图像去雾是许多现代自主视觉应用中的关键阶段。早期基于先验的方法通常涉及手工制作的能量函数的耗时最小化。最近基于学习的方法利用深度神经网络(DNN)的表征能力来学习模糊图像和清晰图像之间的底层转换。由于在收集匹配的清晰和模糊图像方面的固有限制,这些方法诉诸于对合成数据的训练;从室内图像和对应的深度信息构建。当处理室外场景时,这可能导致可能的域偏移。我们提出了一种完全无监督的训练方法,通过最小化众所周知的暗通道先验(DCP)能量函数。我们不向网络提供合成数据,而是只使用真实世界的户外图像,并通过直接最小化DCP来调整网络的参数。虽然我们的“Deep DCP”技术可以被视为DCP的快速近似器,但它实际上显着改善了其结果。这表明通过网络和学习过程获得的额外正则化。实验表明,我们的方法与大规模监督方法的性能相当。
2019-08-20 cs.CV cs.LG stat.ML
Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors
New York University(纽约大学);Johns Hopkins University(约翰斯·霍普金斯大学);University of Maryland(马里兰大学);Meta AI Research(Meta人工智能研究院)
深度学习正越来越多地朝着迁移学习范式发展,在这种范式下,大型基础模型从源任务上学习的初始化开始,在下游任务上进行微调。但是初始化包含的关于源任务的信息相对较少。相反,我们表明,我们可以从源任务中学习高度信息化的后验,通过监督或自我监督的方法,然后作为修改下游任务的整个损失表面的先验的基础。这种简单的模块化方法可以在各种下游分类和分割任务上实现显着的性能提升和更有效的数据学习,作为标准预训练策略的替代品。这些高度信息化的先验也可以被保存以供将来使用,类似于预先训练的权重,并且与贝叶斯深度学习中通常使用的零均值各向同性无信息先验形成对比。
2022-05-20 cs.CV cs.LG
Lightweight Human Pose Estimation Using Heatmap-Weighting Loss
Huazhong University of Science and Technology(华中科技大学)
最近对人体姿态估计的研究利用复杂的结构来提高基准数据集的性能,忽略了模型实际部署时的资源开销和推理速度。本文通过简化SimpleBaseline中去卷积头网络的计算量和参数,引入一种注意力机制,利用原始、层间和层内信息来提高精度。此外,我们提出了一种新的损失函数,称为热图加权损失,它为热图上的每个像素生成权重,使模型更专注于关键点。实验表明,我们的方法实现了性能,资源量和推理速度之间的平衡。具体来说,我们的方法可以在COCO测试开发上获得65.3 AP分数,而推理速度在移动GPU和CPU上分别为55 FPS和18 FPS。
2022-05-21 cs.AI cs.CV cs.LG
TaxoKnow: Taxonomy as Prior Knowledge in the Loss Function of Multi-class Classification
Lenovo AI Lab(联想人工智能实验室)
本文提出TaxoKnow方法,将层次分类体系作为显式正则化项引入扁平分类器的损失函数,在半监督和全监督多类分类任务上均显著提升了分类性能。
2023-05-24 cs.AI cs.LG
Prioritized Training on Points that are Learnable, Worth Learning, and Not Yet Learnt
University of Oxford(牛津大学);Cohere(Cohere公司);University of Toronto(多伦多大学)
网络规模数据的培训可能需要数月时间。但是,大多数计算和时间都浪费在已经学习或不可学习的冗余和噪声点上。为了加速训练,我们引入了可减少的保持损失选择(RHO-LOSS),这是一种简单但有原则的技术,它近似地选择那些最能减少模型泛化损失的点进行训练。因此,RHO-LOSS减轻了现有数据选择方法的弱点:来自优化文献的技术通常选择“硬”(例如高损失)点,但这些点通常是嘈杂的(不可学习)或与任务相关性较低。相反,课程学习优先考虑“容易”的要点,但这些要点不需要在学习过之后进行培训。相比之下,RHO-LOSS选择可学习、值得学习和尚未学习的点。RHO-LOSS的训练步骤比现有技术少得多,提高了准确性,并加快了对各种数据集、超参数和架构(MLP、CNN和BERT)的训练。在大型网络抓取图像数据集Clothing-1 M上,RHO-LOSS的训练步骤减少了18倍,最终准确率比统一数据洗牌高出2%。
2022-09-26 cs.AI cs.CL cs.CV
Spectral entropy prior-guided deep feature fusion architecture for magnetic core loss
Changsha University of Science and Technology(长沙理工大学);National University of Defense Technology(国防科技大学)
本文提出SEPI-TFPNet混合模型,结合经验模型与深度学习,通过谱熵判别机制和多模态特征融合提升磁铁损耗建模的准确性和鲁棒性。
2025-12-12 cs.LG
Adapt Only When It Pays: Budgeted Decision-Loss Priority for Delayed Online Time-Series Adaptation
Xibai Wang(王希拜)
提出ADOWIP框架,通过决策损失优先级门控在反馈到达时选择性更新,在有限预算下降低决策损失,并在公共数据集上验证有效性。
2026-06-25 cs.AI cs.LG
A Comparative Study of Loss Functions: Traffic Predictions in Regular and Congestion Scenarios
University of Pennsylvania(宾夕法尼亚大学);Argonne National Laboratory(阿贡国家实验室)
针对时空图神经网络在拥堵预测上的不足,本文比较多种损失函数,发现MAE-Focal和Gumbel损失分别优化MAE和MSE时最有效,能在不牺牲常规预测精度下提升拥堵预测能力。
2023-08-29 cs.AI cs.LG
Adaptive Learning to Speed-Up Control of Prosthetic Hands: a Few Things Everybody Should Know
University of Rome La Sapienza(罗马大学)
许多研究已经提出使用领域自适应来减少利用来自先前受试者的预训练模型来控制上肢假肢所需的训练努力。这些研究通常报告了所需的训练样本数量的显著减少,以实现对完整受试者的一定水平的准确性。我们进一步研究了这一领域的两种流行方法,以验证这一结果是否同样适用于截肢者。相反,我们的研究结果表明,这种改善在很大程度上可以归因于次优的超参数配置。当超参数被适当地调整时,不利用先验信息的标准方法与更复杂的迁移学习算法表现相当。此外,早期的研究错误地假设训练样本的数量与受试者所需的努力成比例。然而,动作的重复是受试者的原子单位,因此重复的总次数应用作训练努力的可靠量度。此外,在纠正这个错误时,我们没有发现由于使用先验模型而导致的任何性能提高。
2017-02-27 cs.LG
Enhancing Convergence Speed with Feature-Enforcing Physics-Informed Neural Networks: Utilizing Boundary Conditions as Prior Knowledge for Faster Convergence
Sharif University of Technology(谢里夫理工大学)
针对PINN损失失衡与收敛慢问题,提出利用边界条件和PDE项预训练权重的两阶段特征强制方法,在三个基准上显著提升稳定性与收敛速度。
2024-04-06 cs.LG
Refined Risk Bounds for Unbounded Losses via Transductive Priors
Department of Electrical Engineering and Computer Science Massachusetts Institute of Technology(电气工程与计算机科学系 马萨诸塞理工学院);Department of Brain and Cognitive Sciences Massachusetts Institute of Technology(脑科学与认知科学系 马萨诸塞理工学院);Department of Statistics University of California, Berkeley(统计学系 加州大学伯克利分校)
该研究在转导在线学习设置下,利用带转导先验的指数权重算法,推导了无界损失下更优的风险与遗憾界,部分界不依赖设计向量或最优解范数,且算法有多项式时间近似。
2025-09-04 cs.LG math.ST stat.ML
Improving deep learning precipitation nowcasting by using prior knowledge
Meteopress s.r.o(Meteopress有限责任公司);Faculty of Information Technology, Czech Technical University in Prague(捷克技术大学布拉格信息技术学院)
深度学习方法在短期高分辨率降水临近预报的预报误差方面占主导地位。然而,它们的操作可用性受到难以解释预测背后的动态的限制,由于优化平均误差损失函数,这些预测被平滑并丢失高频特征。我们尝试将对流扩散微分方程手动工程化到PhyCell中,以在PhyDNet模型之前引入更准确的物理,从而解开物理和剩余动力学。结果表明,虽然PhyCell可以学习预期的动态,但PhyDNet的训练仍然由损失优化驱动,从而产生具有相同预测能力的模型。
2023-01-27 cs.LG
Distill the Best, Ignore the Rest: Improving Dataset Distillation with Loss-Value-Based Pruning
German Research Center for Artificial Intelligence(德国人工智能研究中心);University of Kaiserslautern-Landau(凯撒斯劳滕-兰道大学)
通过损失值基于剪枝改进数据集蒸馏,提升蒸馏质量并增强模型泛化能力。
2024-11-18 cs.AI cs.CV cs.LG
A priori Estimates for Deep Residual Network in Continuous-time Reinforcement Learning
Shanghai Jiao Tong University(上海交通大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
针对现有深度强化学习性能分析不适用于连续时间控制问题、无法直接估计Bellman最优损失泛化误差且需有界性假设的问题,提出基于损失函数两次变换与最大算子分解的方法,得到无维数灾难的先验泛化误差。
2024-03-07 cs.AI cs.LG
Deep Reinforcement Learning for Time Optimal Velocity Control using Prior Knowledge
Ariel University(阿里尔大学)
自主导航最近在强化学习领域引起了极大的兴趣。然而,很少有人注意到时间最优速度控制问题,即控制车辆,使其以最大速度行驶,而不会变得动态不稳定(翻滚或滑动)。时间最优速度控制可以使用基于最优控制和车辆动力学的现有方法数值求解。在本文中,我们使用深度强化学习来生成时间最优速度控制。此外,我们使用数值解来进一步提高强化学习器的性能。结果表明,强化学习器优于数值导出的解决方案,并且混合方法(将学习与数值解相结合)加快了训练过程。
2019-07-25 cs.LG cs.RO
Region Proposal Network with Graph Prior and IoU-Balance Loss for Landmark Detection in 3D Ultrasound
Shenzhen University(深圳大学)
3D超声(US)可以帮助进行详细的产前检查,以监测胎儿生长。为了分析3D US体积,准确地识别被评估器官的解剖标志是基本的。典型的深度学习方法通常直接回归坐标或涉及热图匹配。然而,这些方法难以处理具有大尺寸的体积以及胎儿的高度变化的位置和取向。在这项工作中,我们利用一个目标检测框架来检测三维胎儿面部US体积中的地标。通过回归多个参数的地标为中心的限界框(B盒)与一个严格的标准,所提出的模型是能够精确定位的目标地标的确切位置。具体来说,该模型使用3D区域建议网络(RPN)来生成3D候选区域,然后使用几个3D分类分支来选择最佳候选区域。它还采用了IoU平衡损失来改善分支机构之间的沟通,这有利于学习过程。此外,它在正则化训练之前利用基于距离的图,并有助于减少误报预测。在3D US数据集上评估所提出的框架的性能,以检测五个关键的胎儿面部标志。结果表明,该方法优于一些国家的最先进的方法在功效和效率。
2020-04-01 cs.CV cs.LG
Distributional Consistency Loss: Beyond Pointwise Data Terms in Inverse Problems
本文提出分布一致性损失,通过评估观测数据与噪声分布的一致性,避免过拟合噪声,提升图像去噪和医学图像重建性能。
2026-03-17 cs.CV cs.LG physics.med-ph
Physics-informed learning under mixing: How physical knowledge speeds up learning
Institute for Dynamic Systems and Control, ETH Zürich(动态系统与控制研究所,苏黎世联邦理工学院);Department of Electrical Engineering, Columbia University(电气工程系,哥伦比亚大学)
本文研究依赖数据下物理先验对学习速率的影响,通过分析带物理信息正则化的经验风险最小化,证明对齐的物理先验可将速率提升至最优i.i.d.水平。
2025-09-29 cs.LG cs.SY eess.SY
MDL Convergence Speed for Bernoulli Sequences
研究了在线序列估计/预测的最小描述长度原则。如果底层模型类是离散的,那么总期望平方损失是一个特别有趣的性能度量:(a)这个量是有界的,意味着以概率1收敛,(b)它还指定了收敛速度。对于MDL,在一般情况下,只能有损失的界限是有限的,但指数大于贝叶斯混合。我们表明,即使是这种情况下,如果模型类只包含伯努利分布。我们得到了可数Bernoulli类预测误差的一个新的上界。这意味着对于某些重要的模型类,有一个小的界限(与贝叶斯混合模型的界限相当)。我们讨论了机器学习任务的应用,如分类和假设检验,并推广到可数类的独立同分布。模型
2006-02-22 cs.IT cs.LG math.IT