Multi-Objective Optimization for Self-Adjusting Weighted Gradient in Machine Learning Tasks
University of Campinas(坎皮纳斯大学)
机器学习研究的大部分焦点都放在创建新的架构和优化方法上,但总体损失函数很少受到质疑。本文从多目标优化的角度解释了机器学习,展示了数据集上损失函数的默认线性组合的局限性,并引入了超卷指标作为替代。它示出的超体积的梯度是由一个自我调整的加权平均的个人损失梯度,使其类似于一个加权平均损失的梯度,但不需要定义的权重先验定义。这实现了类似内部增强的行为,其中当前模型用于自动对损失较高的样本放置更高的权重,但不需要使用多个模型。去噪自动编码器的结果表明,新的配方是能够实现更好的平均损失比直接优化的平均损失,提供证据的猜想,自调整的权重创建一个更平滑的损失表面。
2015-07-21 cs.LG stat.ML
SoftAdapt: Techniques for Adaptive Loss Weighting of Neural Networks with Multi-Part Loss Functions
University of California, Merced(加利福尼亚大学默塞德分校);University of Arizona(亚利桑那大学);U.S. Air Force Research Laboratory(美国空军研究实验室)
自适应损失函数公式化是一个活跃的研究领域,近年来随着深度学习的成功而获得了极大的普及。然而,现有的自适应损失函数的框架往往遭受缓慢的收敛和不良的选择的权重的损失分量。传统上,多部分损失函数的元素被相等地加权,或者它们的权重通过产生接近最优(或次优)结果的启发式方法来确定。为了解决这个问题,我们提出了一个家庭的方法,称为SoftAdapt,动态地改变功能的权重多部分损失函数的基础上实时性能统计的组件损失。SoftAdapt在数学上是直观的,计算效率高,实现简单。在本文中,我们提出的数学公式和伪代码的SoftAdapt,以及我们的方法应用于图像重建(稀疏自动编码器)和合成数据生成(内省变分自编码器)的结果。
2019-12-27 cs.LG math.OC stat.ML
Adversarial Training Makes Weight Loss Landscape Sharper in Logistic Regression
NTT Secure Platform Laboratories(NTT安全平台实验室);NTT Software Innovation Center(NTT软件创新中心);NTT Communication Science Laboratories(NTT通信科学实验室)
对抗性训练正在被积极研究,以针对对抗性示例学习鲁棒模型。最近的一项研究发现,对抗训练的模型在对抗示例上的泛化性能会退化,因为它们的权重损失景观(即权重损失变化)是尖锐的。不幸的是,实验表明对抗性训练可以改善减肥效果,但这种现象尚未在理论上得到澄清。为此,本文从理论上对这一现象进行了分析。作为第一步,本文证明了具有L2范数约束的对抗性训练使线性逻辑斯谛回归模型中的减肥景观更加清晰。我们的分析表明,减肥景观的清晰度是由在增加损失的方向上对齐的噪声引起的,这在对抗训练中使用。我们从理论上和实验上证实,在线性逻辑斯谛回归模型中,随着对抗训练噪声的增加,体重减轻的情况变得更加尖锐。此外,我们在ResNet18中用softmax实验证实了同样的现象。
2021-02-05 cs.AI cs.LG stat.ML
Using dynamic loss weighting to boost improvements in forecast stability
KU Leuven(鲁汶大学)
针对滚动原点预测不稳定性问题,本文研究动态损失加权算法,在不牺牲准确率的前提下进一步提升预测稳定性,还提出了任务感知随机加权的扩展方法。
2025-01-20 cs.LG stat.ML
Adversarial Weight Perturbation Helps Robust Generalization
Tsinghua University(清华大学);PCL Research Center of Networks and Communications, Peng Cheng Laboratory(鹏城实验室网络通信PCL研究中心);Key Lab. of Machine Perception (MoE), School of EECS, Peking University(北京大学信息科学技术学院机器感知教育部重点实验室)
提高深度神经网络对对抗性样本鲁棒性的研究近年来发展迅速。其中,对抗性训练是最有前途的一种,它通过对对抗性扰动样本进行训练来评估输入损失景观(相对于输入的损失变化)。然而,广泛使用的减肥景观(相对于体重的损失变化)在对抗训练中的表现却很少被探讨。本文从一个新的角度研究了权重损失景观,并确定了权重损失景观的平坦性与鲁棒泛化差距之间的明显相关性。几个公认的对抗性训练改进,如提前停止,设计新的目标函数,或利用未标记的数据,都隐含地使减肥前景变得平坦。基于这些观察结果,我们提出了一个简单而有效的对抗性权重扰动(AWP)来显式地正则化权重损失景观的平坦性,在对抗性训练框架中形成了一个双扰动机制,对抗性地扰动输入和权重。大量的实验表明,AWP确实带来了更平坦的减肥景观,并且可以很容易地融入各种现有的对抗训练方法中,以进一步提高其对抗鲁棒性。
2020-10-13 cs.CV cs.LG stat.ML
Learning Wi-Fi Connection Loss Predictions for Seamless Vertical Handovers Using Multipath TCP
TU Darmstadt(达姆施塔特工业大学);Philipps-Universität Marburg(马尔堡菲利普斯大学)
我们提出了一种新的数据驱动的方法来在智能手机上执行平滑的Wi-Fi/蜂窝切换。我们的方法依赖于多个智能手机传感器提供的数据(例如,Wi-Fi RSSI、加速度、指南针、步数计数器、气压)来预测Wi-Fi连接丢失,并使用多路径TCP在不同连接模式之间动态切换。我们训练一个随机森林分类器和一个人工神经网络对现实世界的传感器数据收集的五个智能手机用户在三个月内。经过训练的模型在智能手机上执行,可以提前15秒可靠地预测Wi-Fi连接丢失,精度高达0.97,召回率高达0.98。此外,我们提出了四个DASH视频流实验,运行在Nexus 5智能手机上使用可用的Wi-Fi/蜂窝网络的结果。用于Wi-Fi连接丢失的神经网络预测用于在蜂窝链路上建立MPTCP子流。实验表明,我们的方法提供了无缝的无线连接,提高了DASH视频流的体验质量,并且与没有Wi-Fi连接丢失预测的切换方法相比,需要更少的蜂窝数据。
2019-07-24 cs.LG cs.NI
Is Importance Weighting Incompatible with Interpolating Classifiers?
Stanford University(斯坦福大学)
重要性加权是处理分布偏移的经典技术。然而,先前的工作已经提出了强有力的经验和理论证据,证明重要性权重对过参数化神经网络几乎没有影响。重要性加权真的与过度参数化神经网络的训练不相容吗?我们的论文对此作出了否定的回答。我们发现,重要性加权失败,不是因为overparameterization,而是由于使用指数尾损失,如逻辑或交叉熵损失。作为一种补救措施,我们表明,多项式尾损失恢复的重要性重新加权纠正分布偏移过参数化模型的影响。我们描述了梯度下降的行为的重要性加权多项式尾损失与过参数化的线性模型,并从理论上证明了使用多项式尾损失在标签偏移设置的优势。令人惊讶的是,我们的理论表明,使用通过对经典无偏重要性权重取幂获得的权重可以提高性能。最后,我们用神经网络在一个子群移位和一个标签偏移数据集上的实验证明了我们的分析的实用价值。当重新加权时,我们的损失函数可以在测试精度上超过重新加权的交叉熵多达9%。我们的损失函数还提供了测试精度,甚至超过,良好的调整国家的最先进的方法,纠正分布偏移。
2022-03-04 cs.LG stat.ML
Extended Linear Regression: A Kalman Filter Approach for Minimizing Loss via Area Under the Curve
Sri Manakula Vinayagar Engineering College(斯里马纳库拉维纳亚加尔工程学院)
本研究提出结合卡尔曼滤波器与曲线下面积分析的扩展线性回归方法,通过SGD训练模型、卡尔曼滤波预测权重、选取最小曲线下面积对应的方程作为最优模型,可在部分数据集上运行,无需持续梯度更新,但存在计算复杂度和预测范围限制。
2023-08-23 cs.LG stat.ML
Only Large Weights (And Not Skip Connections) Can Prevent the Perils of Rank Collapse
Columbia University(哥伦比亚大学);University of California, Berkeley(加州大学伯克利分校)
本文证明在Transformer中,仅靠跳跃连接无法防止秩坍缩,只有大权重才能避免层坍缩,从而确保网络的表达力,并论证了注意力二次时间复杂度的必要性。
2025-05-22 cs.LG
Slot Machines: Discovering Winning Combinations of Random Weights in Neural Networks
Dartmouth College(达特茅斯学院)
与连续空间中的传统权重优化相比,我们证明了有效随机网络的存在性,其权重永远不会更新。通过为每个单独的连接在一组固定的随机值中选择权重,我们的方法揭示了与相同容量的传统训练网络的性能相匹配的随机权重组合。我们将我们的网络称为“老虎机”,其中每个卷轴(连接)包含一组固定的符号(随机值)。我们的反向传播算法“旋转”卷轴以寻找“获胜”组合,即,选择随机权重值,使给定损失最小化。非常令人惊讶的是,我们发现只为每个连接分配一些随机值(例如,每个连接8个值)产生了高度竞争性的组合,尽管与传统学习的权重相比受到了更大的限制。此外,对这些组合进行微调通常会提高训练基线的性能。一个随机初始化的VGG-19,每个连接有8个值,包含一个在CIFAR-10上达到91%测试准确度的组合。我们的方法也取得了令人印象深刻的性能98.2%的MNIST神经网络只包含随机权重。
2021-06-08 cs.AI cs.LG
Extreme Learning Machine with Local Connections
Dalian University of Technology(大连理工大学)
研究了极限学习机(ELM)输入隐权值的稀疏化问题。对于普通的前向神经网络,稀疏化通常是通过在网络的学习过程中引入某种正则化技术来实现的。但这种策略不能应用于ELM,因为ELM的输入隐藏权重应该是随机选择的,而不是学习的。为此,我们提出了一种改进的ELM,称为ELM-LC(ELM与本地连接),这是专为稀疏的输入隐藏权重如下:隐节点和输入节点分别分为几个相应的组,输入节点组是完全连接到其对应的隐节点组,但不连接到任何其他的隐节点组。与通常的ELM一样,隐输入权重随机给定,隐输出权重通过最小二乘学习获得。在一些基准问题的数值模拟中,新的ELM-CL表现优于传统的ELM。
2018-01-22 cs.AI cs.LG stat.ML
Loss-aware Weight Quantization of Deep Networks
Department of Computer Science and Engineering(计算机科学与工程系);Hong Kong University of Science and Technology(香港科技大学)
深度网络的巨大规模阻碍了它们在小型计算设备中的使用。在本文中,我们考虑压缩网络的重量量化。我们将最近提出的损失感知权重二值化方案扩展到三值化,对于正权重和负权重可能具有不同的缩放参数,以及m位(其中m > 2)量化。在前馈和递归神经网络上的实验表明,该方案优于最先进的权重量化算法,并且与全精度网络一样准确(甚至更准确)。
2018-05-10 cs.LG
HydaLearn: Highly Dynamic Task Weighting for Multi-task Learning with Auxiliary Tasks
Vrije Universiteit Brussel(布鲁塞尔自由大学);Royal Military Academy(皇家军事学院);Katholieke Universiteit Leuven(鲁汶大学)
多任务学习(MTL)可以通过与一个或多个相关的并行任务共享表示来提高任务的性能。通常,MTL网络在由单独的任务损失的恒定加权组合形成的复合损失函数上训练。在实践中,由于两个原因,恒定的损失权重导致较差的结果:(i)辅助任务的相关性可以在整个学习过程中逐渐漂移;(ii)对于基于小批量的优化,最佳任务权重从一个更新到下一个更新显著变化,这取决于小批量样本组成。我们引入HydaLearn,一种智能加权算法,将主任务增益连接到各个任务梯度,以便在小批量级别通知动态损失加权,解决i和ii。使用HydaLearn,我们报告了合成数据以及两个监督学习领域的性能提高。
2020-08-26 cs.LG stat.ML
End-to-end Multimodal Emotion and Gender Recognition with Dynamic Joint Loss Weights
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院);NOTA Incorporated(NOTA公司)
多任务学习是一种提高多任务概括能力的方法。为了用一个神经网络模型执行多个分类任务,应该将每个任务的损失合并。以前的研究主要集中在多个预测任务上,使用联合损失和静态权重来训练模型,选择任务之间的权重,而没有通过统一或经验地设置它们来充分考虑。在这项研究中,我们提出了一种方法来计算联合损失使用动态权重,以提高整体性能,而不是个人的性能,任务。我们应用这种方法来设计一个端到端的多模态情感和性别识别模型,使用音频和视频数据。这种方法为训练过程结束时每个任务的损失提供了适当的权重。在我们的实验中,情感和性别识别与所提出的方法产生了较低的联合损失,这是计算为负对数似然,比使用静态权重的联合损失。此外,我们提出的模型具有更好的泛化能力比其他模型。据我们所知,这项研究是第一个证明使用动态权重的联合损失的力量,以最大限度地提高整体性能的情绪和性别识别任务。
2018-10-02 cs.CV cs.LG cs.SD
The Real-World-Weight Cross-Entropy Loss Function: Modeling the Costs of Mislabeling
Thinky.AI Research(Thinky.AI研究院)
在本文中,我们提出了一个新的度量来衡量分类器的拟合优度,真实世界成本函数。该指标考虑了有关真实世界问题的信息,例如财务影响,而其他指标(如准确性或F1)则没有。这个指标也更直接地为用户解释。为了优化这个指标,我们在二进制和单标签分类变体中引入了真实世界权重交叉熵损失函数。这两种变体都允许直接输入真实世界的成本作为权重。对于单标签、多类别分类,我们的损失函数还允许在机器学习模型的训练期间直接惩罚按标签加权的概率误报。我们比较了我们的损失函数的设计,二进制交叉熵和分类交叉熵函数,以及它们的加权变体,以讨论在处理各种已知的缺点机器学习,从不平衡类,医疗诊断错误,社会偏见的强化的改进潜力。我们使用MNIST数据集创建模拟这些问题的场景,并展示我们新的损失函数的经验结果。最后,我们基于极大似然估计给出了该函数的证明,并讨论了未来的研究方向。
2020-01-03 cs.AI cs.LG stat.ML
Trainable Loss Weights in Super-Resolution
Sharif University of Technology(谢里夫理工大学)
本文提出一种基于图像结构和感知特征的可训练像素级损失加权方法,并引入FixedSum激活函数和期望最大化联合训练策略,在超分辨率任务中同时提升信噪比和感知相似性。
2023-11-27 cs.CV cs.LG eess.IV
When Losses Align: Gradient-Based Composite Loss Weighting for Efficient Pretraining
Sber AI Lab(Sber AI实验室);HSE University(俄罗斯人民友谊大学);ISP RAS Research Center for Trusted Artificial Intelligence(俄罗斯科学院信息与通信系统研究所可信人工智能研究中心)
本文提出一种基于梯度的双层方法,通过将复合预训练梯度与下游目标对齐,在线学习预训练损失权重,从而减少超参数调优成本,提升预训练效率。
2026-05-08 cs.AI cs.LG
Robust Time Series Forecasting with Non-Heavy-Tailed Gaussian Loss-Weighted Sampler
Université Paris-Est Créteil(巴黎东部克雷泰伊大学);HN-Services(HN服务公司);ESIEE Paris(巴黎ESIEE学院)
针对多变量时间序列预测中重尾损失导致的过拟合与训练低效问题,提出高斯损失加权采样器,通过加权构建非重尾损失分布,提升训练效率与预测精度。
2024-06-19 cs.LG
A Note on Knowledge Distillation Loss Function for Object Classification
Zhejiang University(浙江大学)
本文介绍了目标分类中的知识蒸馏损失函数,探讨其与logits匹配损失的联系,并将其视为输出正则化的一种形式,揭示了其与标签平滑及基于熵的正则化的关联。
2024-08-27 cs.AI cs.LG
Why do networks have inhibitory/negative connections?
Johns Hopkins University(约翰斯·霍普金斯大学);United States Military Academy(美国军事学院)
本文从表示能力视角解释大脑抑制性连接与深度网络负权重的必要性,证明非负权重网络在非递减激活下不具备通用逼近性,并揭示其无法表示的几何性质。
2023-08-17 cs.AI cs.LG cs.NE
Dynamic Restrained Uncertainty Weighting Loss for Multitask Learning of Vocal Expression
University of Augsburg(奥格斯堡大学);University of Tokyo(东京大学);Beijing Forestry University(北京林业大学);Imperial College(帝国理工学院)
我们提出了一种新的动态约束不确定性加权损失来实验性地处理在ICML ExVo 2022挑战赛上平衡多个任务的贡献的问题。多任务的目的是识别表达的情绪和人口统计学特征,从声音爆发联合。我们的策略结合了不确定性权重和动态权重平均的优点,通过扩展权重与约束项,使学习过程更易于解释。我们使用一个轻量级的多出口CNN架构来实现我们提出的损失方法。实验H-平均评分(0.394)显示相对于基线H-平均评分(0.335)有显著改善。
2022-06-27 cs.LG cs.SD eess.AS
AdaKD: Dynamic Knowledge Distillation of ASR models using Adaptive Loss Weighting
Indian Institute of Science(印度科学学院)
针对现有知识蒸馏对任务损失与蒸馏损失赋权相同导致性能次优的问题,提出受课程学习启发的AdaKD方法,在样本级基于教师损失自适应加权,即插即用,实验表现优于传统及现有样本级方法。
2024-05-11 cs.AI cs.LG
Federated Hyperparameter Tuning: Challenges, Baselines, and Connections to Weight-Sharing
Carnegie Mellon University(卡内基梅隆大学);Hewlett Packard Enterprise(慧与科技)
调优超参数是机器学习管道中至关重要但艰巨的一部分。超参数优化在联邦学习中更具挑战性,其中模型是通过异构设备的分布式网络学习的;在这里,需要将数据保存在设备上并执行本地训练,这使得很难有效地训练和评估配置。在这项工作中,我们研究联邦超参数调整的问题。我们首先确定关键的挑战,并展示如何调整标准方法来形成联邦设置的基线。然后,通过与权重共享的神经架构搜索技术建立新的连接,我们引入了一种新的方法FedEx来加速联邦超参数调整,该方法适用于广泛使用的联邦优化方法,如FedAvg和最近的变体。从理论上讲,我们表明,联邦快递的变种正确地调整设备上的学习率的在线凸优化跨设备的设置。从经验上讲,我们表明FedEx可以在Shakespeare,FEMNIST和CIFAR-10基准测试中超过联邦超参数调优的自然基线几个百分点,使用相同的训练预算获得更高的准确性。
2021-11-04 cs.AI cs.DC cs.LG
Considering Layerwise Importance in the Lottery Ticket Hypothesis
University of Antwerp(安特卫普大学)
彩票假说(LTH)表明,通过迭代训练模型,删除具有最低全局权重大小的连接并倒回剩余的连接,可以提取稀疏网络。这种全局比较会删除层内连接之间的上下文信息。在这里,我们研究的手段,用于恢复一些这层分布的背景下,并概括的LTH考虑权重的重要性值,而不是全球的权重大小。我们发现,给定一个可重复的训练过程,应用不同的重要性指标会导致不同的性能彩票几乎没有重叠的连接。这有力地表明,彩票并不是独一无二的
2023-02-22 cs.CV cs.LG
Segmentation-free Connectionist Temporal Classification loss based OCR Model for Text Captcha Classification
VIT Bhopal University(VIT博帕尔大学)
本文提出一种基于连接时序分类损失的无分割OCR模型,用于文本验证码分类,在公开数据集上达到99.80%字符级和95%词级准确率,优于现有方法。
2024-02-08 cs.CR cs.CV cs.LG
Loss-Conditional PINNs for Parametric PDE Families
Faculty of Computer Science HSE University(俄罗斯莫斯科高等经济学院计算机科学系);VK and HSE University(VK与莫斯科高等经济大学)
提出LC-PINN,通过将损失权重或物理系数作为网络输入并随机采样,实现单一模型参数化整个PDE族,无需配对数据,在多个参数化方程上匹配或优于逐权重重训练的PINN基线。
2026-06-03 cs.LG
Impact of Loss Weight and Model Complexity on Physics-Informed Neural Networks for Computational Fluid Dynamics
Department of Power Mechanical Engineering, National Tsing Hua University(国家交通机械工程系,国立清华大学)
针对物理信息神经网络对损失权重选择敏感的问题,提出两种基于量纲分析的加权方案,其中纳入不可量化项的方案在多个CFD基准测试中提升了稳定性与准确性,在高佩克莱特数问题中表现突出。
2025-09-24 cs.LG physics.flu-dyn
Sampling and Loss Weights in Multi-Domain Training
University of Southern California(南加州大学);Google Research(谷歌研究)
本文研究多领域训练中采样权重与损失权重的互补作用,通过线性回归的理论与实验证明二者可降低梯度估计方差并缩小泛化差距,为数据混合策略提供理论依据。
2025-11-10 cs.AI cs.LG
Learning Anytime Predictions in Neural Networks via Adaptive Loss Balancing
Carnegie Mellon University(卡内基梅隆大学);Microsoft Research(微软研究院)
这项工作考虑了深度神经网络(DNN)通过辅助预测的\emph{anytime}预测的准确性和测试时间计算成本之间的权衡。具体来说,我们优化辅助损失联合在一个\emph{adaptive}加权和,其中的权重是成反比的平均每个损失。直觉上,这平衡了损失,使其具有相同的规模。我们从多个角度展示了激励这种方法的理论考虑,包括将其与优化每次损失预期的几何平均值联系起来,这是一个忽略损失规模的目标。在实验上,自适应权重比非自适应方法(包括平等地权衡所有损失)在多个识别数据集和模型上诱导更具竞争力的任何时间预测。特别是,任何时候神经网络(ANN)可以实现相同的精度更快地使用自适应权重的小网络比使用静态恒定权重的大。对于具有高性能饱和度的问题,我们还展示了一系列指数深化的ANN可以在任何预算下实现接近最优的结果,代价是一个常数分数的额外计算。
2018-05-25 cs.AI cs.LG
Loss Distillation via Gradient Matching for Point Cloud Completion with Weighted Chamfer Distance
Graduate School of Information Sciences, Tohoku University(东北大学信息科学研究生院);Worcester Polytechnic Institute(伍斯特理工学院);Dell Technologies(戴尔科技公司)
针对点云补全中 CD 损失参数调优耗时的问题,提出梯度匹配损失蒸馏搜索无需调参的加权 CD,并通过双层优化训练,Landau CD 在多个基准上达到最先进水平。
2024-09-10 cs.CV cs.LG cs.RO
A simple connection from loss flatness to compressed neural representations
Department of Applied Mathematics(应用数学系);Computational Neuroscience Center(计算神经科学中心);University of Washington(华盛顿大学);Technion, Israel Institute of Technology(技术离子以色列理工学院)
本文通过引入局部体积比、最大局部敏感度和局部维度等度量,揭示了损失平坦性与神经表示压缩之间的关系,为理解锐度与泛化能力的关系提供了新的理论框架。
2026-02-22 cs.AI cs.LG
Convergence and Sketching-Based Efficient Computation of Neural Tangent Kernel Weights in Physics-Based Loss
本文提出了一种基于随机算法的高效计算方法,用于在物理损失中自适应神经切线核权重的收敛与计算效率提升。
2025-11-19 cs.LG cs.NA math.NA
Learning Discriminative Features Via Weights-biased Softmax Loss
University of Chinese Academy of Sciences(中国科学院大学)
损失函数在训练高级深度神经网络中起着关键作用。在卷积神经网络(CNN)中,流行的交叉熵损失和softmax并不能明确保证类内方差最小化或类间方差最大化。在早期的研究中,没有理论分析和实验明确指出如何选择全连通层的单元数。为了帮助CNN更快地学习特征,本文有两个贡献。首先,我们通过严格的理论分析和大量的实验确定了FC层的最小单元数,减少了CNN的参数记忆和训练时间。其次,我们提出了一种负聚焦权重偏置softmax(W-Softmax)损失,以帮助CNN学习更多的判别特征。提出的W-Softmax损失不仅从理论上描述了类内紧性和类间可分性,而且可以通过扩大决策裕度来避免过拟合。此外,可以通过调整超参数$α$来灵活地控制决策裕度的大小。在多个基准数据集上的大量实验结果表明了W-Softmax在图像分类任务中的优越性。
2019-04-25 cs.CV cs.LG
Constant-Depth Rational-Weight GNNs and their Connection to Schanuel's Conjecture
Leipzig University(莱比锡大学);ScaDS.AI Dresden/Leipzig(德累斯顿/莱比锡人工智能可持续数据中心)
该研究探讨常深度理性权重GNN的表达能力,证明若Schanuel猜想成立,此类GNN可匹配1-WL测试的表达能力,还给出部分逆命题并通过实验验证结论。
2026-10-14 cs.LG cs.LO
Meta-GCN: A Dynamically Weighted Loss Minimization Method for Dealing with the Data Imbalance in Graph Neural Networks
University of Calgary(卡尔加里大学)
本文提出元学习算法Meta-GCN,利用小型无偏元数据集自适应学习样本权重,以缓解图神经网络中的类别不平衡问题,并在多个指标上优于现有方法。
2024-06-27 cs.AI cs.LG
Adaptive Weighted Loss for Sequential Recommendations on Sparse Domains
PhD Scholar University of the Cumberlands(博士学者 哥伦比亚大学);Senior IEEE Member Independent Researcher(IEEE高级会员 独立研究者)
针对单模型序列推荐在稀疏域效果受限的问题,提出基于领域稀疏度自适应调整损失权重的动态加权损失方法,经理论验证与多数据集实验,在稀疏域关键指标上显著提升且开销极小。
2025-10-05 cs.AI cs.LG
Analytical Uncertainty-Based Loss Weighting in Multi-Task Learning
University of Mannheim(曼海姆大学);Center for AI, Robert Bosch(罗伯特·博世公司人工智能中心);MPI for Intelligent Systems(马克斯·普朗克智能系统研究所)
针对多任务学习中任务损失平衡的难题,提出基于解析不确定性、带可调温度softmax归一化的新型加权方法,性能优于六种常用方法,接近暴力标量化方案且成本更低,还给出实用实验发现。
2024-08-15 cs.AI cs.CV cs.LG
High Fidelity Interactive Video Segmentation Using Tensor Decomposition Boundary Loss Convolutional Tessellations and Context Aware Skip Connections
Intel Corporation(英特尔公司)
我们为交互式视频分割任务提供了一种高保真度深度学习算法(HyperSeg),该算法使用具有上下文感知跳过连接的卷积网络,以及压缩的超列图像特征与卷积曲面细分过程相结合。为了保持高输出保真度,我们的模型以高分辨率处理和渲染所有图像特征,而不使用下采样或池化过程。我们主要通过两种方法在我们的模型中有效地保持这种一致的,高等级的保真度:(1)我们使用一种基于几何原理的张量分解过程来调节超列特征的数量,以及(2)我们使用卷积镶嵌技术以其原生分辨率渲染这些特征。对于改进的像素级分割结果,我们引入了边界损失函数;对于改进的视频数据的时间相干性,我们在模型中包括时间图像信息。通过实验,我们证明了我们的模型对基线模型使用高分辨率视频数据的交互式分割任务的准确性提高。我们还介绍了一个基准视频分割数据集,VFX分割数据集,其中包含超过27,046个高分辨率视频帧,包括绿屏和各种合成场景,以及相应的手工制作的像素级分割。我们的工作提出了一个扩展,以提高最先进的分割保真度与高分辨率数据,并可用于广泛的应用领域,包括视觉特效管道和医学成像学科。
2020-11-23 cs.CV cs.LG eess.IV