ScaleFace: Uncertainty-aware Deep Metric Learning
Skoltech(斯科尔科沃科技学院);Sberbank(俄罗斯联邦储蓄银行);Technology Innovation Institute(技术创新研究院);Lomonosov Moscow State University(莫斯科罗蒙诺索夫国立大学)
现代基于深度学习的系统的性能极大地依赖于输入对象的质量。例如,对于模糊或损坏的输入,面部识别质量将较低。然而,在更复杂的场景中,很难预测输入质量对结果准确性的影响。我们提出了一种深度度量学习的方法,可以直接估计不确定性,几乎没有额外的计算成本。所开发的\textit{ScaleFace}算法使用可训练的尺度值来修改嵌入空间中的相似性。这些依赖于输入的尺度值表示识别结果中的置信度的度量,从而允许不确定性估计。我们提供了全面的人脸识别任务的实验,显示了优越的性能相比,其他不确定性感知的人脸识别方法的ScaleFace。我们还将结果扩展到文本到图像检索的任务,表明所提出的方法击败了竞争对手显着的利润。
2022-09-12 cs.AI cs.CV cs.LG
CarbonEdge: Carbon-Aware Deep Learning Inference Framework for Sustainable Edge Computing
George Washington University(乔治华盛顿大学);Youngstown State University(扬斯敦州立大学)
本文提出CarbonEdge框架,通过碳足迹估算和绿色调度能力,在边缘计算中实现碳感知的深度学习推断,实验显示其在减少碳排放和提升碳效率方面表现突出。
2026-04-01 cs.AI cs.DC cs.LG
Minimizing Energy Consumption of Deep Learning Models by Energy-Aware Training
Ca’ Foscari University of Venice(威尼斯大学);CISPA Helmholtz Center for Information Security(CISPA亥姆霍兹信息安全中心);University of Cagliari(卡利亚里大学);University of Genoa(热那亚大学)
提出基于梯度的能量感知训练算法EAT,利用$\ell_0$范数可微近似作为稀疏惩罚,在三个数据集和两个深度神经网络上实现了分类性能与能效的更优权衡。
2023-07-01 cs.AI cs.CV cs.LG
Uncertainty-Aware and Explainable Ensemble Deep Learning Framework for Multi-Class Skin Lesion Classification
Wilfrid Laurier University(威尔弗里德劳里埃大学)
针对皮肤癌诊断的难点,提出集成MaxViT-Tiny与两类CNN模型的深度学习框架,结合MC Dropout估测不确定性、Grad-CAM++提供可解释性,在HAM10000数据集上取得优异分类性能,支撑可信计算机辅助诊断。
2026-08-13 cs.AI cs.CV cs.LG
Deep Structure and Attention Aware Subspace Clustering
School of Mathematics and Statistics, Xidian University(西安电子科技大学数学与统计学院)
提出DSASC方法,结合视觉变换器提取内容与结构特征,用于子空间聚类,显著优于现有方法。
2023-12-25 cs.AI cs.CV
Dual Side Deep Context-aware Modulation for Social Recommendation
Nanjing University(南京大学);Hong Kong University of Science and Technology(香港科技大学)
社会化推荐通过利用在线社交网络平台的社会关系来有效地提高推荐性能。用户之间的社会关系提供用于对用户对候选项目的兴趣进行建模的朋友信息并且帮助项目暴露给潜在消费者(即,项目吸引力)。然而,有两个问题没有得到很好的研究:第一,为了用户的利益,现有的方法通常聚集的朋友的信息上下文的候选项目,这种浅的上下文感知聚合使他们遭受有限的朋友的信息。其次,对于物品吸引力,如果物品的过去消费者是目标用户的朋友或与目标用户具有相似的消费习惯,则物品可能对目标用户更具吸引力,但大多数现有方法忽略了关系增强上下文感知的物品吸引力。为了解决上述问题,我们提出了DICER(Dual Side Deep Context-aware Modulation for SocialRecommendation)。具体而言,首先提出了一种新的图神经网络来建模社交关系和协作关系,并在高阶关系之上引入双边深度上下文感知调制来捕获好友信息和项目吸引力。在两个真实数据集上的实验结果表明了该模型的有效性,并进行了进一步的实验,以帮助理解双重上下文感知调制的工作原理。
2021-03-16 cs.AI cs.IR cs.SI
Wearable ECG Quality Assessment: A Deep Learning and Ambulatory Context-Awareness Approach
Technical University of Denmark(丹麦技术大学)
本文提出一种基于深度学习的信号质量评估模型,利用首个含物理与患者报告情境数据的动态心电图数据库训练,在多个数据库上表现稳定,并展示了结合情境数据研究复杂噪声的方法。
2026-09-25 cs.AI eess.SP
DANES: Deep Neural Network Ensemble Architecture for Social and Textual Context-aware Fake News Detection
University Politehnica of Bucharest(布加勒斯特理工大学);Aarhus University(奥胡斯大学)
社交媒体平台的日益普及简化了新闻文章的创作和发布,但也为传播假新闻创造了渠道。因此,需要有效的上下文感知假新闻检测机制,其中上下文信息可以从帖子的文本内容或从可用的社交数据(例如,关于用户的信息、对帖子的反应或社交网络)。在本文中,我们提出了DANES,一种用于社会和文本上下文感知的假新闻检测的深度神经网络嵌入式架构。DANES包括用于基于文本内容的上下文的文本分支和用于社会上下文的社会分支。这两个分支被用来创建一个新颖的网络嵌入。3个真实世界数据集的初步消融结果,即,BuzzFace、Twitter15和Twitter16是有前途的,在使用社交和文本内容功能时,其准确性优于最先进的解决方案。
2023-02-01 cs.AI cs.CL cs.NE
Entropy-Aware Model Initialization for Effective Exploration in Deep Reinforcement Learning
Electronics and Telecommunications Research Institute (ETRI)(电子和电信研究院(ETRI))
本文针对深度强化学习中的探索问题,发现低初始熵导致学习失败,提出熵感知模型初始化策略,有效减少失败并提升性能、稳定性和学习速度。
2021-08-24 cs.AI cs.LG
State-Aware Variational Thompson Sampling for Deep Q-Networks
National University of Singapore(新加坡国立大学)
汤普森采样是一种众所周知的方法,用于平衡强化学习中的探索和利用。它需要维护值-动作函数的后验分布;这对于具有高维状态-动作空间的任务来说通常是难以处理的。我们推导出DQNs的变分Thompson采样近似,它使用一个深度网络,其参数被学习到的变分噪声分布扰动。我们解释成功的NoisyNets方法\cite{fortunato2018noisy}作为一个近似的变分汤普森采样方法,我们得到的。此外,我们提出了状态感知噪声探索(SANE),它旨在通过允许非均匀扰动来改善NoisyNets,其中参数扰动的量取决于代理的状态。这是在辅助扰动模块的帮助下完成的,辅助扰动模块的输出是状态相关的,并且通过梯度下降来学习端到端。我们假设,这种状态感知的嘈杂的探索是特别有用的问题,在某些\textit{high risk}状态的探索可能会导致代理失败严重。我们证明了状态感知的探索方法的有效性,在关闭政策设置通过增加DQNs与辅助扰动模块。
2021-02-07 cs.AI cs.LG
Success of Uncertainty-Aware Deep Models Depends on Data Manifold Geometry
Harvard University(哈佛大学)
为了在安全关键环境中做出负责任的决策,机器学习模型必须有效地检测和处理边缘案例数据。虽然现有的工作表明,预测的不确定性是有用的,这些任务,它是不明显的不确定性感知模型最适合于给定的数据集从文献。因此,我们在一组边缘情况任务上比较了六种不确定性感知的深度学习模型:对对抗攻击的鲁棒性以及分布外和对抗检测。我们发现,数据子流形的几何形状是决定各种模型成功的一个重要因素。我们的发现表明了不确定性感知深度学习模型研究的一个有趣方向。
2022-08-05 cs.LG
Loss-aware Weight Quantization of Deep Networks
Department of Computer Science and Engineering(计算机科学与工程系);Hong Kong University of Science and Technology(香港科技大学)
深度网络的巨大规模阻碍了它们在小型计算设备中的使用。在本文中,我们考虑压缩网络的重量量化。我们将最近提出的损失感知权重二值化方案扩展到三值化,对于正权重和负权重可能具有不同的缩放参数,以及m位(其中m > 2)量化。在前馈和递归神经网络上的实验表明,该方案优于最先进的权重量化算法,并且与全精度网络一样准确(甚至更准确)。
2018-05-10 cs.LG
Uncertainty-Aware Deep Neural Representations for Visual Analysis of Vector Field Data
IIT Kanpur(印度理工学院坎普尔分校)
本研究针对深度神经网络缺乏内置不确定性度量机制的问题,开发不确定性感知隐式神经表征建模稳态矢量场,评估两种深度不确定性估计技术的效果,提升了模型鲁棒性与可解释性,可用于复杂矢量场的可视化分析。
2024-08-10 cs.AI cs.GR cs.LG
Knowledge Transfer in Deep Reinforcement Learning for Slice-Aware Mobility Robustness Optimization
Nokia Bell Labs(诺基亚贝尔实验室);Technical University of Munich(慕尼黑工业大学);Nokia Software(诺基亚软件部门)
自组织网络中的传统移动性鲁棒性优化(MRO)旨在通过优化小区特定的切换参数来提高切换性能。然而,这样的解决方案不能满足下一代网络的需求与网络切片,因为它只保证接收信号的强度,而不是每个切片的服务质量。为了提供真正无缝的移动服务,我们提出了一种基于深度强化学习的切片感知移动鲁棒性优化(SAMRO)方法,该方法通过优化切片特定的切换参数来提高切换性能,并确保切片服务。此外,为了允许安全和样本有效的在线训练,我们开发了一个两步迁移学习方案:1)正则化的离线强化学习,以及2)有效的在线微调与混合经验重放。系统级仿真结果表明,与传统的MRO算法相比,SAMRO算法在优化切换性能的同时,显著提高了切片感知服务的连续性。
2022-03-07 cs.AI cs.LG cs.NI
Deep-URL: A Model-Aware Approach To Blind Deconvolution Based On Deep Unfolded Richardson-Lucy Network
University of Illinois at Chicago(伊利诺伊大学芝加哥分校)
当前的深度学习模型缺乏可解释性,这引起了严重的担忧,因为它们被广泛用于各种生命关键型应用。因此,开发可解释的深度学习模型至关重要。在本文中,我们考虑了盲解卷积的问题,并提出了一种新的模型感知的深度架构,允许从模糊图像中恢复模糊核和清晰图像。特别是,我们提出了Deep Unfolded Richardson-Lucy(Deep-URL)框架-一种可解释的深度学习架构,可以被视为经典估计技术和深度神经网络的融合,从而提高了性能。我们的数值研究表明显着的改善相比,国家的最先进的算法。
2020-06-07 cs.CV cs.LG
Graph DNA: Deep Neighborhood Aware Graph Encoding for Collaborative Filtering
University of California, Davis(加州大学戴维斯分校);Amazon(亚马逊)
在本文中,我们考虑推荐系统的边信息的形式图。现有的协同过滤算法主要利用直接的邻域信息,并有很难利用超过1-2跳的更深的邻域。利用更深层次的图形信息的主要警告是,当合并来自这些邻域的信息时,时间和空间复杂度快速增长。在本文中,我们提出了使用图DNA,一种新的深度邻域感知图编码算法,用于开发更深层次的邻域信息。DNA编码使用布隆过滤器(一种空间高效的概率数据结构)在线性时间内计算近似的深度邻域信息,并导致图中节点数量为对数的每节点编码。它可以与基于特征和基于图正则化的协同过滤算法结合使用。与直接使用高阶图信息相比,图DNA具有内存和时间效率高的优点,并提供额外的正则化。我们在真实世界的数据集上进行了实验,表明图DNA可以很容易地与4种流行的协同过滤算法一起使用,并始终导致性能提升,而计算和内存开销很少。
2019-05-29 cs.AI cs.LG stat.ML
Cost-aware Pre-training for Multiclass Cost-sensitive Deep Learning
National Taiwan University(国立台湾大学);Intel Corporation(英特尔公司)
深度学习是当今最突出的机器学习技术之一,在需要自动特征提取的广泛应用中是最先进的。许多此类应用还要求针对不同类型的误分类错误的不同成本,但尚不清楚是否或如何将此类成本信息纳入深度学习以提高性能。在这项工作中,我们提出了一种新的成本感知算法,该算法不仅将成本信息考虑到深度学习的训练阶段,而且还考虑到预训练阶段。该方法允许深度学习有效地利用成本信息进行自动特征提取。大量的实验结果表明,所提出的方法优于其他深度学习模型,不消化的成本信息在预训练阶段。
2016-05-24 cs.LG cs.NE
Survey for Trust-aware Recommender Systems: A Deep Learning Perspective
University of New South Wales(新南威尔士大学);University of Technology Sydney(悉尼科技大学);Data61, CSIRO(澳大利亚联邦科学与工业研究组织数据61研究所)
现有推荐系统的一个重要挑战是用户可能不信任推荐系统,因为缺乏解释或推荐结果不准确。因此,拥有一个值得信赖的推荐系统变得至关重要。该调查提供了三种类型的信任感知推荐系统的系统总结:利用用户的社会关系的社会感知推荐系统;过滤不真实噪音的鲁棒推荐系统(例如,垃圾邮件发送者和虚假信息)或增强攻击抵抗力;提供推荐项目解释的可解释推荐系统。我们专注于基于深度学习技术的工作,这是推荐研究中的一个新兴领域。
2020-10-06 cs.IR cs.LG
Mitigating multiple single-event upsets during deep neural network inference using fault-aware training
Magics Technologies(马吉克斯科技公司)
针对深度神经网络在高辐射环境中的多单事件翻转问题,提出故障感知训练(FAT)方法,通过模型层面故障注入分析影响,无需硬件修改即可将故障容忍度提升至多3倍,增强其在安全关键应用中的可靠性。
2025-02-13 cs.LG
Time-Aware Q-Networks: Resolving Temporal Irregularity for Deep Reinforcement Learning
North Carolina State University(北卡罗来纳州立大学)
深度强化学习(DRL)在诱导有效的行动策略方面表现出出色的性能,这些策略可以最大化许多复杂任务的预期长期回报。大部分的日间行车灯的工作一直集中在离散的时间步长的事件序列,忽略了连续事件之间的不规则的时间间隔。鉴于在许多现实世界领域中,数据通常由具有不规则时间间隔的时间序列组成,因此考虑时间事件之间的时间间隔以捕获状态的潜在渐进模式是很重要的。在这项工作中,我们提出了一个通用的时间感知RL框架:时间感知Q网络(TQN),它考虑了深度RL框架内的物理时间间隔。TQN从两个方面处理时间不规则性:1)过去的流逝时间和预期的下一个观察时间,用于时间感知状态近似; 2)未来的动作时间窗口,用于时间感知奖励折扣。实验结果表明,TQN从两个方面都能捕捉到时间不规则序列的底层结构,在四种时间间隔不规则的背景下,TQN的性能明显优于DQN.更具体地说,我们的研究结果表明,在经典的RL任务,如CartPole和MountainCar和Atari基准与随机分段的时间间隔,时间感知折扣单独更重要,而在现实世界的任务,如核反应堆操作和脓毒症患者治疗与固有的时间间隔,时间感知状态和时间感知折扣都是至关重要的。此外,为了提高智能体的学习能力,我们探索了三种提升方法:双网络,决斗网络和优先经验重放,我们的结果表明,对于两个现实世界的任务,将所有三种提升方法与TQN相结合特别有效。
2021-05-06 cs.LG
Towards Spatial Variability Aware Deep Neural Networks (SVANN): A Summary of Results
University of Minnesota(明尼苏达大学)
在许多地理现象中观察到了空间变异性,包括气候带、USDA植物耐寒带和陆地栖息地类型(例如,森林、草原、湿地和沙漠)。然而,当前的深度学习方法遵循空间一刀切(OSFA)方法来训练单个深度神经网络模型,其不考虑空间变化。在这项工作中,我们提出并研究了一种空间变异性感知的深度神经网络(SVANN)方法,其中为每个地理区域构建了不同的深度神经网络模型。我们评估这种方法使用航空影像从两个地理区域的任务,绘制城市花园。实验结果表明,SVANN提供了更好的性能比OSFA的精度,召回率和F1得分,以识别城市花园。
2020-11-17 cs.CV cs.LG
QoS and Jamming-Aware Wireless Networking Using Deep Reinforcement Learning
Intelligent Automation Inc.(智能自动化公司);U.S. Army C5ISR(美国陆军C5ISR);University of Minnesota(明尼苏达大学);The Pennsylvania State University(宾夕法尼亚州立大学)
研究了在受到外部窃听和干扰攻击的对抗性无线网络中的服务质量和干扰感知通信问题。为了确保强大的通信对干扰,干扰感知路由协议的开发,使节点能够避免通信孔的干扰攻击。然后,提出了一种基于深度强化学习的分布式协作框架,该框架允许节点评估网络状况,并就是否参与数据通信、保护网络免受干扰和窃听攻击或干扰其他传输做出深度学习驱动的分布式实时决策。其目标是最大限度地提高网络性能,包括吞吐量,能源效率,延迟和安全指标。仿真结果表明,所提出的干扰感知路由方法对干扰是鲁棒的,并且当吞吐量被优先考虑时,所提出的深度强化学习方法可以实现吞吐量的显着(测量为三倍)增加,与具有分配给节点的固定角色的基准策略相比。
2019-10-13 cs.LG cs.NI
Shock-Aware Physics-Guided Fusion-DeepONet Operator for Rarefied Micro-Nozzle Flows
Mechanical and Industrial Engineering, University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校机械与工业工程系);Department of Mechanical Engineering, Hakim Sabzevari University(哈基姆·萨布兹瓦里大学机械工程系)
提出融合 Fusion DeepONet、激波对齐物理特征与两阶段课程策略的物理感知深度学习框架,用于快速准确建模稀薄含激波微喷嘴流动,并先在黏性 Burgers 方程上验证。
2025-10-18 cs.LG physics.flu-dyn
FAT-DeepFFM: Field Attentive Deep Field-aware Factorization Machine
Sina Weibo(新浪微博)
点击率(CTR)估计是个性化广告和推荐系统中的一项基本任务。近年来,基于深度学习的模型和注意力机制在计算机视觉(CV)和自然语言处理(NLP)的各种任务中取得了成功。如何将注意力机制与深度CTR模型相结合,可以综合两者的优点,是一个很有前途的方向。虽然一些CTR模型,如注意力因子机(AFM)已被提出来建模的二阶交互功能的权重,我们认为,显式特征交互过程之前的特征重要性的评估也是重要的CTR预测任务,因为该模型可以学习选择性地突出的信息功能和抑制不太有用的,如果任务有很多输入功能。在本文中,我们提出了一个新的神经CTR模型命名为场注意深度场感知因子分解机(FAT-DeepFFM)通过结合深度场感知因子分解机(DeepFFM)和组合激励网络(CENet)字段注意力机制,这是我们提出的挤压激励网络(SENet)的增强版本,以突出特征的重要性。我们在两个真实世界的数据集上进行了大量的实验,实验结果表明,FAT-DeepFFM实现了最佳性能,并获得了不同的改进,比最先进的方法。我们还比较了两种注意力机制(外显特征交互前的注意力机制和外显特征交互后的注意力机制),并证明了前一种机制显著优于后一种机制。
2019-05-15 cs.IR cs.LG
Fatigue-Aware Adaptive Interfaces for Wearable Devices Using Deep Learning
Stevens Institute of Technology(斯蒂文斯理工学院)
针对可穿戴设备长时间使用导致用户疲劳的问题,提出结合多模态学习与强化学习的疲劳感知自适应界面系统,可动态调整界面元素,有效降低认知负荷并提升用户满意度。
2025-06-16 cs.LG
Double Deep Q Networks for Sensor Management in Space Situational Awareness
University of Liverpool(利物浦大学);STFC Hartree Centre(STFC哈特里中心);Defence Science and Technology Laboratory(国防科学与技术实验室)
我们提出了一种新的双深Q网络(DDQN)的应用空间态势感知(SSA)的传感器管理问题。频繁地向地球轨道发射卫星对传感器管理提出了重大挑战,需要有限数量的传感器来探测和跟踪越来越多的物体。在本文中,我们演示了使用强化学习开发传感器管理策略的SSA。我们模拟一个可控的地球上的望远镜,这是训练,以最大限度地利用扩展的卡尔曼滤波器跟踪卫星的数量。与替代(随机)策略生成的状态协方差矩阵相比,在DDQN策略下观察到的卫星的估计状态协方差矩阵大大减少。这项工作为进一步的发展提供了基础,并激励了强化学习在SSA中的使用。
2022-05-27 cs.LG
Uncertainty Aware Deep Learning for Particle Accelerators
Thomas Jefferson National Accelerator Facility(托马斯·杰斐逊国家加速器设施);University of California Santa Barbara(加州大学圣巴巴拉分校)
本文将距离感知的 DGPA 不确定性估计引入粒子加速器,分别用于 SNS 异常束流分类和 FNAL 增强器综合体的不确定性感知回归代理建模。
2023-09-25 cs.LG physics.acc-ph
Fed-BRDECS: Privacy-Preserving and Heterogeneity-Aware Federated Deep Embedded Clustering
Northwestern University(西北大学);Intel Corporation(英特尔公司)
针对联邦深度聚类中的隐私泄露与数据异构问题,提出Fed-BRDECS框架,通过局部样本稳定性损失和预测平衡采样及质心重启,在图像、文本及时间序列任务上优于现有基线。
2026-10-07 cs.LG
Energy-Aware Deep Learning on Resource-Constrained Hardware
Imperial College London(伦敦帝国学院);University of Cambridge(剑桥大学)
本文针对物联网与移动设备的能量约束问题,综述了资源受限硬件上用于优化深度学习推理与训练的能量感知方法,分析其方法论、能效影响及局限性,为相关未来研究提供基础。
2025-05-18 cs.AR cs.LG
Deep Adaptive Interest Network: Personalized Recommendation with Context-Aware Learning
University of Science and Technology of China(中国科学技术大学);University of Houston(休斯顿大学);University of Southern California(南加州大学);University of Tokyo(东京大学)
本文提出深度自适应兴趣网络(DAIN),通过动态建模用户兴趣并结合上下文感知学习机制,利用深度学习技术实时捕捉兴趣变化并整合上下文信息优化推荐结果,实验证明其在性能与计算效率上均表现出色。
2024-12-24 cs.IR cs.LG
Price-Aware Deep Learning for Electricity Markets
Massachusetts Institute of Technology(麻省理工学院);University of Virginia(弗吉尼亚大学)
本文提出将电力市场出清优化嵌入深度学习层,以平衡预测误差与定价误差,提高拥堵系统中电价公平性,并在风电预测与短期市场出清中验证效果。
2023-11-13 cs.LG cs.SY eess.SY
Improving Deep Learning Model Calibration for Cardiac Applications using Deterministic Uncertainty Networks and Uncertainty-aware Training
School of Biomedical Engineering & Imaging Sciences, King's College London(伦敦国王学院生物医学工程与影像科学学院);Guy's and St Thomas' Hospital(盖伊和圣托马斯医院)
本文在相位对比CMR伪影检测和ACDC疾病诊断上评估三种DUM、两种不确定性感知训练及其组合,证明二者均可提升准确率与校准,并提出可进一步改善性能的确定性不确定性感知训练方法。
2024-05-10 cs.LG
Context-Aware Deep Learning for Multi Modal Depression Detection
Nanyang Technological University(南洋理工大学);Institute of Infocomm Research, A*STAR(新加坡科技研究局信息通信研究院);UBTech(优必选)
本文提出一种结合预训练Transformer与主题建模数据增强的文本模型和深度一维CNN声学模型的多模态抑郁症检测方法,在DAIC数据集上取得最先进性能。
2024-12-26 cs.LG
Sensitivity-Aware Finetuning for Accuracy Recovery on Deep Learning Hardware
Lightmatter(Lightmatter公司)
针对模数硬件上噪声注入训练成本高的问题,本文提出SAFT方法,通过识别并冻结噪声敏感层来降低微调开销,同时保持相当精度并实现2至8倍加速。
2023-06-05 cs.AR cs.LG
Energy-aware Scheduling of Jobs in Heterogeneous Cluster Systems Using Deep Reinforcement Learning
University of Southern California(南加州大学)
从便携式嵌入式系统到计算机集群系统,能耗是设计计算设备时最关键的问题之一。此外,在过去的十年中,集群系统已经越来越多地成为流行的平台来运行计算密集型的实时应用程序,其中的性能是非常重要的。然而,由于实时工作负载的不同特点,开发通用的作业调度解决方案,有效地解决能源消耗和性能的实时集群系统是一个具有挑战性的问题。在本文中,受到将深度强化学习应用于资源管理问题的最新进展的启发,我们提出了Deep-EAS调度器,该调度器可以为具有不同特征的工作负载学习有效的能量感知调度策略,而无需最初了解任何关于手头调度任务的信息。结果表明,Deep-EAS收敛速度快,性能优于标准的手动调整算法,特别是在重负载条件下。
2019-12-11 cs.DC cs.LG
Confidence-Aware Deep Learning for Load Plan Adjustments in the Parcel Service Industry
NSF Artificial Intelligence Research Institute for Advances in Optimization(NSF人工智能优化研究所);Georgia Institute of Technology(佐治亚理工学院)
本研究针对包裹服务行业入站装载计划调整问题,提出结合深度学习与保形预测的两阶段决策框架,通过嵌入层提升性能并提供置信感知预测,初步部署准确性高,能改善运营决策。
2024-11-26 cs.LG
Simple and Principled Uncertainty Estimation with Deterministic Deep Learning via Distance Awareness
Google Research(谷歌研究院);Harvard University(哈佛大学)
贝叶斯神经网络(BNN)和深度集成是估计深度学习模型的预测不确定性的原则性方法。然而,它们的实用性在实时,工业规模的应用是有限的,由于其沉重的内存和推理成本。这促使我们研究只需要单个深度神经网络(DNN)的高质量不确定性估计的原则方法。通过将不确定性量化形式化为极大极小学习问题,我们首先识别输入距离感知,即,模型量化测试示例与输入空间中的训练数据的距离的能力,作为DNN实现高质量的必要条件(即,最小最大最优)不确定性估计。然后,我们提出了频谱归一化神经高斯过程(SNGP),这是一种简单的方法,通过在训练过程中添加权重归一化步骤并将输出层替换为高斯过程,提高了现代DNN的距离感知能力。在一系列视觉和语言理解任务以及现代架构(Wide-ResNet和BERT)上,SNGP在预测,校准和域外检测方面与深度集成具有竞争力,并且优于其他单模型方法。
2020-10-26 cs.LG stat.ML
Learning 6-DOF Grasping Interaction via Deep Geometry-aware 3D Representations
University of Michigan(密歇根大学);Google(谷歌);Google Brain(谷歌大脑);X Inc(X公司)
本文主要研究了平行颚式夹持器六自由度抓取的仿真学习问题。我们提出了一个几何感知表示在把握的基础上的假设,即知识的3D几何是在互动的心脏的概念。我们的核心思想是通过3D几何预测来约束和规则化抓取交互学习。具体来说,我们将深度几何感知抓取模型的学习公式化为两个步骤:首先,我们学习通过重建场景来构建心理几何感知表示(即,3D占用网格)。第二,我们学习预测抓取结果与其内部几何感知表示。学习的结果预测模型用于通过综合分析优化顺序地提出抓取解决方案。我们的贡献有四个方面:(1)据我们所知,我们第一次提出了一种方法来学习一个6-DOF抓取网络从RGBD输入;(2)我们建立了一个抓取数据集从演示虚拟现实丰富的感官和交互注释。该数据集包括分布在7个类别中的101个日常对象,此外,我们提出了一种用于有效学习的数据增强策略;(3)我们证明,在从我们的数据集中抓取对象时,学习到的几何感知表示比基线CNN的相对性能提高了约10%。(4)我们进一步证明,该模型推广到新的观点和对象实例。
2018-06-15 cs.AI cs.CV cs.LG
Orientation-aware interaction-based deep material network in polycrystalline materials modeling
National Taiwan University(台湾大学);ANSYS Inc.(ANSYS公司)
本文提出基于交互的取向感知深度材料网络ODMN,通过取向感知机制和Hill-Mandel交互机制,仅用线弹性数据训练即可准确预测多晶材料在复杂塑性变形下的力学响应与织构演化,扩展了深度材料网络的应用范围。
2025-02-04 cs.CE cs.LG
Uncertainty-Aware Optimization for Physics-Aware Highway Trajectory Prediction
Technische Hochschule Augsburg(奥格斯堡应用技术大学);TTZ Landsberg am Lech(莱希河畔兰茨贝格技术转移中心)
针对自动驾驶轨迹预测的不确定性问题,提出X-TRACK的两种不确定性感知扩展版本,通过建模并传播运动空间不确定性提升预测精度,其不确定性可校准至期望覆盖率。
2026-10-09 cs.LG
Hardness-Aware Deep Metric Learning
Tsinghua University(清华大学);State Key Lab of Intelligent Technologies and Systems(智能技术与系统国家重点实验室);Beijing National Research Center for Information Science and Technology(北京信息科学与技术国家研究中心)
本文提出了一种基于硬度感知的深度度量学习(HDML)框架。大多数以前的深度度量学习方法采用硬否定挖掘策略来缓解训练样本的缺乏。然而,这种挖掘策略仅利用训练数据的一个子集,这可能不足以全面地表征嵌入空间的全局几何形状。为了解决这个问题,我们对嵌入进行线性插值,以自适应地操纵它们的硬水平,并生成相应的标签保留合成用于循环训练,以便可以充分利用隐藏在所有样本中的信息,并且始终以适当的难度挑战度量。我们的方法在广泛使用的CUB-200-2011,Cars 196和Stanford Online Products数据集上实现了非常有竞争力的性能。
2019-12-04 cs.CV cs.LG
A Novel Deep Reinforcement Learning Based Stock Direction Prediction using Knowledge Graph and Community Aware Sentiments
University of Kocaeli(科贾埃利大学)
股票市场预测一直是投资者、研究人员和分析师的重要课题。股票市场预测受诸多因素的影响,是一项比较困难的工作。在这项研究中,我们提出了一种新的方法,这是基于深度强化学习方法的方向预测的股票使用社区的情绪和知识图谱。为此,我们首先通过分析连接之间的关系来构建用户的社会知识图谱。在此基础上,将相关股票的时间序列分析和情感分析与深度强化方法相结合。土耳其版本的双向编码器表示从Transformers(BerTurk)的用户的情绪进行分析,而深度Q学习方法用于所提出的模型的深度强化学习侧,以构建深度Q网络。为了证明所提出的模型的有效性,Garanti银行(GARAN),Akbank(AKBNK),Türkiye银行(ISCTR)在伊斯坦布尔证券交易所的股票被用作案例研究。实验结果表明,该模型在股市预测中取得了显著的效果。
2021-07-02 cs.AI cs.CE cs.LG
Deep Spatially and Temporally Aware Similarity Computation for Road Network Constrained Trajectories
Zhejiang University(浙江大学);Aalborg University(奥尔堡大学)
轨迹相似性计算已经引起了广泛的关注,因为它是诸如乘车共享、交通分析和社交推荐等广泛应用中的核心功能。受最近深度学习技术的成功的激励,研究人员开始致力于基于学习的相似性分析,以克服局限性(即,成本高,适应性差)。具体而言,深度轨迹相似性计算旨在学习距离函数,该距离函数可以通过神经网络评估两个轨迹的相似程度。然而,现有的基于学习的方法专注于空间相似性,但忽略了时间维度的轨迹,这是次优的时间感知应用程序。此外,他们往往忽略了嵌入到道路网络的轨迹,限制了他们在现实场景中的适用性。在本文中,我们提出了一个有效的基于学习的框架,称为ST2Vec,在道路网络中执行有效的空间和时间感知的轨迹相似性计算。最后,使用三个真实轨迹数据集进行的广泛实验评估表明,ST2Vec大大优于所有最先进的方法。
2022-02-27 cs.DB cs.LG
HyperSTAR: Task-Aware Hyperparameters for Deep Networks
Microsoft(微软);Northeastern University(东北大学)
虽然深度神经网络在解决视觉识别任务方面表现出色,但它们需要付出巨大的努力来找到使其最佳工作的超参数。超参数优化(HPO)方法已经自动化了寻找好的超参数的过程,但是它们不适应给定的任务(任务不可知),使得它们在计算上效率低下。为了减少HPO时间,我们提出了HyperSTAR(System for Task Aware Hyperparameter Recommendation),这是一种用于深度神经网络热启动HPO的任务感知方法。HyperSTAR通过预测超参数的性能来对超参数进行排名和推荐,这些性能以联合的超参数-超参数空间为条件。它以端到端的方式直接从原始图像中学习数据集(任务)表示以及性能预测器。当与现有的HPO方法集成时,这些建议使其具有任务意识,并显着减少实现最佳性能的时间。我们在两种不同的网络架构上对10个公开的大规模图像分类数据集进行了广泛的实验,验证了与现有方法相比,HyperSTAR评估的配置减少了50%,从而实现了最佳性能。我们进一步证明,HyperSTAR使Hyperband(HB)的任务感知,实现了最佳的准确性,只有25%的预算所需的香草HB和贝叶斯优化HB~(BOHB)。
2020-05-21 cs.CV cs.LG stat.ML
Physics-aware Reduced-order Modeling of Transonic Flow via $β$-Variational Autoencoder
Seoul National University(首尔国立大学)
基于自动编码器的降阶建模(ROM)最近引起了极大的关注,由于其能够捕捉潜在的非线性特征。然而,两个关键的缺点严重破坏了它的可扩展性,各种物理应用:纠缠,因此无法解释的潜在变量(LV)和盲目确定潜在的空间维度。在这方面,本研究提出的物理感知ROM只使用可解释的和信息密集型的LV提取的$β$变分自动编码器,这被称为物理感知LV在本文中。为了提取这些LV,他们的独立性和信息强度定量审查在一个二维跨音速流基准问题。然后,深入研究了物理感知LV的物理意义,并证实了通过适当的超参数$β$,它们实际上对应于训练数据集的生成因子,马赫数和迎角。据作者所知,我们的工作是第一个实际证实,$β$ -变分自动编码器可以自动提取的物理生成因子在应用物理领域。最后,物理感知ROM,它只利用物理感知的LV,与传统的ROM进行了比较,并成功地验证了其有效性和效率。
2022-06-09 cs.LG physics.flu-dyn
Wideband and Entropy-Aware Deep Soft Bit Quantization
University of Texas at Austin(德克萨斯大学奥斯汀分校)
深度学习最近已被应用于数字通信系统中的物理层处理,以提高端到端性能。在这项工作中,我们介绍了一种新的深度学习解决方案,用于跨宽带信道的软比特量化。我们的方法是训练端到端的量化和熵感知增强的损失函数,并在推理与源编码结合使用,以实现近最佳的压缩增益在宽带信道。为了有效地训练我们的方法,我们证明和验证,一个固定的特征空间量化方案是足够的有效学习。当在训练期间从未见过的信道分布上进行测试时,与先前的最先进的方法相比,所提出的方法在高SNR状态下实现了高达$10 \%$的压缩增益。为了鼓励可重复的研究,我们的实现在https://github.com/utcsilab/wideband-llr-deep上公开。
2021-10-18 cs.IT cs.LG eess.SP
Loss-aware Binarization of Deep Networks
Department of Computer Science and Engineering(计算机科学与工程系);Hong Kong University of Science and Technology(香港科技大学)
深度神经网络模型虽然非常强大且非常成功,但在空间和时间方面的计算成本很高。最近,已经有一些关于二进制化网络权重和激活的尝试。这大大减小了网络的大小,并将底层乘法替换为加法甚至XNOR位操作。然而,现有的二值化方案都是基于简单的矩阵近似,忽略了二值化对损失的影响。在本文中,我们提出了一个近似牛顿算法与对角Hessian近似,直接最大限度地减少损失w.r.t.二进制化的权重。底层的近端步骤有一个有效的封闭形式的解决方案,和二阶信息可以有效地获得从二阶矩已经计算的亚当优化器。在前馈网络和递归网络上的实验表明,该算法的性能优于现有的二值化方案,并且对宽网络和深网络具有更好的鲁棒性。
2018-05-10 cs.LG cs.NE
Uncertainty-Aware (UNA) Bases for Deep Bayesian Regression Using Multi-Headed Auxiliary Networks
Harvard University(哈佛大学)
神经线性模型(NLM)是深度贝叶斯模型,通过从数据中学习特征,然后对这些特征执行贝叶斯线性回归,从而产生预测不确定性。尽管他们的流行,很少有作品集中在有条不紊地评估这些模型的预测不确定性。在这项工作中,我们证明了NLM的传统训练程序大大低估了分布外输入的不确定性,因此它们不能天真地部署在风险敏感的应用程序中。我们确定了这种行为的根本原因,并提出了一个新的训练框架,捕捉有用的预测不确定性的下游任务。
2021-12-15 cs.LG stat.ML
Uncertainty Quantification for Deep Context-Aware Mobile Activity Recognition and Unknown Context Discovery
Texas A&M University(得克萨斯农工大学);University of Washington(华盛顿大学)
可穿戴计算中的活动识别面临两个关键挑战:i)活动特征可能是上下文相关的,并且在不同的上下文或情况下会发生变化; ii)未知的上下文和活动可能会不时发生,这需要算法的灵活性和适应性。我们开发了一种上下文感知的深度模型混合物,称为α- \b{eta}网络,结合基于最大熵的不确定性量化(UQ),以增强人类活动识别性能。我们通过以数据驱动的方式识别高级上下文来指导模型开发,从而将准确性和F分数提高了10%。为了确保训练的稳定性,我们在公共和内部数据集中使用了基于聚类的预训练,通过未知上下文发现提高了准确性。
2020-03-03 cs.LG stat.ML
ASAM: Adaptive Sharpness-Aware Minimization for Scale-Invariant Learning of Deep Neural Networks
Samsung Research(三星研究院)
近年来,损失面的尖锐度作为泛化间隙的有效度量,作为学习算法的动机,表现出最先进的性能。然而,在具有固定半径的刚性区域中定义的锐度在对参数重新缩放的敏感性方面具有缺点,这使得损失不受影响,从而导致锐度和泛化间隙之间的连接减弱。在本文中,我们引入了自适应锐度的概念,这是规模不变的,并提出了相应的推广界。我们提出了一种新的学习方法,自适应锐度感知最小化(ASAM),利用建议的泛化界。在不同基准数据集上的实验结果表明,ASAM有助于显着提高模型的泛化性能。
2021-06-29 cs.LG stat.ML
Phase-Aware Deep Speech Enhancement: It's All About The Frame Length
Universität Hamburg(汉堡大学)
语音处理中的语音延迟主要由用于傅立叶分析的帧长度决定,这反过来限制了以幅度为中心的方法的可实现性能。由于先前的研究表明相位的重要性随着帧长度的减小而增加,因此本文系统地研究了不同帧长度下基于现代深度神经网络(DNN)的语音增强中相位和幅度的贡献。结果表明,DNN在使用短帧时可以成功地估计相位,与使用较长帧相比,具有相似或更好的整体性能。因此,有趣的是,现代相位感知DNN允许高质量的低延迟语音增强。
2022-10-04 cs.LG cs.SD eess.AS
Semantic-aware Transmission Scheduling: a Monotonicity-driven Deep Reinforcement Learning Approach
The University of Sydney(悉尼大学);Queensland University of Technology (QUT)(昆士兰科技大学)
针对6G信息物理系统中语义感知传输调度决策空间巨大、现有算法难以求得最优策略的问题,本文分析最优策略性质并据此提出单调性驱动的DRL算法,显著减少训练时间并提升性能。
2023-09-21 cs.AI cs.IT cs.LG
Activity-Aware Deep Cognitive Fatigue Assessment using Wearables
University of Massachusetts Lowell(马萨诸塞大学洛厄尔分校)
自COVID-19成为全球大流行以来,认知疲劳一直是工人的常见问题,并已成为日益严重的全球问题。虽然现有的多模态可穿戴传感器辅助自动认知疲劳监测工具专注于对特定人群(如游戏玩家,运动员,建筑工人)进行物理和生理传感器(ECG,PPG,Activography)分析,但由于其对不同人的生理反应不同,活动意识至关重要。在本文中,我们提出了一个新的框架,活动感知循环神经网络(\emph{AcRoNN}),可以推广个人活动识别和提高认知疲劳估计显着。我们使用来自5个人的一个实时收集的数据集和来自27个人的另一个公开可用的数据集来评估和比较我们提出的方法与最先进的方法。19%的改善。
2021-05-05 cs.LG cs.MM eess.SP
Buffer-aware Wireless Scheduling based on Deep Reinforcement Learning
Huawei Technologies(华为技术有限公司)
本文对蜂窝网络下行分组调度问题进行了建模,使吞吐量、公平性和丢包率联合优化。两个基因辅助的启发式搜索方法来探索解决方案的空间。提出了一种基于A2C算法的深度强化学习(DRL)框架。在该框架中采用了几种方法来提高采样和训练效率,并使算法适应特定的调度问题。数值结果表明,DRL优于基线算法,并达到类似的性能基因辅助方法,而不使用未来的信息。
2019-11-13 cs.IT cs.LG math.IT