CramNet: Camera-Radar Fusion with Ray-Constrained Cross-Attention for Robust 3D Object Detection
Waymo(Waymo公司)
稳健的3D目标检测对于安全自动驾驶至关重要。摄像头和雷达传感器是协同作用的,因为它们捕获互补信息,并在不同的环境条件下工作良好。然而,融合相机和雷达数据是具有挑战性的,因为每个传感器都缺乏沿垂直轴的信息,也就是说,相机不知道深度,雷达不知道高度。我们提出了相机-雷达匹配网络CramNet,这是一种有效的方法,可以在联合3D空间中融合相机和雷达的传感器读数。为了更好地利用雷达距离测量相机深度预测,我们提出了一种新的射线约束的交叉注意力机制,解决了相机特征和雷达特征之间的几何对应关系的模糊性。我们的方法支持传感器模态丢失的训练,这导致了强大的3D目标检测,即使当车辆上的摄像头或雷达传感器突然发生故障时。我们证明了我们的融合方法的有效性,通过广泛的实验辐射数据集,为数不多的大规模数据集,提供雷达射频图像之一。我们的方法的仅摄像头变体在Waymo Open Dataset上的单目3D目标检测中实现了具有竞争力的性能。
2022-10-18 cs.CV cs.LG cs.RO
Cost-Effective Attention Mechanisms for Low Resource Settings: Necessity & Sufficiency of Linear Transformations
Queen Mary University of London(伦敦玛丽女王大学);Jožef Stefan Institute(约热夫·斯泰凡研究所)
针对 SDPA 在低资源场景下计算与内存开销过大的问题,提出通过删减或新增线性变换构建三种轻量注意力变体,在保持通用性的同时显著减少参数,并使 Super Attention 在更快、更轻的情况下最高提升 10% 性能。
2025-02-16 cs.AI cs.CL cs.CV
Multi-View Fusion Transformer for Sensor-Based Human Activity Recognition
Alibaba Group(阿里巴巴集团)
基于传感器的人类活动识别(HAR)作为泛在计算和机器学习的基础问题,近年来引起了广泛关注并取得了长足进展。HAR的目标是根据从多模态传感器(如加速度计和陀螺仪)收集的丰富时间序列数据的可用性来识别人类活动。然而,最近的深度学习方法专注于数据的一个视图,即,时间视图,而浅层方法倾向于利用手工特征进行识别,例如,统计观点。在本文中,提取一个更好的功能,以提高性能,我们提出了一种新的方法,即多视图融合Transformer(MVFT)以及一种新的注意力机制。首先,MVFT编码三个信息视图,即,时间、频繁和统计视图以生成多视图特征。其次,新的注意机制揭示内部和跨视图的线索,催化三个视图之间的相互作用,详细的关系建模。此外,在两个数据集上的大量实验表明,我们的方法优于几个国家的最先进的方法。
2022-02-16 cs.AI cs.CV cs.LG
Optimizing food taste sensory evaluation through neural network-based taste electroencephalogram channel selection
Northeast Electric Power University(东北电力大学)
针对多通道味觉EEG数据的通道选择难题,本文提出CAM-Attention方法,结合CNN-CSA与Grad-CAM模型实现通道筛选,降低计算负担的同时可有效区分四种味觉,为食品味觉感官评价提供技术支持。
2024-09-19 cs.AI cs.LG eess.SP
Predicting Multiple Demographic Attributes with Task Specific Embedding Transformation and Attention Network
Korea University(高丽大学)
大多数公司利用人口统计信息来制定市场战略。然而,大多数零售公司都无法获得这些信息。已经进行了几项研究来根据用户的交易历史来预测用户的人口统计属性,但它们存在一些局限性。首先,他们专注于参数共享来预测所有属性,但捕获特定于任务的特征在多任务学习中也很重要。其次,他们假设所有交易在预测人口统计属性方面都同样重要。然而,对于预测某个属性,某些事务比其他事务更有用。此外,模型的决策过程不能被解释为它们以黑箱方式工作。为了解决这些局限性,我们提出了一个带有注意力的嵌入转换网络(ETNA)模型,该模型在模型结构的底部共享表示,并使用简单的线性转换方法将它们转换为特定于任务的表示。此外,我们可以获得更多的信息交易预测某些属性使用注意力机制。实验结果表明,我们的模型优于以前的模型在所有的任务。在我们的定性分析中,我们展示了注意力权重的可视化,这为企业管理者提供了一些有用的见解。
2019-03-25 cs.LG stat.ML
Because Every Sensor Is Unique, so Is Every Pair: Handling Dynamicity in Traffic Forecasting
RMIT University(皇家墨尔本理工大学);Data61/CSIRO(联邦科学与工业研究组织Data61);UC Davis(加州大学戴维斯分校);UNSW(新南威尔士大学);ANU(澳大利亚国立大学)
交通预测是从网络物理基础设施中提取价值的关键任务,而网络物理基础设施是智能交通的支柱。然而,由于外部环境,每个传感器的动态是唯一的。例如,学校附近传感器的下午高峰更有可能比居民区附近的高峰更早出现。在本文中,我们首先分析了现实世界的交通数据,表明每个传感器有一个独特的动态。进一步的分析还表明,每对传感器也具有独特的动态。然后,我们探索节点嵌入如何学习每个传感器位置的独特动态。接下来,我们提出了一个新的模块,称为空间图Transformers(SGT),我们使用节点嵌入,以利用自我注意力机制,以确保两个传感器之间的信息流是自适应相对于每对独特的动态。最后,我们提出了图自注意波网(G-SWaN),以解决复杂的,非线性的时空交通动态。通过在四个真实世界的开放数据集上的实证实验,我们证明了所提出的方法在交通速度和流量预测方面都取得了优异的性能。代码可在:https://github.com/aprbw/G-SWaN
2023-02-28 cs.CV cs.DB cs.LG
PyViT-FUSE: A Foundation Model for Multi-Sensor Earth Observation Data
EarthDaily Analytics
提出PyViT-FUSE,一种用于多传感器地球观测数据的基础模型,通过注意力机制融合任意数量混合分辨率输入波段,并采用新型金字塔结构视觉Transformer与自监督学习,展示了融合机制的可解释性及下游任务适用性。
2025-04-26 cs.AI cs.CV cs.LG
SALIENCE: An Unsupervised User Adaptation Model for Multiple Wearable Sensors Based Human Activity Recognition
College of Computer Science and Technology, Zhejiang University(浙江大学计算机科学与技术学院)
无监督用户自适应将来自训练用户和新用户的数据的特征分布对齐,因此经过良好训练的可穿戴人体活动识别(WHAR)模型可以很好地适应新用户。随着可穿戴传感器技术的发展,基于WHAR的多传感器可穿戴系统得到了越来越多的关注。为了解决不同传感器的可移植性不同的挑战,我们提出了SALIENCE(基于多个可穿戴传感器的人体活动识别的无监督用户自适应模型)模型。它分别对齐每个传感器的数据以实现局部对齐,同时统一对齐所有传感器的数据以确保全局对齐。此外,提出了一种注意机制,使SALIENCE的活动分类器集中在具有较强特征区分度和良好分布对齐的传感器上。在两个公开的WHAR数据集上进行了实验,实验结果表明,我们的模型可以产生一个有竞争力的性能。
2022-04-27 cs.LG eess.SP
Deep ConvLSTM with self-attention for human activity decoding using wearables
Nanyang Technological University(南洋理工大学);Galgotias College of Engineering and Technology(加尔各答工程技术学院)
从可穿戴传感器准确解码人类活动可以帮助与医疗保健和环境感知相关的应用。在这个领域中,目前的方法使用递归和/或卷积模型来从来自多个传感器的时间序列数据中捕获时空特征。我们提出了一种深度神经网络架构,不仅可以捕获多个传感器时间序列数据的时空特征,还可以通过利用自我注意力机制来选择和学习重要的时间点。我们在六个公共数据集上展示了所提出的方法在不同数据采样策略中的有效性,并证明了自我注意力机制在使用递归和卷积网络的深度网络上的性能有了显着的提高。我们还表明,所提出的方法提供了一个统计上显着的性能增强比以前的国家的最先进的方法测试数据集。所提出的方法为更好地从多个身体传感器解码人类活动开辟了途径。所提出的模型的代码实现可在https://github.com/isukrit/encodingHumanActivity上获得。
2020-12-18 cs.HC cs.LG eess.SP
LASER: Attention with Exponential Transformation
University of Texas at Austin(德克萨斯大学奥斯汀分校);Google(谷歌)
针对Transformer中softmax注意力梯度信号微弱导致学习低效的问题,提出LASER注意力机制以增大梯度信号,在大型语言模型及视觉、语音等多模态任务上显著提升了性能与泛化能力。
2025-07-13 cs.CL cs.LG
Bio-inspired visual attention for silicon retinas based on spiking neural networks applied to pattern classification
Université Côte d’Azur(蔚蓝海岸大学);CNRS(法国国家科学研究中心)
视觉注意可以被定义为选择性地集中在感官线索的一个离散方面而忽略其他可感知信息的行为和认知过程。这种生物学机制,更具体地说是显着性检测,长期以来一直用于多媒体索引,以仅对图像或视频的相关部分进行分析,以便进一步处理。最近出现的硅视网膜(或事件相机-传感器,测量亮度的像素变化并相应地输出异步事件)提出了一个问题,即如何使注意力和显着性适应这种非常规类型的传感器输出。硅视网膜旨在再现生物视网膜行为。在这方面,它们在时间上产生准时的事件,这些事件可以被解释为神经尖峰,并被神经网络解释为神经尖峰。特别是,脉冲神经网络(SNN)代表了一种异步类型的人工神经网络,比传统的人工网络更接近生物学,主要是因为它们试图模仿神经膜和动作电位随时间的动态变化。SNN以尖峰序列的形式接收和处理信息。因此,它们是硅视网膜测量的传入事件模式的有效处理和分类的合适候选者。在本文中,我们回顾了注意力机制背后的生物学背景,并介绍了一个案例研究的事件视频分类与SNN,使用生物学接地低层次的计算注意力机制,有趣的初步结果。
2021-05-31 cs.CV cs.LG cs.NE
Remaining Useful Life Prediction Using Temporal Deep Degradation Network for Complex Machinery with Attention-based Feature Extraction
Xi’an Jiaotong University(西安交通大学);Xi’an Thermal Power Research Institute Co.,Ltd.(西安热工研究院有限公司)
剩余使用寿命(RUL)的精确估计对于预测分析和预测性维护至关重要,可以显着降低故障率和维护成本。利用神经网络从传感器流数据中提取的退化相关特征可以显著提高RUL预测的准确性。提出了时间深度退化网络(TDDN)模型,利用一维卷积神经网络(1D CNN)特征提取和注意力机制给出的退化相关特征进行RUL预测。1D CNN用于从流式传感器数据中提取时间特征。时间特征具有来自波动的原始传感器流数据的单调退化趋势。注意力机制通过引入注意力权重来捕捉故障特征和退化发展过程,从而提高了RUL的预测性能。在公开的C-MAPSS数据集上对TDDN模型的性能进行了评估,并与现有方法进行了比较。结果表明,与现有的机器学习模型相比,TDDN模型能够在复杂条件下实现最佳的RUL预测精度。从高维传感器流数据中提取的退化相关特征展示了清晰的退化轨迹和退化阶段,使TDDN能够准确有效地预测涡扇发动机RUL。
2022-02-21 cs.AI cs.LG eess.SP
PaTH Attention: Position Encoding via Accumulating Householder Transformations
Massachusetts Institute of Technology(麻省理工学院);MIT-IBM Watson AI Lab(MIT-IBM Watson人工智能实验室);Stanford University(斯坦福大学);Microsoft(微软公司)
PaTH Attention通过累积Householder变换实现数据依赖的位置编码,提升Transformer模型的表达能力。
2026-02-03 cs.CL cs.LG
Transformer-Based Approach to Optimal Sensor Placement for Structural Health Monitoring of Probe Cards
Dept. of Civil and Environmental Engineering Politecnico di Milano, Italy(米兰理工大学土木与环境工程系);Technoprobe, Cernusco Lombardone, Italy(Technoprobe公司)
本文提出一种基于Transformer的混合深度学习模型,用于优化探针卡传感器布置,实现结构健康监测,在分类健康状态上达到99.83%的准确率,并通过注意力权重分析指导高效监测系统设计。
2025-09-09 cs.AI cs.LG
Sequential Weakly Labeled Multi-Activity Localization and Recognition on Wearable Sensors using Recurrent Attention Networks
School of Electrical and Automation Engineering, Nanjing Normal University(南京师范大学电气与自动化工程学院);School of Electronic and Information Engineering, Nanjing University of Information Science and Technology(南京信息工程大学电子与信息工程学院)
针对现有注意力模型仅能处理单活动弱标注数据的局限,提出循环注意力网络RAN,可基于粗粒度序列弱标签同时实现多活动类型推断与定位,有效降低人工标注成本,在自建及公开数据集上验证了有效性。
2021-08-03 cs.LG eess.SP stat.ML
Attention-based Deep Neural Networks for Battery Discharge Capacity Forecasting
Xi’an Jiaotong University(西安交通大学)
提出基于注意力机制的深度退化网络,利用流式传感器数据预测电池放电容量,在MIT-Stanford数据集上均方根误差1.3 mAh,平均绝对百分比误差0.06%,并在牛津数据集验证鲁棒性。
2022-02-14 cs.LG eess.SP
Learning sparse transformations through backpropagation
Vrije Universiteit Amsterdam(阿姆斯特丹自由大学)
深度学习架构中的许多转换都是稀疏连接的。当这种转换无法手工设计时,它们可以学习,甚至通过简单的反向传播,例如在注意力机制中。然而,在学习过程中,这种稀疏结构通常以密集形式表示,因为我们事先不知道哪些元素最终会变成非零。我们介绍了自适应,稀疏超层,学习稀疏变换的方法,paramatrized稀疏:作为索引元组与相关值。为了克服这种离散结构缺乏梯度的问题,我们引入了一种随机采样连接的方法,并在随机连接的计算图上进行反向传播。为了证明这种方法允许我们在真实数据上训练具有竞争力的模型,我们使用它来构建两个架构。第一,视觉分类的注意机制。其次,我们实现了一种可微排序的方法:具体来说,学习对未标记的MNIST数字进行排序,只给出正确的顺序。
2018-10-22 cs.LG stat.ML
Multi-Dimensional Self Attention based Approach for Remaining Useful Life Estimation
University of Electronic Science and Technology of China(电子科技大学)
剩余使用寿命(RUL)估计在故障预测与健康管理(PHM)中起着至关重要的作用。传统的机器健康维护系统通常成本高昂,需要足够的专业知识,并且难以适应高度复杂和不断变化的工业场景。随着传感器在工业设备上的广泛部署,构建工业物联网(IIoT)来互连这些设备已成为数字工厂发展的必然趋势。使用IIoT收集的设备实时运行数据,通过RUL预测算法获得估计的RUL,PHM系统可以为设备制定主动维护措施,从而降低维护成本并减少运行期间的故障次数。本文对工业物联网场景下多传感器设备的剩余使用寿命预测模型进行了研究。研究了主流的RUL预测模型,总结了该场景下RUL预测建模的基本步骤。在此基础上,本文提出了一种数据驱动的RUL估计方法。该算法采用多头注意力机制对多个传感器输出的多维时间序列数据进行融合,其中特征注意力用于捕捉特征间的相互作用,序列注意力用于学习时间步长的权值。然后,利用长短期记忆网络学习时间序列的特征。我们在两个基准数据集(C-MAPSS和PHM 08)上对所提出的模型进行了评估,结果表明它优于最先进的模型。此外,通过多头注意力机制的可解释性,该模型可以提供一个初步的解释发动机退化。因此,这种方法很有希望在IIoT场景中进行预测性维护。
2022-12-12 cs.LG stat.ML
Sensoformer: Robust Sim-to-Real Inference on Variable-Geometry Sensor Sets via Physics-Structured Randomization
Institute for Geophysics University of Texas at Austin(地质研究所德克萨斯大学奥斯汀分校)
Sensoformer通过物理结构化随机化方法,解决稀疏传感器阵列在仿真到现实推理中的挑战,实现高维物理状态推断,并在地震源反演中展现优于MPNN和神经算子的性能。
2026-05-07 cs.LG physics.geo-ph
Fullie and Wiselie: A Dual-Stream Recurrent Convolutional Attention Model for Activity Recognition
University of New South Wales(新南威尔士大学);RMIT University(皇家墨尔本理工大学);Northwestern Polytechnical University(西北工业大学)
多模态特征在基于可穿戴传感器的人体活动识别(HAR)中起着关键作用。自适应地选择最显著的特征是最大化多模态传感器数据的有效性的一种有前途的方法。在这方面,我们提出了一个“收集充分和明智地选择(Fullie和Wiselie)”的原则,以及双流循环卷积注意力模型,循环注意力和活动框架(RAAF),以提高识别性能。我们首先收集模态特征和每对特征之间的关系来生成活动框架,然后引入注意力机制来精确地从活动框架中选择最显著的区域。所选择的帧不仅最大限度地利用有效的功能,但也减少了要有效地计算的功能的数量。我们进一步分析的超参数,准确性,可解释性,和注释依赖性的基础上广泛的实验所提出的模型。结果表明,RAAF在两个基准数据集上取得了有竞争力的性能,并在现实生活中的情况下工作得很好。
2017-11-21 cs.AI cs.HC cs.LG
SETransformer: A Hybrid Attention-Based Architecture for Robust Human Activity Recognition
Department of Electrical and Computer Engineering, Duke University(杜克大学电气与计算机工程系);Department of Computer Science, The George Washington University(乔治华盛顿大学计算机科学系);Department of Information Systems and Cyber Security, The University of Texas at San Antonio(德克萨斯大学圣安东尼奥分校信息系统与网络安全系);Department of Electrical & Computer Engineering, Rutgers University(罗格斯大学电气与计算机工程系);School of Engineering, Computer & Mathematical Sciences (ECMS), Auckland University of Technology(奥克兰理工大学工程、计算机与数学科学学院)
针对传统深度学习模型难以捕捉长期时间依赖和多通道上下文的问题,提出SETransformer混合架构,结合Transformer时间建模、SE通道注意力和可学习时序池化,在WISDM数据集上验证准确率达84.68%,宏F1为84.64%,显著优于LSTM、GRU等基线。
2025-05-25 cs.AI cs.LG
Gait Events Prediction using Hybrid CNN-RNN-based Deep Learning models through a Single Waist-worn Wearable Sensor
KIST(韩国科学技术研究院);University of Science & Technology(科学技术大学);KHU(庆熙大学)
老年人步态是反映其身心健康状况的重要信息来源。作为下身多个传感器的替代方案,骨盆上的单个传感器具有位置优势和丰富的可获取信息。本研究旨在探索一种使用腰部单个传感器和深度学习模型来提高老年人步态事件检测准确性的方法。数据收集自老年受试者,他们在行走时配备了三个IMU传感器。仅从腰部传感器获取输入,用于训练16个深度学习模型,包括CNN、RNN和CNN-RNN混合模型,有或没有双向和注意力机制。地面实况是从足部IMU传感器提取的。CNN-BiGRU-Att模型在$\pm$ 6 TS($\pm$ 6 ms)和$\pm$ 1 TS($\pm$ 1 ms)的容差窗口分别实现了99.73%和93.89%的相当高的准确度。该模型在步态事件检测的基础上,在$\pm$ 1 TS的容差窗口下,HS和TO事件的MAE分别为6.239 ms和5.24 ms,大大改善了步态事件的预测误差。结果表明,使用具有注意力和双向机制的CNN-RNN混合模型,使用单个腰部传感器进行精确的步态事件检测是有希望的。该研究有助于减轻步态检测的负担,并增加其在未来可穿戴设备中的适用性,这些设备可用于远程健康监测(RHM)或基于此的诊断。
2022-02-28 cs.AI cs.LG eess.SP
Multi-Modal Sensor Fusion using Hybrid Attention for Autonomous Driving
Mercedes-Benz AG(梅赛德斯-奔驰集团);University of Freiburg(弗莱堡大学)
本文提出MMF-BEV框架,通过变形注意力实现雷达与摄像头BEV融合,通过传感器贡献分析验证传感器互补性,并在VoD数据集上优于单模态基线。
2026-04-06 cs.CV cs.LG
Likelihood-based Sensor Calibration using Affine Transformation
Trier University of Applied Sciences(特里尔应用科学大学);Polytechnique Montréal(蒙特利尔综合理工学院);Trier University(特里尔大学)
本文提出一种基于专家知识估计仿射变换的似然传感器校准方法,并在仿真和8个相同传感器的真实数据上验证了其改进效果。
2024-01-10 cs.AI cs.LG
Hierarchical Self Attention Based Autoencoder for Open-Set Human Activity Recognition
Independent University Bangladesh(孟加拉国独立大学)
针对传感器故障或受试者残疾导致的未见活动识别问题,提出一种基于分层自注意力的自编码器方法,在五个数据集上显著提升了闭集分类性能与对噪声的鲁棒性,并实现特征的可解释选择。
2021-03-07 cs.CV cs.LG
Attention-based Convolutional Neural Network for Weakly Labeled Human Activities Recognition with Wearable Sensors
Nanjing Normal University(南京师范大学);Nanjing University of Information Science and Technology(南京信息工程大学)
与人类可以轻松标记的图像或视频数据不同,传感器数据标注是一个耗时的过程。然而,传统的人类活动识别方法需要大量此类严格标记的数据来训练分类器。在本文中,我们提出了一个基于注意力的卷积神经网络的人识别弱标记数据。提出的注意力模型可以集中在一个长序列的传感器数据中的标记活动,同时过滤掉大量的背景噪声信号。在弱标记数据集上的实验中,我们证明了我们的注意力模型在准确性上优于经典的深度学习方法。此外,我们确定的具体位置的标记活动在一个长序列的弱标记数据,通过转换的兼容性得分,这是从注意力模型产生的兼容性密度。该方法极大地简化了传感器数据标注的过程,使数据汇集更加容易。
2019-03-27 cs.LG stat.ML
Attention-based Information Fusion using Multi-Encoder-Decoder Recurrent Neural Networks
Ludwig Maximilian University(路德维希-马克西米利安-慕尼黑大学);Siemens AG Corporate Technology(西门子股份公司企业技术部)
随着互联设备和传感器数量的增加,分布式传感器网络建模越来越受到关注。循环神经网络(RNN)被认为特别适合于对感觉和流数据进行建模。在预测未来行为时,结合来自邻近传感器站的信息通常是有益的。我们提出了一种新的基于RNN的架构,用于跨多个空间分布的传感器站的上下文特定信息融合。据此,多个局部模型的潜在表示,每个模型一个传感器站,根据它们的预测的重要性进行联合和加权。使用单独的注意力函数根据当前上下文来评估特定重要性。我们证明了我们的模型在三个不同的现实世界的传感器网络数据集的有效性。
2017-11-13 cs.LG stat.ML
Fast Re-Trainable Attention Autoencoder for Liquid Sensor Anomaly Detection at the Edge
University of California, Irvine(加利福尼亚大学欧文分校)
本文提出一种边缘可部署的注意力单类自编码器流程,仅用30分钟正常数据训练即可检测实验室液体传感器异常,模型约31 kB并在无AVX的x86设备上实现低于2秒推理,整体工作流一小时内完成,支持快速适配新液体或传感器。
2025-07-05 cs.LG
AGSTN: Learning Attention-adjusted Graph Spatio-Temporal Networks for Short-term Urban Sensor Value Forecasting
National Cheng Kung University(国立成功大学)
预测传感器值的时空相关时间序列在城市应用中是至关重要的,例如空气污染警报、自行车资源管理和智能交通系统。虽然最近的进展利用图神经网络(GNN)来更好地学习传感器之间的空间和时间依赖性,但是它们不能对传感器之间的时间演化时空相关性(STC)进行建模,并且需要预定义的图,这些图既不总是可用也不完全可靠,并且一次仅针对特定类型的传感器数据。此外,由于时间序列波动的形式在传感器之间是不同的,因此模型需要学习波动调制。为了解决这些问题,在这项工作中,我们提出了一种新的基于GNN的模型,即注意力调整图时空网络(Attention-adjusted Graph Spatio-Temporal Network,AGNN)。在AGTRAN中,开发了具有顺序学习的多图卷积来学习时间演化STC。波动调制是通过一个建议的注意力调节机制来实现的。对三个传感器数据(空气质量、自行车需求和交通流量)的实验表明,AGSTN的性能优于最先进的方法。
2021-01-29 cs.IR cs.LG cs.SI
Anonymizing Sensor Data on the Edge: A Representation Learning and Transformation Approach
University of Alberta(阿尔伯塔大学);York University(约克大学)
物联网(IoT)设备中的传感器收集的大量数据,以及深度神经网络在发现时间序列数据中隐藏模式方面的成功,导致了越来越多的隐私问题。这是因为可以访问传感器数据的应用程序可能会从传感器数据中获知私有和敏感信息。在本文中,我们的目标是通过学习对数据混淆有用的低维表示来研究效用和隐私损失之间的权衡。我们提出了一个变分自编码器的潜在空间中的确定性和概率性的变换,以合成时间序列数据,从而防止侵入性的推断,同时仍然可以作出所需的推断具有足够的精度。在确定性的情况下,我们使用线性变换来移动潜在空间中的输入数据的表示,使得重构的数据可能具有与原始输入数据相同的公共属性但不同的私有属性。在概率情况下,我们以一定的概率将线性变换应用于输入数据的潜在表示。我们将我们的技术与基于自动编码器的匿名化技术进行了比较,并且还表明它可以在资源受限的边缘设备上实时的匿名化数据。
2021-08-27 cs.AI cs.CR cs.LG
Beyond Isolated Frames: Enhancing Sensor-Based Human Activity Recognition through Intra- and Inter-Frame Attention
University of Manchester(曼彻斯特大学);University of Warwick(华威大学)
针对卷积神经网络逐帧分析忽略时间动态的问题,提出帧内与帧间注意力模型及时间顺序批量学习策略,以全面捕捉序列数据的上下文关系并确保时间模式连续性。
2024-05-21 cs.CV cs.HC cs.LG
Attention-stacked Generative Adversarial Network (AS-GAN)-empowered Sensor Data Augmentation for Online Monitoring of Manufacturing System
Oklahoma State University(俄克拉荷马州立大学)
针对制造系统异常传感器数据不足导致的数据不平衡问题,本文提出注意力堆叠生成对抗网络AS-GAN,通过增强生成器捕获序列信息的能力来生成高质量异常样本,从而提升在线监测性能。
2024-02-22 cs.LG
Privacy and Utility Preserving Sensor-Data Transformations
Queen Mary University of London(伦敦玛丽女王大学);Imperial College London(帝国理工学院)
当来自可穿戴或便携式设备的原始传感器数据与云辅助应用程序共享时,敏感的推断和用户重新识别是对隐私的主要威胁。为了减轻这些威胁,我们提出了在与用户设备上运行的应用程序共享之前转换传感器数据的机制。这些转换旨在消除可用于用户重新识别或推断潜在敏感活动的模式,同时为目标应用程序(或任务)引入较小的实用程序损失。我们表明,在手势和活动识别任务中,我们可以防止潜在敏感活动的推断,同时保持非敏感活动的识别准确性降低到不到5个百分点。我们还表明,我们可以减少用户重新识别的准确性和潜在的性别推断的水平的随机猜测,同时保持活动识别的准确性与原始数据上获得的。
2019-11-14 cs.HC cs.LG eess.SP
Synthetic Lung X-ray Generation through Cross-Attention and Affinity Transformation
University of Sydney(悉尼大学);University of Chinese Academy of Sciences(中国科学院大学)
本文提出基于稳定扩散模型和文本-图像交叉注意力的合成肺部X射线语义掩码自动生成方法,显著降低数据标注成本,实验证明其训练的分割模型性能可比甚至优于真实数据训练的模型。
2025-03-10 cs.CV cs.LG
Comprehensive Attention Self-Distillation for Weakly-Supervised Object Detection
Carnegie Mellon University(卡内基梅隆大学)
弱监督目标检测(WSOD)已经成为一种有效的工具,训练对象检测器使用的图像级类别标签。然而,如果没有对象级别的标签,WSOD检测器很容易检测到显着的对象,聚类对象和歧视性的对象部分的边界框。此外,图像级类别标签不强制跨相同图像的不同变换的一致的目标检测。针对上述问题,我们提出了一个全面的注意力自我蒸馏(CASD)训练方法的WSOD。为了平衡所有对象实例之间的特征学习,CASD计算从相同图像的多个变换和特征层聚合的综合注意力。为了对对象进行一致的空间监督,CASD在WSOD网络上进行自蒸馏,使得综合注意力同时由相同图像的多个变换和特征层来近似。CASD在PASCAL VOC 2007/2012和MS-COCO等标准基准上生成最新的WSOD结果。
2020-10-22 cs.CV cs.LG
Spatial-Temporal Graph Attention Fuser for Calibration in IoT Air Pollution Monitoring Systems
EPFL(洛桑联邦理工学院);Federal Institute of Metrology (METAS)(联邦计量研究所)
针对物联网低成本空气污染传感器在不受控环境下校准困难的问题,提出利用图注意力网络模块融合传感器阵列数据的新方法,显著提升了校准准确性。
2023-09-08 cs.AI cs.LG eess.SP
HAGCN : Network Decentralization Attention Based Heterogeneity-Aware Spatiotemporal Graph Convolution Network for Traffic Signal Forecasting
利用图卷积网络(GCN)构建时空网络已成为预测交通信号的最流行方法之一。然而,当使用GCN进行交通速度预测时,传统方法通常将传感器之间的关系假设为齐次图,并使用传感器积累的数据来学习邻接矩阵。然而,传感器之间的空间相关性并没有被指定为一个,而是从不同的视角被不同地定义。为此,我们的目标是研究交通信号数据中固有的异构特性,以各种方式学习传感器之间的隐藏关系。具体来说,我们设计了一种方法来构建一个异构图的每个模块划分为静态和动态模块的传感器之间的空间关系。我们提出了一种基于网络分散注意力的异构感知图卷积网络(HAGCN)方法,该方法通过考虑异构图中每个通道的重要性来聚合相邻节点的隐藏状态。在真实流量数据集上的实验结果验证了该方法的有效性,与现有模型相比,预测性能提高了6.35%,达到了最新水平。
2022-09-05 cs.LG
NS-ATTENTION: Newton-Schulz Transformations of Attention Outputs in Vision Transformers
University of Exeter(埃克塞特大学)
本文提出牛顿-舒尔茨注意力(NS-Attn.),一种无参数变换,通过降低注意力输出矩阵的谱集中度并增加有效秩,在ViT和Swin上于CIFAR-10/100的12个匹配种子比较中平均提升0.25-0.83个百分点准确率,但增加推理延迟。
2026-09-28 cs.LG
D-CAT: Decoupled Cross-Attention Transfer between Sensor Modalities for Unimodal Inference
Ecole Polytechnique Federale de Lausanne(瑞士联邦理工学院洛桑分校);Schindler EPFL Lab(Schindler EPFL实验室)
本文提出 D-CAT 框架,通过自注意力模块与交叉注意力对齐损失在推理时解耦传感器模态,实现单传感器跨模态推理,在多模态人类活动数据集上显著提升准确率并降低硬件冗余。
2025-09-11 cs.AI cs.LG cs.RO
Understanding and Improving Recurrent Networks for Human Activity Recognition by Continuous Attention
Carnegie Mellon University(卡内基梅隆大学);The Norwegian University of Science and Technology(挪威科技大学);Google Brain(谷歌大脑)
深度神经网络,包括递归网络,已经成功应用于人类活动识别。不幸的是,递归网络学习的最终表示可能会编码一些噪声(不相关的信号分量,不重要的传感器模态等)。此外,很难解释递归网络来深入了解模型的行为。为了解决这些问题,我们提出了两个人类活动识别的注意力模型:时间注意力和传感器注意力。这两种机制自适应地聚焦于重要信号和传感器模态。为了进一步提高可理解性和平均F1分数,我们增加了连续性约束,考虑到连续传感器信号比离散信号更鲁棒。我们在三个数据集上评估了这些方法,并获得了最先进的结果。此外,定性分析表明,模型学习到的注意力与人类的直觉一致。
2018-10-07 cs.AI cs.LG stat.ML
LEO: Graph Attention Network based Hybrid Multi Sensor Extended Object Fusion and Tracking for Autonomous Driving Applications
Research and Development, Mercedes-Benz AG, Germany(德国梅赛德斯-奔驰集团研发部)
LEO结合图注意力网络融合多模态传感器数据,实现动态物体形状和轨迹的准确估计,具备自适应融合权重和跨传感器类型的一致性跟踪能力。
2026-04-02 cs.AI cs.LG
Cross-Sensor Adversarial Domain Adaptation of Landsat-8 and Proba-V images for Cloud Detection
本文提出了一种跨传感器对抗域适应方法,通过减少Landsat-8和Proba-V图像间的统计差异,提升云检测模型的性能。
2020-06-10 cs.LG eess.IV
PatchSTG: Scalable Spatiotemporal Graph Transformers for Traffic Forecasting on Irregular Sensor Networks
Portsmouth Abbey School(波特茅斯修道学校);CodingFuture (Shanghai) Education Technology Co., Ltd.(上海CodingFuture教育科技有限公司)
提出PatchSTG,通过地理信息将传感器划分为平衡的局部补丁,并采用双注意力编码器交替捕捉局部和全局依赖,实现计算复杂度从二次降至近线性,在不规则传感器网络上取得高效且稳定的交通预测性能。
2026-06-02 cs.AI cs.LG
Equivariant Mesh Attention Networks
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Mila(米拉研究所);Université de Montréal(蒙特利尔大学);Imperial College London(帝国理工学院);Qualcomm AI Research(高通人工智能研究院)
对称性的等变性已被证明是深度学习研究中的一个强大的归纳偏差。最近的工作网格处理集中在各种自然的对称性,包括平移,旋转,缩放,节点排列和规范变换。到目前为止,还没有一个现有的体系结构是所有这些转换的等价物。在本文中,我们提出了一个基于注意力的架构,网格数据,可证明是等变的上述所有转换。我们的管道依赖于使用相对切向特征:一个简单,有效,等方差友好的替代原始节点位置作为输入。FAUST和TOSCA数据集上的实验证实,我们提出的架构在这些基准测试中实现了更好的性能,并且确实是等变的,因此对各种局部/全局变换都是鲁棒的。
2022-08-27 cs.CV cs.LG stat.ML
LDAC-Net: A Learnable Multi-Lag Differencing Attention-Convolution Network for Drift-Robust Recognition with Low-Cost MOX Gas Sensors
Manchester Metropolitan University(曼彻斯特城市大学)
该研究针对低成本MOX气体传感器信号漂移等问题,提出LDAC-Net网络,在SmellNet等数据集上的识别准确率优于现有方法,证明可学习预处理比固定差分更有效。
2026-08-27 cs.AI cs.LG
COMMIT: Certifying Robustness of Multi-Sensor Fusion Systems against Semantic Attacks
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Tsinghua University(清华大学)
本文提出首个面向多传感器融合系统语义攻击的鲁棒性认证框架 COMMIT,通过各向异性随机平滑、网格分割和高效认证算法,在 CARLA 上验证其相较单模态模型最高可提升 48.39%。
2024-03-04 cs.CR cs.CV cs.LG
VISTA: An Attention-Based Multi-Agent Reinforcement Learning Architecture for Space Situational Awareness Sensor Tasking
ETSIAE-School of Aeronautics, Universidad Politécnica de Madrid(马德里理工大学航空学院);Indra Sistemas S.A.(英德拉系统公司);Escuela de Ingeniería de Fuenlabrada, Universidad Rey Juan Carlos(胡安卡洛斯国王大学丰拉夫拉达工程学院);Department of Computer Systems Engineering, Universidad Politécnica de Madrid(马德里理工大学计算机系统工程系)
VISTA提出一种基于注意力与指针解码的可扩展多智能体强化学习架构,使观测和动作空间独立于目录规模,显著提升空间态势感知传感器任务分配效率与泛化能力。
2026-09-22 cs.AI cs.LG cs.MA
Hybrid Attention Networks for Flow and Pressure Forecasting in Water Distribution Systems
Tsinghua University(清华大学)
多变量遥感时间序列具有复杂的时空相关性,预测具有挑战性。在城市配水系统(WDS)中,已经部署了许多空间相关的传感器来连续收集水力数据。监测流量和压力时间序列的预测对于操作决策、警报和异常检测至关重要。为了解决这个问题,我们提出了一个混合的双阶段时空注意力为基础的递归神经网络(hDS-RNN)。我们的模型由两个阶段组成:一个基于空间注意的编码器和一个基于时间注意的解码器。具体而言,提出了一种混合空间注意力机制,采用沿时间和空间轴的输入。在真实数据集上进行的实验表明,该模型在WDS的流量和压力序列预测中优于9个基线模型。
2020-04-14 cs.LG stat.ML
Coupled Attention Networks for Multivariate Time Series Anomaly Detection
针对多元时间序列中传感器变量依赖动态变化的异常检测难题,提出融合自适应图学习与图注意力的耦合注意力网络CAN,结合多级编解码架构,在真实数据集上性能显著优于现有最优基线。
2023-06-12 cs.LG
Heterogeneous Multi-Agent Reinforcement Learning with Attention for Cooperative and Scalable Feature Transformation
University of Kansas(堪萨斯大学);Michigan State University(密歇根州立大学);Clemson University(克莱姆森大学);University of Central Florida(佛罗里达中央大学)
本文提出异构多智能体强化学习框架,通过注意力机制实现高效、可扩展的特征转换,提升下游任务性能。
2026-02-27 cs.AI cs.LG
SPECTRA: An Efficient Spectral-Informed Neural Network for Sensor-Based Activity Recognition
BMBF(德国联邦教育与研究部)
SPECTRA通过整合STFT特征提取、深度可分离卷积和通道自注意力机制,有效捕捉频谱时间依赖性,在边缘设备上实现低延迟、高隐私和高效的活动识别。
2026-03-27 cs.LG
KANS: Knowledge Discovery Graph Attention Network for Soft Sensing in Multivariate Industrial Processes
University of Twente(特文特大学);Wright State University(莱特州立大学)
针对工业多变量过程的非线性、动态性和非欧依赖问题,提出KANS框架,通过无监督图结构学习与图注意力表征学习实现无需预定义拓扑的高精度、可解释软测量。
2025-01-02 cs.AI cs.LG cs.SY
Multi-focus Attention Network for Efficient Deep Reinforcement Learning
Seoul National University(首尔大学)
深度强化学习(DRL)在学习各种任务到人类水平方面表现出令人难以置信的性能。然而,与人类感知不同的是,当前的DRL模型将整个低级别的感官输入与状态-动作值连接起来,而不是利用构成感官输入的实体之间的关系。由于这种差异,DRL需要大量的经验样本来学习。在本文中,我们提出了一个多焦点注意力网络(MANET),模仿人类的能力,空间抽象的低层次的感官输入到多个实体,并出席他们同时。该方法首先将低电平输入分为几个部分,我们称之为部分状态。在此分割之后,并行注意层关注与解决任务相关的部分状态。我们的模型估计使用这些参加部分状态的状态动作值。在我们的实验中,移动自组网达到最高分数显着较少的经验样本。此外,与Deep Q网络和单注意力模型相比,该模型表现出更高的性能。此外,我们将我们的模型扩展到执行多智能体协作任务的注意通信模型。在多智能体协作任务实验中,我们的模型比现有的最先进的模型快20%的学习。
2017-12-13 cs.AI cs.LG stat.ML
Attention and Encoder-Decoder based models for transforming articulatory movements at different speaking rates
Indian Institute of Science (IISc)(印度科学学院)
当以不同的速度说话时,发音器官(如舌头,嘴唇)倾向于以不同的方式移动,并且发音的持续时间也不同。在过去,仿射变换和DNN已被用于将发音运动从中性转换为快速(N2 F)和中性转换为慢速(N2 S)说话速率[1]。在这项工作中,我们改进了现有的转换技术,通过建模率特定的持续时间和他们的转换使用AstNet,一个编码器-解码器框架的关注。在目前的工作中,我们提出了一个编码器-解码器架构,使用LSTM生成更平滑的预测发音轨迹。为了对不同语速的持续时间变化进行建模,我们部署了注意力网络,这消除了使用DTW对齐不同语速的轨迹的需要。我们performa音素特定的持续时间分析,研究如何以及持续时间转换使用建议AstNet。由于发音运动的范围与说话速率相关,我们还分析了与原始对应物相比以不同速率转换的发音运动的幅度,以研究所提出的AstNet预测N2 F和N2 S中发音运动的程度。我们观察到,AstNet可以模拟发音运动的持续时间和程度比现有的转换技术,从而更准确地转换发音轨迹。
2020-08-20 cs.LG cs.SD eess.AS