A Machine Learning-Based Multimodal Framework for Wearable Sensor-Based Archery Action Recognition and Stress Estimation
Beijing PsychTech Technology Co., Ltd.(北京心理科技技术有限公司)
针对射箭等精准运动中传统分析系统的局限,提出整合可穿戴传感器数据的多模态机器学习框架,通过自研腕戴设备收集数据,结合新运动特征与LSTM、MLP模型,实现动作识别与压力估计,为训练优化提供支持。
2025-11-18 cs.AI cs.LG
Active inference body perception and action for humanoid robots
Technical University of Munich(慕尼黑工业大学);Donders Institute for Brain, Cognition and Behaviour(唐德斯脑、认知与行为研究所)
为人工代理提供与生物系统相同的计算模型是理解智能行为如何出现的一种方法。我们提出了一个主动推理的身体感知和动作模型工作的第一次在人形机器人。该模型依赖于为大脑提出的自由能原理,其中感知和动作目标都是通过对变分自由能边界的梯度下降来最小化预测误差。身体状态(潜在变量)通过最小化观察到的(视觉和本体感受)传感器值与预测值之间的差异来推断。同时,该动作使传感数据采样更好地对应于内部模型做出的预测。我们在iCub机器人上正式实现了该算法,并在2D和3D视觉空间中进行了测试,以在线适应视觉变化,感官噪声以及模型与真实机器人之间的差异。我们还比较了我们的方法与经典的逆运动学在达到的任务,分析这种神经科学启发的方法在现实世界中的相互作用的适用性。该算法为机器人提供了自适应的身体感知和上身到达与头部对象跟踪(幼儿般),并能够在线(以闭环方式)结合视觉特征,而不会增加计算复杂性。此外,我们的模型预测了在存在感觉运动冲突的情况下的非自愿行为,显示了人类主动推理的潜在证据。
2020-01-29 cs.AI cs.RO
Multidomain Multimodal Fusion For Human Action Recognition Using Inertial Sensors
Ryerson University(瑞尔森大学)
在动作识别过程中,多个动作的误分类的主要原因之一是提供动作的语义信息的互补特征的不可用。在不同的领域,这些特征以不同的尺度和强度存在。在现有的文献中,在不同的领域中独立地提取特征,但是融合这些多领域特征的好处没有实现。为了解决这一挑战,并提取完整的互补信息集,在本文中,我们提出了一种新的多域多模态融合框架,提取互补和不同的功能,从不同领域的输入模态。将输入的惯性数据转化为信号图像,然后分别采用离散傅立叶变换(DFT)和Gabor小波变换(GWT)将输入模态的空域信息变换到频域和时谱域,使输入模态具有多域和多模态特征。为了提高人体动作识别的准确性,采用卷积神经网络(CNN)提取不同领域的特征,然后采用典型相关融合(CCF)进行融合。三个惯性数据集上的实验结果表明,该方法的优越性相比,国家的最先进的。
2020-08-22 cs.AI cs.CV cs.LG
Learning body-affordances to simplify action spaces
Araya
控制具有许多致动自由度的具体代理是一项具有挑战性的任务。我们提出了一种方法,可以发现和上下文相关的高层次的行动或身体启示之间的插值。这些提供了一个抽象的,低维的接口索引高维和时间扩展的动作策略。我们的方法与机器学习文献中的最新方法有关,但在概念上更简单,更容易实现。更具体地说,我们的方法需要选择一个n维的目标传感器空间,赋予距离度量。然后,该方法学习在整个目标传感器空间中尽可能远地传播的可能反应性身体示能表示的也n维嵌入。
2017-08-15 cs.AI cs.RO
A discrete optimisation approach for target path planning whilst evading sensors
Brunel University(布鲁内尔大学)
在本文中,我们讨论了军事任务规划中出现的一个实际问题。问题是为一个或多个智能体规划一条到达目标而不被敌方传感器发现的路径。代理人不是被动的,相反,他们可以发起帮助逃避的行动。它们能破坏传感器。这里,敲除传感器意味着完全禁用传感器。它们也会混淆传感器。这里,混淆传感器意味着降低传感器可以检测到代理的概率。代理操作是路径相关的,并且有时间限制。路径依赖是指智能体需要足够接近传感器才能将其击倒。通过时间限制,我们的意思是对传感器在恢复到其原始操作状态之前被击倒或混淆的时间施加限制。所采用的方法打破了连续空间,其中代理人进入一个离散空间。这使得问题被公式化为具有线性约束的0 - 1整数规划。以这种方式表示问题的优点是存在强大的商业软件优化包来解决问题以证明全局最优性。提出了一种基于连续最短路径的启发式算法。一些随机生成的测试问题,公开提供的计算结果。
2021-09-30 cs.AI math.OC
Hierarchical and Multimodal Data for Daily Activity Understanding
Georgia Institute of Technology(佐治亚理工学院);Amazon Lab126(亚马逊Lab126)
DARai数据集通过多模态和层级注释,旨在理解现实环境中的人类活动,支持单模态和多模态传感器融合实验,揭示日常活动理解中的挑战。
2026-03-26 cs.AI cs.CV
Novel Sensor Scheduling Scheme for Intruder Tracking in Energy Efficient Sensor Networks
Department of Computer Science and Automation, Indian Institute of Science(计算机科学与自动化系,印度科学研究院)
本文提出基于POMDP的强化学习算法,用于在能量受限下高效跟踪入侵者,通过UCT方法实现状态和动作空间的扩展,验证了算法在大规模问题中的有效性。
2018-02-24 cs.AI cs.SY eess.SY
Sensorimotor learning for artificial body perception
Technical University of Munich(慕尼黑工业大学)
人工自我感知是机器感知自己身体的能力,即,通过特定的传感器/致动器主体配置来执行动作的模态和联运突发事件的掌握。换句话说,与其传感器(例如视觉、本体感受、触觉等)相关的时空模式,它的行为和身体潜变量负责区分自己的身体和世界其他地方。本文介绍了一些最新的人工身体自我感知建模方法:从贝叶斯估计到深度学习。结果显示了这些自由模型无监督或半监督的跨模态/联运学习方法的潜力。然而,在我们实现人工多感官身体感知之前,仍然存在需要克服的挑战。
2019-01-15 cs.AI cs.LG cs.RO
Learning-Guided Planning in Large Dynamic Action Spaces: Budgeted Tree Search for One-to-Many Mobile Charging
National Chung Hsing University(国立中兴大学)
针对大规模动态动作空间中的一对多移动充电问题,提出LP-BTS学习引导规划架构,结合图提议策略、价值评论器和预算树搜索,在250传感器场景中实现最高存活率0.4545。
2026-09-16 cs.AI cs.LG
Count What You Want: Exemplar Identification and Few-shot Counting of Human Actions in the Wild
Stony Brook University(石溪大学);VinAI;Posts & Telecommunications Institute of Technology(邮电技术研究院)
本文提出基于示例的少样本框架,通过语音示例计数可穿戴传感器数据中的动作,在37名受试者、50类动作的数据集上平均误差7.47,优于频率和Transformer方法。
2023-12-28 cs.AI cs.CV
Phantom Menace: Exploring and Enhancing the Robustness of VLA Models Against Physical Sensor Attacks
本文提出了一种新型框架,用于研究和增强VLA模型对物理传感器攻击的鲁棒性,并开发了对抗训练方法以提升模型安全性。
2025-12-19 cs.AI cs.RO
Goal-directed Planning and Goal Understanding by Active Inference: Evaluation Through Simulated and Physical Robot Experiments
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
我们表明,目标导向的行动规划和生成的目的论框架可以制定使用自由能原则。该模型是建立在变分递归神经网络模型上的,其特征在于三个基本特征。这些是(1)可以为两种静态感觉状态指定目标,例如,对于要达到的目标图像和动态过程,例如,对于围绕对象移动,(2)模型不仅可以生成目标导向的行动计划,而且还可以通过感官观察来理解目标,以及(3)模型基于使用过去的感官观察推断的当前状态的最佳估计来生成针对给定目标的未来行动计划。该模型进行了评估,通过模拟移动代理,以及对一个真正的人形机器人进行对象操作的实验。
2022-02-21 cs.AI cs.RO
Sensor Scheduling for Optimal Observability Using Estimation Entropy
我们认为传感器调度的最佳可观测性问题的部分可观测马尔可夫决策过程(POMDP)。该模型适合于马尔可夫过程由需要动态调整的单个传感器或由一组传感器观察的情况,所述一组传感器以最大化从过程中获取的信息的方式一次选择一个。与传统的POMDP问题类似,在这个模型中,控制动作是基于所有过去的测量;然而,在这里,这个动作不是为了控制状态过程,这是自治的,但它是为了影响该过程的测量。这POMDP是一个控制版本的隐马尔可夫过程,我们表明,其最佳可观测性问题可以制定为一个平均成本马尔可夫决策过程(MDP)调度问题。在该问题中,策略是基于测量历史选择传感器或调整测量设备的规则。给定一个策略,我们可以计算联合状态测量过程的估计熵,它反向度量该策略状态过程的可观测性。考虑到估计熵作为成本的政策,我们发现,寻找最优策略的问题是等价的平均成本MDP调度问题的成本函数是熵函数的信念空间。这允许应用策略迭代算法来找到实现最小估计熵的策略,从而获得最佳可观测性。
2006-09-30 cs.AI cs.IT math.IT
Development of Compositionality and Generalization through Interactive Learning of Language and Action of Robots
Okinawa Institute of Science and Technology(冲绳科学技术大学院大学)
本文提出一种基于自由能原理的脑启发神经网络模型,整合视觉、本体感觉与语言进行预测编码与主动推理,发现增加任务组合训练变体可显著提升机器人对未学习动名词组合的泛化能力,且视觉注意力与工作记忆对实现目标至关重要。
2024-07-23 cs.AI cs.CL cs.RO