多模态信息融合

When does fusing hand-crafted knowledge with learned representations pay? A cost-normalized benchmark of stacking, substitution, and interference

将手工知识与学习表示融合何时有效？一种针对堆叠、替代和干扰的成本归一化基准

Ahmad AlMughrabi, Albert Clop, Benjamin Busam, Ricardo Marques, Petia Radeva

机构 * Universitat de Barcelona（巴塞罗那大学） ； Technical University of Munich（慕尼黑工业大学） ； Universitat Pompeu Fabra（庞培法布拉大学） 纠错

专题命中 融合架构与评测 ：decision-level fusion(abstract)；分类 cs.CV

AI总结 该研究以成本归一化基准分析手工知识与学习表示融合的效果，发现三种结果并提出可预测端到端增益的分解式。

Kinematic Knowledge Maps for Pattern Alignment: Structured Latent Representational Learning in Multimodal Gait Analysis

用于模式对齐的运动学知识图谱：多模态步态分析中的结构化潜在表示学习

Chen Dong, He Zonglin, Cheung Kenneth M.C

专题命中 融合架构与评测 ：multimodal fusion(abstract)；分类 cs.CV

AI总结 本研究提出ScoliDetect框架，通过运动学知识图谱（KKM）实现多模态步态分析，其介导的融合结合三模态对比预训练提升了脊柱侧凸筛查的泛化性与可解释性，外部ROC-AUC达0.972。