奥尔堡大学、上奥地利应用科学大学等机构的研究者提出一套RGB与热红外视频融合方法，用于无人机马鹿调查，相关工作入选ECCV 2026。在4次飞行记录的26只马鹿中，融合方法正确分类25只；单独使用任一模态都只能认对20只。普通相机会让棕色身体融进树荫，热成像虽能找出亮点，却难分花纹、性别和个体。
两种相机各自只看见一半
RGB画面保留毛色、鹿角和环境纹理，适合识别个体特征，但光照、阴影和植被遮挡会让检测器漏掉动物。热红外依据温差突出身体轮廓，在昏暗背景中更醒目，却缺乏细致颜色与纹理；鹿角在生长期的绒角和硬角状态不同，热表现也会随季节变化。
研究者没有把两路画面简单叠加，而是分别检测和跟踪，再利用时间、位置与跨相机对应关系融合。清晰帧负责精细判断，模糊帧只维持轨迹；只有两台相机的证据相互支持时，系统才提高分类置信度，从而减少单帧误判被一路传播。
RGB负责纹理，热成像负责轮廓与发现，两路轨迹在后端对齐后共同投票。
从一帧识别改成整条轨迹投票
模型以DINOv3视觉特征描述动物，在连续视频中形成个体轨迹。分类不依赖某一张“完美照片”，而是汇总多个清晰视角做多数投票。这样，一帧被树枝遮挡或运动模糊，不会立刻改变最终身份。
系统还结合地理定位和个体尺寸估计生命阶段，并根据鹿角等特征判断雄性。对重新进入画面的动物，轨迹级特征可用于重识别，避免同一只鹿离开视野再回来时被重复计数。这里的目标不是给每只野生动物永久命名，而是在一次普查任务中得到更可靠的数量与类别。
不同季节的鹿角状态会改变两种传感器中的外观，因此跨帧证据比单张判断更稳。
26只中认对25只
实验包含4次飞行，并以地面记录核对结果。融合系统在26只个体中正确分类25只，包括8只雄鹿中的7只、16只雌鹿和2只幼鹿；准确率约96%。只使用RGB或只使用热红外时，均为20/26，说明收益不是来自其中一路单独变强。
案例分析展示了互补关系：在A2飞行中，系统检测到11只动物并与地面真值全部对应；D10样例中，一种模态暂时丢失目标，另一路帮助恢复；跨画面重识别则减少重复统计。不过也有D12个体在两路中始终未被检测，融合无法修复双方都没看到的目标。
这个失败样例划清了融合的能力边界。双模态最擅长处理“一路看不清、另一路仍有信号”，而不是从完全缺失的观测中创造动物。生态普查因此至少要分别统计检测率、轨迹匹配率和已检出个体的分类率。论文的25/26主要回答第三个问题，同时通过案例说明前两步怎样影响最终计数。
双模态融合既用于分类，也用于维持轨迹和避免重复计数。
下一步走向更大范围生态普查
RGB与热成像可以继续扩展到季节性鹿群调查、保护区夜间巡查和林缘栖息地监测。RGB负责个体纹理和生命阶段，热成像负责阴影与低照度中的发现，再以跨航次重识别减少重复计数，能够把一次飞行变成结构化种群记录。
当前样本为26只马鹿，集中在有限地点与季节，25/26分类结果以已经检测并形成轨迹的个体为前提。下一步应覆盖不同气温、植被密度、飞行高度和鹿角生长期，并分别报告检测召回、轨迹匹配、重复计数与分类准确率。
大范围部署还需要稳定双相机标定、航线规划和人工复核接口。只要把地面真值和漏检个体持续纳入评测，这套双模态流程就能逐步从单次实验扩展为长期生态普查工具。
跨季节重复飞行还可以积累个体变化档案，为种群结构与迁徙趋势提供连续数据。
