Data-driven RF Tomography via Cross-modal Sensing and Continual Learning
Harbin Institute of Technology(哈尔滨工业大学)
本文提出DRIFT框架,通过射频与视觉跨模态感知训练深度神经网络,并结合持续学习自动适应动态环境变化,实现地下根茎横截面重建,平均等效直径误差为2.29厘米,较现有最优方法提升23.2%。
2025-08-04 cs.CV eess.SP
Robust Beam Prediction for V2X Networks with Multi-Modal Sensing
University of Technology Sydney(悉尼科技大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
针对V2X网络波束预测依赖射频感知不可靠的问题,提出基于Transformer的多模态融合框架BeamTransFuser,融合摄像头、激光雷达、雷达和GPS数据,并引入生成模块处理模态缺失,实验验证其优于基线且更具鲁棒性。
2026-09-10 cs.LG
Optimal Transport Adapter Tuning for Bridging Modality Gaps in Few-Shot Remote Sensing Scene Classification
Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd(中国电信股份有限公司人工智能研究院(电信AI))
针对少样本遥感场景分类中现有单模态方法的不足,提出基于最优传输理论的OTAT框架,结合跨模态注意力适配器与熵感知加权损失,实现多模态信息高效融合,在基准数据集上取得SOTA性能。
2025-03-19 cs.CV
Multi-Modal Fingerprint Presentation Attack Detection: Evaluation On A New Dataset
Information Sciences Institute (University of Southern California)((南加州大学)信息科学研究所);Faculty of Engineering, Alexandria University(亚历山大大学工程学院)
由于攻击准备技术的不断进步,指纹呈现攻击检测正在成为一个越来越具有挑战性的问题,这些攻击准备技术生成逼真的假指纹呈现。在这项工作中,而不是依赖于传统的指纹图像,这是广泛使用的社区,我们研究了多个最近推出的传感方式的有用性。我们的研究涵盖了使用短波红外,近红外和激光照明的前照明成像;和使用近红外光的后照明成像。为了研究这些非常规感测模式中的每一种的有效性及其用于活性检测的融合,我们使用完全卷积的深度神经网络框架进行了全面的分析。我们的评估比较了新传感模式的不同组合与来自我们的一个集合以及公共LivDet 2015数据集的遗留数据,显示了新传感模式在大多数情况下的优越性。它还涵盖了已知和未知攻击的情况以及数据集内和数据集间评估的情况。我们的研究结果表明,我们的方法的力量源于捕获的数据的性质,而不是所采用的分类框架,这证明了基于硬件(或混合)的解决方案的额外成本是合理的。我们计划公开发布我们的一个数据集集合。
2020-06-16 cs.CR cs.CV cs.LG
Purify-then-Align: Towards Robust Human Sensing under Modality Missing with Knowledge Distillation from Noisy Multimodal Teacher
School of Software Engineering, Xi’an Jiaotong University(西安交通大学软件工程学院);Institute of Computer Science, Universität Bern(伯尔尼大学计算机科学研究所);College of Computing and Data Science, Nanyang Technological University(南洋理工大学计算与数据科学学院)
本文提出PTA框架,通过元学习和知识扩散解决多模态人体感知中模态缺失问题,通过净化知识源和对齐模态提升单模态模型鲁棒性。
2026-04-08 cs.CV
Any2Any: Unified Arbitrary Modality Translation for Remote Sensing
National Engineering Research Center for Multimedia Software, Institute of Artificial Intelligence, School of Computer Science, Wuhan University(多媒体软件国家工程研究中心、人工智能研究院、计算机科学学院、武汉大学);Hubei Key Laboratory of Multimedia(湖北省多媒体重点实验室);Zhongguancun Academy, Beijing, China. 100094(中关村学院,北京,中国。100094);School of Electronic Information, Wuhan University, Wuhan, China(电子信息学院,武汉大学,武汉,中国);School of Automation, Beijing Institute of Technology(自动化学院,北京理工大学);State Key Laboratory of Information Engineering in Surveying, Mapping and Remote Sensing, Wuhan University, Wuhan, China(测绘、制图与遥感信息工程国家重点实验室,武汉大学,武汉,中国)
提出统一潜扩散框架Any2Any,通过共享潜空间和轻量残差适配器实现任意模态间的高效翻译,并在新数据集RST-1M上验证了其优于成对方法且具备零样本泛化能力。
2026-05-25 cs.CV
SMART-Ship: A Comprehensive Synchronized Multi-modal Aligned Remote Sensing Targets Dataset and Benchmark for Berthed Ships Analysis
Department of Electronic Engineering, Tsinghua University(清华大学电子工程系);Tsinghua Shenzhen International Graduate School(清华大学深圳国际研究生院)
本文提出SMART-Ship数据集,包含多模遥感图像,用于靠泊船舶分析,通过精细标注支持多模遥感任务,并评估了代表性方法。
2026-04-21 cs.CV
Continual Vision-Language Learning for Remote Sensing: Benchmarking and Analysis
本文提出CLEaRS基准,评估遥感视觉-语言模型的持续学习能力,发现现有模型存在灾难性遗忘,需开发专用持续学习方法。
2026-04-01 cs.CV
SkySense: A Multi-Modal Remote Sensing Foundation Model Towards Universal Interpretation for Earth Observation Imagery
Ant Group(蚂蚁集团);Wuhan University(武汉大学);MYBank(网商银行)
本文提出多模态遥感基础模型SkySense,通过因子化时空编码器与多粒度对比学习、地理上下文原型学习在2150万时间序列上预训练,在7项任务16个数据集上全面超越18个基线模型。
2024-03-22 cs.CV
DIS2: Disentanglement Meets Distillation with Classwise Attention for Robust Remote Sensing Segmentation under Missing Modalities
Queensland University of Technology(昆士兰理工大学);Shield AI
DIS2通过类级注意机制实现解耦与蒸馏,以在缺失模态下实现鲁棒的遥感分割。
2026-01-20 cs.CV
Hydra-Bench: A Benchmark for Multi-Modal Leaf Wetness Sensing
Michigan State University(密歇根州立大学)
针对现有叶片湿度检测系统在真实场景下鲁棒性等不足,本研究推出多模态基准数据集Hydra-Bench,含三类同步数据,基于Hydra模型完成多维度基准测试,可为相关算法优化提供评估支撑。
2025-07-30 cs.AI cs.CV
Continual Panoptic Perception: Towards Multi-modal Incremental Interpretation of Remote Sensing Images
Tianmushan Laboratory(天目山实验室)
本文提出持续全景感知模型CPP,通过多任务联合学习、跨模态编码与任务交互式知识蒸馏,在无样本记忆条件下缓解遥感图像持续解译中的灾难性遗忘,并实现端到端多模态全景感知。
2024-07-25 cs.CV cs.MM
Glove2Hand: Synthesizing Natural Hand-Object Interaction from Multi-Modal Sensing Gloves
Meta Reality Labs(Meta现实实验室);Rutgers University(罗格斯大学)
提出Glove2Hand框架,将多模态传感手套视频转化为逼真的裸手,并保留物理交互动态;引入3D高斯手模型和扩散手恢复器,创建HandSense数据集,提升下游任务性能。
2026-06-08 cs.CV cs.RO
GeoMeld: Toward Semantically Grounded Foundation Models for Remote Sensing
Indian Institute of Technology Bombay(印度理工学院孟买分校);Space Applications Centre, ISRO(印度空间研究组织空间应用中心);University of Trento(特伦托大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出GeoMeld数据集,通过语义引导的监督方法,结合多模态对齐,提升遥感领域基模模型的性能和鲁棒性。
2026-04-12 cs.AI cs.CV
Moonstone: A Multimodal Foundation Model and Benchmark for Lunar Remote Sensing
Space and Earth Observation Centre, Finnish Meteorological Institute(芬兰气象研究所空间与地球观测中心);German Climate Computing Centre(德国气候计算中心)
针对月球多模态遥感数据分散且无评估机器学习基准的问题,引入月光石基准。贡献包括构建全球月球预训练数据集,提出MG-MAE模型,创建涵盖多任务的基准,其预训练特征在各任务中表现出色。
2026-07-07 cs.AI cs.CV
MoSAiC: Multi-Modal Multi-Label Supervision-Aware Contrastive Learning for Remote Sensing
City University of Hong Kong(香港城市大学)
提出MoSAiC框架,通过多标签监督对比损失联合优化模态内与模态间对比学习,解决遥感多模态影像在低标签多标签场景下的表示学习难题,显著提升语义解耦与泛化性能。
2025-07-11 cs.AI cs.CV
Deep Reinforcement Learning for Dynamic Sensing and Communications
University of Oulu(奥卢大学);Arizona State University(亚利桑那州立大学)
针对毫米波通信中感知成本与波束训练收益的权衡,提出统一机器学习框架,利用李雅普诺夫优化和深度Q网络动态调度感知,结合预训练网络预测波束,在DeepSense数据集上验证了降低感知开销并保持通信性能。
2025-09-23 eess.SP
Integrated Sensing and Communication for 6G: Ten Key Machine Learning Roles
集成传感和通信是未来无线系统的定义主题。这是由有前途的性能增益,特别是因为它们相互帮助,并通过更好地利用无线和硬件资源。然而,在实践中实现这些收益面临着一些挑战,利用机器学习可以提供潜在的解决方案。本文重点介绍了机器学习在联合传感和通信、传感辅助通信和通信辅助传感系统中的十个关键作用,解释了为什么以及如何利用机器学习,并强调了未来研究的重要方向。本文还介绍了基于大规模真实世界数据集DeepSense 6G的一些机器学习角色的真实世界结果,这些结果可用于研究广泛的通感一体化问题。
2022-12-23 cs.IT eess.SP math.IT
Constrained Multimodal Sensing-Aided Communications: A Dynamic Beamforming Design
提出感知预算约束下的多模态感知辅助通信框架,利用位置信息建模毫米波信道,并基于 Lyapunov 优化设计联合动态感知与波束成形算法,以少量 SNR 损失大幅减少感知次数。
2025-05-15 eess.SP
Babel: A Scalable Pre-trained Model for Multi-Modal Sensing via Expandable Modality Alignment
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院);Hong Kong University of Science and Technology(香港科技大学)
针对多模态感知中部分配对数据利用难、数据稀缺的问题,本文提出可扩展模态对齐模型Babel,将N模态对齐转化为二模态对齐,在8个活动识别数据集上实现单模态平均12%、多模态最高22%的准确率提升,还可支撑跨模态检索等新场景。
2025-03-21 cs.AI cs.CV cs.LG
A BEV-Fusion Based Framework for Sequential Multi-Modal Beam Prediction in mmWave Systems
National Mobile Communications Research Laboratory, Southeast University(东南大学移动通信国家重点实验室);Pervasive Communication Research Center, Purple Mountain Laboratories(紫金山实验室泛在通信研究中心)
本文提出基于BEV融合的框架,通过统一相机、激光雷达、雷达和GPS模态,在共享鸟瞰图表示中实现空间一致的多模融合,提升毫米波系统中束预测的准确性。
2026-04-07 eess.SP
Beam Selection in ISAC using Contextual Bandit with Multi-modal Transformer and Transfer Learning
University of Ottawa(渥太华大学);Ericsson Inc.(爱立信公司)
本文提出利用ISAC感知数据结合多模态Transformer与多智能体上下文赌博机算法优化室内波束选择,在DeepSense 6G数据集上相比DRL显著提升频谱效率,并通过迁移学习进一步改善多用户场景性能。
2025-03-11 cs.LG eess.SP
When Vision-Language Model (VLM) Meets Beam Prediction: A Multimodal Contrastive Learning Framework
针对复杂动态环境下毫米波波束预测依赖实时CSI的不足,提出基于VLM驱动的对比学习多模态框架,通过对齐图像、LiDAR特征及引入位置文本提示提升跨模态一致性,在DeepSense-6G数据集上DBA-Score达0.9016且平均提升1.46%。
2025-08-15 eess.SP
A Multi-Modal Foundational Model for Wireless Communication and Sensing
本文提出了一种多模态基础模型,通过物理指导的自监督预训练策略,实现无线通信和传感任务的稳健泛化与高效适应。
2026-02-03 cs.LG eess.SP
Knowledge Distillation for Lightweight Multimodal Sensing-Aided mmWave Beam Tracking
Centre for Wireless Communications (CWC), University of Oulu(奥卢大学无线通信中心);School of Electrical, Computer, and Energy Engineering, Arizona State University(亚利桑那州立大学电气、计算机与能源工程学院);School of Electrical Engineering & Computer Science, University of California, Irvine(加州大学欧文分校电气与计算机工程学院)
本文提出基于知识蒸馏的轻量模型框架,利用摄像头和雷达数据实现高效波束预测与跟踪,实验显示多模态融合优于单一模态方法,模型在精度提升的同时显著降低计算复杂度和参数量。
2026-04-17 eess.SP
Freshness-Aware Constrained Sensing-Aided Beam Prediction with Knowledge Distillation
Arizona State University(亚利桑那州立大学)
本文针对现有波束预测框架依赖持续新鲜传感数据的缺陷,提出结合信息年龄(AoI)与知识蒸馏(KD)的传感预算约束下的辅助波束预测框架,实验验证了其在低数据量下的优异预测性能。
2026-09-02 eess.SP
Generative AI Empowered LiDAR Point Cloud Generation with Multimodal Transformer
University of Ottawa(渥太华大学);Ericsson Inc.(爱立信公司)
本文提出一种基于多模态Transformer架构和预训练编码模型的方法,从图像和RADAR数据合成LiDAR点云,在DeepSense 6G数据集上实现10.3931修正均方误差,有效增强基站环境感知与无线应用性能。
2024-05-20 cs.CV eess.SP
Multimodal Learning for MIMO Beam Prediction Based on Variational Inference
Queen Mary University of London(伦敦大学玛丽女王学院);University of Essex(埃塞克斯大学);Kyung Hee University(庆熙大学)
本文提出基于变分推断的多模态框架,通过模块化特征提取和跨模态语义对齐提升MIMO波束预测精度,实验表明其在仅使用20%多模态数据的情况下表现优异。
2026-05-14 eess.SP
Model enhancement and personalization using weakly supervised learning for multi-modal mobile sensing
Qualcomm Techonologies Inc.(高通技术公司)
对移动终端用户的上下文信息的始终在线感测对于如今的许多智能用例(诸如医疗保健、驾驶辅助、语音UI)是至关重要的。用于预测用户上下文的最先进的方法已经证明了利用多个感测模态以获得更好的准确性的价值。然而,目前运行在应用处理器上的上下文推理算法往往会消耗大量的功率,使得它们不适合始终在线的实现。我们声称,并不是每一个传感模态都适合被激活的所有时间,它仍然具有挑战性,以建立一个推理引擎使用电源友好的传感模态。同时,由于人口的多样性,我们发现学习一个具有良好概括性的上下文推理模型是具有挑战性的,训练数据有限,特别是当只使用始终在线的低功耗传感器时。在这项工作中,我们提出了一种方法来利用设备中的机会性对应物来改进始终在线的预测模型,从而获得个性化的解决方案。我们使用弱监督学习框架来建模这个问题,并提供理论和实验结果来验证我们的设计。该框架在基于IMU的活动识别应用中取得了令人满意的结果。
2019-10-29 cs.LG eess.SP stat.ML
Autosen: improving automatic wifi human sensing through cross-modal autoencoder
Queen Mary University of London(伦敦玛丽女王大学)
AutoSen提出一种基于跨模态自编码器的自动WiFi人体感知方法,直接从无标注CSI数据中联合学习幅度与相位特征并去噪,结合少样本学习在公开基准上取得优异性能。
2024-01-08 cs.HC cs.LG eess.SP
Multi-Modal Fiber Sensing for OffshoreEnvironmental and Infrastructure Monitoring
Adtran(阿德朗);Eindhoven University of Technology(埃因霍温理工大学);Tampnet AS(坦普特公司)
利用分布式声学、偏振和布里渊传感监测118公里海底电缆,检测到风暴引起的应变达0.003με动态和180με静态,展示出环境载荷下不同模式的响应特征。
2026-04-29 eess.SP
MM-Fi: Multi-Modal Non-Intrusive 4D Human Dataset for Versatile Wireless Sensing
Nanyang Technological University(南洋理工大学);University of Edinburgh(爱丁堡大学)
本文提出首个多模态非侵入式4D人体数据集MM-Fi,包含40人、32万帧、五种模态和27类动作,用于推动无线感知在动作识别与姿态估计等任务中的研究。
2023-09-25 cs.AI cs.CV cs.MM
Environment Semantic Communication: Enabling Distributed Sensing Aided Networks
本文提出利用多个配备RGB摄像头的分布式感知节点提取环境语义并传输至基站,以降低毫米波和太赫兹通信中的波束训练与感知数据传输开销,并在DeepSense 6G数据集上验证了其在现实环境中准确预测最优波束的有效性。
2024-02-22 cs.IT eess.SP math.IT
Multi-Modal Environmental Sensing Based Path Loss Prediction for V2I Communications
针对V2I通信中环境动态变化导致的路径损耗预测难题,提出融合RGB、点云和GPS的多模态感知架构MES-PLA,RMSE达2.20 dB且光照稳定性更优。
2024-12-10 eess.SP
A Multi-Modal Spatial Risk Framework for EV Charging Infrastructure Using Remote Sensing
Cardiff University, School of Computer Science and Informatics(卡迪夫大学计算机科学与信息学学院)
本文提出RSERI-EV多模态风险评估框架,融合遥感与开放数据评估EV充电站脆弱性,生成综合韧性得分,支持气候韧性部署。
2025-06-10 cs.CV eess.SP
A Short Overview of Multi-Modal Wi-Fi Sensing
Department of Civil and Environmental Engineering(土木及环境工程系);The Hong Kong University of Science and Technology(香港科学与技术大学)
本文综述过去24个月多模态Wi-Fi感知研究,梳理其他模态作为教师或与Wi-Fi融合的方法,并指出局限、挑战与未来方向。
2025-05-10 cs.AI eess.SP
Utilizing Deep Learning Towards Multi-modal Bio-sensing and Vision-based Affective Computing
University of California San Diego(加州大学圣地亚哥分校)
近年来,诸如脑电图(EEG)、心电图(ECG)等的生物感测信号的使用已经引起了对情感计算中的应用的兴趣。深度学习的并行趋势导致性能在解决各种基于视觉的研究问题(如目标检测)方面取得了巨大的飞跃。然而,深度学习的这些进展并没有充分转化为生物传感研究。这项工作将基于深度学习的新方法应用于四个公开的多模态情感数据集的各种生物传感和视频数据。对于每个数据集,我们首先单独评估每个模态获得的情感分类性能。然后,我们评估通过融合这些模式的功能所获得的性能。我们表明,我们的算法优于其他研究报告的结果DEAP和MAHNOB-HCI数据集上的情绪/效价/唤醒/喜欢分类,并为较新的AMIGOS和DREAMER数据集建立了基准。我们还通过结合数据集和使用迁移学习来评估我们的算法的性能,以表明所提出的方法克服了数据集之间的不一致性。因此,我们对来自120多名受试者和2,800次试验的多模态情感数据进行了全面分析。最后,利用卷积-去卷积网络,我们提出了一种新的技术,以确定显着的大脑区域对应于各种情感状态。
2019-05-16 cs.HC cs.LG eess.SP
AIMS: An Agentic AI Framework for Sim-to-Real Multi-Modal ISAC
The Hong Kong University of Science and Technology(香港科技大学)
提出AIMS智能体AI框架,通过双智能体架构和结构化知识实现仿真到现实多模态ISAC的部署配置生成与任务学习,在DeepSense 6G数据集上提升车辆检测和波束预测性能。
2026-10-05 cs.AI cs.MA eess.SP
Multi-Modal Beamforming with Model Compression and Modality Generation for V2X Networks
The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州));University of Technology Sydney(悉尼科技大学)
针对6G车联网中ISAC范式的不足,提出基于分层Transformer的多模态学习框架BeamTransFuser,利用跨模态相关性提升波束预测性能,开发剪枝方案减少延迟,引入生成模型处理模态缺失,实验证明该方案优于现有基线。
2026-07-09 eess.SP
Radio Echo Representation Learning for Semantic Sensing in Multi-Modal ISAC Systems
The Hong Kong University of Science and Technology(香港科技大学);MTR Corporation(港铁公司)
针对多模态ISAC系统中无线电表示利用不足及语义一致性问题,提出OFDM-ISAC的多模态语义感知框架,通过无线电编码器与VRVG实现跨模态语义融合,在RCooper数据集上提升了用户匹配、视觉定位与参数估计性能。
2026-10-14 eess.SP
Artificial-Intelligence-Assisted Multi-Modal Terahertz Sensing and Environment Reconstruction
Shanghai Jiao Tong University(上海交通大学);Chalmers University of Technology(查尔姆斯理工大学)
提出一种基于测量的多模态太赫兹感知与视觉框架,结合信号处理与AI视觉模块,通过智能体集成实现室内环境的几何一致且语义可解释的重建。
2026-05-31 eess.SP
Enabling ISAC in Real World: Beam-Based User Identification with Machine Learning
本文针对高移动性大规模MIMO系统中区分通信用户与其他移动目标的问题,提出基于模型和可扩展深度学习两种用户识别方案,利用DeepSense 6G数据集验证,准确率超93.4%。
2024-11-10 cs.IT eess.SP math.IT
SynthSoM-Twin: A Multi-Modal Sensing-Communication Digital-Twin Dataset for Sim2Real Transfer via Synesthesia of Machines
本文构建时空一致的多模态感知-通信数字孪生数据集SynthSoM-Twin,通过高保真仿真生成多类感知与信道数据,验证其可支撑高效Sim2Real迁移,仅需注入不足15%真实数据即可达到全真实数据训练的性能。
2025-11-14 eess.SP
Task-Oriented Multimodal Edge Intelligence via Integrated Sensing-Communication-Computation
Zhejiang University(浙江大学);Nanyang Technological University(南洋理工大学);State Key Laboratory of Ocean Sensing(海洋感知国家重点实验室);ShanghaiTech University(上海科技大学)
针对现有单模态集成传感通信计算(ISCC)设计易受多种问题影响、多模态ISCC设计不足的情况,提出面向任务的多模态ISCC框架,用最大编码率降低准则及算法提升性能,实验表明优于基线方案。
2026-07-07 eess.SP
M$^3$SC: A Generic Dataset for Mixed Multi-Modal (MMM) Sensing and Communication Integration
本文提出用于混合多模态感知与通信集成的M3SC仿真数据集,通过融合AirSim、WaveFarer和Wireless InSite实现多模态感知与通信数据的精确对齐采集,为6G通感一体化研究提供大规模数据支撑。
2023-06-25 eess.SP
A cross-modal pre-training framework with video data for improving performance and generalization of distributed acoustic sensing
针对DAS-MAE在频率分析和数据需求上的局限性,提出结合STFT时频特征提取与视频到DAS跨模态预训练的框架,大幅提升少样本分类及损伤预防任务性能,扩展训练资源并推动工业IoT传感跨模态学习。
2025-11-12 eess.SP
Distributed Edge Learning under Imperfect Data Sensing
Purdue University(普渡大学)
研究不完美数据感知下的分布式边缘学习,将传感噪声建模为结构化协方差,推导非凸学习收敛界,得出相关可达界和阈值,联合优化模态等参数,通过仿真展示性能增益。
2026-07-22 cs.IT eess.SP math.IT
Intelligent Multi-Modal Sensing-Communication Integration: Synesthesia of Machines
受人类联觉启发提出机器联觉(SoM)框架,全面综述多模态感知-通信融合的范式、数据集、映射关系及增强与协同应用,并通过仿真验证其优越性。
2023-11-20 eess.SP
Environment-Aware Channel Inference via Cross-Modal Flow: From Multimodal Sensing to Wireless Channels
School of Computing Science, University of Glasgow(格拉斯哥大学计算机科学学院);School of Electronics and Computer Science, University of Southampton(南安普顿大学电子与计算机科学学院)
研究在高多普勒环境下无需导频的信道推断,提出数据驱动框架将传感到信道映射设为跨模态流匹配问题,通过融合多模态特征、学习速度场等实现实时CSI估计,实验表明该方法在信道估计精度和频谱效率上优于基准。
2026-07-24 cs.IT cs.LG eess.SP
SynthSoM: A synthetic intelligent multi-modal sensing-communication dataset for Synesthesia of Machines (SoM)
提出SynthSoM,一个基于集成AirSim、WaveFarer和Wireless InSite的仿真平台构建的合成多模态感知-通信数据集,涵盖多种空地协作场景与多模态数据,并验证其质量且开源,以支持SoM算法交叉比较。
2025-04-25 eess.SP
WiFo-MiSAC: A Wireless Foundation Model for Multimodal Sensing and Communication Integration via Synesthesia of Machines (SoM)
Peking University(北京大学);The Hong Kong University of Science and Technology (Guangzhou)(香港科技大学(广州))
WiFo-MiSAC通过统一空间的自监督预训练,解决通信与传感数据碎片化处理导致的泛化问题,采用共享-特定解耦的混合专家架构,实现多模态交互,实验表明其在多任务中表现优异,具备强大的少样本适应与新模态集成能力。
2026-08-19 eess.SP
Integrated Sensing and Communications Towards Proactive Beamforming in mmWave V2I via Multi-Modal Feature Fusion (MMFF)
提出基于多模态特征融合网络(MMFF-Net)的主动波束成形方案,融合多模态感知与通信特征以提升毫米波 V2I 窄波束对准精度,在 ViWi 数据集上验证表明其能提高可达速率、降低中断概率并保证复杂场景下的稳健预测。
2024-03-26 eess.SP
Predictive Beamforming via Echo-Beam Modality Separation with Cross-Attention for ISAC Systems
Korea Advanced Institute of Science and Technology(韩国科学技术院);LG Electronics(LG电子)
提出一种基于深度学习的预测波束成形算法,利用回波信号和交叉注意力机制,在感知约束下最大化频谱效率,提升ISAC系统通信性能。
2026-10-08 eess.SP
Lightweight Vision-Aided Beam Tracking for Cross-Environment mmWave Communications
Centre for Wireless Communications (CWC), University of Oulu, Finland(奥卢大学无线通信中心);School of Electrical, Computer, and Energy Engineering, Arizona State University, Tempe, USA(亚利桑那州立大学电气、计算机与能源工程学院);School of Electrical Engineering & Computer Science, University of California, Irvine, USA(加州大学欧文分校电气与计算机科学学院)
针对毫米波波束管理开销大、环境差异大的问题,提出基于深度可分离卷积的轻量级视觉辅助模型,通过序列分类联合预测当前和未来最优波束,在DeepSense 6G两个场景中实现84%的跨环境预测准确率,参数和计算量分别降低约52倍和79倍。
2026-07-02 eess.SP