DenoMAE: A Multimodal Autoencoder for Denoising Modulation Signals
Rowan University（罗文大学）；Stevens Institute of Technology（史蒂文斯理工学院）；University of Alabama in Huntsville（阿拉巴马大学亨茨维尔分校）
提出DenoMAE多模态自编码器，利用噪声作为显式模态预训练去噪调制信号，实现少样本高精度分类，并支持低信噪比外推。
2025-01-20 cs.LG
Modality-Aware SAM: Sharpness-Aware-Minimization Driven Gradient Modulation for Harmonized Multimodal Learning
Holcombe Department of ECE（霍尔科姆电气与计算机工程系）；Clemson University（克莱姆森大学）；University of Arizona（亚利桑那大学）
针对多模态学习中主导模态遮蔽其他模态、限制泛化的问题，提出模态感知锐度感知最小化框架M-SAM，通过三步梯度调制平衡各模态学习，在四个数据集上超越现有前沿方法，提升多模态学习性能。
2025-10-28 cs.CV cs.LG
Black-box Adversarial ML Attack on Modulation Classification
Information Technology University, Punjab, Pakistan（巴基斯坦旁遮普信息技术大学）；Hamad Bin Khalifa University, Qatar（卡塔尔哈马德·本·哈利法大学）
最近，在文献中已经提出了许多基于深度神经网络（DNN）的调制分类方案。我们已经评估了两个著名的这样的调制分类器（基于卷积神经网络和长短期记忆的技术）对抗对抗机器学习攻击的黑盒设置的鲁棒性。我们使用Carlini \& Wagner（C-W）攻击来执行对抗攻击。据我们所知，这些调制分类器的鲁棒性还没有通过C-W攻击之前进行评估。我们的研究结果清楚地表明，最先进的基于深度机器学习的调制分类器对对抗攻击并不鲁棒。
2019-08-01 cs.CR cs.LG cs.NI
Layer-Specific Lipschitz Modulation for Fault-Tolerant Multimodal Representation Learning
South Westphalia University of Applied Sciences（西南威斯特法伦应用科学大学）
本文提出了一种结合自监督异常检测与误差校正的框架，通过模块特定的Lipschitz调制和梯度裁剪提升多模态表示学习的容错能力。
2026-03-26 cs.AI cs.LG
Low Complexity Kolmogorov-Smirnov Modulation Classification
Institute of Network Coding, CUHK（香港中文大学网络编码研究所）；State Key Laboratory of Rail Traffic Control and Safety, BJTU（北京交通大学轨道交通控制与安全国家重点实验室）
本文将一种非参数的拟合优度检验方法Kolmogorov-Smirnov（K-S）检验应用于自动调制分类（AMC）。基本过程包括计算从接收信号导出的一些决策统计的经验累积分布函数（ECDF），并将其与每个候选调制格式下的信号的CDF进行比较。首先针对AWGN信道设计了基于K-S的调制分类器，然后将其应用于OFDM-SDMA系统中消除多用户干扰。针对K-S调制分类算法的复杂度问题，提出了一种基于K-S分类器鲁棒性的低复杂度方法。大量的仿真结果表明，与传统的基于累积量的分类器相比，所提出的K-S分类器提供了优越的分类性能，并需要较少的信号样本数（因此是快速的）。
2011-03-03 cs.IT cs.LG math.IT
Medical Multimodal Classifiers Under Scarce Data Condition
Monash University（莫纳什大学）；NVIDIA（英伟达）；Alfred Hospital（阿尔弗雷德医院）
数据是推动深度学习研究的基本要素之一。小型数据集，特别是特定于医疗机构的数据集，给深度学习训练阶段带来了挑战。这项工作旨在开发一种实用的深度多模态，可以准确地将患者分类为异常和正常类别，并帮助放射科医生通过定位感兴趣的区域来检测视觉和文本异常。异常的检测是通过一种新的技术，它扩展了集成的梯度方法与无监督聚类算法。该技术还引入了一个调谐参数，该参数在检测过程中权衡真阳性信号和去噪假阳性信号。为了克服只有3 K正面X射线图像和医学报告成对的小训练数据集的挑战，我们采用了迁移学习用于连接图像和文本子模型层的多模态。图像子模型在庞大的ChestX-ray 14数据集上进行训练，而文本子模型从医院特定语料库中转移相关的词嵌入层。实验结果表明，我们的多模态提高了4%和7%的平均50个时期的分类精度，相比单独的文本和图像模型，分别。
2019-02-24 cs.CV cs.LG stat.ML
Seeing and hearing what has not been said; A multimodal client behavior classifier in Motivational Interviewing with interpretable fusion
CNRS（法国国家科学研究中心）；Sorbonne University（索邦大学）；Bordeaux University（波尔多大学）
针对动机访谈中来访者话语的MISC分类问题，提出融合文本、韵律、面部与身体特征的多模态可解释分类器，并基于AnnoMI标注识别关键模态。
2023-09-27 cs.AI cs.CL cs.LG
On-the-fly Modulation for Balanced Multimodal Learning
Beijing Key Laboratory of Big Data Management and Analysis Methods（大数据管理与分析方法北京市重点实验室）
针对多模态联合训练中模态优化失衡问题，提出OPM和OGM策略，通过动态监测模态差异在前向和反向阶段调制优化，显著提升多种多模态任务性能。
2024-10-15 cs.AI cs.CV cs.LG
Multimodal Taxonomic Conditioning for Generative Plankton Imagery
University of Glasgow（格拉斯哥大学）；National Defence University（国防大学）
针对浮游生物成像数据长尾分布问题，提出以分类学为条件、结合CLIP编码器与扩散变换器生成合成图像的方法，提升稀有分类群分类可靠性。
2026-09-11 cs.CV cs.LG
MultiFair: Multimodal Balanced Fairness-Aware Medical Classification with Dual-Level Gradient Modulation
School of Computing and Informatics, University of Louisiana at Lafayette（路易斯安那州立大学拉法叶分校计算机与信息学学院）；Louisiana Center for Health Innovation and College of Nursing & Health Sciences, University of Louisiana at Lafayette（路易斯安那州立大学拉法叶分校健康创新中心及护理与健康科学学院）；Massachusetts Eye and Ear, Harvard Medical School（哈佛医学院马萨诸塞眼耳医院）；Department of Computer Science, University of Central Florida（佛罗里达州立大学计算机科学系）；Department of Electrical Engineering and Computer Science, Florida Atlantic University（佛罗里达Atlantic大学电子工程与计算机科学系）
针对多模态医学分类中数据模态学习不均衡和模型对特定群体不公平的问题，提出MultiFair方法，通过双级梯度调制过程动态调整训练梯度，在多数据集上评估，有效解决了上述挑战。
2026-10-28 cs.AI cs.CV cs.CY
FANoise: Singular Value-Adaptive Noise Modulation for Robust Multimodal Representation Learning
FANoise通过自适应噪声注入策略提升多模态表示学习的鲁棒性和性能
2025-11-26 cs.AI cs.LG
Analyzing Multimodal Objectives Through the Lens of Generative Diffusion Guidance
Seoul National University（首尔国立大学）
近年来，多模态表示学习领域取得了惊人的进展，其中对比学习是重大突破的基石。最新的作品通过将不同的目标（如掩码建模和字幕）纳入框架中，提供了进一步的改进，但我们对这些目标如何促进学习的理解仍然非常不完整。在本文中，我们利用分类器引导的扩散模型生成反映分类器提供的语义信号的图像来研究多模态学习目标的特征。具体来说，我们比较对比，匹配和字幕损失方面的语义信号，并引入一个简单的基线，不仅支持我们的分析，但也提高了生成指导的质量在一个简单的方式。
2023-02-10 cs.AI cs.CV cs.LG
Over-the-Air Adversarial Attacks on Deep Learning Based Modulation Classifier over Wireless Channels
University of Maryland（马里兰大学）；Intelligent Automation, Inc.（智能自动化公司）
我们考虑一个无线通信系统，它由一个发射机，一个接收机，和一个对手。发射机发射具有不同调制类型的信号，而接收机使用基于深度学习的分类器将其接收的信号分类为调制类型。与此同时，对手进行空中传输，这些传输被接收为与发射机的信号叠加，以欺骗接收机处的分类器出错。虽然这种规避攻击最近受到了越来越多的关注，从对手到接收器的信道效应已被忽略到目前为止，使以前的攻击机制不能在现实的信道效应下应用。在本文中，我们提出了如何通过考虑从对手到接收器的信道来发起一个现实的规避攻击。我们的研究结果表明，调制分类是容易受到对抗性攻击的无线信道，建模为瑞利衰落路径损耗和阴影。我们提出了各种对抗性攻击的可用性信息的渠道，发射机输入，分类器架构。首先，我们提出了两种类型的对抗性攻击，即有针对性的攻击（具有最小功率）和非有针对性的攻击，其目的是分别将分类更改为目标标签或真实标签以外的任何其他标签。两者都是白盒攻击，是发射机输入特定的，并使用信道信息。然后，我们介绍了一种算法来生成对抗性攻击使用有限的信道信息，对手只知道的信道分布。最后，我们提出了一个黑盒通用对抗扰动（UAP）攻击的对手有有限的知识，信道和发射机输入。
2020-02-13 cs.LG cs.NI eess.SP
Adversarial Attacks with Multiple Antennas Against Deep Learning-Based Modulation Classifiers
University of Maryland（马里兰大学）；Intelligent Automation, Inc.（智能自动化公司）；Virginia Tech（弗吉尼亚理工大学）
我们考虑一个无线通信系统，其中发射机向接收机发送具有不同调制类型的信号，而接收机使用其基于深度学习的分类器对接收信号的调制类型进行分类。同时，对手使用其多个天线发送对抗性扰动，以欺骗分类器对接收到的信号进行错误分类。从对抗机器学习的角度来看，我们展示了如何利用对手的多个天线来提高对抗（逃避）攻击的性能。在利用多天线对抗时，主要考虑两个问题，即天线间的功率分配和信道分集的利用。首先，我们表明，多个独立的对手，每个与一个天线不能提高攻击性能相比，一个单一的对手与多个天线使用相同的总功率。然后，我们考虑各种方式来分配功率在多个天线之间在一个单一的对手，如分配功率只有一个天线，并成正比或成反比的信道增益。通过利用信道分集，我们引入攻击，通过符号级具有最大信道增益的信道传输对抗性扰动。我们发现，这种攻击降低了分类器的准确性显着相比，其他攻击在不同的信道条件下的信道方差和信道相关性天线。此外，我们表明，攻击的成功显着提高天线的数量增加，在对手，可以更好地利用信道多样性，工艺对抗性攻击。
2020-07-31 cs.LG cs.NI eess.SP
Physic-HM: Restoring Physical Generative Logic in Multimodal Anomaly Detection via Hierarchical Modulation
Chongqing University（重庆大学）
Physic-HM通过引入物理归纳偏置，解决多模态异常检测中过程逻辑缺失的问题，实现高维与低维数据的协同建模，提升异常检测性能。
2026-01-20 cs.LG
A multimodal approach for multi-label movie genre classification
State University of Maringá（马林加州立大学）；Federal Institute of Paraná（巴拉那联邦学院）
电影类型分类是一个具有挑战性的课题，越来越受到研究者的关注。在本文中，我们解决了多标签分类的电影类型在一个多模态的方式。为此，我们创建了一个数据集，该数据集由来自电影数据库的152，622部电影的预告片视频剪辑，字幕，概要和电影海报组成。该数据集经过精心策划和组织，并作为这项工作的贡献提供。数据集中的每部电影都根据一组十八个类型标签进行标记。我们使用不同的描述符，即梅尔频率倒谱系数，统计谱描述符，本地二进制模式与频谱图，长短期记忆，和卷积神经网络从这些数据中提取功能。使用不同的分类器，如BinaryRelevance和ML-kNN的描述符进行评估。我们还研究了使用后期融合策略的不同分类器/特征的组合的性能，获得了令人鼓舞的结果。基于F-Score度量，我们的最佳结果0.628是通过融合使用LSTM在概要上创建的分类器和使用CNN在电影预告片帧上创建的分类器获得的。当考虑AUC-PR指标时，最好的结果0.673也是通过组合这些表示来实现的，但此外，还使用了基于从字幕创建的LSTM的分类器。这些结果证实了在这一应用领域中基于不同信息源的分类器之间存在互补性。据我们所知，这是在多媒体信息源的多样性方面进行电影类型分类的最全面的研究。
2020-06-01 cs.CV cs.LG stat.ML
NMformer: A Transformer for Noisy Modulation Classification in Wireless Communication
Rowan University（罗文大学）；Stevens Institute of Technology（史蒂文斯理工学院）
针对无线通信中噪声干扰下的调制分类难题，提出基于视觉Transformer的NMformer模型，利用星座图表示信号，通过少量微调数据在分布内和分布外场景中显著提升分类准确率。
2024-10-30 cs.LG cs.NI eess.SP
A multimodal slice discovery framework for systematic failure detection and explanation in medical image classification
Department of Computing, Imperial College London, UK（帝国理工学院 computing 部，英国）；Aival, London, UK（Aival，伦敦，英国）
该研究提出了一种多模态切片发现框架，用于医学图像分类中的系统性故障检测与解释，展示了其在故障发现和解释生成方面的有效性。
2026-02-27 cs.CV cs.LG
Channel-Aware Adversarial Attacks Against Deep Learning-Based Wireless Signal Classifiers
University of Maryland（马里兰大学）；Intelligent Automation, a BlueHalo Company（Intelligent Automation（BlueHalo 旗下公司））；Virginia Tech（弗吉尼亚理工大学）
本文提出了针对基于深度学习的无线信号分类器的信道感知对抗攻击。有一种发射机，它发射具有不同调制类型的信号。在每个接收器处使用深度神经网络来将其空中接收信号分类为调制类型。同时，对手发送对抗性扰动（受到功率预算的影响）以欺骗接收器在将接收到的信号分类为发送信号和对抗性扰动的叠加时出错。首先，这些规避攻击失败时，不考虑设计对抗扰动的渠道。然后，现实的攻击，提出了考虑从对手到每个接收机的信道效应。在表明信道感知攻击是选择性的（即，它只影响其信道在扰动设计中被考虑的接收机），通过制作共同的对抗性扰动以同时欺骗不同接收机处的分类器来呈现广播对抗性攻击。调制分类器对空中对抗攻击的主要脆弱性通过考虑关于信道、发射机输入和分类器模型的不同水平的可用信息来显示。最后，一个认证的防御随机平滑的基础上，增加训练数据与噪声的调制分类器鲁棒对抗扰动。
2021-12-20 cs.LG cs.NI eess.SP
Multimodal Model-Agnostic Meta-Learning via Task-Aware Modulation
University of Southern California（南加州大学）；University of Michigan（密歇根大学）
模型不可知元学习器的目标是从相似的任务中获取元学习参数，以适应来自相同分布的新任务，并且具有很少的梯度更新。由于模型选择的灵活性，这些框架在诸如Few-Shot图像分类和强化学习等各种领域都表现出了吸引人的性能。然而，这样的框架的一个重要限制是，它们寻求在整个任务分布中共享的公共初始化，这大大限制了它们能够从中学习的任务分布的多样性。在本文中，我们增加了MAML的能力，以识别从多模态任务分布中采样的任务模式，并通过梯度更新快速适应。具体来说，我们提出了一个多模态MAML（MMAML）框架，它能够根据识别的模式来调节其元学习的先验参数，从而实现更有效的快速自适应。我们评估了所提出的模型在不同的少样本学习任务，包括回归，图像分类和强化学习。结果不仅证明了我们的模型在调节元学习先验以响应任务特征方面的有效性，而且还表明多峰分布上的训练可以产生比单峰训练的改进。
2019-10-30 cs.AI cs.LG stat.ML
Bit-Accurate FPGA Evaluation of Learned Feature Gating in a Fixed-Point Fourier-Feature Automatic Modulation Classifier
研究在定点傅里叶特征自动调制分类器中学习特征门控的效果，通过特定架构和训练方法，在FPGA上评估其对分类准确率及硬件资源的影响，发现学习门控增加成本且未提升准确率。
2026-07-28 cs.LG
Towards Improved Human Action Recognition Using Convolutional Neural Networks and Multimodal Fusion of Depth and Inertial Sensor Data
Ryerson University（瑞尔森大学）
本文试图通过融合深度和惯性传感器数据来提高人体动作识别（HAR）的准确性。首先，我们将深度数据转换为序列前视图图像（SFI），并在这些图像上微调预训练的AlexNet。然后，惯性数据被转换为信号图像（SI），并在这些图像上训练另一个卷积神经网络（CNN）。最后，从两个CNN中提取学习的特征，融合在一起以形成共享特征层，并将这些特征馈送到分类器。我们用两种分类器，即支持向量机（SVM）和softmax分类器进行实验，并比较它们的性能。还计算每个模态、单独的深度数据和单独的传感器数据的识别精度，并将其与基于融合的精度进行比较，以突出模态的融合产生比单个模态更好的结果的事实。在UTD-MHAD和Kinect 2D数据集上的实验结果表明，与最近提出的其他视觉惯性动作识别方法相比，该方法达到了最先进的效果。
2020-08-22 cs.AI cs.CV cs.LG
Multimodal Sparse Classifier for Adolescent Brain Age Prediction
Tulane University（杜兰大学）
对健康大脑发育的研究有助于更好地了解儿童到成年期间发生的大脑转变和大脑连接模式。这项研究提出了一个稀疏的机器学习解决方案，整个脑功能连接（FC）的措施，三组数据，来自静息状态功能磁共振成像（rs-fMRI）和任务fMRI数据，包括工作记忆n-back任务（nb-fMRI）和情绪识别任务（em-fMRI）。这些多模态图像数据收集的样本的青少年从费城神经发育队列（PNC）的大脑年龄的预测。由于PNC数据的变量与实例的比率非常大，因此产生了具有多个不相关且高度相关的特征的高维矩阵，因此需要模式学习方法来提取重要特征。针对极端学习机（ELM）神经网络，提出了一种基于逆问题估计残差的稀疏学习器。该方法的目的是克服过度学习问题，通过修剪几个冗余的功能和相应的输出权重。所提出的多模态稀疏ELM分类器的基础上的残留误差（RES-ELM）是非常有竞争力的分类精度相比，其同行，如传统的ELM，稀疏贝叶斯学习ELM。
2019-04-01 cs.LG cs.NE q-bio.NC
Layer-Wise Gate-Controlled Prompt Truncation in a Multimodal Chest X-Ray Classifier
Central South University（中南大学）；Hong Kong Baptist University（香港浸会大学）；University of Minnesota（明尼苏达大学）
本研究在胸部X射线分类中提出逐层门控提示截断，通过预测保留比率缩短视觉提示，达到0.8996准确率，略优于固定长度基线，但未证实加速或临床优势。
2026-09-09 cs.AI cs.CV cs.LG
Bayesian crack detection in ultra high resolution multimodal images of paintings
Vrije Universiteit Brussel（布鲁塞尔自由大学）；iMinds VZW（iMinds 非营利组织）；Duke University（杜克大学）
保护我们的文化遗产至关重要。由于在数字采集技术的最新发展，强大的图像分析算法的开发，这可以是有用的非侵入性的工具，以协助恢复和保存的艺术。在本文中，我们提出了一种半监督裂纹检测方法，可用于高维收购的绘画来自不同的方式。我们的数据集包括最近获得的根特祭坛画（1432年）的图像集，这是北欧最重要的艺术杰作之一。我们的目标是建立一个分类器，能够辨别裂纹像素从由非裂纹像素组成的背景，最佳地利用由每个模态提供的信息。为了实现这一点，我们采用了最近开发的非参数贝叶斯分类器，它使用张量分解来表征任何条件概率。先验被放置在因子分解的参数上，使得允许预测器之间的每个可能的交互，同时仍然识别这些预测器之间的稀疏子集。所提出的贝叶斯分类器，我们将称为条件贝叶斯张量分解或CBTF，通过视觉比较分类结果与随机森林（RF）算法进行评估。
2013-04-23 cs.CV cs.LG
An Online Automatic Modulation Classification Scheme Based on Isolation Distributional Kernel
Nanjing University（南京大学）；Deakin University（迪肯大学）
本文提出首个基于隔离分布核的在线自动调制分类方案，以分布核表示基带信号，在时变信道下实现线性时间复杂度的在线分类，性能优于现有深度学习方法。
2024-10-03 cs.LG
VALE: A Multimodal Visual and Language Explanation Framework for Image Classifiers using eXplainable AI and Language Models
SRM Institute of Science and Technology（SRM科学技术学院）
针对深度神经网络黑盒特性导致的可解释性不足问题，提出多模态框架VALE，结合可解释AI、零样本分割模型SAM与视觉语言模型生成视觉与文本解释，在ImageNet和水下SONAR数据集上验证了其有效性。
2024-08-23 cs.AI cs.CL cs.CV
Multimodal Uncertainty Reduction for Intention Recognition in Human-Robot Interaction
TU Darmstadt（达姆施塔特工业大学）；MPI for Intelligent Systems（马克斯·普朗克智能系统研究所）；Goethe University（歌德大学）
辅助机器人可以通过支持日常生活活动来提高老年人的生活质量和个人独立性。为了保证人与机器人之间安全直观的交互，需要自动识别人类意图。由于人类多模态地传达他们的意图，使用多个模态进行意图识别不仅可以增加对单个模态失败的鲁棒性，而且特别地减少了关于要预测的意图的不确定性。这是可取的，特别是在机器人和潜在的脆弱的人类之间的直接交互的情况下，最小的不确定性，以及关于这种实际的不确定性的知识是必要的。因此，在现有的方法相比，在这项工作中，多模态意图识别的新方法，重点是通过分类器融合的不确定性降低。对于四个考虑的模态语音，手势，注视方向和场景对象的个人意图分类器进行训练，所有这些输出的概率分布在所有可能的意图。通过使用贝叶斯方法独立意见池组合这些输出分布，可以减少关于要识别的意图的不确定性。该方法在一个7自由度的机器人手臂的协作人机交互任务进行评估。结果表明，融合分类器，结合多种形式优于各自的基础分类器，提高精度，鲁棒性，减少不确定性。
2019-07-04 cs.HC cs.LG cs.RO
MuG: A Multimodal Classification Benchmark on Game Data with Tabular, Textual, and Visual Fields
Emory University（埃默里大学）
本研究提出含8个跨4类游戏、覆盖三类模态的多模态分类基准MuG，完成多维度数据分析与基线实验验证其特性，已开源相关资源。
2023-10-17 cs.LG
Beyond Layers: Position-Resolved Gradient Conflict and Position-Aware Modulation for Unified Multimodal Models
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；Aimakj；National University of Defense Technology（国防科技大学）
本文提出位置解析干扰图和位置感知调制（PAM），在统一多模态模型中按视觉标记位置解析并缓解生成与理解的梯度冲突，实验证明其优于层分离且可互补。
2026-10-01 cs.CV cs.LG
Multimodality Helps Unimodality: Cross-Modal Few-Shot Learning with Multimodal Models
Carnegie Mellon University（卡内基梅隆大学）
本文提出跨模态适应策略，将不同模态的示例作为额外少样本，利用多模态模型提升单模态少样本学习性能，构建首个视听少样本基准并取得SOTA结果。
2024-08-27 cs.AI cs.CV cs.LG
Filtered Randomized Smoothing: A New Defense for Robust Modulation Classification
University of Arizona（亚利桑那大学）
针对基于DNN的调制分类器易受对抗攻击、现有防御方法准确率损失大的问题，提出结合频谱滤波与随机平滑的FRS防御方法，在RadioML数据集上准确率显著优于AT和RS等现有方案。
2024-10-08 cs.CR cs.IT cs.LG
Large Visual-Language Models Are Also Good Classifiers: A Study of In-Context Multimodal Fake News Detection
本文研究大型视觉语言模型（LVLMs）在假新闻检测中的能力，提出IMFND框架结合小型模型的预测结果优化上下文学习，提升其检测效率，在三个公开数据集上表现优于标准ICL方法。
2025-04-16 cs.AI cs.CL cs.LG
Phraseformer: Multimodal Key-phrase Extraction using Transformer and Graph Embedding
University of Tabriz（大不里士大学）；Ayvansaray University（艾万萨雷大学）
背景：关键词抽取是自然语言处理领域的一个热门研究课题。关键字是描述文档中最相关信息的术语。如何高效、准确地从文档中提取核心关键词是研究者面临的主要问题。然而，以前的关键词提取方法都利用了文本和图形特征，缺乏能够正确学习和以最佳方式组合这些特征的模型。方法：在本文中，我们开发了一个多模态的关键短语提取方法，即Phraseformer，使用Transformer和图形嵌入技术。在Phraseformer中，每个关键词候选都由一个向量表示，该向量是文本和结构学习表示的串联。Phraseformer利用了最近的研究，如BERT和ExEm的优点，以保持这两种表示。此外，Phraseformer将关键短语提取任务视为使用分类任务解决的序列标记问题。结果：我们通过F1-score分析了Phraseformer在Inspec，SemEval 2010和SemEval 2017三个数据集上的性能。此外，我们还研究了不同分类器在Inspec数据集上对Phraseformer方法的性能。实验结果证明了Phraseformer方法在三个数据集上的有效性。此外，随机森林分类器在所有分类器中获得最高的F1分数。结论：BERT和ExEm的结合更有意义，更能表征词语的语义。因此，Phraseformer显著优于单模态方法。
2021-06-09 cs.AI cs.CL cs.LG
Improving Multimodal Learning with Multi-Loss Gradient Modulation
KU Leuven（鲁汶大学）；ESAT, KU Leuven（鲁汶大学ESAT学院）
本文提出一种多损失梯度调制方法，通过双向动态调整各模态学习速度并在收敛时消除平衡效应，有效解决了多模态学习中单一模态主导的问题，在多个音视频数据集上取得显著性能提升。
2024-10-14 cs.CV cs.LG cs.MM
Robust and Fast Automatic Modulation Classification with CNN under Multipath Fading Channels
Informatics and Information Security Research Center (BİLGEM), TÜBİTAK（土耳其科学技术研究理事会信息学与信息安全研究中心）；Istanbul Technical University（伊斯坦布尔技术大学）；Balıkesir University（巴勒克埃西尔大学）；Yıldız Technical University（耶尔德兹技术大学）；Boğaziçi University（海峡大学）
自动调制分类（AMC）已经研究了超过四分之一个世纪，然而，它一直很难设计一个分类器，成功地工作在不断变化的多径衰落条件和其他损害。最近，AMC系统采用了基于深度学习（DL）的方法，并报告了主要的改进。本文提出了一种新的卷积神经网络（CNN）分类器模型来根据调制类别的族来对调制类别进行分类，即，类型所提出的分类器对现实的无线信道损伤具有鲁棒性，并且当考虑用于测试和评估所提出的方法的数据集时，可以看出RadioML2016.10a是用于测试和评估所提出的方法的主要数据集。然而，该数据集和其他一些数据集中包含的通道效应可能缺乏对真实世界条件的适当建模，因为它仅考虑了单个抽头配置的通道模型的两个分布。因此，考虑到现实生活的适用性，本文还介绍了一个更全面的数据集，命名为HisarMod2019.1。HisarMod2019.1包括26个通过信道的调制类别，具有5种不同的衰落类型和几个用于分类的抽头。结果表明，该模型在更真实的条件下，在精度和训练时间方面都优于现有的模型。更重要的是，当使用RadioML2016.10a数据集时，它们的性能超过了它们。
2020-03-07 cs.LG eess.SP stat.ML
Interpretable, Multidimensional, Multimodal Anomaly Detection with Negative Sampling for Detection of Device Failure
Google（谷歌）
复杂的设备每天都在连接，并急切地生成大量的多维状态测量。这些设备通常基于外部条件（白天/夜晚、占用/空闲等）以不同的模式操作，并且为了防止系统完全或部分中断，我们希望在这些设备开始在正常模式之外操作时尽可能早地识别。不幸的是，使用规则或监督机器学习来预测故障通常是不切实际或不可能的，因为故障模式太复杂，设备太新，无法在特定环境中充分表征，或者环境变化使设备处于不可预测的状态。我们提出了一种无监督的异常检测方法，该方法从观察到的阳性样本中创建阴性样本，并训练分类器来区分阳性和阴性样本。使用收缩原理，我们解释了为什么这样的分类器应该建立适当的正常和异常区域之间的决策边界，并显示如何集成的异常可以属性异常的异常状态向量内的特定变量。我们已经证明，使用随机森林或神经网络分类器的负采样比隔离森林，一类SVM和深度SVDD产生更高的AUC分数，针对（a）维度范围在2和128之间的合成数据集，具有1，2和3个模式，以及有和没有噪声维度;（b）四个标准基准数据集;以及（c）来自真实气候控制装置的多维多模态数据集。最后，我们描述了如何使用神经网络分类器进行负采样，并在145个Google办公楼的15，000多个气候控制和电表设备中成功地大规模部署，以实时预测故障。
2020-07-12 cs.LG eess.SP
Controlling for Confounders in Multimodal Emotion Classification via Adversarial Learning
University of Michigan（密歇根大学）
各种心理因素影响个人如何表达情绪。然而，当我们收集用于构建情感识别系统的数据时，我们经常试图通过创建专注于引发情感行为的范式来实现这一目标。用这些类型的数据训练的算法不太可能在受控环境之外发挥作用，因为我们的情绪会随着这些其他因素的变化而自然变化。在这项工作中，我们研究如何多模态表达的情绪变化时，一个人是在不同程度的压力。我们假设，压力产生的调制可以隐藏个人的真实潜在情绪，我们可以通过控制压力的变化使情绪识别算法更具普遍性。为此，我们使用对抗网络来将压力调制与情绪表征去相关。我们研究了压力如何改变声学和词汇的情感预测，特别注意如何调制由于压力影响跨域的学习情感识别模型的可转移性。我们的研究结果表明，压力确实是编码在训练有素的情绪分类器，这种编码不同层次的情绪和整个词汇和声学模态。我们的研究结果还表明，与在训练过程中不控制压力的模型相比，在训练过程中控制压力的情感识别模型在应用于新领域时具有更好的泛化能力。我们的结论是，在建立和测试情绪识别模型时，有必要考虑外部心理因素的影响。
2019-08-23 cs.CL cs.LG cs.SD
Open-set Classification of Common Waveforms Using A Deep Feed-forward Network and Binary Isolation Forest Models
Virginia Tech（弗吉尼亚理工大学）；US Army Research Laboratory（美国陆军研究实验室）
在本文中，我们研究了使用深层多层感知器架构将接收到的信号分类为七种常见波形之一，单载波（SC），单载波频分多址（SC-FDMA），正交频分复用（OFDM），线性调频（LFM），调幅（AM），调频（FM），以及用于通信和雷达网络的相位编码脉冲调制。不需要信号的同步，因为我们假设存在未知且未补偿的时间和频率偏移。分类器是开集的，这意味着它假设可能出现未知波形。充当二元分类器的隔离森林（IF）模型用于每个已知信号类别，以执行可能的未知信号的检测。这是使用来自密集层的32长度特征向量作为IF模型的输入来实现的。分类器和IF模型一起工作以监测频谱并识别波形以及检测未知波形。结果表明，该分类器对0 dB以上的信号分类正确率为100%，在-10dB和-5dB时，分类正确率分别为83.2%和94.7%。IF模型的结果显示，在检测存在信号损伤的已知和未知信号时，总体准确率为98%。IF模型能够拒绝所有未知信号，而由于训练期间使用的污染率，与已知信号类似的信号能够通过2%的时间。总体而言，整个系统可以在开集模式下正确分类，在SNR大于0 dB时准确率为98%。
2021-10-01 cs.LG
Clotho-AQA: A Crowdsourced Dataset for Audio Question Answering
Tampere University（坦佩雷大学）
音频问答（AQA）是多模态翻译任务，其中系统分析音频信号和自然语言问题，以生成期望的自然语言答案。在本文中，我们介绍Clotho-AQA，一个数据集的音频问答，包括1991个音频文件，每个之间的持续时间为15至30秒，从Clotho数据集选择。对于每个音频文件，我们使用Amazon Mechanical Turk通过众包收集六个不同的问题和相应的答案。问题和答案由不同的注释器生成。在每个音频的六个问题中，两个问题每个都被设计为有“是”和“否”作为答案，而剩下的两个问题有其他单字答案。对于每个问题，我们从三个不同的注释者那里收集答案。我们还提出了两个基线实验来描述我们的数据集的AQA任务的使用-基于LSTM的多模态二进制分类器的“是”或“否”类型的答案和基于LSTM的多模态多类分类器的828个单字的答案。二元分类器实现了62.7%的准确率，多类分类器实现了54.2%的前1准确率和93.7%的前5准确率。Clotho-AQA数据集可在https://zenodo.org/record/6473207在线免费获得。
2022-06-17 cs.LG cs.SD eess.AS
Geometric Mixture Classifier (GMC): A Discriminative Per-Class Mixture of Hyperplanes
The Nilgiris, Tamil Nadu, India - 643005（印度泰米尔纳德邦尼尔吉里斯）；SunitechAI
本文提出几何混合分类器（GMC），用逐类超平面混合建模多模态类别，结合软或组合与softmax后验，并配合几何初始化、平面预算和正则化等训练策略，在保持可解释性和低推理成本的同时取得优于线性模型且接近核方法与深度模型的性能。
2025-09-20 cs.AI cs.CL cs.LG
Multimodal Machine Learning for Early Prediction of Metastasis in a Swedish Multi-Cancer Cohort
Karolinska University Hospital（卡罗林斯卡大学医院）；Department of Computer and Systems Sciences, Stockholm University（斯德哥尔摩大学计算机与系统科学系）
本文提出利用多模态机器学习在诊断前一个月预测转移风险，通过整合电子健康记录数据，比较单模态与多模态模型的性能，展示中间融合策略在多种癌症中的优越表现。
2026-03-31 cs.LG q-bio.QM
Agent-Based Modular Learning for Multimodal Emotion Recognition in Human-Agent Systems
Research Center of the Artificial Intelligence Institute, Innopolis University（人工智能研究所研究中心，因诺波利斯大学）；ITMO University（ITMO大学）；Saint Petersburg Electrotechnical University ``LETI''（圣彼得堡电工大学『LETI』）
本文提出了一种基于代理的模块化学习框架，用于多模态情感识别，通过自主代理协调实现灵活、高效的训练和维护。
2025-12-02 cs.AI cs.HC cs.LG
G-MIND: An End-to-End Multimodal Imaging-Genetics Framework for Biomarker Identification and Disease Classification
Johns Hopkins University（约翰斯·霍普金斯大学）；Lieber Institute for Brain Development（利伯大脑发育研究所）；University of Bari Aldo Moro（巴里大学阿尔多·莫罗大学）；Azienda Ospedaliero-Universitaria Consorziale Policlinico（巴里大学联合综合医院）
我们提出了一种新的深度神经网络架构，以整合成像和遗传学数据，由诊断指导，提供可解释的生物标志物。我们的模型包括一个编码器，一个解码器和一个分类器。编码器学习在输入数据模态之间共享的非线性子空间。分类器和解码器充当正则化器，以确保低维编码捕获患者和对照之间的预测差异。我们使用一个可学习的dropout层从数据中提取可解释的生物标志物，我们独特的训练策略可以轻松地适应跨学科的缺失数据模式。我们已经评估了我们的模型，精神分裂症的人口研究，包括两个功能性MRI（fMRI）的范例和单核苷酸多态性（SNP）的数据。使用10倍交叉验证，我们证明了我们的模型比基线方法实现了更好的分类准确性，并且这种性能可以推广到在不同站点收集的第二个数据集。在一项探索性分析中，我们进一步表明，我们的模型所确定的生物标志物与精神分裂症中记录良好的缺陷密切相关。
2021-01-27 cs.LG eess.IV q-bio.QM
Fusing multimodal neuroimaging data with a variational autoencoder
Tri-institutional Center for Translational Research in Neuroimaging and Data Science (TReNDS), Georgia State, Georgia Tech, Emory（三机构神经影像与数据科学转化研究中心（TReNDS），佐治亚州立大学、佐治亚理工学院、埃默里大学）；Faculty of Electrical Engineering, Mathematics & Computer Science, TU Delft（代尔夫特理工大学电气工程、数学与计算机科学学院）；Lambert High School（兰伯特高中）
神经影像学研究通常涉及多种数据模态的收集。这些模态包含关于大脑的共享和相互排斥的信息。本工作旨在寻找一种可扩展的和可解释的方法来融合多种神经成像模态的信息，使用变分自编码器（VAE）。为了提供一个初步的评估，这项工作评估的表示，学习使用精神分裂症分类任务。在表示上训练的支持向量机实现分类器的接收器操作特性（ROC-AUC）的曲线下面积为0.8610。
2021-05-03 cs.LG eess.SP
