Multimodal sensor fusion in the latent representation space
University of Bristol(布里斯托大学)
提出基于无标签数据构建生成模型的两阶段多模态传感器融合方法,将其作为重构先验与搜索流形,在分类、去噪及子采样观测恢复等任务中表现优异。
2022-08-03 cs.AI cs.HC cs.LG
Multipath Adaptive Gated Bottleneck Latent ODE with Raman Data Fusion for Cell Culture Process Forecasting
Complex Adaptive Systems Laboratory, The Data Science Institute, University of Technology Sydney(悉尼科技大学数据科学研究所复杂自适应系统实验室);CSL Innovation(CSL创新公司)
提出结合门控瓶颈潜在ODE与多路径即时微调的框架,通过拉曼光谱数据融合解决哺乳动物细胞培养过程中稀疏、不规则采样下的早期预测问题,在38批实验中优于基线模型。
2026-07-07 cs.AI cs.CE cs.LG
Hybrid Latent-Structural Fusion (HLSF) for Cyber Anomaly Detection
Sandia National Laboratory(桑迪亚国家实验室)
研究针对网络安全中恶意异常活动检测难题,提出混合潜在结构融合(HLSF)框架,整合CP-APR结构异常分数与归一化流潜在空间密度分数,实验证明该框架能提升在特定数据集上的异常检测性能。
2026-07-22 cs.LG
Data Fusion with Latent Map Gaussian Processes
University of California, Irvine(加州大学尔湾分校)
多保真度建模和校准是工程设计中普遍存在的数据融合任务。在本文中,我们介绍了一种新的方法的基础上潜在的地图高斯过程(LMGPs),使高效和准确的数据融合。在我们的方法中,我们将数据融合转换成一个潜在的空间学习问题,不同的数据源之间的关系自动学习。这种转换赋予我们的方法有吸引力的优势,如提高准确性,降低成本,灵活地联合融合任何数量的数据源,并能够可视化数据源之间的相关性。这种可视化允许用户检测模型形式错误或通过仅将LMGP拟合到良好相关的数据源子集来确定高保真仿真的最佳策略。我们还开发了一个新的核函数,使LMGP不仅建立一个概率多保真度代理,但也估计校准参数具有高精度和一致性。与现有技术相比,我们的方法的实现和使用相当简单,并且不太容易出现数值问题。我们展示了基于LMGP的数据融合的好处,通过比较其性能对竞争的方法在广泛的例子。
2022-01-13 cs.LG stat.AP stat.ML
Parameterized Temporal Extrapolation of PDEs via Disentangled Latent Dynamics Manifold Fusion
National Center for Applied Mathematics, Tianjin University(应用数学国家中心,天津大学)
本文提出DLDMF框架,通过解耦空间、时间和参数,利用连续时间潜在方法和动态流形融合机制,提升参数泛化和时间外推的稳定性与准确性。
2026-07-16 cs.LG
Lightweight Data Fusion with Conjugate Mappings
Massachusetts Institute of Technology(麻省理工学院);University of Arizona(亚利桑那大学)
我们提出了一种数据融合的方法,结合结构化概率图形模型的可解释性与神经网络的灵活性。所提出的方法,轻量级数据融合(LDF),强调后验分析的潜在变量使用两种类型的信息:主要数据,这是很好的特点,但有限的可用性,和辅助数据,容易获得,但缺乏一个很好的特点,统计关系的潜在数量的利益。辅助数据的前向模型的缺乏排除了使用标准的数据融合方法,而无法获得潜在变量的意见严重限制了直接应用的监督学习方法。LDF通过利用神经网络作为辅助数据的共轭映射来解决这些问题:非线性变换为关于潜变量的充分统计量。这有利于有效的推理,通过保持共轭性质的主要数据,并导致紧凑的表示的潜在变量后验分布。我们在两个具有挑战性的推理问题上展示了LDF方法:(1)从卫星图像,高级电网基础设施和其他来源学习卢旺达的电气化率;(2)通过使用多共轭映射的混合模型整合社会经济数据来推断美国的县级凶杀率。
2020-11-20 cs.LG stat.ML
ScaleVLAD: Improving Multimodal Sentiment Analysis via Multi-Scale Fusion of Locally Descriptors
Southwest Jiaotong University(西南交通大学);Microsoft Research Asia(微软亚洲研究院);Southwestern University of Finance and Economics(西南财经大学);Ocean University of China(中国海洋大学);Tencent(腾讯)
融合技术是多模态情感分析中的一个关键研究课题。最近的基于注意力的融合展示了简单的基于操作的融合的进步。然而,这些融合工作采用单尺度,即,标记级或话语级的单峰表示。这种单尺度融合是次优的,因为不同的模态应该与不同的粒度对齐。本文提出了一种融合模型ScaleVLAD,利用局部聚集描述符的共享向量从文本、视频和音频中收集多尺度表示,以改善非对齐的多模态情感分析。这些共享向量可以被视为共享主题,以对齐不同的模态。此外,我们提出了一个自我监督的移动聚类损失,以保持样本之间的融合特征的差异。骨干是对应于三种模态的三个Transformer编码器,并且从融合模块生成的聚合特征被馈送到Transformer加上完整连接以完成任务预测。三个流行的情感分析基准,IEMOCAP,MOSI和MOSEI的实验,表现出显着的收益超过基线。
2021-12-02 cs.AI cs.CL cs.LG
Latent Variable Algorithms for Multimodal Learning and Sensor Fusion
Indiana University(印第安纳大学)
多模态学习一直缺乏原则性的方法来结合来自不同模态的信息和学习低维的有意义的表征。我们研究多模态学习和传感器融合从潜变量的角度来看。首先,我们提出了一个正则化的循环注意滤波器的传感器融合。该算法可以动态地结合信息从不同类型的传感器在一个顺序的决策任务。每个传感器都与模块化神经网络结合,以最大限度地利用其自身的信息。门控模块化神经网络通过平衡所有传感器信息的效用来动态地为传感器网络的输出生成一组混合权重。我们设计了一个协同学习机制,以鼓励协同适应和独立学习的每个传感器在同一时间,并提出了一种基于正则化的协同学习方法。在第二部分中,我们专注于恢复潜在表征的流形。我们提出了一种使用概率图模型的协同学习方法,该方法在生成模型:多模态变分RNN(MVRNN)模型上施加结构先验,并推导出其目标函数的变分下界。在第三部分中,我们扩展了连体结构的传感器融合鲁棒的声事件检测。我们进行实验,以调查提取的潜在表示;工作将在接下来的几个月内完成。实验结果表明,递归注意力滤波器能够根据不同传感器输入中所携带的信息,动态地组合不同的传感器输入。我们认为MVRNN可以识别潜在的表示,这是有用的许多下游任务,如语音合成,活动识别,控制和规划。这两种算法都是通用的框架,可以应用于其他任务,其中不同类型的传感器联合用于决策。
2019-04-23 cs.LG cs.SD eess.AS
Interpretable Multi-Source Data Fusion Through Latent Variable Gaussian Process
GE Aerospace Research(GE航空研究中心);Northwestern University(西北大学);GE Vernova Research(GE Vernova研究中心)
针对现有方法无法将多源数据融合至单一预测模型的问题,提出基于潜变量高斯过程(LVGP)的多源数据融合框架,通过将数据源映射至可解释潜空间实现源感知建模,有效提升了稀疏数据问题的预测性能。
2024-11-17 cs.LG stat.ML
Latent Structure Mining with Contrastive Modality Fusion for Multimedia Recommendation
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);School of Artificial Intelligence, University of Chinese Academy of Sciences(中国科学院大学人工智能学院)
近年来,人们对多媒体推荐越来越感兴趣,多媒体推荐的目的是预测用户是否会与具有多模态内容的项目进行交互。以往的研究集中在建模用户项目交互多模态功能包括作为边信息。然而,该方案不是很好地设计用于多媒体推荐。首先,只有合作项目项目关系隐式建模通过高阶项目-用户-项目同现。我们认为,潜在的语义项目,这些多模态内容的项目结构可能有利于学习更好的项目表示,并协助推荐模型,以全面发现候选项目。其次,以前的研究忽略了细粒度的多模态融合。虽然有机会获得多个模态可能会让我们捕捉到丰富的信息,我们认为,简单的粗粒度融合的线性组合或级联在以前的工作是不够的,以充分了解内容信息和项目的relationship.To为此,我们提出了一个潜在的结构挖掘与ContRastive mOdality融合方法(MICRO为简洁)。具体而言,我们设计了一个新颖的模态感知结构学习模块,学习每个模态的项目-项目关系。基于学习到的模态感知潜在项关系,我们执行图卷积,显式地将项亲和力注入到模态感知项表示中。然后,我们设计了一种新的对比方法来融合多模态特征。这些丰富的项目表示可以插入到现有的协同过滤方法中,以做出更准确的推荐。在真实世界数据集上进行的大量实验表明,我们的方法优于最先进的基线。
2022-03-17 cs.IR cs.LG cs.MM
4D Multimodal Co-attention Fusion Network with Latent Contrastive Alignment for Alzheimer's Diagnosis
提出M2M-AlignNet,利用几何感知多模态协同注意力与潜在对比对齐融合sMRI和fMRI,实现早期阿尔茨海默病诊断,并验证跨模态生物标志物对应性。
2025-04-23 cs.CV cs.LG cs.MM
Improving Robustness of LiDAR-Camera Fusion Model against Weather Corruption from Fusion Strategy Perspective
Nanyang Technological University(南洋理工大学);East China Normal University(华东师范大学);Agency for Science, Technology and Research (A*STAR)(新加坡科技研究局);New York University(纽约大学)
本文从融合策略角度评估并提升激光雷达-相机融合模型在恶劣天气下的鲁棒性,提出灵活加权特征融合方法,在多种模型上验证了其广泛适用性与有效性。
2024-02-05 cs.CV cs.LG
Improving Fine-Tuning with Latent Cluster Correction
RIKEN Information R&D and Strategy Headquarters(理化学研究所信息研发与战略总部);RIKEN(理化学研究所)
本文提出一种利用Louvain社区检测和聚类损失优化潜在聚类形成的微调方法,在CIFAR-100上验证了其提升分类准确率的可行性。
2025-01-21 cs.LG
Improving Sequential Latent Variable Models with Autoregressive Flows
California Institute of Technology(加州理工学院);Simon Fraser University(西蒙弗雷泽大学);University of California Irvine(加州大学欧文分校)
提出了一种基于自回归归一化流的序列建模方法。每个自回归变换,跨时间作用,作为一个移动的参考框架,消除时间相关性,并简化更高层次的动态建模。这种技术提供了一种简单的,通用的方法来改善序列建模,与现有的和经典的技术连接。我们证明了所提出的方法都与独立的基于流的模型,并作为一个组件内的顺序潜变量模型。结果在三个基准视频数据集上,其中基于自回归流的动态提高了基线模型的对数似然性能。最后,我们说明了去相关和改进的泛化性能,使用基于流的动态。
2022-03-08 cs.LG
Improving the Inference of Topic Models via Infinite Latent State Replications
Nanyang Technological University(南洋理工大学);Universidad de los Andes(洛斯安第斯大学);National University of Singapore(新加坡国立大学)
在文本挖掘中,主题模型是一种概率生成模型,用于从文本语料中推断潜在语义主题。主题模型最流行的推理方法之一可能是折叠吉布斯采样(CGS),它通常为每个观察到的文档-单词对采样一个主题标签。在本文中,我们的目的是改善CGS的主题模型的推理。我们建议利用状态增强技术,通过最大化的主题样本的数量为无穷大,然后开发一种新的推理方法,称为无限潜在状态复制(ILR),生成强大的软主题分配每个给定的文档词对。在公开数据集上的实验结果表明,ILR比CGS更适合于现有主题模型的推理。
2023-01-25 cs.AI cs.CL cs.LG
Heterogenous Multi-Source Data Fusion Through Input Mapping and Latent Variable Gaussian Process
Northwestern University(西北大学);GE Aerospace Research(GE航空研究院)
针对异构多源数据融合中输入空间不匹配的问题,提出基于输入映射校准和潜变量高斯过程的框架,通过统一参数空间构建来源感知代理模型,在三个工程案例中提升了预测精度。
2024-07-15 cs.CE cs.LG stat.ML
RiVaT-Fuse: Reliability-Calibrated Variational Tensor Fusion with Matrix-Valued Trust for Multimodal Prediction under Modality Uncertainty
Oklahoma State University(俄克拉荷马州立大学);George Mason University(乔治梅森大学)
针对多模态预测中模态不确定性,提出可靠性校准变分张量融合框架RiVaT-Fuse,通过潜在状态估计平衡异构证据,在基准上取得最优预测性能并提升稳定性。
2026-10-06 cs.CV cs.LG
Improving the Generation of VAEs with High Dimensional Latent Spaces by the use of Hyperspherical Coordinates
School of Electrical Engineering and Robotics(电气工程与机器人学学院);Queensland University of Technology(昆士兰理工大学)
本文针对高维潜在空间中VAE随机采样解码效果差的问题,提出用超球面坐标参数化潜在变量以压缩潜在分布、降低稀疏性,从而提升VAE的生成能力。
2025-07-21 cs.LG
Improving Generalization in Meta-RL with Imaginary Tasks from Latent Dynamics Mixture
KAIST(韩国科学技术院)
大多数Meta强化学习(meta-RL)方法的泛化能力在很大程度上限于从用于对训练任务进行采样的相同分布中采样的测试任务。为了克服这一局限性,我们提出了潜在动力学混合(LDM),训练一个强化学习代理与虚拟任务产生的混合物学习的潜在动力学。通过在混合任务和原始训练任务上训练策略,LDM允许代理在训练期间为看不见的测试任务做准备,并防止代理过度拟合训练任务。LDM在网格世界导航和MuJoCo任务的测试返回中显着优于标准的元RL方法,其中我们严格分离了训练任务分布和测试任务分布。
2022-01-18 cs.LG
Explainable AI for Multivariate Time Series Pattern Exploration: Latent Space Visual Analytics with Temporal Fusion Transformer and Variational Autoencoders in Power Grid Event Diagnosis
Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出一种集成TFT和VAE的可视化分析框架,通过降维技术将复杂时间序列映射至2D潜在空间,直观探索电网事件特征,提升AI可解释性并支持故障诊断。
2024-12-24 cs.AI cs.LG
Improving Cross-domain Recommendation through Probabilistic Cluster-level Latent Factor Model--Extended Version
Beijing University of Posts and Telecommunications(北京邮电大学)
跨领域推荐通过将多个领域的评分数据集中在一起来传递用户行为模式,以缓解单一评分领域中出现的稀疏性问题。然而,以前的模型只假设多个领域共享一个潜在的共同评级模式的基础上的用户项目的共同聚类。为了捕捉不同领域之间的差异,我们提出了一种新的概率统计等级潜在因子(PCLF)模型,以提高跨域推荐性能。在多个真实数据集上的实验表明,我们提出的模型在跨域推荐任务中的性能优于现有的方法。
2014-09-24 cs.IR cs.LG stat.ML
FatigueFusion: Latent Space Fusion for Fatigue-Driven Motion Synthesis
Department of Electrical and Computer Engineering, University of Patras(帕特雷大学电气与计算机工程系)
本文提出FatigueFusion框架,通过潜在空间融合生成疲劳运动变体及中间状态,结合算法与数据驱动模块,实现疲劳特征的非疲劳运动调制。
2026-04-11 cs.GR cs.LG
Great Models Think Alike: Improving Model Reliability via Inter-Model Latent Agreement
National University of Singapore(新加坡国立大学)
针对深度学习模型过度自信导致可靠性不足的问题,提出通过衡量目标模型与基础模型潜空间的邻域一致性评估可靠性,并以事后方式融合该一致性至预测置信度,经理论与多场景实验验证有效提升模型可靠性。
2023-05-02 cs.AI cs.CV cs.LG
Latent State Marginalization as a Low-cost Approach for Improving Exploration
Mila(米拉研究所);University de Montreal(蒙特利尔大学);Meta AI (FAIR)(元人工智能(基础人工智能研究部))
虽然最大熵(MaxEnt)强化学习(RL)框架-通常因其探索和鲁棒性而受到吹捧-通常是从概率的角度出发的,但由于其固有的复杂性,深度概率模型的使用在实践中并没有获得太多的吸引力。在这项工作中,我们提出了采用潜在变量的MaxEnt框架内的政策,我们可以证明近似任何政策分布,此外,自然出现下使用的世界模型与潜在的信念状态。我们讨论了为什么潜在变量的政策是难以训练,如何天真的方法可能会失败,然后随后介绍了一系列的改进围绕低成本的边缘化的潜在状态,使我们能够充分利用的潜在状态在最小的额外成本。我们在演员-评论家框架下实例化我们的方法,边缘化演员和评论家。由此产生的算法,称为随机边际演员批评(SMAC),是简单而有效的。我们在连续控制任务上实验验证了我们的方法,表明有效的边缘化可以带来更好的探索和更强大的训练。我们的实现在https://github.com/zdhNarsil/Stochastic-Marginal-Actor-Critic上是开源的。
2023-02-10 cs.AI cs.LG stat.ML
Exponential Tilting of Generative Models: Improving Sample Quality by Training and Sampling from Latent Energy
University of Chicago(芝加哥大学)
在本文中,我们提出了一种通用的方法,可以提高样本质量的预训练的似然生成模型。我们的方法在潜在变量空间上构造能量函数,该能量函数在由预训练的生成模型产生的样本上产生能量函数。通过最大化数据似然性来有效地训练基于能量的模型,并且在训练之后,从基于能量的模型生成潜在空间中的新样本,并通过生成器以在观察空间中产生样本。我们表明,使用我们提出的方法,我们可以大大提高流行的基于似然的生成模型,如规范化流和VAE,与非常小的计算开销的样本质量。
2020-06-15 cs.LG stat.ML
Improving Pose Estimation through Contextual Activity Fusion
University of the Witwatersrand(威特沃特斯兰德大学)
这项研究提出了活动融合到现有的姿态估计架构,以提高其预测能力的想法。这是由现代机器学习架构中发现的更高级别概念的兴起以及活动上下文对于姿势估计问题是有用的信息的信念所激发的。为了分析这个概念,我们采用现有的深度学习架构,并通过额外的1x1卷积来增强它,以将活动信息融合到模型中。我们在一个常见的姿势估计数据集上进行评估和比较,并显示了我们的基线模型的性能改进,特别是在不常见的姿势和典型的困难关节。此外,我们进行了一个消融分析,表明性能的改善,实际上从活动信息。
2021-11-03 cs.CV cs.LG
GLAD: Improving Latent Graph Generative Modeling with Simple Quantization
Geneva School for Business Administration (HES-SO)(日内瓦工商管理学院(HES-SO));University of Geneva(日内瓦大学)
本文提出 GLAD,一种在离散潜空间中运行、利用扩散桥学习先验的等变图生成模型,并在多个图基准上达到与最先进方法相竞争的性能。
2025-02-17 cs.LG stat.ML
Improving Multimodal fusion via Mutual Dependency Maximisation
LTCI, Telecom Paris, Institut Polytechnique de Paris(巴黎综合理工学院电信巴黎分校LTCI);IBM GBS France(IBM GBS法国)
多模态情感分析是当前情感分析领域的一个研究热点,而多模态融合多模态融合是其中最活跃的研究课题之一。承认人类通过各种渠道(即视觉,听觉,语言)进行交流,多模态系统旨在将不同的单峰表示集成为一个合成系统。到目前为止,已经做出了相应的努力,开发复杂的架构,允许这些模式的融合。然而,这样的系统主要通过最小化简单损失(例如$L_1$或交叉熵)来训练。在这项工作中,我们调查未开发的处罚,并提出了一套新的目标,衡量模式之间的依赖性。我们证明了我们的新惩罚在两个著名的情感分析数据集上的各种最先进的模型中得到了一致的改进(高达$4.3$的准确性):\texttt{CMU-MOSI}和\texttt{CMU-MOSEI}。我们的方法不仅在两个数据集上实现了新的SOTA,而且还产生了对模态下降更鲁棒的表示。最后,我们的方法的一个副产品包括一个统计网络,可以用来解释模型学习的高维表示。
2021-09-09 cs.AI cs.CL cs.LG
Improving Model Robustness with Latent Distribution Locally and Globally
Duke Kunshan University(昆山杜克大学);University of Liverpool(利物浦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
在这项工作中,我们从全局流形的角度考虑深度神经网络对对抗攻击的模型鲁棒性。利用局部和全局潜在信息,我们提出了一种新的对抗性训练方法,通过鲁棒优化,以及一种易于处理的方法来生成潜在流形对抗性示例(LMAE),通过一个机器人和一个分类器之间的对抗性游戏。所提出的具有潜在分布的对抗性训练(ATLD)方法通过以无监督的方式用潜在流形制作LMAE来防御对抗攻击。ATLD保留了隐流形的局部和全局信息,提高了对对抗攻击的鲁棒性.为了验证我们提出的方法的有效性,我们在不同的数据集上进行了广泛的实验(例如,CIFAR-10、CIFAR-100、SVHN)与不同的对抗攻击(例如,PGD,CW),并表明我们的方法大大优于最先进的(例如,特征散射)在对抗鲁棒性方面具有很大的准确性。源代码可在https://github.com/LitterQ/ATLD-pytorch上获得。
2022-10-03 cs.LG
BeyondFusion: Self-Aligned Latent Diffusion for Calibration-Free Infrared Super-Resolution and Infrared-Visible Fusion
针对移动红外-可见光成像中跨传感器未对准问题,提出超越融合框架,通过引入跨模态自对齐模块及未对准增强模块,实现无校准条件下的红外超分辨率和红外-可见光融合,经实验验证了其有效性。
2026-07-28 cs.CV cs.LG physics.optics
Improving latent variable descriptiveness with AutoGen
University College London(伦敦大学学院);Alan Turing Institute(艾伦·图灵研究所);ASI Data Science(ASI数据科学)
强大的生成模型,特别是在自然语言建模中,通常通过最大化数据日志可能性的变分下限来训练。这些模型往往受到其潜在变量的不良使用,与ad-hoc退火因子用于鼓励保留信息的潜在变量。我们讨论了潜在变量建模的替代和一般方法,基于一个目标,该目标结合了数据日志的可能性以及通过自动编码器的完美重建的可能性。通过设计将这些联系在一起,可以确保潜变量捕获有关观测的信息,同时保持良好的生成能力。有趣的是,虽然这种方法是一个先验无关的VAE,达到的下限是相同的标准VAE界,但增加了一个简单的前因子,因此,提供了一个正式的解释,在训练VAE常用的,特设的前因子。
2018-06-12 cs.LG stat.ML
Improving Sampling from Generative Autoencoders with Markov Chains
Imperial College London(帝国理工学院)
我们专注于生成式自动编码器,例如变分或对抗式自动编码器,它们与推理模型一起共同学习生成模型。生成式自动编码器是那些被训练成对由推理模型学习的潜在分布柔和地实施先验的自动编码器。我们将推理模型映射到观察样本的分布称为学习的潜在分布,它可能与先验不一致。我们制定了一个马尔可夫链蒙特卡罗(MCMC)采样过程,相当于迭代解码和编码,这使我们能够从学习的潜在分布中采样。由于生成模型从学习的潜在分布而不是先验学习映射,因此我们可以使用MCMC来提高从生成模型提取的样本的质量,特别是当学习的潜在分布远离先验时。使用MCMC采样,我们能够揭示使用或不使用去噪标准训练的生成式自动编码器之间以前看不见的差异。
2017-01-12 cs.AI cs.LG stat.ML
Improving Topic Models with Latent Feature Word Representations
Macquarie University(麦考瑞大学);Santa Fe Institute(圣塔菲研究所)
概率主题模型被广泛用于发现文档集合中的潜在主题,而词的潜在特征向量表示已被用于在许多NLP任务中获得高性能。在本文中,我们扩展了两个不同的Dirichlet多项式主题模型,通过将在非常大的语料库上训练的单词的潜在特征向量表示,以改善在较小的语料库上学习的单词-主题映射。实验结果表明,通过使用来自外部语料库的信息,我们的新模型产生了显着的改善主题一致性,文档聚类和文档分类任务,特别是在数据集少或短的文档。
2018-10-15 cs.CL cs.IR cs.LG
LatentDR: Improving Model Generalization Through Sample-Aware Latent Degradation and Restoration
Georgia Institute of Technology(佐治亚理工学院)
针对深度学习模型跨领域泛化难、训练数据有限的问题,提出LatentDR样本感知潜在退化恢复增强方法,在多基准和医学影像等任务上优于现有方法,还可适配长尾识别。
2023-08-28 cs.CV cs.LG
FusionINN: Decomposable Image Fusion for Brain Tumor Monitoring
Technische Universität Dresden(德累斯顿工业大学);Shandong University of Science and Technology(山东科技大学);Shanghai Tenth People’s Hospital(上海市第十人民医院);Tongji University Medical School(同济大学医学院)
本文提出可分解图像融合框架FusionINN,通过双射设计在生成融合图像的同时可将其分解回源图像,并验证其在脑肿瘤监测等医学图像融合任务中优于现有方法。
2024-06-10 cs.AI cs.CV cs.LG
Improving Deep Dynamics Models for Autonomous Vehicles with Multimodal Latent Mapping of Surfaces
University of Freiburg(弗赖堡大学);Toyota Research Institute(丰田研究院);University of Technology, Nuremberg(纽伦堡工业大学)
自动驾驶汽车的安全部署取决于它们对环境变化的有效反应能力。这可能需要在变化的表面上操纵,这仍然是一个困难的问题,特别是对于光滑的地形。为了解决这个问题,我们提出了一种新的方法,学习表面感知的动态模型的条件下,它对一个潜在的变量向量存储有关当前位置的表面信息。训练潜在映射器以在每次遍历对应位置时从多个模态进行推断期间更新这些潜在变量,并将它们存储在地图中。通过端到端地训练所有内容,同时丢失动态模型,我们强制潜在映射器学习对后续动态模型有用的潜在映射的更新规则。我们实施和评估我们的方法上一个真正的微型电动汽车。结果表明,与没有此信息的模型相比,潜在映射被更新以允许对动力学模型进行更准确的预测。我们进一步表明,通过使用该模型,可以提高驾驶性能的变化和具有挑战性的表面。
2023-03-21 cs.LG cs.RO
Improving Multimodal Sentiment Analysis: Supervised Angular Margin-based Contrastive Learning for Enhanced Fusion Representation
Nanyang Technological University(南洋理工大学);National University of Singapore(新加坡国立大学)
本文提出基于监督角度间隔的对比学习框架,通过关注同类情感分数差异和单模态重要性,增强多模态情感分析中融合表示的判别力与泛化性。
2023-12-04 cs.CL cs.LG
Improving Robustness of Malware Classifiers using Adversarial Strings Generated from Perturbed Latent Representations
Czech Technical University in Prague(布拉格捷克理工大学)
在恶意软件行为分析中,访问和创建的文件列表通常指示所检查的文件是恶意的还是良性的。然而,恶意软件作者试图通过生成随机文件名和/或用新版本的恶意软件修改使用的文件名来避免检测。这些变化代表了现实世界的对抗性例子。这项工作的目标是生成真实的对抗性示例,并提高分类器对这些攻击的鲁棒性。我们的方法以无监督的方式学习输入字符串的潜在表示,并在潜在域中使用基于梯度的对抗攻击方法来生成输入域中的对抗示例。我们使用这些例子来提高分类器的鲁棒性,通过训练生成的对抗性字符串集。与只在扰动的潜在向量上训练的分类器相比,我们的方法产生的分类器明显更鲁棒,而不会在标准精度上有很大的权衡。
2021-10-22 cs.CR cs.LG
Improving Model Fusion by Training-time Neuron Alignment with Fixed Neuron Anchors
Zhejiang University(浙江大学);Georgia Institute of Technology(佐治亚理工学院);Westlake University(西湖大学);Hong Kong University of Science and Technology(香港科技大学)
本文提出训练时神经元对齐方法TNA-PFN,利用固定神经元锚点减少排列差异,改进模型融合,并衍生出联邦学习方法FedPFN和FedPNU,在异构联邦学习中达到最优性能。
2025-10-27 cs.LG stat.ML
Synergistic Feature Fusion for Latent Lyrical Classification: A Gated Deep Learning Architecture
Independent Researcher(独立研究者)
针对歌词分类中深度语义与结构特征融合难题,提出带门控机制的SFL深度学习架构,通过非线性门控调制两类特征,在二分类任务上准确率等指标优于特征拼接的RF基线,校准性更优。
2025-11-11 cs.LG
Improving Vector-Quantized Image Modeling with Latent Consistency-Matching Diffusion
Sony AI(索尼人工智能研究院);Stanford University(斯坦福大学);Sony Group Corporation(索尼集团公司)
针对向量量化图像建模中端到端联合训练易导致嵌入崩溃的问题,提出连续空间潜在扩散框架VQ-LCMD,结合变分下界与一致性匹配损失及噪声调度策略稳定训练,在多个图像生成基准上取得更优效果。
2025-04-01 cs.LG
Improving Latent Generalization Using Test-time Compute
Google DeepMind(谷歌DeepMind)
本文研究如何通过测试时间计算('思考')提升语言模型的潜在泛化能力,利用强化学习训练模型生成长链思考以改进泛化,实验显示该方法在分布内知识和分布外知识上均有效,但对纯反转任务仍逊于上下文学习。
2026-04-01 cs.LG
Shrink the longest: improving latent space isotropy with symplicial geometry
National Research University “Higher School of Economics”(国立研究型大学“高等经济学院”);Keldysh Institute of Applied Mathematics(凯尔迪什应用数学研究所)
本文提出一种基于单纯形几何的正则化方法,通过最大化 Vietoris–Rips 滤过条形码的持续熵来改善 transformer 潜在空间各向同性,无需重参数化或推理开销即可提升下游任务表现。
2025-01-09 cs.LG
Improving black-box optimization in VAE latent space using decoder uncertainty
University of Oxford(牛津大学);University of Cambridge(剑桥大学)
变分自编码器的潜在空间中的优化是一种有希望的方法,用于生成最大化昂贵的黑盒属性(例如,分子生成中的药物相似性,算术表达式的函数近似)。然而,现有的方法缺乏鲁棒性,因为它们可能决定探索在训练期间没有数据可用的潜在空间的区域,并且解码器可能不可靠,导致生成不切实际或无效的对象。我们建议利用解码器的认知不确定性来指导优化过程。但这并不是微不足道的,因为我们认为在高维和结构化设置中对不确定性的天真估计会导致高估计方差。为了解决这个问题,我们引入了一个基于重要性采样的估计,提供了更强大的估计认知不确定性。我们的不确定性引导优化方法不需要修改模型架构,也不需要修改训练过程。它生成的样本在黑盒目标和生成样本的有效性之间具有更好的权衡,有时同时改善两者。我们说明了这些优势,在几个实验设置在数字生成,算术表达式近似和药物设计的分子生成。
2021-06-30 cs.LG stat.ML
Improving Intrusion Detection with Domain-Invariant Representation Learning in Latent Space
Virginia Tech(弗吉尼亚理工大学);AI Center of Excellence, Deloitte(德勤人工智能卓越中心)
本文提出一种多任务表示学习方法,在潜在空间中学习域不变表示以丢弃虚假相关性,从而提升零日异常检测的泛化能力,并在多个数据集上验证了有效性。
2025-10-17 cs.CR cs.LG
VAE with Hyperspherical Coordinates: Improving Anomaly Detection from Hypervolume-Compressed Latent Space
School of Electrical Engineering and Robotics(电气工程与机器人学学院);Queensland University of Technology(昆士兰理工大学);Data61;CSIRO(澳大利亚联邦科学与工业研究组织)
本文提出利用超球坐标压缩潜在空间,提升VAE在无条件和条件异常检测中的表现,优于现有方法。
2026-07-21 cs.LG
Improving the Noise Estimation of Latent Neural Stochastic Differential Equations
Institute for Computing and Information Sciences, Radboud University, Nijmegen, the Netherlands(计算与信息科学研究所,拉德堡德大学,尼美根,荷兰);Earth System Modelling, School of Engineering and Design, TU Munich, Germany(地球系统建模,工程与设计学院,慕尼黑技术大学,德国);Computational Network Science, Dept of Computer Science, RWTH Aachen University, Germany(计算网络科学,计算机科学系,亚琛工业大学,德国)
针对潜空间神经 SDE 系统性低估随机时间序列噪声的问题,本文在损失函数中引入显式额外噪声正则化,使其准确学习扩散分量,并在随机双稳态概念模型上验证了改进效果。
2025-06-10 cs.LG stat.ML
Improving Latent User Models in Online Social Media
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Indian Institute of Technology Kharagpur(印度理工学院卡拉格普尔分校)
现代社交平台的特征在于存在与文本内容的发布、共享和消费相关联的丰富的用户行为数据。用户在复杂而动态的社交环境中与内容交互,并相互交互,同时随着时间的推移而发展。为了有效地描述用户并预测他们在这种环境中的未来行为,有必要克服几个挑战。行为数据的内容异构性和时间不一致性导致了用户级的严重稀疏性。在本文中,我们提出了一种新的相互增强的框架,同时分区和学习用户的潜在活动配置文件。我们提出了一种灵活的用户划分方法,以有效地发现罕见的行为和解决用户级稀疏。我们广泛评估了来自现实世界平台的海量数据集的拟议框架,包括问答网络和互动在线课程(MOOC)。我们的研究结果表明,在不同的任务范围内,我们的收益显着超过最先进的行为模型(平均15%),并且对于交互数据有限的用户,我们的收益进一步放大。所提出的算法适合并行化,线性扩展数据集的大小,并提供灵活性,以模拟用户行为的不同方面。
2019-02-07 cs.AI cs.LG cs.SI
Improving Multi-Modal Learning with Uni-Modal Teachers
Massachusetts Institute of Technology(麻省理工学院);Shanghai Qi Zhi Institute(上海期智研究院);Tsinghua University(清华大学)
学习多模态表示是走向现实世界的机器人应用的重要一步,各种多模态融合模型已被开发用于此目的。然而,我们观察到,现有的模型,其目标主要是基于联合训练,往往遭受学习每种模态的劣质表示。我们将这个问题命名为模态失败,并假设模态的不平衡性和融合方法中共同目标的隐含偏差阻止了每个模态的编码器进行充分的特征学习。为此,我们提出了一种新的多模态学习方法,单模态教师,它结合了融合目标和单模态蒸馏,以解决模态故障问题。我们表明,我们的方法不仅大大提高了每个模态的表示,而且还提高了整体多模态任务的性能。我们的方法可以有效地推广到大多数多模态融合方法。我们在VGGSound视听分类任务上实现了超过3%的改进,并提高了NYU深度V2 RGB-D图像分割任务的性能。
2021-06-21 cs.LG
Improving automatic endoscopic stone recognition using a multi-view fusion approach enhanced with two-step transfer learning
Tecnologico de Monterrey, School of Engineering and Sciences, Mexico(墨西哥蒙特雷科技大学工程与科学学院);CRAN UMR 7039, Université de Lorraine and CNRS, Nancy, France(法国洛林大学CNRS CRAN UMR 7039研究中心);CINVESTAV, Guadalajara, Mexico(墨西哥瓜达拉哈拉科学技术研究所);CHRU Nancy, Service d’urologie de Brabois, Nancy, France(法国南锡布拉布瓦大学医院泌尿外科)
本研究针对内镜肾结石类型识别任务,提出融合多视图图像信息的深度学习方法,结合两步迁移学习与注意力模块优化特征,使分类准确率较单视图骨干模型提升6%以上。
2023-08-22 cs.CV cs.LG eess.IV
Improving VAE-based Representation Learning
University of Tübingen(蒂宾根大学);IMPRS-IS(国际马克斯·普朗克智能系统研究学院);Centre for Artificial Intelligence(人工智能中心);University College London(伦敦大学学院)
像变分自动编码器(VAE)这样的潜变量模型通常用于学习图像的表示。然而,对于像语义分类这样的下游任务,VAE学习的表示比其他非潜在变量模型的竞争力更低。这导致了一些猜测,潜在变量模型可能根本不适合表示学习。在这项工作中,我们研究了良好的表示所需的属性,以及不同的VAE结构选择如何影响学习的属性。我们表明,通过使用倾向于学习局部特征的解码器,其余的全局特征可以很好地被潜在特征捕获,这显著提高了下游分类任务的性能。我们进一步将所提出的模型应用于半监督学习任务,并证明了数据效率的提高。
2022-05-28 cs.LG stat.ML
Improving Coherence in Hierarchical Time Series Forecasting using Structured Temporal Fusion
提出层次时间融合(HTF)模型,通过结构化层次嵌入和一致性损失函数,在训练中直接嵌入一致性约束,同时建模时间动态和结构一致性,在M5和能源数据集上降低不一致性并提升预测精度。
2026-06-26 cs.LG
AugMapNet: Improving Spatial Latent Structure via BEV Grid Augmentation for Enhanced Vectorized Online HD Map Construction
Mercedes-Benz Research & Development North America, USA(梅赛德斯-奔驰北美研究与开发)
AugMapNet通过BEV网格增强改进空间潜在结构,提升矢量化在线HD地图构建的性能和结构化表示。
2025-12-03 cs.AI cs.CV cs.LG
Latent Distribution Decoupling: A Probabilistic Framework for Uncertainty-Aware Multimodal Emotion Recognition
College of Computer Science, Chongqing University(重庆大学计算机学院);Tsinghua University(清华大学);Meituan Inc.(美团公司)
本文提出LDDU概率框架,通过对比解耦分布机制分离语义特征与偶然不确定性,并进行不确定性感知融合,在CMU-MOSEI和M³ED上达到MMER最先进性能。
2025-02-19 cs.CL cs.LG