Unsupervised Adaptive Deep Learning Method For BCI Motor Imagery Decoding
IMT Atlantique(大西洋电信学院);Lab-STICC(STICC实验室);CNRS(法国国家科学研究中心)
提出一种无需监督的在线自适应深度学习方法,通过冻结模型并基于流式观测连续重新对齐输入与潜在空间数据,在跨被试运动想象脑电解码中达到离线性能水平。
2024-03-15 cs.LG eess.SP
Physics informed Transformer-VAE for biophysical parameter estimation: PROSAIL model inversion in Sentinel-2 imagery
African Institute for Mathematical Sciences (AIMS), Accra, Ghana(非洲数学科学研究所(AIMS));African Institute for Mathematical Sciences (AIMS), Cape Town, South Africa(非洲数学科学研究所(AIMS))
针对Sentinel-2影像植被生物物理参数反演需求,提出融合PROSAIL物理模型的Transformer-VAE架构,仅用模拟数据训练即可达到SOTA精度,无需实地标注,为低成本全球植被监测提供新方案。
2025-11-17 cs.CV cs.LG
NewtonianVAE: Proportional Control and Goal Identification from Pixels via Physical Latent Spaces
University of Edinburgh(爱丁堡大学);Monash University(莫纳什大学)
学习低维潜在状态空间动力学模型已经成为一个强大的范例,使基于视觉的规划和学习控制。我们引入了一个潜在的动态学习框架,该框架被独特地设计成在潜在空间中诱导成比例的可控性,从而使使用比以前的工作简单得多的控制器。我们表明,我们学习的动态模型,使比例控制从像素,大大简化和加速基于视觉的控制器的行为克隆,并提供可解释的目标发现时,应用到模仿学习的切换控制器从演示。
2021-04-26 cs.CV cs.LG stat.ML
Generating Physically-Consistent Satellite Imagery for Climate Visualizations
Massachusetts Institute of Technology(麻省理工学院);Max Planck Institute for Biogeochemistry(马克斯·普朗克生物地球化学研究所);University of British Columbia(不列颠哥伦比亚大学);Peaceful Society, Science and Innovation Foundation(和平协会科学与创新基金会);University of Granada(格拉纳达大学);Scripps Institute of Oceanography(斯克里普斯海洋研究所);US Forest Service(美国林务局);University of Oxford(牛津大学);Riot Games(拳头游戏);Pasteur Labs(巴斯德实验室);Surgical Data Science Collective(外科数据科学集体)
本文针对深度生成模型在气候可视化中产生洪水幻觉的问题,提出基于物理洪水模型分割图进行条件约束的生成方法,并公开了包含30,000个高清图像三元组的数据集。
2024-10-21 cs.CV cs.LG eess.IV
Sensing population distribution from satellite imagery via deep learning: model selection, neighboring effect, and systematic biases
University of Arkansas(阿肯色大学);University of Minnesota(明尼苏达大学);Massachusetts Institute of Technology(麻省理工学院);Michigan Technological University(密歇根理工大学);Texas A&M University(德克萨斯A&M大学)
遥感技术的快速发展提供了丰富的、大覆盖范围的、高时间分辨率的地面信息,这些信息可以与新兴的深度学习方法相结合,从而能够提取潜在的特征和隐藏的地理模式。这项研究标志着首次尝试交叉比较流行的最先进的深度学习模型在从遥感图像估计人口分布方面的性能,研究邻近效应的贡献,并探索潜在的系统性人口估计偏差。我们对四种流行的深度学习架构进行端到端训练,即,VGG、ResNet、Xception和DenseNet,通过建立Sentinel-2图像块与LandScan种群网格中相应种群计数之间的映射。结果表明,DenseNet优于其他三个模型,而VGG具有最差的性能在所有选定的邻近场景下的所有评估指标。至于邻近效应,与现有的研究相矛盾,我们的研究结果表明,邻近大小的增加导致降低的人口估计性能,这是普遍的所有四个选定的模型在所有评估指标。此外,存在一个显著的普遍偏见,即所有选定的深度学习模型都倾向于高估稀疏填充的图像块,而低估密集填充的图像块,无论相邻大小如何。本研究提供的方法,实验和背景知识,预计将有利于广泛的未来研究,通过遥感图像估计人口分布。
2021-03-03 cs.CV cs.LG eess.IV
Lightweight Data Fusion with Conjugate Mappings
Massachusetts Institute of Technology(麻省理工学院);University of Arizona(亚利桑那大学)
我们提出了一种数据融合的方法,结合结构化概率图形模型的可解释性与神经网络的灵活性。所提出的方法,轻量级数据融合(LDF),强调后验分析的潜在变量使用两种类型的信息:主要数据,这是很好的特点,但有限的可用性,和辅助数据,容易获得,但缺乏一个很好的特点,统计关系的潜在数量的利益。辅助数据的前向模型的缺乏排除了使用标准的数据融合方法,而无法获得潜在变量的意见严重限制了直接应用的监督学习方法。LDF通过利用神经网络作为辅助数据的共轭映射来解决这些问题:非线性变换为关于潜变量的充分统计量。这有利于有效的推理,通过保持共轭性质的主要数据,并导致紧凑的表示的潜在变量后验分布。我们在两个具有挑战性的推理问题上展示了LDF方法:(1)从卫星图像,高级电网基础设施和其他来源学习卢旺达的电气化率;(2)通过使用多共轭映射的混合模型整合社会经济数据来推断美国的县级凶杀率。
2020-11-20 cs.LG stat.ML
Uncovering Physical Drivers of Dark Matter Halo Structures with Auxiliary-Variable-Guided Generative Models
Mathematics and Computer Science Division Argonne National Laboratory(阿贡国家实验室数学与计算机科学部);High Energy Physics Division Argonne National Laboratory(阿贡国家实验室高能物理部);Computational Science Division Argonne National Laboratory(阿贡国家实验室计算科学部);Computational Science Center Data, Analysis and Visualization Group National Renewable Energy Laboratory(国家可再生能源实验室计算科学中心数据、分析与可视化组)
本文提出通过辅助变量引导生成模型解缠暗物质晕结构的潜在空间,揭示其物理驱动因素并提升天文数据的可解释性。
2026-02-26 cs.LG stat.ML
Unsupervised Learning of Latent Physical Properties Using Perception-Prediction Networks
MIT(麻省理工学院);Stanford University(斯坦福大学)
我们提出了一个框架,完全无监督学习的潜在对象的属性,从他们的相互作用:感知预测网络(PPN)。PPN由一个提取潜在对象属性表示的感知模块和一个使用这些提取的属性来模拟系统动态的预测模块组成,可以完全从对象动态样本中以端到端的方式进行训练。通过PPN学习的潜在对象属性的表示不仅足以准确地模拟由先前看不见的对象组成的系统的动态,而且还可以直接转换为人类可解释的属性(例如,质量、恢复系数)。至关重要的是,PPN还可以推广到新的场景:它们基于梯度的训练可以应用于许多动态系统,它们基于图的结构函数可以应用于由不同数量的对象组成的系统。我们的研究结果证明了基于图的神经架构在以对象为中心的推理和预测任务中的有效性,并且我们的模型有可能在尚未完全理解的系统中发现相关的对象属性。
2018-07-25 cs.AI cs.CV cs.LG
Variational Encoder-Decoders for Learning Latent Representations of Physical Systems
Columbia University(哥伦比亚大学);Pacific Northwest National Laboratory(西北太平洋国家实验室)
提出变分编码器-解码器(VED)框架学习物理系统参数与可观测响应间的低维表示,通过正则化促进潜在编码解耦,在地下水流模型中实现低维高精度重建,且调整参数可提升生成能力。
2024-12-06 cs.LG stat.ML
Diffusion Brush: A Latent Diffusion Model-based Editing Tool for AI-generated Images
University of British Columbia(不列颠哥伦比亚大学)
本文提出基于潜在扩散模型的Diffusion Brush工具,通过在反向扩散过程中向目标区域注入新噪声,实现对AI生成图像局部区域的高效精准编辑,同时保持其余部分不变,并通过用户研究验证了其优于现有修复和编辑方法。
2023-10-27 cs.AI cs.CL cs.CV
Deep Learning of Radiative Atmospheric Transfer with an Autoencoder
Virginia Military Institute(弗吉尼亚军事学院);University of Virginia(弗吉尼亚大学)
当来自太阳的电光能量通过大气传播时,它受到包括吸收、发射和散射的辐射转移效应的影响。模拟这些影响对于地球和大气的科学遥感测量是必不可少的。例如,高光谱图像是一种以像素为单位收集了许多(通常是数百个)光波长的数字图像。在传感器处测量的光量是发射的太阳光、大气辐射转移和地面上的材料的反射的结果,所有这些都因多种物理现象而随波长变化。因此,地面光谱或大气成分的测量需要分离每个波长的这些不同的贡献。在本文中,我们创建了一个自动编码器类似于去噪自动编码器处理大气的影响为“噪声”和地面反射率的真理每光谱。我们通过从实验室测量中随机抽取光谱样本,并通过MODTRAN(http://modtrans.spectral.com/modtran\_home)使用基于物理的建模通过不同的大气输入添加大气影响,从而生成数十万个训练样本。理想情况下,该过程可以创建一个自动编码器,该自动编码器将在高光谱图像中分离大气效应和地面反射率,该过程称为大气补偿,该过程困难且耗时,需要结合启发式近似、物理量估计和物理建模。虽然我们的方法的准确性不如该领域的其他方法,但这是将物理原理的深度学习应用于高光谱图像和遥感中的大气补偿的重要第一步。
2022-07-21 cs.LG nlin.PS physics.ao-ph
Advanced Flood Prediction with Physics-Guided Deep Learning: Combining UNet, FNO, and SAR/Optical Imagery
National Center for Atmospheric Research (NCAR)(国家大气研究中心)
提出物理引导深度学习框架,融合多模态遥感与浅水方程约束,通过UNet-FNO混合架构实现高精度洪水预测,IoU达0.82,F1达0.90。
2026-06-02 cs.CV cs.LG eess.IV
Which priors matter? Benchmarking models for learning latent dynamics
DeepMind
学习动态是机器学习(ML)许多重要应用的核心,例如机器人和自动驾驶。在这些设置中,ML算法通常需要使用高维观测(如图像)来推理物理系统,而无需访问底层状态。最近,有几种方法提出将经典力学的先验知识集成到ML模型中,以解决从图像进行物理推理的挑战。在这项工作中,我们冷静地看待这些模型的当前能力。为此,我们介绍了一套由17个数据集组成的可视化观察的基础上表现出广泛的动态物理系统。我们对主要的物理启发方法进行了全面而详细的比较,并与几个强大的基线进行了比较。虽然包含物理先验的模型通常可以学习具有所需属性的潜在空间,但我们的结果表明,这些方法未能显着改善标准技术。尽管如此,我们发现,使用连续和时间可逆的动力学有利于所有类别的模型。
2021-11-09 cs.LG stat.ML
Spectral-Target Physical Latent Structuring for JEPA-Style World Models
Kaliber Labs(卡利伯实验室)
针对JEPA式世界模型的物理表示懒惰问题,提出训练时添加轻量傅里叶辅助头的方法,可提升动态环境等的规划成功率与数据效率,避免表示懒惰。
2026-09-17 cs.LG
IGAN: Inferent and Generative Adversarial Networks
ONERA, the French aerospace lab(法国航空航天实验室(ONERA))
本文提出IGAN,通过在图像与潜在空间建立双向映射并引入纠缠对抗博弈,在保持生成质量的同时提升GAN的稳定性与收敛性,并展示其在自监督和多模态转换中的应用潜力。
2021-09-27 cs.AI cs.CV cs.LG
VAE with Hyperspherical Coordinates: Improving Anomaly Detection from Hypervolume-Compressed Latent Space
School of Electrical Engineering and Robotics(电气工程与机器人学学院);Queensland University of Technology(昆士兰理工大学);Data61;CSIRO(澳大利亚联邦科学与工业研究组织)
本文提出利用超球坐标压缩潜在空间,提升VAE在无条件和条件异常检测中的表现,优于现有方法。
2026-07-21 cs.LG
LSwinSR: UAV Imagery Super-Resolution based on Linear Swin Transformer
University of Warwick(华威大学)
超分辨率技术是从低分辨率图像重建高分辨率图像的一种技术,近年来在计算机视觉和遥感领域得到了广泛的关注和研究。超分辨率技术对于无人机(UAV)尤其有利,因为UAV捕获的图像的数量和分辨率受到飞行高度和负载能力等物理约束的高度限制。随着深度学习方法在超分辨率任务中的成功应用,近年来,一系列超分辨率算法被开发出来。本文针对无人机图像的超分辨率问题,提出了一种基于Swin Transformer的高精度超分辨率网络。同时,由于无人机的重要应用之一是土地覆盖和土地利用监测,简单的图像质量评价如峰值信噪比(PSNR)和结构相似性指数(SSIM)不足以全面衡量算法的性能。因此,我们进一步研究了超分辨率方法的有效性,使用语义分割的准确性。该代码将在https://github.com/lironui/LSwinSR上提供。
2023-03-17 cs.CV cs.LG eess.IV
Probing the Latent World: Emergent Discrete Symbols and Physical Structure in Latent Representations
PARRAWA AI(PARRAWA人工智能)
本文提出AIM框架,通过被动量化探针探测V-JEPA 2潜在表示中的离散符号序列,揭示潜在空间的紧凑性及结构化符号 manifold 的可发现性。
2026-03-20 cs.AI cs.CV cs.LG
JEPA-x: Cross-Predictive Physics Grounding for Forecastable Latent Dynamics
XP-JEPA通过将视觉与物理表征交叉预测,提升了潜在动力学的可预测性,在多任务套件上降低了展开漂移并提高了控制成功率,无需特权输入即可实现更优的基于展开的控制性能。
2026-08-31 cs.LG
Generating Shared Latent Variables for Robots to Imitate Human Movements and Understand their Physical Limitations
IMT Atlantique(大西洋高等电信学院)
辅助机器人技术,特别是机器人教练可能对康复医疗非常有帮助。在这种情况下,我们提出了一种基于高斯过程潜变量模型(GP-LVM)的方法来转移物理治疗师,机器人教练和病人之间的知识。我们的模型能够将视觉人体特征映射到机器人数据,以便于机器人学习和模仿。此外,我们建议扩展该模型,以适应机器人的理解,病人的身体限制在评估康复锻炼。实验结果表明,机器人模仿和模型适应根据病人的局限性有希望的结果。
2021-11-03 cs.AI cs.CV cs.HC
ScaleAware-JEPA: Latent Representation for Discovery in Multiscale Physical Fields
Proton
提出ScaleAware-JEPA框架,通过约束扩散分解生成尺度坐标,构建与物理场尺度层次对齐的潜在表示,无需标签即可发现多尺度结构。
2026-06-29 astro-ph.IM cs.CV cs.LG
Physically Based Rendering in the Latent Space
Trinity College Dublin(都柏林圣三一学院);École de Technologie Supérieure (ÉTS)(高等技术学院(ÉTS))
本文提出在生成模型变分自编码器学习的潜空间中执行物理基础渲染,通过修改渲染方程并结合可微渲染器,实现物理引导的内容生成,并在单张图像训练后泛化至几何、光照和视角变化。
2026-09-21 cs.AI cs.GR cs.LG
Physics Consistency and Latent Dynamics in Spatiotemporal Physics Field Generation
Harbin Institute of Technology(哈尔滨工业大学);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出基于混合Mamba-Transformer架构的时空物理场生成模型,并通过物理信息微调机制有效减少物理误差。
2026-08-08 cs.AI cs.LG physics.comp-ph
Satellite-Net: Automatic Extraction of Land Cover Indicators from Satellite Imagery by Deep Learning
针对卫星影像土地覆盖分类需求,提出定制化卷积神经网络模型Satellite-Net,在测试集上准确率达98%,为土地覆盖指标自动提取提供了可行的深度学习方案。
2019-07-22 cs.CV cs.LG eess.IV
A Variational Latent-Space Framework for Uncertainty-Aware Spectral Image Emulation
univ-littoral(里弗拉尔大学)
提出基于潜在表示的高光谱模拟框架,支持光谱级和空间-光谱级模拟,通过变分自编码器与参数映射两步策略,在PROSAIL模拟数据和Sentinel-3 OLCI图像上优于传统回归方法,并保持下游参数反演性能。
2026-10-08 cs.CV cs.LG eess.IV
Physics-conforming Latent Twins
Emory University(埃默里大学);Clemson University(克莱姆森大学)
提出物理一致潜在对偶框架,通过联合学习编码器、解码器和潜在流映射,使潜在动力学满足守恒律、不变性和耗散结构,在保持代理模型预测精度的同时提高物理约束满足度和长期行为质量。
2026-06-25 cs.LG cs.NA math.NA
Exploring Physical Latent Spaces for High-Resolution Flow Restoration
LTCI, Télécom Paris, Institut Polytechnique de Paris(巴黎理工学院巴黎电信学院LTCI);Technical University of Munich(慕尼黑工业大学)
本文提出将PDE物理模拟自由度作为神经网络可自主修改的约简潜在空间,用于高分辨率流场恢复,并在多种流体场景中验证其性能提升。
2023-10-03 cs.LG
Discovering Latent Response Laws in Forced Physical Systems
Beijing University of Technology(北京工业大学);State Key Laboratory of Bridge Safety and Resilience(桥梁安全与韧性国家重点实验室)
研究强迫物理系统中潜在响应规律,提出FLARE方法,通过学习紧凑响应坐标等,能恢复强迫动力学并预测高维响应,还可将方程发现扩展到复杂观测系统,为可解释建模和预测提供途径。
2026-07-14 cs.LG
What Can Latent World Models Know? Physical Information in Multimodal Predictive Representations
New York University(纽约大学);Carnegie Mellon University(卡内基梅隆大学);Columbia University(哥伦比亚大学)
该研究通过可控实验揭示,隐式世界模型的目标函数结构决定其获取的物理参数,输入与预测目标分别限制和决定可获知的物理量,额外数据仅优化已获取的参数。
2026-09-29 cs.LG cs.RO
LaWM: Least Action World Models for Long-Horizon Physical Consistency from Visual Observations
University of Michigan(密歇根大学)
LaWM通过在视觉潜在空间中实现最小作用原理,提升长horizon视觉预测的物理一致性,改进了物理不变性、背景一致性、运动平滑度和外观几何预测指标。
2026-05-08 cs.AI cs.LG
Scene Representation Transformer: Geometry-Free Novel View Synthesis Through Set-Latent Scene Representations
Google(谷歌)
计算机视觉中的一个经典问题是从可以用于以交互速率呈现新颖视图的少数图像推断3D场景表示。以前的工作集中在重建预定义的3D表示,例如纹理网格,或隐式表示,例如辐射场,并且通常需要输入图像具有精确的相机姿态和每个新场景的长处理时间。在这项工作中,我们提出了场景表示Transformer(SRT),一种方法,处理构成或未构成的RGB图像的一个新的区域,推断出一个“设置潜在的场景表示”,并合成新的意见,所有在一个单一的前馈通过。为了计算场景表示,我们提出了一个概括的视觉Transformer的图像集,使全球信息集成,因此3D推理。高效的解码器Transformer通过参与场景表示来参数化光场以渲染新颖的视图。通过最小化新视图重建误差来监督端到端的学习。我们表明,这种方法在PSNR和速度方面优于合成数据集的最新基线,包括为本文创建的新数据集。此外,我们证明了SRT的规模,以支持交互式可视化和语义分割的真实世界的户外环境,使用街景图像。
2022-03-29 cs.AI cs.CV cs.GR
Exploring the Potential of Latent Embeddings for Sea Ice Characterization using ICESat-2 Data
University of Colorado Boulder(科罗拉多大学博尔德分校)
本研究针对ICESat-2海冰数据监督学习标签获取困难的问题,开发了基于LSTM和CNN的无监督自编码器提取潜在嵌入,并利用UMAP降维可视化,结果表明嵌入生成的紧凑聚类可减少所需标签样本数量。
2025-04-25 cs.LG physics.ao-ph
Physical Simulators as Do-Operators: Causal Discovery under Latent Confounders for AI-for-Science
Kyushu Institute of Technology(九州工业大学)
本文提出CFM-SD方法,利用物理模拟器作为do-运算符,解决AI-for-Science中潜在混杂因素和真实干预数据的因果发现问题,实验表明其在合成数据和真实科学数据中均表现出色。
2026-05-08 cs.AI cs.ET cs.LG
PhyRestore: Physics-Structured Latent-Factor Restoration
Adams State University(亚当斯州立大学)
针对物理因子受损时土壤流失变化估计困难的问题,提出物理结构化潜在因子恢复框架PhyRestore,通过恢复受损因子并利用RUSLE物理关系重建变化,在流域尺度评估中优于退化估计及多种模型,但联合损坏下优势减弱。
2026-09-18 cs.LG
Phys-Diff: A Physics-Inspired Latent Diffusion Model for Tropical Cyclone Forecasting
Phys-Diff通过结合物理启发的归纳偏置和多模态数据整合,提升热带气旋预测的物理一致性与性能
2026-02-28 cs.AI cs.LG
Kinematics-aware Trajectory Generation and Prediction with Latent Stochastic Differential Modeling
Northwestern University(西北大学);the University of Southampton(南安普顿大学)
提出将运动学知识集成到神经随机微分方程中并构建变分自编码器,以生成物理现实且精确可控的车辆轨迹,同时预测潜在空间中的不可观测物理变量。
2024-03-22 cs.LG cs.RO
Honest Physical-Support Inference after Latent Dictionary Learning: Collision Singularities and Minimax Resolution
Institute of Data Science and Information Computing, National Chung Hsing University(国立中兴大学数据科学与信息计算研究所)
研究潜在字典学习后对活跃物理射线的推断方法,通过高斯训练-测试实验,保留兼容字典剖析测试表示,投影到支持空间,刻画相关特性,产生真实分辨率自适应支持陈述并指导训练与测试测量分配。
2026-07-21 cs.LG math.ST stat.TH
Learning more physically realistic dynamics in machine-learning based weather forecasting with latent-space constraints
Department of Earth and Environmental Engineering, Columbia University(哥伦比亚大学地球与环境工程系);Learning the Earth with Artificial Intelligence and Physics (LEAP) Center, Columbia University(人工智能与物理联合地球学习中心(LEAP), 哥伦比亚大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);The Chinese University of Hong Kong(香港中文大学);Department of Computer Science and Technology, Tsinghua University(清华大学计算机科学与技术系)
本文提出通过隐空间约束改进天气预报模型,以捕捉多变量依赖关系,提升长期预报能力并保持物理真实性。
2026-05-16 cs.LG nlin.CD physics.ao-ph
Phys-JEPA: Physics-Informed Latent World Models for Multivariate Time-Series Forecasting
Tianjin University(天津大学)
提出Phys-JEPA架构,将物理一致性约束引入潜在状态和状态转移,分解预测状态为物理和残差分量,在气候、交通、电力数据集上提升预测精度。
2026-06-16 cs.AI cs.GT cs.LG