Pano2World: End-to-End 3D Generation via Unified Multi-View Sequences
Ke Holdings Inc.（贝壳找房）
提出Pano2World方法，利用全景扩散模型和视图感知注意力路由，从单张室内全景图直接生成可探索的三维高斯场景，解决多步管道误差累积和视频模型灵活性不足的问题。
2026-07-07 cs.AI cs.CV
DuLa-Net: A Dual-Projection Network for Estimating Room Layouts from a Single RGB Panorama
National Tsing Hua University（国立清华大学）；KAUST（沙特阿拉伯国王科技大学）
我们提出了一个称为DuLa-Net的深度学习框架，用于从单个RGB全景图预测曼哈顿世界的3D房间布局。为了实现更好的预测精度，我们的方法利用两个投影的全景，即等距矩形的天花板视图和透视天花板视图，每个包含不同的线索的房间布局。我们的网络架构由两个编码器-解码器分支组成，用于分析两个视图中的每一个。此外，提出了一种新的特征融合结构来连接这两个分支，然后联合训练来预测2D平面图和布局高度。为了了解更复杂的房间布局，我们引入了Realtor 360数据集，该数据集包含具有不同数量角的曼哈顿世界房间布局的样本。实验结果表明，我们的工作优于最近的国家的最先进的预测精度和性能，特别是在非长方体布局的房间。
2019-04-02 cs.CV
Indoor Heat Estimation from a Single Visible-Light Panorama
Carnegie Mellon University（卡内基梅隆大学）
提出利用成对室内外HDR全景图联合估计室内光照与温度分布的图像渲染方法，并通过红外热像验证，可支持物理可信的虚拟家居可视化。
2025-10-20 cs.CV
PanoWorld: Towards Spatial Supersensing in 360$^\circ$ Panorama World
Zhejiang University（浙江大学）；University of California, San Diego（加州大学圣地亚哥分校）；University of California, Irvine（加州大学伊维特分校）；The University of Hong Kong（香港大学）
本文提出PanoWorld，通过构建全景原生理解能力，解决传统多模态大模型在空间感知上的不足，通过全景空间交叉注意力机制提升3D空间推理能力，并建立PanoSpace-Bench基准测试，验证了全景原生监督的有效性。
2026-05-15 cs.AI cs.CV
CubeDiff: Repurposing Diffusion-Based Image Models for Panorama Generation
ETH Zürich（苏黎世联邦理工学院）；Google（谷歌公司）
提出CubeDiff方法，利用多视图扩散模型将立方体贴图的每个面视为标准透视图像，联合合成六面以生成高分辨率360°全景图，无需对应感知注意力层，在定性和定量上均达到最先进水平。
2025-01-28 cs.CV cs.LG
Graph-CoVis: GNN-based Multi-view Panorama Global Pose Estimation
George Mason University（乔治梅森大学）；Zillow Group（Zillow集团）
针对直立假设下360°全景图宽基线全局位姿估计问题，提出基于GNN的Graph-CoVis框架，将两视图相对位姿回归扩展为多视图全局估计，在ZInD数据集上达到与SOTA相当的性能。
2023-04-26 cs.CV
MVLayoutNet:3D layout reconstruction with multi-view panoramas
Riemann Lab, Huawei Technologies（华为技术有限公司黎曼实验室）；Wuhan University（武汉大学）
我们提出了MVLayoutNet，这是一个端到端的网络，用于从多视图图像进行整体3D重建。我们的核心贡献是无缝地结合学习单目布局估计和多视图立体视觉（MVS）在3D和图像空间中的准确布局重建。我们共同训练布局模块以产生初始布局，并训练新的MVS模块以获得精确的布局几何形状。与标准MVSNet [33]不同，我们的MVS模块采用新提出的布局成本量，将同一深度层的多视图成本聚合到相应的布局元素中。我们还提供了一个基于注意力的计划，指导MVS模块专注于结构区域。这样的设计考虑了局部像素级成本和全局整体信息，以实现更好的重建。实验表明，我们的方法在2D-3D-S [1]和ZInD [5]数据集上的深度rmse方面优于最先进的21.7%和20.6%。最后，我们的方法导致连贯的布局几何，使整个场景的重建。
2021-12-12 cs.CV
GeoPano: Towards Geometrically Accurate 3D Reconstruction from a Single Panorama
The Hong Kong University（香港大学）；The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；Sun Yat-sen University（中山大学）
GeoPano是一种前馈全景三维重建框架，通过全景感知注意力聚合器与混合监督策略，实现几何精确一致的点云重建，性能优于现有SOTA方法。
2026-10-16 cs.CV
HORIZON: High-Resolution Semantically Controlled Panorama Synthesis
Beihang University（北京航空航天大学）；Peking University（北京大学）；Langboat Technology（澜舟科技）
针对现有全景合成技术语义引导难、直接套用2D方法易失真的问题，提出HORIZON框架，通过球面建模解决畸变与边缘问题，支持图文语义控制与并行解码生成高分辨率全景，性能优于现有方法。
2024-01-27 cs.CV
MvFFN: Multi-view Floor plan Feed-forward Network for Unposed Wide-Baseline Panorama Layout Reconstruction
University of Washington（华盛顿大学）
针对从稀疏无姿态宽基线RGB全景图重建多房间平面图的难题，提出基于多视图有序墙实例分割（MOIS）的MvFFN模型，联合预测相机姿态、几何与语义，经布局链后处理得到高精度平面图，且引入专用数据集ZInD-CrossView。
2026-10-15 cs.AI cs.CV cs.LG
SSLayout360: Semi-Supervised Indoor Layout Estimation from 360-Degree Panorama
Flyreel AI Research（Flyreel人工智能研究院）
近年来，半监督学习和三维房间布局重建的研究蓬勃发展。在这项工作中，我们探索这两个领域的交叉点，以推进研究目标，使更准确的3D室内场景建模与更少的标记数据。我们提出了第一种方法来学习表示房间的角落和边界，通过使用标记和未标记的数据的组合，以改善布局估计在360度全景场景。通过大量的比较实验，我们证明了我们的方法可以提前布局估计复杂的室内场景使用少至20个标记的例子。当与在合成数据上预先训练的布局预测器相结合时，我们的半监督方法仅使用12%的标签就可以与完全监督的方法相匹配。我们的工作朝着稳健的半监督布局估计迈出了重要的第一步，该估计可以在有限的标记数据下实现3D感知中的许多应用。
2021-05-17 cs.CV cs.LG
Revolvable Indoor Panoramas Using a Rectified Azimuthal Projection
我们提出了一种算法，用于将室内球形全景图转换为具有模拟俯视图的照片。由此产生的图像将具有非常宽的视场，覆盖球面全景的4π球面度。我们认为，我们的方法补充了常用于“小行星”效应的赤平投影。赤平投影在创建室外场景的小行星时效果很好;而我们的方法非常适合室内场景。我们的方法的主要创新之处是引入了一种新的方位地图投影，它可以平滑地融合球极投影和朗伯方位等积投影。我们的投影有一个可调节的参数，允许一个控制和妥协之间的扭曲的形状和扭曲的大小在投影的全景。这个额外的控制参数使我们的投影能够产生优于球极投影的结果。
2016-05-02 cs.CV math.DG
Joint Learning of Blind Super-Resolution and Crack Segmentation for Realistic Degraded Images
Toyota Technological Institute (TTI)（丰田工业大学）
针对真实退化图像的裂缝分割任务，提出盲超分辨率与分割的端到端联合学习方法，新增两条路径促进二者互优化，实验证明其性能优于现有最优分割方法。
2024-02-25 cs.AI cs.CV eess.IV
Where am I looking at? Joint Location and Orientation Estimation by Cross-View Matching
Australian National University（澳大利亚国立大学）；Australian Centre for Robotic Vision（澳大利亚机器人视觉中心）；University of Technology Sydney（悉尼科技大学）
交叉视图地理定位是在给定地理标记的天线（例如，卫星）图像。现有的方法把任务作为一个纯粹的位置估计问题，通过学习判别特征描述符，但忽略方向对齐。众所周知，知道地面和空中图像之间的取向可以显著减少这两个视图之间的匹配模糊性，特别是当地面图像具有有限的视场（FoV）而不是全视场全景时。因此，我们设计了一个动态相似度匹配网络来估计跨视图定位过程中的方向对齐。特别是，我们解决了跨视图域间隙通过应用极坐标变换的空间图像近似对齐的图像到一个未知的方位角。然后，使用双流卷积网络从地面和极坐标变换的航空图像中学习深度特征。最后，通过计算交叉视图特征之间的相关性来获得方向，这也提供了更准确的特征相似性度量，提高了位置召回率。标准数据集上的实验表明，我们的方法显着提高了最先进的性能。值得注意的是，我们将CVUSA数据集上的前1位位置召回率提高了1.5倍，对于具有已知方向的Cumarmas，提高了3.3倍，对于具有未知方向的Cumarmas，提高了6倍。
2020-05-08 cs.CV
SAP: Segment Any 4K Panorama
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；LIGHTSPEED；The Hong Kong University of Science and Technology（香港科技大学）；The University of Hong Kong（香港大学）
本文提出SAP模型，通过将全景分割转化为固定轨迹视角视频分割，实现4K高分辨率全景实例分割，合成183440张4K全景图像并提升零样本mIoU性能。
2026-03-13 cs.CV
360DVD: Controllable Panorama Video Generation with 360-Degree Video Diffusion Model
School of Electronic and Computer Engineering, Peking University（北京大学电子与计算机工程学院）；Peking University Shenzhen Graduate School（北京大学深圳研究生院）
针对360度全景视频采集昂贵且通用T2V模型难以适配的问题，本文提出360DVD流程，利用轻量级360-Adapter和增强技术改造预训练模型，并构建WEB360数据集实现可控全景视频生成。
2024-05-10 cs.CV
Joint-SRVDNet: Joint Super Resolution and Vehicle Detection Network
National Institute of Standards and Technology（美国国家标准与技术研究院）；Colorado State University（科罗拉多州立大学）；West Virginia University（西弗吉尼亚大学）；University of Nebraska-Lincoln（内布拉斯加大学林肯分校）；Georgia Institute of Technology（佐治亚理工学院）；Twentieth Century Fox（二十世纪福克斯）；Starfleet Academy（星际舰队学院）；Tyrell Inc.（泰伦公司）
在许多国内和军事应用中，飞行器检测和超分辨率算法经常被独立开发和应用。然而，由于超分辨率图像中缺乏区分信息，因此在超分辨率图像上进行飞行器检测仍然是一项具有挑战性的任务。为了解决这个问题，我们提出了一个联合超分辨率和车辆检测网络（联合SRVDNet），试图从低分辨率的航空图像中生成有区别的，高分辨率的车辆图像。首先，使用多尺度生成对抗网络（MsGAN）将航空图像放大4倍，该网络具有多个中间输出，分辨率不断增加。其次，在使用MsGAN架构放大4倍的超分辨率图像上训练检测器，最后，将检测损失与超分辨率损失一起最小化，以鼓励目标检测器对后续的超分辨率训练敏感。该网络联合学习目标的分层和区分特征，并产生最佳的超分辨率结果。我们执行定量和定性评估我们提出的网络上VEDAI，xView和DOTA数据集。实验结果表明，与现有的4倍放大倍数的航空超分辨率方法相比，本文提出的框架实现了更好的视觉质量，提高了车辆检测的准确性.
2020-05-03 cs.CV
Confidence-aware Levenberg-Marquardt optimization for joint motion estimation and super-resolution
Pattern Recognition Lab, Friedrich-Alexander-Universit\"at Erlangen-N\"urnberg, Erlangen, Germany
跨低分辨率帧的运动估计和高分辨率图像的重建是多帧超分辨率的两个耦合子问题。本文介绍了一种新的运动估计和图像重建的联合优化方法，以解决这种相互依赖性。我们的方法是通过非线性最小二乘优化，并结合了两个原则的鲁棒超分辨率。首先，为了提高联合估计的鲁棒性，我们提出了一个置信度感知的能量最小化框架与稀疏正则化增强。其次，我们开发了一个量身定制的Levenberg-Marquardt迭代方案，以联合估计运动参数和高分辨率图像以及相应的模型置信度参数。我们的模拟和真实图像上的实验证实，所提出的方法优于解耦运动估计和图像重建，以及相关的国家的最先进的联合估计算法。
2016-09-06 cs.CV
Deep Lighting Environment Map Estimation from Spherical Panoramas
Information Technologies Institute (ITI), Centre for Research and Technology Hellas (CERTH)（希腊研究与技术中心信息技术研究所）；Universidad Politécnica de Madrid (UPM)（马德里理工大学）
当在真实环境中合成合成内容时，估计场景的照明是一项非常重要的任务，并应用于混合现实和后期制作。在这项工作中，我们提出了一个数据驱动的模型，估计一个HDR照明环境地图从一个单一的LDR单目球面全景。除了是一个具有挑战性和不适定的问题之外，照明估计任务还受到缺乏简易照明地面实况数据的影响，这一事实阻碍了数据驱动方法的适用性。我们处理这个问题的不同，利用表面几何的可用性，采用基于图像的重新照明作为数据生成器和监督机制。这依赖于一个全局朗伯假设，帮助我们克服与预烤照明相关的问题。我们重新照亮我们的训练数据，并通过基于可微图像的重新照亮技术实现光度损失来补充模型的监督。最后，由于我们预测球形谱系数，我们表明，通过对预测系数施加分布先验，我们可以大大提高性能。代码和模型可在https://vcl3d.github.io/DeepPanoramaLighting上获得。
2020-05-16 cs.CV cs.GR
Deep Residual Network for Joint Demosaicing and Super-Resolution
IC, EPFL（瑞士洛桑联邦理工学院（EPFL）集成电路实验室（IC））
在数字摄影中，两个图像复原任务已经被广泛研究并独立解决：去马赛克和超分辨率。这两个任务都与相机的分辨率限制有关。对去马赛克图像执行超分辨率只会加剧由去马赛克引入的伪像。在本文中，我们表明，这种积累的错误可以很容易地避免联合执行去马赛克和超分辨率。为此，我们提出了一个深度残差网络，用于学习Bayer图像和高分辨率图像之间的端到端映射。通过对高质量样本进行训练，我们的深度残差去马赛克和超分辨率网络能够在单步的中从低分辨率Bayer马赛克中恢复高质量的超分辨率图像，而不会产生这两种操作分开进行时常见的伪影。我们进行了大量的实验，以表明我们的深度残差网络实现了去马赛克和超分辨率图像，无论是在定性还是在PSNR和SSIM指标方面，都优于最先进的图像。
2018-02-19 cs.CV
Single-Shot Cuboids: Geodesics-based End-to-end Manhattan Aligned Layout Estimation from Spherical Panoramas
Centre for Research and Technology Hellas（希腊研究与技术中心）
已经表明，全局场景理解任务（如布局估计）可以受益于更宽的视场，特别是球形视场。虽然最近取得了很大进展，但所有以前的方法都依赖于中间表示和后处理来产生与曼哈顿一致的估计。在这项工作中，我们将展示如何在单次拍摄中估计整个房间的布局，从而无需进行后处理。我们的工作是第一个直接推断曼哈顿对齐输出。为了实现这一目标，我们的数据驱动模型利用直接坐标回归，并进行端到端的监督。因此，我们可以显式地添加准曼哈顿约束，这为基于单应性的曼哈顿对齐模块设置了必要条件。最后，我们介绍了测地线热图和损失以及边界感知质心计算，这些计算有助于在球形域中进行更高质量的关键点估计。我们的模型和代码可在www.example.com上公开获取。
2021-02-09 cs.CV cs.LG
Luminance Attentive Networks for HDR Image and Panorama Reconstruction
School of Computer Science, Wuhan University（武汉大学计算机学院）；JD Finance America Corporation（京东金融美国公司）；SRI International（斯坦福国际研究院）
从低动态范围（LDR）图像重建高动态范围（HDR）图像是一个非常具有挑战性的不适定问题。本文提出了一种亮度关注的网络命名为LANet的HDR重建从一个单一的LDR图像。我们的方法基于两个基本观察：（1）以相对亮度存储的HDR图像是尺度不变的，这意味着HDR图像在乘以任何正实数时将保持相同的信息。基于这一观察，我们提出了一种新的归一化方法，称为“HDR校准”的HDR图像存储在相对亮度，校准HDR图像到一个类似的亮度尺度根据LDR图像。(2)HDR图像和LDR图像之间的主要区别在于曝光不足/过度的区域，特别是那些突出显示的区域。根据这一观察，我们提出了一个亮度注意模块与两个流结构的LANet更加关注曝光不足/过度的地区。此外，我们提出了一种扩展的panoLANet网络，用于从LDR全景图重建HDR全景图，并为panoLANet构建了一种双网络结构，以解决等矩形全景图引起的失真问题。大量的实验表明，我们提出的方法LANet可以重建视觉上令人信服的HDR图像，并证明其优越性的国家的最先进的方法在逆色调映射的所有指标。基于图像的照明应用程序与我们提出的panoLANet也表明，我们的方法可以模拟自然场景照明，仅使用LDR全景。我们的源代码可在https://github.com/LWT3437/LANet上获得。
2021-09-14 cs.CV eess.IV
Learning Super-Resolution Jointly from External and Internal Examples
Beckman Institute, University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校贝克曼研究所）；Adobe Systems Inc（奥多比系统公司）
单图像超分辨率（SR）的目的是从低分辨率（LR）输入中估计出高分辨率（HR）图像。图像先验通常被学习来正则化严重不适定的SR问题，无论是使用外部LR-HR对还是内部相似模式。我们提出联合SR自适应地结合外部和内部SR方法的优点。我们定义了两个损失函数使用稀疏编码的外部例子，和基于内部的例子，以及相应的自适应权重，自动平衡其贡献，根据其重建误差的表位匹配。广泛的SR结果表明，所提出的方法的有效性超过现有的国家的最先进的方法，也验证了我们的主观评价研究。
2015-06-16 cs.CV
Joint Dictionary Learning for Example-based Image Super-resolution
Sharif University of Technology（谢里夫理工大学）；Ferdowsi University of Mashhad（马什哈德菲尔多西大学）
本文提出了一种新的基于样本的图像超分辨率（SR）的联合字典学习方法。低分辨率（LR）字典是从一组LR样本图像块训练的。使用这些LR补丁在LR字典上的稀疏表示系数，通过最小化HR样本补丁的重建误差来训练高分辨率（HR）字典。这里使用的误差标准是均方误差。通过这种方式，我们保证了HR补丁在HR字典上具有与LR补丁在LR字典上相同的稀疏表示，同时，这些稀疏表示可以很好地重建HR补丁。仿真结果表明，我们的方法相比，最先进的SR算法的有效性。
2017-01-12 cs.CV
Joint Video Enhancement with Deblurring, Super-Resolution, and Frame Interpolation Network
KAIST（韩国科学技术院）
本文提出DSFN网络，通过联合去模糊与超分辨率模块和三帧帧插值模块，从低质量视频直接生成高分辨率、高帧率清晰视频，在公开数据集上以更小网络规模和更快速度超越顺序式方法。
2025-06-04 cs.CV
MCPDepth: Omnidirectional Depth Estimation via Stereo Matching from Multi-Cylindrical Panoramas
Washington University in St. Louis（华盛顿大学圣路易斯分校）；The Chinese University of Hong Kong（香港中文大学）；ShanghaiTech University（上海科技大学）；University of California, Los Angeles（加州大学洛杉矶分校）
提出MCPDepth两阶段框架，通过圆柱全景图的立体匹配和融合，利用循环注意力模块处理垂直畸变，在标准网络组件上实现高效的全方位深度估计，在Deep360和3D60数据集上MAE分别降低18.8%和19.9%。
2026-05-30 cs.CV
Joint High Dynamic Range Imaging and Super-Resolution from a Single Image
Seoul National University（首尔大学）；Samsung Electronics Co. Ltd（三星电子株式会社）
本文提出了一种新的框架，联合提高分辨率和动态范围的图像，即，同时超分辨率（SR）和高动态范围成像（HDRI），基于卷积神经网络（CNN）。从这两个任务的共同趋势出发，我们通过专注于高频细节的重建，为联合HDRI和SR训练训练一个CNN。具体地说，我们工作中的高频分量是根据基于Retinex的图像分解的反射分量，并且只有反射分量由CNN操纵，而另一个分量（照明）以常规方式处理。在训练CNN时，我们设计了一个适当的损失函数，该函数有助于提高所得图像的自然度质量。实验表明，该算法的性能优于基于CNN的SR和HDRI的级联实现。
2019-05-02 cs.CV eess.IV
SyncDiffusion: Coherent Montage via Synchronized Joint Diffusions
KAIST（韩国科学技术院）
本文提出SyncDiffusion，一种即插即用模块，通过感知相似性损失的梯度下降同步多个扩散过程，解决多窗口联合扩散生成蒙太奇时场景不连贯的问题，并在保真度和提示兼容性上取得显著提升。
2023-10-29 cs.CV
Deep SR-ITM: Joint Learning of Super-Resolution and Inverse Tone-Mapping for 4K UHD HDR Applications
Korea Advanced Institute of Science and Technology（韩国科学技术院）
最近的现代显示器现在能够呈现高达8 K UHD（超高清）的高动态范围（HDR）、高分辨率（HR）视频。因此，UHD HDR广播和流媒体已经成为高质量的优质服务。然而，由于原始UHD HDR视频内容的缺乏，迫切需要合适的转换技术将传统的低分辨率（LR）标准动态范围（SDR）视频转换为UHD HDR版本。在本文中，我们提出了一个联合超分辨率（SR）和逆色调映射（ITM）框架，称为Deep SR-ITM，它学习从LR SDR视频到HR HDR版本的直接映射。联合SR和ITM是一项复杂的任务，其中必须为SR恢复高频细节，同时为ITM恢复局部对比度。我们的网络能够通过分解输入图像并专注于单独的基础（低频）和细节（高频）层来恢复细节。此外，所提出的调制块应用位置变化操作来增强局部对比度。深度SR-ITM显示出良好的主观质量，增加了对比度和细节，优于以前的联合SR-ITM方法。
2019-08-31 cs.CV eess.IV
Task Transformer Network for Joint MRI Reconstruction and Super-Resolution
Harbin Institute of Technology（哈尔滨工业大学）；Inception Institute of Artificial Intelligence（起源人工智能研究院）；Nanjing Medical University（南京医科大学）
磁共振成像（MRI）的核心问题是加速度和图像质量之间的权衡。图像重建和超分辨率是磁共振成像（MRI）中的两项关键技术。目前的方法被设计为单独执行这些任务，忽略了它们之间的相关性。在这项工作中，我们提出了一个端到端的任务Transformer网络（T $^2$ Net）的联合MRI重建和超分辨率，它允许表示和特征传输之间共享多个任务，以实现更高质量，超分辨率和运动伪影免费图像从高度欠采样和退化的MRI数据。我们的框架结合了重建和超分辨率，分为两个子分支，其特征表示为查询和键。具体来说，我们鼓励两个任务之间的联合特征学习，从而传递准确的任务信息。我们首先使用两个独立的CNN分支来提取特定于任务的特征。然后，设计了任务转换器Transformer模块，用于嵌入和综合两个任务之间的相关性。实验结果表明，我们的多任务模型显着优于先进的顺序方法，定量和定性。
2021-12-15 cs.CV eess.IV
JDSR-GAN: Constructing An Efficient Joint Learning Network for Masked Face Super-Resolution
Nanjing University of Posts and Telecommunications（南京邮电大学）；Soochow University（苏州大学）；Kyushu Institute of Technology（九州工业大学）；Nanjing University of Science and Technology（南京理工大学）
随着预防COVID-19病毒的重要性日益增加，在大多数视频监控场景中获得的人脸图像是低分辨率的，同时具有掩模。然而，大多数以前的人脸超分辨率解决方案不能在一个模型中处理这两个任务。在这项工作中，我们把掩模遮挡图像噪声，并建立一个联合和协作学习网络，称为JDSR-GAN，面具的脸超分辨率任务。给定一幅带有面具的低质量人脸图像作为输入，由去噪模块和超分辨率模块组成的生成器的作用是获得高质量的高分辨率人脸图像。该算法利用精心设计的损失函数来保证恢复的人脸图像的质量。此外，我们将身份信息和注意力机制融入到我们的网络中，以实现可行的相关特征表达和信息特征学习。通过联合执行去噪和人脸超分辨率，这两个任务可以相互补充，并获得有前途的性能。大量的定性和定量结果表明，我们提出的JDSR-GAN优于一些类似的方法，分别执行前两个任务。
2023-01-30 cs.CV eess.IV
Toward 360-Degree Indoor Panorama Editing via Tuning-Free Diffusion Model with Refocusing Cross-Attention
提出FocusDiff框架，通过重聚焦交叉注意力实现免调优的精确区域编辑，并扩展到360度室内全景编辑，在局部编辑基准LIMB上优于现有零样本方法。
2026-06-15 cs.CV
Joint convolutional neural pyramid for depth map super-resolution
Hunan University（湖南大学）；College of Computer Science and Electronic Engineering（计算机科学与电子工程学院）；College of Electric and Information Engineering（电气与信息工程学院）
高分辨率深度图可以在同一场景的附加高分辨率纹理图的指导下从低分辨率深度图推断。最近，具有大感受野的深度神经网络被证明有益于图像完成等应用。我们的见解是，超分辨率类似于图像完成，其中只有部分深度值是精确已知的。在本文中，我们提出了一个联合卷积神经金字塔模型与大的感受野联合深度图超分辨率。我们的模型由三个子网络组成，两个卷积神经金字塔由一个普通的卷积神经网络连接起来。卷积神经金字塔从深度图和引导图的大感受野提取信息，而卷积神经网络有效地将引导图像的有用结构转移到深度图像。实验结果表明，我们的模型优于现有的最先进的算法，不仅对RGB/深度图像的数据对，而且对其他数据对，如颜色/显着性和颜色涂鸦/彩色图像。
2018-01-03 cs.CV cs.GR
PanSplat: 4K Panorama Synthesis with Feed-Forward Gaussian Splatting
Monash University（莫纳什大学）；Building 4.0 CRC（4.0建筑合作研究中心）；ETH Zurich（苏黎世联邦理工学院）
针对现有全景视图合成方法分辨率受限的问题，提出PanSplat前馈方法，通过定制球面3D高斯金字塔与内存高效训练流水线，实现4K分辨率全景合成，在多数据集上取得SOTA效果。
2025-03-23 cs.CV
Joint Spatial and Angular Super-Resolution from a Single Image
Inha University（仁荷大学）
从单个图像合成密集采样的光场对于许多应用来说非常有益。此外，联合解决角度和空间超分辨率问题也为光场成像带来了新的可能性。传统的方法依赖于基于物理的渲染和二级网络来解决角度超分辨率问题。此外，基于像素的损失限制了网络全局推断场景几何形状的能力。在本文中，我们证明了这两个超分辨率问题可以通过提出一个不需要基于物理的方法的单一端到端深度神经网络来从单个图像中联合解决。提出了两种基于已知光场域知识的损失函数，使网络能够保持子孔径图像之间的空间-角度一致性。实验结果表明，该模型成功地合成了密集的高分辨率光场，它优于国家的最先进的方法在定量和定性标准。该方法可以推广到任意场景，而不是集中在一个特定的主题。合成光场可用于各种应用，例如深度估计和重新聚焦。
2020-06-27 cs.CV eess.IV
Frame-to-Panorama Localization and Context-Aware Sampling for Scene-Specific Ship Detection in a Smart Marina Testbed
University of Nicosia（尼科西亚大学）；Cyprus Marine and Maritime Institute（塞浦路斯海洋与海事研究所）
本文提出一种帧到全景定位与上下文感知采样流水线，将历史PTZ海事视频缩减为紧凑训练集，用于场景特定船舶检测，在智能游艇码头测试平台中实现99.5%数据缩减和94.78%的AP50。
2026-09-25 cs.AI cs.CG cs.CV
Pano2Room: Novel View Synthesis from a Single Indoor Panorama
Wangxuan Institute of Computer Technology, Peking University（北京大学王选计算机研究所）
提出Pano2Room方法，通过全景RGBD修复器迭代细化初步网格并收集伪新视角，结合3D Gaussian Splatting训练，从单张室内全景图实现高质量3D场景重建与新视角合成。
2024-08-27 cs.CV cs.GR
PanoDR: Spherical Panorama Diminished Reality for Indoor Scenes
Centre for Research and Technology Hellas（希腊研究与技术中心）
商业$360^\circ$相机的普及使室内扫描变得大众化，增加了人们对新颖应用的兴趣，例如室内空间重新设计。减少现实（DR）满足了这些应用程序的要求，删除场景中的现有对象，基本上将其转换为反事实修复任务。虽然数据驱动修复的最新进展在生成真实样本方面取得了重大进展，但它们并不局限于生成具有真实映射结构的结果。为了在室内（重新）规划应用中保持“真实性”，场景的结构保护至关重要。为了确保结构感知的反事实修复，我们提出了一种模型，该模型最初预测室内场景的结构，然后使用它来指导同一场景的空-仅背景-表示的重建。我们训练和其他国家的最先进的方法对DR修改的Structured3D数据集的一个版本进行比较，在定量指标和定性结果显示出优越的结果，但更有趣的是，我们的方法表现出更快的收敛速度。代码和型号可在www.example.com上获得。
2021-06-01 cs.CV
Holi-Spatial 360: Generative Reconstruction from Sparse Panoramas for Spatial Rendering and Intelligence
The Hong Kong University of Science and Technology（香港科技大学）；ShanghaiTech University（上海科技大学）；Tencent（腾讯）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）；The University of Tokyo（东京大学）；Northwestern Polytechnical University（西北工业大学）；Shanghai Jiao Tong University（上海交通大学）
本文提出 Holi-Spatial 360 框架，将房产平台稀疏全景图转为带注释多房间 3D 环境，构建含海量数据的 Holi360 基准，可提升 VLM 空间推理与重建整理质量。
2026-10-14 cs.CV
PERF: Panoramic Neural Radiance Field from a Single Panorama
S-Lab, Nanyang Technological University（南洋理工大学S-Lab）；The University of Hong Kong（香港大学）；Texas A&M University（德克萨斯A&M大学）
本文提出PERF框架，通过协作式RGBD修复和渐进式修复与擦除方法，从单张全景图重建可漫游的全景神经辐射场，在Replica和PERF-in-the-wild数据集上优于现有方法。
2023-10-28 cs.CV cs.GR cs.LG
FARSA: Fully Automated Roadway Safety Assessment
University of Kentucky（肯塔基大学）；Kentucky Transportation Center（肯塔基交通中心）
本文论述了道路安全评价的任务。在美国进行这种评估的一种新方法是通过美国道路评估方案，该方案将道路从最高风险（1星）到最低风险（5星）进行评级。获得这些评级需要在街道级别的地图中手动、细粒度地标记道路特征，这是一个缓慢而昂贵的过程。我们建议使用深度卷积神经网络来自动化这个过程，该网络直接从街道级全景图中估计星级，测试时每张图像需要毫秒。我们的网络还估计了许多其他道路级别的属性，包括曲率、路边危险和中间带的类型。为了支持这一点，我们结合了特定于任务的注意力层，这样网络就可以专注于对特定任务最有用的全景区域。我们在来自美国两个州的真实图像的大型数据集上评估了我们的方法。我们发现，结合额外的任务，并使用半监督训练方法，显着减少了过拟合问题，使我们能够优化网络的更多层，并导致更高的准确性。
2019-01-17 cs.CV
HoloDreamer: Holistic 3D Panoramic World Generation from Text Descriptions
Peking University（北京大学）；Peng Cheng Laboratory（鹏城实验室）
针对现有文本驱动3D场景生成中基于外绘方法导致的全局不一致和完整度低的问题，提出HoloDreamer框架，通过生成高清全景图作为整体初始化并结合3D Gaussian Splatting快速重建，实现了视觉一致且完全封闭的高质量3D场景生成。
2024-07-21 cs.CV cs.GR
LGT-Net: Indoor Panoramic Room Layout Estimation with Geometry-Aware Transformer Network
East China Normal University（华东师范大学）；Yiwo Technology（易沃科技）
使用深度神经网络通过单个全景图进行3D房间布局估计已经取得了很大进展。然而，以前的方法不能获得有效的几何感知的房间布局与唯一的纬度的边界或水平深度。我们提出，使用水平深度随着房间高度可以获得全向几何意识的房间布局在水平和垂直方向。此外，我们提出了一个平面几何感知的损失函数与法线和法线的梯度，以监督墙壁的平面度和拐角的转折。我们提出了一个有效的网络，LGT-Net，房间布局估计，其中包含一个新的Transformer架构称为SWG-Transformer模型的几何关系。SWG-Transformer由（移位）窗口块和全局块组成，以结合局部和全局几何关系。此外，我们设计了一种新的相对位置嵌入的Transformer，以提高空间识别能力的全景。实验结果表明，建议的LGT-Net取得了更好的性能比当前的最先进的（SOTA）的基准数据集。
2022-03-25 cs.CV
OmniCoT: A Benchmark for Global and Multi-Step Panoramic Reasoning
MBZUAI；Shanghai AI Lab（上海人工智能实验室）
提出OmniCoT基准，通过链式思维标注和两阶段训练策略，增强多模态大模型在全景图像中的全局多步推理能力。
2026-06-29 cs.CV
Bending Reality: Distortion-aware Transformers for Adapting to Panoramic Semantic Segmentation
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；ByteDance Inc.（字节跳动公司）；Carl Zeiss AG（卡尔·蔡司股份公司）
具有360度方向视图的全景图像包含关于周围空间的详尽信息，为场景理解提供了丰富的基础。为了以强大的全景分割模型的形式展现这种潜力，大量昂贵的像素级注释对于成功至关重要。这样的注释是可用的，但主要用于窄角度的针孔相机图像，这些图像是现成的，用作训练全景模型的次优资源。360度全景图中的失真和独特的图像特征分布阻碍了从注释丰富的针孔域的传输，因此在性能上有很大的影响。为了解决这个领域的差异，并将针孔和360度环绕视觉的语义注释结合在一起，我们建议在可变形补丁嵌入（DPE）和可变形MLP（DMLP）组件中学习对象变形和全景图像失真，这些组件融入我们的PAnoramic语义分割（trans4PASS）模型的Transformer。最后，我们通过生成多尺度原型特征并将它们对齐到我们的互原型自适应（MPA）中以进行无监督领域自适应，将针孔和全景特征嵌入中的共享语义联系在一起。在室内Stanford2D3D数据集上，我们的带MPA的Trans4PASS保持了与完全监督的最先进技术相当的性能，减少了对1，400多个标记的数据集的需求。在室外DensePASS数据集上，我们打破了14.39% mIoU的最新水平，并将新标准设置为56.38%。代码将在https://github.com/jamycheung/Trans4PASS上公开。
2022-03-17 cs.CV cs.RO eess.IV
VideoPanda: Video Panoramic Diffusion with Multi-view Attention
NVIDIA（英伟达）
针对虚拟现实中高分辨率全景视频采集困难的问题，提出VideoPanda方法，通过多视角注意力层增强视频扩散模型，联合训练文本和单视角视频条件，支持长视频自回归生成，在真实与合成数据集上生成更逼真连贯的360°全景视频。
2025-04-17 cs.AI cs.CV cs.GR
MC-JEPA: A Joint-Embedding Predictive Architecture for Self-Supervised Learning of Motion and Content Features
Meta AI；Inria（法国国家信息与自动化研究所）；École normale supérieure（巴黎高等师范学院）；CNRS（法国国家科学研究中心）；PSL Research University（巴黎文理研究大学）；Courant Institute, New York University（纽约大学柯朗研究所）；Center for Data Science, New York University（纽约大学数据科学中心）
提出MC-JEPA联合嵌入预测架构，通过共享编码器联合学习光流与内容特征，实现两类任务性能比肩现有方法，得到融合运动信息的内容特征。
2023-07-24 cs.AI cs.CV cs.LG
Joint-bone Fusion Graph Convolutional Network for Semi-supervised Skeleton Action Recognition
近年来，图卷积网络（GCN）在基于卷积的人体动作识别中发挥着越来越重要的作用。然而，大多数基于GCN的方法仍然存在两个主要的局限性：1）它们只考虑关节的运动信息或单独处理关节和骨骼，这无法充分挖掘关节和骨骼之间潜在的功能相关性用于动作识别。2)这些工作大多是在监督学习的方式，这在很大程度上依赖于大量的标记训练数据。为了解决这些问题，我们提出了一个半监督的基于candicon的动作识别方法，以前很少利用。我们设计了一种新的相关驱动的关节-骨骼融合图卷积网络（CD-JBF-GCN）作为编码器，使用位姿预测头作为解码器来实现半监督学习。具体地，CD-JBF-GC可以探索关节流和骨流之间的运动传输，从而促进两个流学习更多的区别性特征表示。在自监督训练阶段，基于姿态预测的自动编码器允许网络从未标记的数据中学习运动表示，这对于动作识别至关重要。在NTU-RGB+D和Kinetics-Skeleton两个流行数据集上进行的大量实验表明，我们的模型在半监督的基于动作的动作识别方面达到了最先进的性能，并且对于全监督方法也很有用。
2022-02-08 cs.CV
Simultaneous Super-Resolution and Cross-Modality Synthesis of 3D Medical Images using Weakly-Supervised Joint Convolutional Sparse Coding
The University of Sheffield（谢菲尔德大学）；University of East Anglia（东英吉利大学）
磁共振成像（MRI）提供高分辨率的\emph{in vivo}成像以及丰富的功能和解剖多模态组织对比度。然而，在实践中，存在与考虑扫描成本、患者舒适度和扫描时间相关的挑战，这些挑战限制了在临床或研究中可以获取多少数据。在本文中，我们探讨了从低分辨率单模态图像生成高分辨率和多模态图像的可能性。我们提出了弱监督联合卷积稀疏编码，同时解决了超分辨率（SR）和跨模态图像合成的问题。学习过程只需要几个注册的多模态图像对作为训练集。此外，可以使用较大的未配对图像集合来提高联合字典学习的质量。为了组合来自不同图像分辨率/模态的未配对数据，提出了异域图像对准项。通过对整个图像域（与图像块相对）进行操作并使用联合卷积稀疏编码来自然地保留局部图像邻域。配对的图像在联合学习过程中与未配对的数据和一个额外的最大平均差异项，这最大限度地减少了它们的特征分布之间的差异增强。实验表明，该方法优于国家的最先进的技术，在SR重建和同步SR和跨模态合成。
2017-05-07 cs.CV
Joint Superpixel and Self-Representation Learning for Scalable Hyperspectral Image Clustering
Department of Telecommunications and Information Processing（电信与信息处理系）；Ghent University（根特大学）；Royal Institute for Cultural Heritage (KIK-IRPA)（皇家文化遗产研究院）；School of Computer Science（计算机科学学院）；China University of Geosciences（中国地质大学）
提出端到端联合优化超像素分割与子空间聚类的框架，通过展开 ADMM 自表示网络反馈引导可微超像素模块，提升高光谱图像聚类的可扩展性与准确率。
2025-09-28 cs.CV
Joint Learning of Saliency Detection and Weakly Supervised Semantic Segmentation
Dalian University of Technology（大连理工大学）
现有的弱监督语义分割（WSSS）方法通常利用预先训练的显著性检测（SD）模型的结果，而没有明确地对两个任务之间的连接建模，这不是最有效的配置。在这里，我们提出了一个统一的多任务学习框架，使用单个网络，\ie显着性和分段网络（SSNet）联合解决WSSS和SD。SSNet由分割网络（SN）和显着性聚合模块（SAM）组成。对于输入图像，SN生成分割结果，SAM预测每个类别的显著性，并将所有类别的分割掩码聚合到显著性图中。所提出的网络是用图像级类别标签和与类别无关的像素级显著性标签进行端到端训练的。在PASCAL VOC 2012分割数据集和四个显著性基准数据集上的实验表明，我们的方法的性能优于最先进的弱监督分割方法和全监督显著性检测方法。
2019-09-09 cs.CV
A high-precision underwater object detection based on joint self-supervised deblurring and improved spatial transformer network
North University of China（中北大学）
基于深度学习的水下目标检测（UOD）仍然是一个主要挑战，这是由于能见度下降以及难以获得从各种视角捕获的足够的水下目标图像用于训练。针对这些问题，提出了一种基于联合自监督去模糊和改进空间Transformer网络的高精度UOD方法。在所设计的多任务学习辅助目标检测体系结构中引入自监督去模糊子网络，强制共享特征提取模块为检测子网络输出干净的特征。针对不同视角照片不足的局限性，设计了一种基于视角变换的改进空间Transformer网络，自适应地丰富网络中的图像特征。实验结果表明，该方法在URPC2017和URPC2018上分别获得了47.9 mAP和70.3 mAP的性能，优于许多现有的UOD方法，表明该方法更适合UOD。
2022-03-09 cs.CV
Spatiotemporal Decouple-and-Squeeze Contrastive Learning for Semi-Supervised Skeleton-based Action Recognition
Nanjing University of Science and Technology（南京理工大学）
对比学习已被成功地利用来学习动作表示，以解决基于半监督模型的动作识别问题。然而，大多数基于对比学习的方法只对混合时空信息的全局特征进行对比，混淆了帧级和关节级反映不同语义的时空特定信息。因此，我们提出了一种新的时空解耦和挤压对比学习（SDS-CL）框架，全面学习更丰富的表示基于动作的联合对比空间压缩功能，时间压缩功能，和全局功能。在SDS-CL中，我们设计了一种新的时空解耦的内部-内部注意（SIIA）机制，通过计算关节/运动特征之间的空间和时间解耦的内部注意映射，以及关节和运动特征之间的空间和时间解耦的内部注意映射，来获得时空解耦的注意特征，以捕获时空特定的信息。此外，我们提出了一个新的空间压缩时间对比损失（STL），一个新的时间压缩空间对比损失（TSL），和全局对比损失（GL）的对比空间压缩关节和运动特征在帧水平，时间压缩关节和运动特征在关节水平，以及全局关节和运动特征在骨架水平。在四个公共数据集上的实验结果表明，与其他竞争性方法相比，SDS-CL算法具有更好的性能.
2023-02-05 cs.CV
Joint Semi-supervised 3D Super-Resolution and Segmentation with Mixed Adversarial Gaussian Domain Adaptation
MRC London Institute of Medical Sciences（MRC伦敦医学科学研究所）；Imperial College London（帝国理工学院）；National Heart Research Institute Singapore（新加坡国家心脏研究所）；National Heart Center Singapore（新加坡国家心脏中心）；Technical University of Munich（慕尼黑工业大学）
优化心脏结构和功能的分析需要精确的形状和运动的3D表示。然而，诸如心脏磁共振成像的技术传统上限于采集具有低的通过平面分辨率和潜在的切片间空间未对准的连续横截面切片。医学成像中的超分辨率旨在提高图像的分辨率，但传统上是在来自低分辨率数据集的特征上训练的，并且不对相应的分割进行超分辨率。在这里，我们提出了一个半监督多任务生成对抗网络（Gemini-GAN），它使用高分辨率3D电影和分割的地面真实值来执行图像及其标签的联合超分辨率，而无监督变分对抗混合自动编码器（V-AMA）用于连续域自适应。我们提出的方法是广泛的两个跨国多种族人口的1,331和205成年人分别进行评估，提供了一个改进的最先进的方法方面的骰子指数，峰值信噪比，和结构相似性指数的措施。该框架还超过了外部验证的最新生成域自适应模型的性能（Dice指数为0.81，左心室为0.74）。这展示了联合超分辨率和分割如何在具有跨域泛化的3D地面实况数据上进行训练，从而在不同人群中实现强大的精确表型分析。
2021-07-16 cs.CV eess.IV
