RCT: A Robot-Collected Touch-Vision-Language Dataset for Tactile Generalization
ScaDS.AI, TU Dresden（德累斯顿工业大学ScaDS.AI）；LASR Lab, TU Dresden（德累斯顿工业大学LASR实验室）
提出RCT数据集，包含机器人按压122种工业材料采集的触觉数据，通过接触序列划分暴露了材料泛化难题，为触觉感知提供基准。
2026-07-01 cs.AI cs.CL cs.CV
OPENTOUCH: Bringing Full-Hand Touch to Real-World Interaction
MIT（麻省理工学院）；Duke University（杜克大学）；Brown University（布朗大学）；University of Washington（华盛顿大学）；Harvard University（哈佛大学）
OpenTouch是首个现实场景的第一人称全手触觉数据集，通过同步视频-触觉-姿态数据和详细注释，推动多模态感知和机器人操作研究。
2025-12-18 cs.AI cs.CV cs.RO
Active 3D Shape Reconstruction from Vision and Touch
Facebook AI Research（Facebook人工智能研究院）；McGill University（麦吉尔大学）；University of California, Berkeley（加州大学伯克利分校）
人类通过主动的物体探索，联合使用视觉和触觉来建立对世界的3D理解。然而，在3D形状重建中，最新的进展依赖于有限感官数据的静态数据集，如RGB图像，深度图或触觉读数，使得形状的主动探索在很大程度上未被探索。用于3D重建的非主动触摸感测，目标是主动选择最大化形状重建准确性的改进的触觉读数。然而，基于深度学习的主动触摸模型的开发在很大程度上受到缺乏用于形状探索的框架的限制。在本文中，我们专注于这个问题，并介绍了一个系统组成：1）触觉模拟器，利用高空间分辨率的基于视觉的触觉传感器的3D物体的主动触摸; 2）基于网格的3D形状重建模型，依赖于触觉或视觉触觉信号;和3）一组数据驱动的解决方案，无论是触觉或视觉触觉先验，以指导形状探索。我们的框架能够开发第一个完全数据驱动的解决方案，在学习模型的基础上进行主动触摸，以实现对象理解。我们的实验显示了这种解决方案在3D形状理解任务中的优势，我们的模型始终优于自然基线。我们提供我们的框架作为一种工具，以促进未来的研究在这个方向。
2021-10-26 cs.CV cs.RO
High-speed and High-quality Vision Reconstruction of Spike Camera with Spike Stability Theorem
Pengcheng Laboratory（鹏城实验室）；School of Computer Science and Engineering, Sun Yat-sen University（中山大学计算机科学与工程学院）；School of Computer Science, Peking University（北京大学计算机学院）
提出尖峰稳定性定理，据此设计两种无参数算法，实现尖峰相机高速高质量实时视觉重建，在质量和速度上优于现有方法，并支持FPGA实现。
2024-12-16 cs.CV eess.IV
MGRQ: Post-Training Quantization For Vision Transformer With Mixed Granularity Reconstruction
Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）；School of Artificial Intelligence, University of Chinese Academy of Sciences（中国科学院大学人工智能学院）
本文提出MGRQ（混合粒度重建量化），通过块外全局监督与块内局部监督提升视觉Transformer后训练量化性能，并在低比特量化中表现鲁棒。
2024-06-13 cs.CV
Touch2Shape: Touch-Conditioned 3D Diffusion for Shape Exploration and Reconstruction
Key Laboratory of Social Computing and Cognitive Intelligence, Dalian University of Technology（大连理工大学社会计算与认知智能重点实验室）
针对现有3D扩散模型难捕捉复杂形状局部细节、受遮挡光照限制的问题，提出Touch2Shape触摸条件3D扩散模型，结合触摸嵌入、形状融合模块及强化学习探索策略，提升3D形状重建质量。
2025-05-19 cs.CV
Connecting Touch and Vision via Cross-Modal Prediction
MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）
人类感知世界使用多模态感官输入，如视觉，听觉和触觉。在这项工作中，我们研究视觉和触觉之间的跨模态连接。这种跨领域建模任务的主要挑战在于两者之间的显著尺度差异：虽然我们的眼睛一次感知整个视觉场景，但人类在任何给定时刻只能感受到物体的一小部分。为了连接视觉和触觉，我们引入了新的任务，即从视觉输入中合成看似合理的触觉信号，以及想象我们如何与给定触觉数据作为输入的物体进行交互。为了实现我们的目标，我们首先为机器人配备视觉和触觉传感器，并收集相应的视觉和触觉图像序列的大规模数据集。为了缩小规模差距，我们提出了一个新的条件对抗模型，该模型结合了触摸的规模和位置信息。人类感知研究表明，我们的模型可以从触觉数据产生逼真的视觉图像，反之亦然。最后，我们提出了关于不同系统设计的定性和定量实验结果，以及可视化我们模型的学习表示。
2019-06-14 cs.CV cs.LG cs.RO
3D Shape Perception from Monocular Vision, Touch, and Shape Priors
Massachusetts Institute of Technology（麻省理工学院）；Shanghai Jiao Tong University（上海交通大学）；Google Research（谷歌研究院）
感知准确的3D物体形状对于机器人与物理世界进行交互非常重要。目前这方面的研究主要依靠视觉观察。然而，由于遮挡和2D-3D模糊性，视觉具有固有的限制，特别是对于用单目相机的感知。相比之下，触摸获得精确的局部形状信息，尽管其重建整个形状的效率可能较低。在本文中，我们提出了一种新的范式，有效地感知准确的3D物体形状，结合视觉和触觉观察，以及从大规模的形状存储库中学习到的常见物体形状的先验知识。我们首先使用视觉，应用神经网络与学习的形状先验知识来预测物体的3D形状从单视图彩色图像。然后，我们使用触觉感知来细化形状;机器人主动触摸视觉预测具有高不确定性的对象区域。我们的方法有效地从彩色图像和少量的触觉探索（大约10个）中构建了常见物体的3D形状。我们的设置很容易应用，并有潜力帮助机器人更好地执行抓取或操纵任务的现实世界的对象。
2018-08-09 cs.CV cs.RO
Multimodal perception for dexterous manipulation
Department One（第一系）；Department Two（第二系）
人类通常以多模态的方式感知世界，即视觉，触觉，声音被用来从各个维度理解周围环境。这些感觉结合在一起，以实现协同效应，其中学习比单独使用每个感觉更有效。对于机器人来说，视觉和触觉是实现灵巧操作的两个关键感官。视觉通常给我们明显的特征，如形状，颜色，和触摸提供局部信息，如摩擦，纹理等，由于视觉和触觉之间的互补性，这是我们希望结合视觉和触摸的协同感知和操纵。多通道感知的研究主要集中在跨通道学习、三维重建、视觉和触觉的多通道翻译等方面。具体来说，我们提出了一个用于视觉和触觉之间转换的跨模态感觉数据生成框架，该框架能够生成逼真的伪数据。通过使用这种跨模态翻译方法，我们希望弥补不可访问的数据，帮助我们从不同的角度学习对象的属性。近年来，注意力机制成为视觉感知和触觉感知中的一种流行方法。本文提出了一种时空注意力模型用于触觉纹理识别，该模型同时考虑了空间特征和时间维度。我们提出的方法不仅关注每个空间特征中的显著特征，而且在整个时间上对时间相关性进行建模。这一明显的改善证明了我们的选择性注意力机制的有效性。时空注意方法在抓取、识别和多模态感知等方面有着广泛的应用前景。
2021-12-28 cs.CV cs.RO
Physically Grounded 3D Generative Reconstruction under Hand Occlusion using Proprioception and Multi-Contact Touch
Istituto Italiano di Tecnologia（意大利技术研究院）
本文提出了一种多模态、物理 grounded 的方法，用于在严重手部遮挡下进行度量尺度的无遮挡物体重建和姿态估计，通过本体感知和多接触触觉信号提升重建精度和物理一致性。
2026-07-01 cs.CV cs.RO
Binding Touch to Everything: Learning Unified Multimodal Tactile Representations
Yale University（耶鲁大学）；University of Michigan（密歇根大学）
针对触觉多模态学习数据成本高、传感器输出不统一的问题，提出UniTouch统一触觉模型，通过对齐预训练图像嵌入、引入可学习传感器专属token实现多模态关联与异构传感器学习，能在零样本下完成多种触觉任务，为同类首创。
2024-01-31 cs.CV cs.RO
Preprint Extending Touch-less Interaction on Vision Based Wearable Device
Chinese Academy of Science（中国科学院）；Royal Institute of Technology (KTH)（瑞典皇家理工学院）
这是我们在2015年IEEE虚拟现实会议上的论文的预印本。设计了一种基于视觉的可穿戴设备的非接触式交互技术，并对其进行了评估。用户在摄像头前使用动态的手/脚手势与应用程序交互。基于非接触式交互，开发了具有11个动态手势的概念验证原型。最后，提出了一个比较用户研究评估，以证明非接触方法的可用性，以及对用户情绪的影响，在可穿戴框架或谷歌眼镜上运行。
2015-07-29 cs.CV cs.GR cs.HC
Snap-it, Tap-it, Splat-it: Tactile-Informed 3D Gaussian Splatting for Reconstructing Challenging Surfaces
University of Bristol（布里斯托大学）；Google Zurich（谷歌苏黎世分部）；NVIDIA（英伟达）
本文提出Tactile-Informed 3DGS方法，将触觉局部深度图与多视角视觉数据融合，通过优化3D高斯基元并降低触摸位置透射率，以更少图像实现对光亮反射等挑战性表面的高精度重建。
2024-03-29 cs.CV cs.RO
EgoExplorer: A Vision-Motion-Touch Observatory for Human Loco-Manipulation In Situ
Shanghai AI Laboratory（上海人工智能实验室）；Zhejiang University（浙江大学）；Shanghai Jiao Tong University（上海交通大学）
本文推出可穿戴式100小时观测系统EgoExplorer，开发Calibrate-Complete-Constrain流程提升运动估计精度，相关研究为多模态生成等人形移动操作任务提供支撑。
2026-10-14 cs.CV cs.RO
Next Best Sense: Guiding Vision and Touch with FisherRF for 3D Gaussian Splatting
University of Pennsylvania（宾夕法尼亚大学）；Stanford University（斯坦福大学）
本文提出结合3DGS、SAM2语义深度对齐与FisherRF深度不确定性的主动视觉-触觉选择框架，以提升少视角机器人场景重建性能。
2025-03-09 cs.CV cs.RO
TouchSDF: A DeepSDF Approach for 3D Shape Reconstruction using Vision-Based Tactile Sensing
University of Bristol（布里斯托尔大学）；Bristol Robotics Laboratory（布里斯托尔机器人实验室）；Google Zürich（谷歌苏黎世分部）
针对触觉3D形状重建泛化难、缺乏真实测试及离散表示受限的问题，提出TouchSDF方法，结合CNN与隐式神经表示DeepSDF，从触觉图像重建平滑连续的3D形状，促进了机器人多模态感知研究。
2023-11-21 cs.CV cs.LG
TouchInsight: Uncertainty-aware Rapid Touch and Text Input for Mixed Reality from Egocentric Vision
Meta Reality Labs（元宇宙实验室）；ETH Zürich（苏黎世联邦理工学院）；Department of Computer Science（计算机科学系）
针对混合现实中头戴相机触摸输入检测不准的问题，提出TouchInsight实时流水线，用带不确定性建模的神经网络实现十指触摸精准检测，离线定位误差6.3mm，在线双手打字达37词/分钟、错误率2.9%。
2024-10-08 cs.CV cs.HC
FusionSense: Bridging Common Sense, Vision, and Touch for Robust Sparse-View Reconstruction
New York University（纽约大学）；Carnegie Mellon University（卡内基梅隆大学）；University of Illinois（伊利诺伊大学）
本文提出FusionSense框架，通过融合基础模型先验与视觉触觉稀疏观测，利用3D Gaussian Splatting和分层优化策略，解决了透明、反光等挑战性物体的鲁棒3D重建问题。
2024-10-10 cs.AI cs.CV cs.GR
Touch begins where vision ends: Generalizable policies for contact-rich manipulation
New York University Shanghai（纽约大学上海分校）；New York University（纽约大学）；Honda Research（本田研究）
针对数据驱动方法在精准操作中泛化性差的问题，提出ViTaL框架，将任务拆分为VLM定位与视觉触觉局部策略交互两阶段，在未知环境富接触任务中达约90%成功率，可与高层VLM集成。
2025-06-16 cs.CV cs.RO
General In-Hand Object Rotation with Vision and Touch
UC Berkeley（加州大学伯克利分校）；Meta AI；CMU（卡内基梅隆大学）；TU Dresden（德累斯顿工业大学）；The Centre for Tactile Internet with Human-in-the-Loop (CeTI)（以人为中心的触觉互联网中心（CeTI））
本文提出 RotateIt 系统，结合仿真训练、知识蒸馏与视触觉 transformer 融合视觉、触觉和本体感受，实现手中物体多轴旋转并显著优于以往方法。
2023-09-28 cs.AI cs.CV cs.LG
Touchless Intraoperative Image Access System Based on Vision-Based Hand Tracking
DEIB Polytechnic University of Milan（米兰理工学院DEIB系）
本文提出一种基于视觉的手势追踪系统，用于术中医学图像导航，无需额外硬件或用户特定训练，通过MediaPipe Hands实现实时手部追踪，将简单手势映射为平移、旋转和缩放指令，实现自然交互。
2026-04-27 cs.CV
TouchScale: 500 Hours of Human Vision and Touch for Visual-Tactile Learning
Texas A&M University（德克萨斯A&M大学）；Google DeepMind（谷歌DeepMind）；CMU（卡内基梅隆大学）；Stanford University（斯坦福大学）；Yale University（耶鲁大学）；Microsoft（微软）；Overfit Lab（Overfit实验室）；NVIDIA（英伟达）；University of Liverpool（利物浦大学）；Meta；University of Washington（华盛顿大学）；Northwestern University（西北大学）；Sony（索尼）；Georgia Tech（佐治亚理工学院）；UC Berkeley（加州大学伯克利分校）
本文提出TouchScale，一个500小时统一传感器采集的人类视觉-触觉数据集，显著提升零样本触觉预测和机器人操作成功率，证明大规模一致传感数据对感知和操作的价值。
2026-11-03 cs.CV
Learning Gentle Grasping Using Vision, Sound, and Touch
Learning, Adaptive Systems, and Robotics (LASR) Lab, TU Dresden（图腾德斯登技术大学学习、自适应系统与机器人实验室）；Center for Tactile Internet with Human-in-the-Loop (CeTI)（人机协同触觉互联网中心）
本文提出融合视觉、触觉与听觉信号训练端到端动作条件模型，以预测候选抓取的稳定性和轻柔程度，实验证明其显著提升易碎物体的稳定轻柔抓取性能。
2025-07-24 cs.CV cs.LG cs.RO
What to Attend, What to Keep: Skill-Conditioned Visuotactile Representation with Progress-Guided Event Memory
University of Maryland（马里兰大学）
本研究提出技能条件化视觉触觉表征，通过进度引导的稀疏事件记忆，在接触密集型任务中显著降低滑移检测、扭转完成延迟及进度误差，揭示观察形成是多模态表征的核心挑战。
2026-10-01 cs.CV cs.RO
Wake up for Touch! Mask-isolated Tactile Alignment Learning in MLLMs
Division of Artificial Intelligence & Software（人工智能与软件系）
提出Splash框架，通过参数空间划分（休眠/关键子空间）实现非破坏性触觉模态扩展，在不增加推理开销下保持视觉语言能力，在触觉基准上达到SOTA。
2026-07-02 cs.CV cs.MM cs.RO
Tac2Pix: Image-Space Visuo-Tactile Fusion for Dexterous Manipulation
ShanghaiTech University（上海科技大学）；Beijing Institute for General Artificial Intelligence（北京通用人工智能研究院）
提出RGB-S框架，通过正向运动学和相机标定将触觉传感器位置投影到RGB图像平面，生成力调制高斯显著性图，显式对齐触觉与视觉，在严重遮挡下灵巧操作成功率提升26.7个百分点。
2026-09-29 cs.CV cs.RO
See, Hear, and Feel: Smart Sensory Fusion for Robotic Manipulation
Stanford University（斯坦福大学）；Massachusetts Institute of Technology（麻省理工学院）
人类在日常活动中使用所有的感官来完成不同的任务。相比之下，现有的机器人操作工作主要依赖于一种或偶尔两种模式，如视觉和触觉。在这项工作中，我们系统地研究视觉，听觉和触觉感知如何共同帮助机器人解决复杂的操作任务。我们建立了一个机器人系统，它可以用摄像头看，用接触式麦克风听，用基于视觉的触觉传感器感觉，所有三种感觉方式都融合了自我注意力模型。两个具有挑战性的任务，密集的包装和浇注的结果，展示了机器人操作的多感官感知的必要性和力量：视觉显示的机器人的全球地位，但往往会受到闭塞，音频提供即时反馈的关键时刻，甚至是不可见的，触摸提供精确的局部几何决策。利用所有三种模式，我们的机器人系统显着优于以前的方法。
2022-12-08 cs.CV cs.RO
Real-time Vision-based Depth Reconstruction with NVidia Jetson
Artificial Intelligence Research Institute, Federal Research Center “Computer Science and Control” of Russian Academy of Sciences（俄罗斯科学院联邦研究中心“计算机科学与控制”人工智能研究所）；Peoples’ Friendship University of Russia (RUDN University)（俄罗斯人民友谊大学（RUDN大学））；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
基于视觉的深度重建是计算机视觉中一个被广泛研究但仍缺乏通用解决方案的具有挑战性的问题。从单个图像重建深度对于移动机器人特别有价值，因为它可以嵌入到现代基于视觉的同时定位与地图构建（vSLAM）方法中，为它们提供构建真实比例尺的精确地图所需的度量信息。典型地，深度重建现在通过全卷积神经网络（FCNN）来完成。在这项工作中，我们对几种FCNN架构进行了实验，并引入了一些增强功能，旨在提高推理的有效性和效率。我们通过实验确定了提供最佳性能/精度权衡的解决方案，并且能够在NVidia Jetson上运行，对于320 x 240输入，帧速率超过16 FPS。我们还通过在NVidia Jetson TX 2上对未知室内环境进行实时的【形】单目vSLAM来评估所建议的模型。模型的开源实现和机器人操作系统（ROS）的推理节点可在https://github.com/CnnDepth/tx2_fcnn_node上获得。
2019-07-16 cs.CV cs.RO
Leveraging Vision Reconstruction Pipelines for Satellite Imagery
Cornell Tech, Cornell University（康奈尔大学康奈尔科技校区）
从卫星图像重建三维几何是一个重要的研究课题。然而，在遥感背景下如何处理该3D重建问题与在计算机视觉社区中如何开发多视图重建管线之间存在差异。在本文中，我们将探讨视觉社区最先进的重建管道是否可以应用于卫星图像。一路上，我们解决了几个挑战，适应基于视觉的运动恢复结构和多视图立体视觉方法。我们表明，视觉管道可以在卫星环境中提供有竞争力的速度和准确性。
2019-10-16 cs.CV
Hand Gesture Real Time Paint Tool - Box
随着当前计算领域的普遍发展，现在使用鼠标、键盘、触摸笔等的用户交互方式已经不够用了。直接使用手或手势作为输入设备是通过机器学习和计算机视觉来提供应用以吸引人们的方法。人机交互应用程序中，你可以简单地绘制不同的形状，填充颜色，移动文件夹从一个地方到另一个地方，旋转你的手势旋转你的图像，这一切都将是没有接触你的设备只。本文提出了基于机器学习的手势识别方法，并结合计算机视觉，实现了不同类型的手势识别应用。
2018-03-18 cs.CV
AREA3D: Active Reconstruction Agent with Unified Feed-Forward 3D Perception and Vision-Language Guidance
Southern University of Science and Technology（南方科技大学）；Harvard University（哈佛大学）；California Institute of Technology（加州理工学院）；Massachusetts Institute of Technology（麻省理工学院）
AREA3D通过统一前馈3D感知与视觉-语言引导，实现高效主动3D重建，尤其在稀疏视角下提升重建精度。
2026-08-03 cs.AI cs.CV cs.RO
ShapeGaussian: High-Fidelity 4D Human Reconstruction in Monocular Videos via Vision Priors
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；PAII Inc（PAII公司）
ShapeGaussian通过整合无模板的视觉先验，在单目视频中实现了高保真的4D人体重建，提高了重建的准确性和鲁棒性。
2026-02-05 cs.CV
Projective reconstruction in algebraic vision
Nagoya University（名古屋大学）；Korea Institute for Advanced Study（韩国高等研究院）；The University of Tokyo（东京大学）
本文讨论了从任意维的射影空间到由线性投影诱导的低维射影空间的乘积的有理映射的几何。特别地，我们给出了Hartley和Schaffalitzky [HS 09]的射影重构定理的代数几何变体。
2019-11-11 cs.CV math.AG
ExploreGS: a vision-based low overhead framework for 3D scene reconstruction
School of Automation, Beijing Institute of Technology（自动化学院，北京理工大学）
该研究提出面向无人机的低开销视觉3D重建框架ExploreGS，用视觉方案替代激光雷达点云获取，结合BoW模型实现机载3DGS训练，在资源受限设备上兼顾效率与重建质量。
2025-05-14 cs.CV eess.IV
Uncertainty-Driven Active Vision for Implicit Scene Reconstruction
Facebook AI Research（脸书人工智能研究院）；McGill University（麦吉尔大学）
多视点隐式场景重建方法因其能够表现复杂场景细节而受到越来越多的关注。最近的努力已经致力于改善输入信息的表示，并减少获得高质量的重建所需的视图的数量。然而，也许令人惊讶的是，选择哪些视图以最大限度地提高场景理解的研究在很大程度上仍然没有探索。我们提出了一个不确定性驱动的主动视觉方法隐式场景重建，它利用占用的不确定性积累在整个场景中使用体渲染选择下一个视图采集。为此，我们开发了一种基于占用率的重建方法，该方法准确地表示使用2D或3D监督的场景。我们在ABC数据集和野生CO 3D数据集上评估了我们提出的方法，并表明：（1）我们能够获得高质量的最先进的占用重建;（2）我们的视角条件不确定性定义有效地推动了下一个最佳视图选择的改进，并优于强基线方法;以及（3）我们可以通过对视图选择候选执行基于梯度的搜索来进一步改进形状理解。总的来说，我们的研究结果突出了隐式场景重建的视图选择的重要性，使其成为一个有前途的途径，进一步探索。
2022-10-03 cs.CV
TextToucher: Fine-Grained Text-to-Touch Generation
College of Computer Science and Technology, Zhejiang University（浙江大学计算机科学与技术学院）；Advanced Technology Institute, Zhejiang University（浙江大学先进技术研究院）；State Key Lab of CAD&CG, Zhejiang University（浙江大学CAD&CG国家重点实验室）；College of Computer Science and Technology, Yale University（耶鲁大学计算机科学与技术学院）
针对视觉驱动触觉生成难以准确表达人类触感的问题，本文提出TextToucher，通过对象级与传感器级双粒度文本条件在扩散Transformer中生成高质量触觉图像，并用CTTP指标验证其优越性。
2025-01-09 cs.CV
Study on Real-Time Road Surface Reconstruction Using Stereo Vision
Korea Electronics Technology Institute（韩国电子技术研究院）；Jeonbuk National University（国立全北大学）
本文通过同构全局结构化剪枝和优化头部网络，增强RoadBEV框架，在边缘设备上实现更快的实时路面重建，同时降低重建误差。
2025-04-25 cs.CV
Real-Time Stereo Vision for Road Surface 3-D Reconstruction
The Hong Kong University of Science and Technology（香港科技大学）；University of Bristol（布里斯托大学）
立体视觉技术在土木工程中获得三维道路数据已得到广泛应用。立体视觉的两个重要因素是精度和速度。然而，这是非常具有挑战性的同时实现这两个，因此，开发一个立体视觉系统的主要目的是提高这两个因素之间的权衡。本文提出了一种用于路面三维重建的实时的【形】立体视觉系统。该系统是从我们以前发表的3-D重建算法的目标图像的透视图首先转换成参考视图，这不仅增加了视差精度，但也提高了处理速度。然后，计算每对块之间的相关成本，并存储在两个3-D成本卷中。为了自适应地聚合来自邻域系统的匹配成本，对成本量执行双边滤波。这大大减少了立体匹配过程中的模糊性，并进一步提高了估计视差的精度。最后，通过抛物线插值实现亚像素分辨率，并利用亚像素视差图重建三维路面。该算法在NVIDIA GTX 1080 GPU上实现，以达到实时的【形】目的。实验结果表明，重建精度在3 mm左右。
2018-08-29 cs.CV
R3D-SWIN:Use Shifted Window Attention for Single-View 3D Reconstruction
East China Jiaotong University（华东交通大学）；Jiangxi University of Software Professional Technology（江西软件职业技术大学）
针对视觉Transformer窗口无多尺度、窗口间无连接限制体素3D重建精度的问题，提出基于滑动窗口注意力的R3D-SWIN网络，首次将该注意力用于体素3D重建，在ShapeNet上的单视图重建精度达SOTA。
2024-03-06 cs.CV
Adapting Vision Foundation Models to Acoustics for Pose-Free 3D Sonar Reconstruction
University of Maryland, College Park（马里兰大学帕克分校）；Carnegie Mellon University（卡内基梅隆大学）；University of Rhode Island（罗德岛大学）；Dartmouth College（达特茅斯学院）
本文通过利用几何关系与物理噪声模型合成数据，将视觉基础模型适配至声呐领域，首次实现无姿态三维声呐重建。
2026-09-09 cs.CV
Space and camera path reconstruction for omni-directional vision
Harvard University（哈佛大学）；Harvard Extension School（哈佛延伸学院）
在本文中，我们解决的逆问题，重建一个场景，以及摄像机运动的图像序列所采取的全方位摄像机。我们的运动恢复结构的结果给出了尖锐的条件下，重建是唯一的。例如，如果在一般位置中存在三个点并且在一般位置中存在三个全向相机，则唯一的重建可能达到相似性。然后，我们看看重建问题的m个摄像机和n个点，其中n和m可以很大，超定系统是解决最小二乘法。重建是鲁棒的，并推广到动态环境的情况下，其中地标可以在电影拍摄期间移动。该结果可能的应用是计算机辅助场景重建，三维扫描，自主机器人导航，医疗断层扫描和城市重建。
2007-08-17 cs.AI cs.CV
Limitations of NERF with pre-trained Vision Features for Few-Shot 3D Reconstruction
Department of Computer Science（计算机科学系）；Fordham University（福尔敦大学）
本文系统评估DINO增强的NeRF模型，发现所有DINO变体在少样本三维重建中性能均低于基线（PSNR约12.9-13.0 vs 14.71），表明预训练视觉特征可能引入有害偏差，简单几何一致性架构更有效。
2025-06-22 cs.CV
Illumination-Based Color Reconstruction for the Dynamic Vision Sensor
这项工作展示了一种新颖的，最先进的方法，通过动态视觉传感器（DVS）重建彩色图像。DVS是一种图像传感器，仅指示亮度的二进制变化，而没有关于捕获的波长（颜色）或强度水平的信息。提出了一种利用DVS和主动彩色光源重建全空间分辨率彩色图像的新方法。我们分析了DVS的响应，并提出了两种重建算法：基于线性和基于卷积神经网络。此外，我们证明了我们的算法的鲁棒性，如照明和距离的环境条件的变化。最后，与以往的作品相比，我们展示了我们是如何达到最先进的结果。
2022-11-12 cs.CV eess.IV
Efficient Self-supervised Vision Pretraining with Local Masked Reconstruction
King Abdullah University of Science and Technology（阿卜杜拉国王科技大学）；Monash University（莫纳什大学）；Nile University（尼罗河大学）；Nanyang Technological University（南洋理工大学）
针对现有生成式自监督视觉预训练全局掩码重建计算成本高的问题，提出局部掩码重建方法LoMaR，在7×7窗口内执行重建，在多个视觉任务上准确率超越MAE且预训练效率更高，可轻松集成到同类方法中。
2025-03-22 cs.CV
Feature-Optimized Vision for Adaptive 3D Scene Reconstruction
Oracle
提出一种自适应特征优化视觉前端，通过评分纹理、可重复性、独特性、预期三角化角度和空间覆盖来分配每视图特征预算，以最大化有效轨迹并降低重建RMSE。
2026-05-29 cs.AI cs.CV
FaceTouch: Detecting hand-to-face touch with supervised contrastive learning to assist in tracing infectious disease
University of Leeds（利兹大学）；Leeds Institute for Data Analytics (LIDA)（利兹数据分析研究所）；The Alan Turing Institute（艾伦·图灵研究所）；University of Oxford（牛津大学）
针对传染病防控中手脸接触自动检测的需求，提出基于监督对比学习的FaceTouch框架，可在复杂场景下借助姿态表征检测手脸触碰，自采数据训练后在未知数据集上验证效果良好。
2023-08-24 cs.AI cs.CV
Temporal-Spatial Tubelet Embedding for Cloud-Robust MSI Reconstruction using MSI-SAR Fusion: A Multi-Head Self-Attention Video Vision Transformer Approach
University of Luxembourg（卢森堡大学）
本文提出了一种基于多头自注意力视频视觉变换器的方法，通过时间-空间管状嵌入提升云覆盖区域的多谱段成像重建精度。
2025-12-10 cs.AI cs.CV
On the Utility of Foundation Models for Fast MRI: Vision-Language-Guided Image Reconstruction
Athinoula A. Martinos Center for Biomedical Imaging, Massachusetts General Hospital（麻省总医院Athinoula A. Martinos生物医学成像中心）；Harvard Medical School（哈佛医学院）；Massachusetts General Hospital（麻省总医院）
本文提出利用视觉-语言基础模型通过语义空间优化提升欠采样MRI重建效果，实验表明其在保留解剖结构和提升感知质量方面优于传统方法。
2025-11-24 cs.AI cs.CV
Active stereo vision three-dimensional reconstruction by RGB dot pattern projection and ray intersection
College of Electrical and Electronic Engineering, Shandong University of Technology（山东理工大学电气与电子工程学院）
主动立体视觉在无明显纹理的物体重建中具有重要意义。然而，它仍然是非常具有挑战性的提取和匹配的投影模式从两个摄像机视图自动和鲁棒。在本文中，我们提出了一种新的模式提取方法和一个新的立体视觉匹配方法的基础上，我们的新结构光模式。我们不使用广泛使用的2D视差来计算物体的深度，而是使用光线相交来直接计算3D形状。实验结果表明，该方法比目前广泛使用的基于视差的主动立体视觉方法、飞行时间法和结构光法具有更强的鲁棒性，能够更好地重建物体的三维形状。此外，实验结果还表明，该方法可以鲁棒地重建动态形状的三维运动。
2020-03-31 cs.CV eess.IV
On Ullman's theorem in computer vision
Harvard University（哈佛大学）；Harvard Extension School（哈佛拓展学院）
在平面和空间两个方向上，我们对三点三摄像机的非线性乌尔曼变换进行了反演。虽然Ullman定理保证了3个摄像机和4个点的反射模的唯一重建，但我们发现了3个摄像机和3个点的局部唯一重建。显式重建公式允许决定是否三个摄像机看到三个点的图片数据可以实现为点摄像机配置。
2007-08-17 cs.AI cs.CV
Empirical Evaluation of Multi-Modal Touch Detection in Over-the-Shoulder Video Surveillance
本文评估了一种多模态触摸检测框架，用于从肩后视频中重建移动键盘按键事件，但实验表明在非受控场景下无法可靠重建击键。
2026-06-28 cs.CR cs.CV
Beyond Reconstruction Loss in Post-Training Quantization: Balanced Fitting for Large Vision-Language Models
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院）；Hanbat National University（韩巴国立大学）
提出平衡拟合框架，通过区分敏感与不敏感组件进行细粗粒度拟合，平衡精度与正则化，超越传统重建损失优化，在多个LVLM上提升后训练量化性能。
2026-09-29 cs.CV cs.LG
Vision Transformer-Based Time-Series Image Reconstruction for Cloud-Filling Applications
University of Luxembourg（卢森堡大学）
本文提出利用视觉Transformer的时间序列多光谱图像重建方法，通过结合时序一致性与SAR数据提升云覆盖区域的图像重建效果。
2026-04-05 cs.AI cs.CV cs.LG
