Mobile Augmented Reality Applications
Mendel University in Brno（布尔诺孟德尔大学）
增强现实在过去几年中经历了相当大的改进。许多特殊的技术和硬件设备被开发出来，但关键的突破来自智能手机的普及。这使得增强现实应用得以大规模传播。然而，移动设备具有有限的硬件能力，这缩小了可用于景物分析的方法。在这篇文章中，我们提出了一个增强现实应用程序，它使用云计算，使使用更复杂的计算方法，如神经网络。我们的目标是创建一个负担得起的增强现实应用程序，这将有助于汽车设计师在“虚拟化”汽车改装。
2011-06-28 cs.CV
Preprint ARPPS Augmented Reality Pipeline Prospect System
Ocean University of China（中国海洋大学）；Shenzhen Institutes of Advanced Technology（深圳先进技术研究院）
这是我们关于ICONIP的论文的预印本。室外增强现实地理信息系统（ARGIS）是近年来增强现实技术应用的热点。本文总结了ARGIS的关键技术，设计了移动增强现实管线探测系统（ARPPS），并分别实现了基于机器视觉的管线探测系统（MVBPPS）和基于传感器的管线探测系统（SBPPS）。本文结合MVBPPS的实现，研究了基于神经网络的三维特征匹配方法。
2015-08-18 cs.CV
Augmented Reality Implementation Methods in Mainstream Applications
增强现实已经成为从太空探索到军事应用的许多领域的有用工具。虽然使用的理论原理是众所周知的近十年，增强现实几乎完全用于高预算的解决方案与特殊的硬件。然而，在过去的几年里，我们可以看到许多项目越来越受欢迎，这些项目专注于在不同的移动设备上部署增强现实。我们的文章是针对那些考虑为主流市场开发增强现实应用程序的开发人员。这样的开发商将被迫保持应用程序的价格，因此也是开发价格，在合理的水平。利用现有的图像处理软件库可以大大降低开发成本。在文章的理论部分，介绍了增强现实的应用结构的概述。此外，选择合适的库的方法以及现有的软件库集中在这一领域的审查。本文的最后一部分概述了我们使用OpenCV库实现增强现实应用程序的关键部分。
2011-06-28 cs.CV
Vision-based Pose Estimation for Augmented Reality : A Comparison Study
CDTA；IBISC；Univ Evry（埃夫里大学）；Université Paris-Saclay（巴黎萨克雷大学）
增强现实旨在通过插入3D虚拟对象来丰富我们的现实世界。为了实现这一目标，重要的是以准确且视觉上可接受的方式在真实场景中渲染和对齐虚拟元素。这个问题的解决方案可以涉及姿态估计和3D相机定位。本文综述了增强现实中三维位姿估计的各种方法，并对基于关键点的技术进行了分类。本文的研究对增强现实领域的开发者和研究者都有一定的帮助。
2018-06-25 cs.CV
SEGAR: Selective Enhancement for Generative Augmented Reality
Cornell University（康奈尔大学）；Cornell Tech（康奈尔科技）；Toyota Research Institute（电装研究院）
SEGAR结合扩散世界模型与定向修正阶段，实现生成增强现实中的区域特定编辑与安全区域对齐，为未来帧的生成、缓存和定向修正提供基础。
2026-03-25 cs.AI cs.CV
AI Assisted AR Assembly: Object Recognition and Computer Vision for Augmented Reality Assisted Assembly
Massachusetts Institute of Technology（麻省理工学院）；Cornell University（康奈尔大学）
针对装配前需手动整理组件的问题，提出结合深度学习目标识别的AI辅助AR装配工作流，可实时定位组件并显示分步指引，通过乐高装配案例验证了方案可行性。
2025-11-13 cs.AI cs.CV cs.HC
Integrative Object and Pose to Task Detection for an Augmented-Reality-based Human Assistance System using Neural Networks
Berlin Institute of Technology（柏林工业大学）
随着自动化和数字化行业的日益发展，流程变得越来越复杂。增强现实通过增强用户对空间信息的理解和体验，在协助工作人员完成复杂任务方面显示出相当大的潜力。然而，由于缺乏既定的方法和繁琐的集成工作，AR在工业流程中的接受和集成仍然有限。同时，深度神经网络在计算机视觉任务中取得了显著的成果，在丰富增强现实应用方面具有广阔的前景。在本文中，我们提出了一个基于增强现实的人类辅助系统，以帮助工人完成复杂的手动任务，其中我们将深度神经网络用于计算机视觉任务。更具体地说，我们将增强现实与对象和动作检测器相结合，使工作流程更加直观和灵活。为了评估我们的系统在用户接受度和效率方面，我们进行了几次用户研究。我们发现，未经培训的工人完成任务的时间显著减少，出错率降低。此外，我们调查了用户的学习曲线与我们的辅助系统。
2020-08-31 cs.CV cs.HC
A Novel Edge Detection Operator for Identifying Buildings in Augmented Reality Applications
Politehnica University of Timişoara（蒂米什瓦拉理工大学）
增强现实是一种环境增强技术，广泛应用于旅游、文化等领域。该领域的主要挑战之一是通过计算机视觉技术精确检测和提取建筑物信息。边缘检测是计算机视觉中许多特征提取解决方案的基本操作之一。AR系统将边缘检测用于建筑物提取或用于从建筑物提取立面细节。在本文中，我们提出了一种新的过滤算子的边缘检测，旨在更好地提取建筑物的轮廓或立面特征。建议的过滤器提供了更多的权重来寻找垂直和水平边缘，这是我们的目标的一个重要特征。
2021-06-02 cs.CV
Feasibility of Corneal Imaging for Handheld Augmented Reality
Coburg University（科堡大学）
智能手机是用于移动增强现实的流行设备类别，但是受到有限输入空间的影响。设备周围交互技术旨在使用各种感测模态来扩展该输入空间。在本文中，我们提出了我们的工作，扩大使用面向设备为中心的相机，捕捉角膜反射的移动设备的输入区域。由于目前的移动设备缺乏高分辨率的前置摄像头，我们研究了基于高分辨率摄像头的角膜反射成像的设备周围交互的可行性。我们提出了一个工作流程，技术原型和可行性评估。
2017-09-04 cs.CV cs.HC
eCAR: edge-assisted Collaborative Augmented Reality Framework
KAIST（韩国科学技术院）
针对大型室内多用户协同增强现实中同步流量大、延迟高、虚拟物体易漂移不一致的问题，提出边缘辅助框架eCAR，通过边缘计算持续对齐坐标系、扩展共视图同步局部图，实现低流量低延迟的多设备AR内容共享与交互。
2024-05-11 cs.CV cs.RO
Scene Text Detection for Augmented Reality -- Character Bigram Approach to reduce False Positive Rate
Indian Institute of Science（印度科学学院）
自然场景文本检测是场景理解的一个重要方面，是构建引人入胜的增强现实应用的有用工具。在这项工作中，我们解决了文本识别中的误报问题。我们建议通过查找字符对（bigram）而不是单个字符来提高滑动窗口文本定位器的性能。设计并训练了一个高效的卷积神经网络来检测二元组。该检测器在ICDAR 2015数据集上将假阳性率降低了28.16%。我们证明，检测bigrams是一种计算成本低廉的方式来提高滑动窗口文本定位。
2020-12-26 cs.CV cs.LG
Teachable Reality: Prototyping Tangible Augmented Reality with Everyday Objects by Leveraging Interactive Machine Teaching
IIIT-Delhi（德里英迪拉甘地信息技术学院）；University of Calgary（卡尔加里大学）
本文介绍了可教现实，一个增强现实（AR）的原型工具，用于创建交互式的有形AR应用程序与任意的日常对象。Teachable Reality利用基于视觉的交互式机器教学（例如，Teachable Machine），它可以捕捉真实世界的交互，用于AR原型设计。它使用按需计算机视觉模型识别用户定义的有形和手势交互。在此基础上，用户可以轻松创建功能性AR原型，而无需编程，并通过一个用户操作创作界面实现。因此，我们的方法允许有形AR应用程序的灵活性，可定制性和通用性，可以解决当前基于标记的方法的局限性。我们探索设计空间并展示各种AR原型，其中包括有形和可变形的界面，上下文感知助手和身体驱动的AR应用程序。我们的用户研究和专家访谈的结果证实，我们的方法可以降低创建功能性AR原型的障碍，同时还可以实现灵活和通用的原型设计体验。
2023-02-21 cs.CV cs.HC cs.LG
Augmented Reality for Human-Swarm Interaction in a Swarm-Robotic Chemistry Simulation
University of Colorado at Boulder（科罗拉多大学博尔德分校）
我们提出了一种方法来注册一个机器人群体的个体成员在增强现实显示，同时显示有关群体动态的用户，否则将被隐藏的相关信息。同一群中的个体成员和集群通过它们的颜色来识别，并且通过以特定的时间间隔闪烁来识别，该时间间隔与它们的邻居闪烁的时间间隔不同。我们表明，这个问题是一个实例的图着色问题，它可以在O（log（n））的时间在分布式的方式解决。我们展示了我们的方法，使用群体化学模拟，其中机器人模拟单个原子，形成分子的化学规则。然后，使用增强现实来显示有关单个群成员的内部状态以及它们的拓扑关系（对应于分子键）的信息。
2019-12-02 cs.CV cs.RO
Tackling problems of marker-based augmented reality under water
水下场地对于增强现实应用来说是一个恶劣的环境。必须克服的障碍包括能见度差、导航困难以及水下设备难以操作。本章重点讨论使用标记定位水下设备的问题。它讨论了增强和改善水下记录图像的各种过滤器，以及它们对基于标记的跟踪的影响。给出了10种图像改进算法和4种标记检测算法的各种组合，并在实际情况下测试了它们的性能。所有解决方案都旨在在移动设备上实时运行，为增强现实提供坚实的基础。该解决方案的可用性评估在地中海的位置。结果表明，精心选择的参数的图像改善算法可以减少水下可见度的问题，提高标记的检测。最好的结果是获得了专门为水下环境设计的标记检测算法。
2020-10-11 cs.CV cs.GR
Instant 3D Object Tracking with Applications in Augmented Reality
Google Research（谷歌研究院）
三维物体姿态跟踪是增强现实应用的重要组成部分。我们提出了一个即时运动跟踪系统，跟踪一个对象的姿态在空间（由其3D限界框表示）在移动设备上实时。我们的系统不需要任何事先的感官校准或初始化功能。我们采用深度神经网络来检测物体并估计其初始3D姿态。然后使用鲁棒平面跟踪器跟踪估计的位姿。我们的跟踪器能够在移动设备上实时执行相对规模的9自由度跟踪。通过有效地结合使用CPU和GPU，我们在移动设备上实现了26-FPS+的性能。
2020-06-23 cs.CV
Exploring Stereovision-Based 3-D Scene Reconstruction for Augmented Reality
Beijing Institute of Technology（北京理工大学）；Nankai University（南开大学）；China Electronics Standardization Institute（中国电子技术标准化研究院）；AICFVE of Beijing Film Academy（北京电影学院数字影视动画创作与理论研究北京市重点实验室）
三维场景重建是增强现实（AR）的关键技术之一，它涉及到复杂信息的图像处理和显示系统的集成。立体匹配是一种基于计算机视觉的三维场景重建方法。在本文中，我们探索了一种改进的立体匹配网络，SLED-Net，其中提出了一个单一的长编码器-解码器来取代PSM-Net中的堆叠沙漏网络，以更好地学习上下文信息。我们将SLED-Net与最近发表的最先进的方法进行了比较，并在Scene Flow和KITTI 2015测试集上展示了其卓越的性能。
2019-02-17 cs.CV
Instant Motion Tracking and Its Applications to Augmented Reality
Google Research（谷歌研究院）
增强现实（AR）为用户带来身临其境的体验。随着计算机视觉和移动计算的最新进展，AR已经跨平台扩展，并在主要产品中增加了采用。实现AR功能的关键挑战之一是将虚拟内容正确锚定到现实世界，这一过程称为跟踪。在本文中，我们提出了一个系统的运动跟踪，这是能够鲁棒地跟踪平面目标和执行相对规模的6DoF跟踪没有校准。我们的系统在手机上实时运行，并已部署在数亿台设备上的多个主要产品中。
2019-07-16 cs.CV
Real-time Geometry-Aware Augmented Reality in Minimally Invasive Surgery
Bournemouth University（伯恩茅斯大学）；University of Chester（切斯特大学）
增强现实（AR）技术辅助微创手术（MIS）的潜力在于其处理具有挑战性的MIS场景的计算性能和准确性。即使采用最新的硬件和软件技术，在MIS中实现实时的【形】形信息叠加仍然是一项艰巨的任务。在本文中，我们提出了一种新的实时的【形】增强现实框架MIS，实现交互式几何感知增强现实内窥镜手术立体视图。我们的框架跟踪内窥镜摄像机的运动，同时重建MIS场景的密集几何网格。通过最小化重投影误差来预测相机的运动以实现快速跟踪性能，而3D网格通过密集的零均值归一化互相关立体匹配方法来递增地构建以提高表面重建的精度。我们提出的系统不需要任何事先模板或术前扫描，并可以推断几何信息术中实时的【形】。有了可用的几何信息，我们提出的AR框架能够交互式地添加注释，肿瘤和血管的定位，以及与最先进的方法相比具有更高精度和准确性的测量标记。
2017-08-03 cs.CV
Modern Augmented Reality: Applications, Trends, and Future Directions
Snap Inc（Snap公司）；Sun Yat-sen University（中山大学）；Sea AI Lab（Sea人工智能实验室）
增强现实（AR）是计算机视觉和计算机图形交叉领域中相对较老但趋势较强的领域之一，在从游戏和娱乐到教育和医疗保健的多个领域中具有众多应用。虽然它已经存在了近50年，但近年来研究界对它产生了浓厚的兴趣，主要是因为深度学习模型在各种计算机视觉和AR应用中取得了巨大的成功，这使得创造新一代AR技术成为可能。本文试图从应用层面和技术层面对现代增强现实进行综述。我们首先概述了主要的AR应用程序，分为十多个类别。然后，我们概述了最近为AR系统开发的大约100种有前途的基于机器学习的作品，例如用于AR购物（服装，化妆）的深度学习作品，基于AR的图像过滤器（例如Snapchat的镜头），AR动画等等。最后讨论了增强现实领域目前面临的一些挑战，以及未来的发展方向。
2022-02-24 cs.CV
FaceEraser: Removing Facial Parts for Augmented Reality
Bytedance Inc.（字节跳动公司）
我们的任务是去除所有面部部位（例如，眉毛、眼睛、嘴和鼻子），然后将视觉元素施加到“空白”的脸上，用于增强现实。传统的对象去除方法依赖于图像修补技术（例如，EdgeConnect，HiFill），这些图像以自监督的方式使用随机操纵的图像对进行训练。具体而言，给定一组自然图像，随机掩蔽的图像被用作输入，原始图像被视为地面真值。然而，这种技术不能满足面部部分去除的要求，因为它很难获得具有真实“空白”面部的“地面真实”图像。为了解决这个问题，我们提出了一种新的数据生成技术，产生成对的训练数据，以及模仿"空白“的脸。同时，我们提出了一种新的网络架构，以提高我们的任务修复质量。最后，我们展示了各种面向面部的增强现实应用程序的顶部，我们的面部部分去除模型。源代码发布在github上的\href{https://github.com/duxingren14/FaceEraser}{duxingren14/FaceEraser}上，用于研究目的。
2021-10-22 cs.CV
Augmented Reality and Robotics: A Survey and Taxonomy for AR-enhanced Human-Robot Interaction and Robotic Interfaces
University of Calgary（卡尔加里大学）；University College London（伦敦大学学院）
本文基于对460篇研究论文的调查，对增强现实和机器人技术进行了分类。增强和混合现实（AR/MR）已经成为增强人机交互（HRI）和机器人接口（例如，致动的和形状改变的界面）。最近，越来越多的HCI、HRI和机器人研究已经证明了AR如何实现人与机器人之间更好的交互。然而，研究往往仍然集中在个人的探索和关键的设计策略，研究问题很少进行系统的分析。在本文中，我们综合和分类这一研究领域在以下方面：1）增强现实的方法; 2）机器人的特点; 3）目的和好处; 4）分类的信息; 5）设计组件和策略的视觉增强; 6）交互技术和方式; 7）应用领域;和8）评估策略。我们制定了关键的挑战和机遇，以指导和通知未来的研究在AR和机器人。
2022-03-07 cs.CV cs.HC cs.RO
Occluded object reconstruction for first responders with augmented reality glasses using conditional generative adversarial networks
Jet Propulsion Laboratory, California Institute of Technology（加州理工学院喷气推进实验室）
消防员遭受各种危及生命的风险，包括执勤死亡，受伤和暴露于危险物质。支持减少这些风险是重要的。我们建立了一个部分闭塞的对象重建方法的增强现实眼镜的第一反应。我们使用基于条件生成对抗网络的深度学习来训练易燃和危险物体的各种图像与其部分遮挡的对应物之间的关联。然后，我们的系统重建了新易燃物体的图像。最后，将重建图像叠加在输入图像上以提供“透明度”。该系统通过学习易燃物体的形状和火焰特性，模仿人类通过经验学习物理定律。
2018-04-20 cs.CV cs.LG
Augmented reality navigation system for visual prosthesis
Instituto de Investigación en Ingeniería de Aragón, (I3A). Universidad de Zaragoza（阿拉贡工程研究所（I3A），萨拉戈萨大学）
视觉假体的视野、分辨率和动态范围等视觉功能严重制约着人在未知环境中的导航能力。植入的患者仍然需要持续的辅助以从一个位置导航到另一个位置。因此，需要一种能够在他们的旅程中安全地帮助他们的系统。在这项工作中，我们提出了一个增强现实导航系统的视觉假体，它结合了一个软件的反应导航和路径规划，引导受试者通过方便，无障碍的路线。它包括四个步骤：在地图上定位受试者，规划受试者轨迹，将其显示给受试者并在没有障碍的情况下重新规划。我们还设计了一个模拟的假肢视觉环境，使我们能够系统地研究导航性能。12名受试者参加了实验。受试者在增强现实导航系统的引导下，他们的指令是在不同的环境中导航，直到他们达到两个目标，穿过门，找到一个物体（垃圾箱），尽可能快和准确。结果显示，与其他基线方法相比，我们的增强导航系统如何通过减少到达目标的时间和距离来帮助导航性能，甚至显着减少障碍物碰撞的数量。
2021-09-30 cs.CV
Has the Virtualization of the Face Changed Facial Perception? A Study of the Impact of Photo Editing and Augmented Reality on Facial Perception
University of Notre Dame（圣母大学）
本文通过六项调查研究了增强现实和传统照片编辑滤镜对面部感知的影响，发现传统滤镜修改的面部与未修改面部感知相似，而AR滤镜修改的面部则被感知为不同，并探讨了如何更负责任地构建在线空间。
2024-04-26 cs.CV cs.HC
Self-supervised 6-DoF Robot Grasping by Demonstration via Augmented Reality Teleoperation System
Rochester Institute of Technology（罗切斯特理工学院）；Figure AI（Figure AI公司）
针对6自由度抓取依赖强监督位姿标注的问题，提出基于AR遥操作的自监督框架，从人类示范中对比学习抓取策略，无需标注即可在真实环境中快速学会抓取未知物体。
2024-04-03 cs.CV cs.RO
A Standalone Markerless 3D Tracker for Handheld Augmented Reality
Federal University of Pernambuco（伯南布哥联邦大学）
本文提出了一种针对Windows Mobile Pocket PC平台的无标记跟踪技术的实现。这项工作的主要目的是让独立的增强现实应用程序的手持设备的基础上自然特征跟踪的发展。为了实现这一目标，将两个计算机视觉库的子集移植到Pocket PC平台。他们还适应使用定点数学，目的是提高例程的整体性能。这些库的端口打开了在移动平台上执行其他计算机视觉任务的可能性。采用了一种基于模型的跟踪方法，依赖于边缘信息。由于它不需要很高的处理能力，因此适用于手持设备等受限设备。OpenGL ES图形库被用来执行计算机视觉任务，利用现有的图形硬件加速。一个增强现实应用程序创建使用的实现技术和评估进行了跟踪性能和准确性
2009-02-12 cs.CV cs.GR cs.MM
See Behind Walls in Real-time Using Aerial Drones and Augmented Reality
University of California, Merced（加州大学默塞德分校）
本研究提出ARD2框架，通过两架无人机与AR设备，经目标方向估计、轮廓重建两步实现实时穿墙监视，实验验证了其在方向估计与轮廓重建上的准确性。
2024-12-13 cs.CV cs.HC cs.MA
MISAR: A Multimodal Instructional System with Augmented Reality
University of Rochester（罗切斯特大学）
本研究提出MISAR系统，利用大型语言模型整合视觉、听觉和情境多模态信息，通过第一人称视频和语音分析解决AR中的任务表现量化挑战，提升了状态估计能力，推动更具适应性的AR系统发展。
2023-10-18 cs.CL cs.CV
Robust Deep-Learning-Based Road-Prediction for Augmented Reality Navigation Systems
Daimler AG R&D（戴姆勒股份公司研发部）；University of Ulm（乌尔姆大学）
本文提出了一种利用深度学习技术从摄像头传感器预测道路路线的方法。通过在大量包括不利天气条件的全场景标记的夜间道路图像上训练多尺度卷积神经网络来识别道路像素。提出了一个框架，适用于所提出的方法，以较长距离的道路路线估计，这是一个增强现实导航应用程序的基础。在该框架中，将远程传感器数据（雷达）和来自地图数据库的数据与短程传感器数据（相机）融合，以产生精确的纵向和横向定位以及道路路线估计。所提出的方法可靠地检测有和没有车道标记的道路，从而提高了道路路线估计和增强现实导航的鲁棒性和可用性。从差分GPS和惯性测量单元获取的大量高精度地面实况数据的评估表明，所提出的方法达到了最先进的性能，而不需要现有的车道标记的限制。
2016-05-31 cs.CV cs.LG cs.RO
