Development of a Neural Network Model for Currency Detection to aid visually impaired people in Nigeria
Pan-Atlantic University（泛大西洋大学）
本研究针对尼日利亚视障人士的货币识别需求，构建含3468张图像的自定义数据集，训练SSD神经网络模型，实现尼日利亚现金的准确识别，平均精度均值超90%，可简化交易并改善视障人士生活质量。
2025-08-25 cs.CV cs.LG
DISHA: Low-Energy Sparse Transformer at Edge for Outdoor Navigation for the Visually Impaired Individuals
Indian Institute of Science (IISc)（印度科学学院）
本研究针对视障人士户外导航需求，提出可部署在边缘端的新型剪枝稀疏Transformer人行道检测技术DISHA，在提升准确率的同时降低能耗更低，有效延长设备续航。
2024-06-22 cs.CV
Real-time Yemeni Currency Detection
Sana'a University（萨那大学）
针对视障人士的纸币识别难题，研究提出基于深度学习的实时也门货币检测系统，并部署为移动应用，帮助视障人群识别不同种类的也门纸币，满足日常交易的实时识别需求。
2024-06-18 cs.AI cs.CV
Empowering Visually Impaired Individuals: A Novel Use of Apple Live Photos and Android Motion Photos
University of Delaware（特拉华大学）
针对视障人士拍摄图像质量欠佳的问题，本研究提倡使用Apple Live Photos和Android Motion Photos技术，实验证明其在物体分类和VideoQA任务中优于单帧图像。
2023-09-14 cs.CV
Visual Localization of Key Positions for Visually Impaired People
Zhejiang University（浙江大学）；Kr Vision Technology Co., Ltd.（Kr视觉科技有限公司）
在现有的导航辅助设备上，定位精度受到全球导航卫星系统（GNSS）信号误差的限制。在户外旅行时，不准确的定位会让视障人士感到困惑，尤其是在大门、公交车站或十字路口等关键位置。视觉定位是提高辅助器具定位精度的一条可行途径。提出了一种基于多图像描述子的鲁棒高效视觉定位算法，该算法利用先验GNSS信号和多模态图像实现关键位置的精确定位。在实验中，我们在可穿戴系统上实现了该方法，并在实际场景下测试了视觉定位的性能。
2018-10-09 cs.CV
Virtual Experience to Real World Application: Sidewalk Obstacle Avoidance Using Reinforcement Learning for Visually Impaired
找到一条没有障碍物、风险最小的道路对安全航行至关重要。有视力的人和视力受损的人在人行道上行走时需要导航安全。在这项研究中，我们开发了一个辅助导航的人行道上整合感官输入使用强化学习。我们在模拟机器人环境中通过强化学习训练了一个人行道避障智能体（SOAA）。利用真实的会话数据训练自然语言会话Agent，构建了一个人行道障碍会话Agent（SOCA）。SOAA与SOCA一起集成在一个名为增强指南（AG）的原型设备中。实验结果表明，该原型系统的避障效果比基本情况下的81.29%提高了5%左右
2020-09-27 cs.CV
Towards Real Time Egocentric Segment Captioning for The Blind and Visually Impaired in RGB-D Theatre Images
USTHB University（阿尔及利亚科学技术大学（USTHB））；RIIMA Laboratory（RIIMA实验室）
针对现有视障辅助技术多聚焦导航避障、缺乏场景理解支持的问题，研究提出一种带空间位置与区域关系描述的第一人称图像字幕生成方法，并应用于TS-RGBD数据集以帮助视障人士理解剧场场景。
2023-08-26 cs.CV
SLAM for Visually Impaired People: a Survey
University of Zurich（苏黎世大学）；Zurich University of Applied Sciences（苏黎世应用科技大学）
本文系统综述54项2017年以来面向BVI人群的SLAM辅助导航研究，分类分析其技术、传感器、算力与机器学习方法，并评估实际效果、挑战及未来方向。
2024-08-16 cs.CV
Semantic Labeling of Human Action For Visually Impaired And Blind People Scene Interaction
RIIMA Laboratory, Computer Science Faculty USTHB University（USTHB大学计算机科学学院RIIMA实验室）
这项工作的目的是为视障者和盲人开发触觉装置，让他们了解周围人的行动并与他们互动。首先，基于现有的RGB-D序列中人体动作识别方法，利用Kinect提供的骨架信息，采用解纠缠的统一多尺度图卷积（MS-G3 D）模型对人体动作进行识别。我们在真实场景中测试了这个模型，发现了一些约束和限制。接下来，我们应用MS-G3 D的骨架模态和CNN的深度模态之间的融合，以绕过所讨论的限制。第三，所识别的动作被语义地标记并且将被映射到可由触摸感觉感知的输出设备。
2022-01-12 cs.CV
Pay Voice: Point of Sale Recognition for Visually Impaired People
CPqD（CPqD（巴西电信研究与发展中心））
数以百万计的视力受损者依靠亲戚和朋友来完成他们的日常工作。实现自给自足的一个相关步骤是向他们提供核实付款机所显示的价值和操作的手段。在这项工作中，我们开发并发布了一款名为Pay Voice的智能手机应用程序，该应用程序使用图像处理，光学字符识别（OCR）和语音合成来识别POS和PIN键盘机器中呈现的值和操作，从而通过听觉和视觉反馈通知用户。所提出的方法提出了显着的结果值和操作识别，特别是POS，由于更高的显示质量。重要的是，我们实现了关键性能指标，即在真实场景中的准确率超过80%，识别处理时间不到$5$秒。Pay Voice在Google Play和App Store上免费公开提供。
2018-12-14 cs.CV
MR.NAVI: Mixed-Reality Navigation Assistant for the Visually Impaired
MR.NAVI是一个面向视障人士的混合现实导航系统，融合MobileNet目标检测、RANSAC地面检测、DBSCAN聚类避障和自然语言处理，通过音频反馈提供场景理解与导航，实验验证了其可用性和有效性。
2025-05-28 cs.CV
ACCSAMS: Automatic Conversion of Exam Documents to Accessible Learning Material for Blind and Visually Impaired
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
针对考试文档对盲人和视障学生造成的可访问性障碍，提出半自动系统ACCSAMS，通过布局优化、导航结构和替代文本增强可访问性，并构建多语言标注数据集。
2024-05-29 cs.CV
Object Recognition System on a Tactile Device for Visually Impaired
USTHB University（USTHB大学）
本文提出一种面向视障人士的触觉设备系统，通过在 Raspberry Pi 上部署物体检测模型，将触觉位置对应的视觉信息转换为听觉反馈，实现静态、动态物体及屏幕内容的场景理解。
2023-07-05 cs.CV
ForeSightGuide: An Anticipatory Framework toward Accurate and Low-Redundancy Guidance for the Visually Impaired
该研究针对视障人士出行的信息过载问题，提出前瞻式导航框架ForeSightGuide，结合语义理解与危险预测，在新数据集及公共基准上实现最优性能，冗余警报与漏险率表现优异。
2026-08-20 cs.CV
Drishtikon: An advanced navigational aid system for visually impaired people
今天，为视障人士部署的许多辅助系统大多是为了单一目的而制造的。无论是导航、目标检测还是距离感知。此外，大多数部署的辅助系统使用室内导航，这需要预先了解环境。这些辅助系统往往无法帮助视障人士在不熟悉的情况下。在本文中，我们提出了一个辅助系统开发使用目标检测和深度感知导航的人没有冲进一个对象。开发的原型可以检测90种不同类型的物体，并计算它们与用户的距离。我们还实现了一个导航功能，从用户那里获得关于目标目的地的输入，因此，使用Google Directions API将受损人员导航到他/她的目的地。有了这个系统，我们建立了一个多功能，高精度的导航辅助系统，可以部署在野外，帮助视障人士在日常生活中，通过导航他们毫不费力地到他们想要的目的地。
2019-04-23 cs.CV cs.HC
Theater Aid System for the Visually Impaired Through Transfer Learning of Spatio-Temporal Graph Convolution Networks
USTHB University（USTHB大学）
本研究构建了基于骨骼数据的剧场人类动作识别系统以辅助视障人士，通过在NTU-RGBD基准与自建剧场数据集间应用三种时空图卷积网络的迁移学习，提出两种配置适应域差异，显著提升了剧场动作识别性能。
2023-06-28 cs.CV
Turn-by-Turn Indoor Navigation for the Visually Impaired
Diaconia LLC（迪亚科尼亚有限责任公司）
本文提出由智能手机采集图像、Raspberry Pi端侧运行多模态与LLM模型的室内逐转弯导航系统，为视障用户提供低负载、隐私安全的语音指引。
2024-10-25 cs.CV
Feature Enhancement in Visually Impaired Images
University of California Los Angeles（加州大学洛杉矶分校）；California NanoSystems Institute（加利福尼亚纳米系统研究所）；David Geffen School of Medicine, University of California Los Angeles（加州大学洛杉矶分校大卫·格芬医学院）
计算机视觉中的一个主要问题是视觉受损图像中的特征检测。在本文中，我们描述了一个潜在的解决方案，使用相位拉伸变换，一种新的计算方法，图像分析，边缘检测和分辨率增强的光子时间拉伸技术的物理启发。我们从数学上推导出内在的非线性传递函数，并演示了它如何导致（1）在低对比度水平下的优异性能和（2）用于超维分类的可重构算子。我们证明，相位拉伸变换均衡的输入图像亮度在整个范围内的强度导致在视觉受损的图像中的高动态范围。我们还表明，通过将我们的方法与传统的技术相结合，进一步提高了动态范围。最后，我们的结果显示了一种方法，通过群延迟色散运算的数学导数的计算。
2017-06-14 cs.CV physics.optics
Vision: A Deep Learning Approach to provide walking assistance to the visually impaired
Indiana University Bloomington（印第安纳大学伯明顿分校）；Northwestern University（西北大学）；K.J. Somaiya College of Engineering（K.J.索马亚工程学院）
盲人在日常生活中面临许多问题。他们不得不为做日常家务而奋斗。在本文中，我们提出了一个系统的目标，以帮助视障人士提供音频援助，引导他们避开障碍物，这将有助于他们在他们的周围移动。使用YOLO的目标检测将帮助他们检测附近的物体，使用单目视觉的深度估计将告诉检测到的物体与用户的近似距离。尽管具有更高的精度，但立体视觉具有许多硬件限制，这使得单目视觉成为该应用的首选。
2019-11-20 cs.CV cs.LG
An Embedded Real-time Object Alert System for Visually Impaired: A Monocular Depth Estimation based Approach through Computer Vision
Department of Electrical & Computer Engineering（电气与计算机工程系）；North South University（北南大学）
本研究提出一种基于单目深度估计和物体检测的嵌入式实时警报系统，利用迁移学习和量化技术构建轻量级模型，帮助孟加拉国视障人士在繁忙街道安全通勤，避免碰撞，模型mAP50达0.801。
2025-07-10 cs.CV cs.RO
SANIP: Shopping Assistant and Navigation for the visually impaired
Vishwakarma Institute of Technology（维什瓦卡玛技术学院）
建议的购物助理模型SANIP将帮助盲人检测手持物体，并从检测和识别的物体中检索到的信息的视频反馈。该模型由三个python模型组成，即自定义目标检测、文本检测和条形码检测。对于手持物体的目标检测，我们创建了自己的自定义数据集，其中包括日常用品，如Parle-G，潮汐和Lays。除此之外，我们还收集了推车和出口标志的图像，因为任何人都必须使用推车，并在紧急情况下注意出口标志。对于提出的其他2个模型，检索到的文本和条形码信息从文本转换为语音并中继给盲人。该模型用于检测经过训练的对象，并成功地检测和识别出所需的输出，具有良好的准确性和精度。
2022-09-08 cs.CV
Design of a Mobile Face Recognition System for Visually Impaired Persons
The University of the South Pacific（南太平洋大学）；Software Foundation（软件基金会）
据估计，全球有2.85亿人视力受损。这些人大多数生活在发展中国家，属于老年人口。视力受损者面临的最困难的任务之一是识别人。虽然自然地，话音识别是一种常见的识别方法，但它是一个直观而困难的过程。移动设备计算能力的提高促使人们开发能够帮助视力受损者的应用程序。随着移动设备的出现，这些人可以通过基于计算机视觉技术的智能软件获得额外的识别方法。在本文中，我们提出了一个设计和实现的人脸检测和识别系统的视障人士通过使用移动计算。该移动系统由基于服务器的支持系统提供协助。该系统在一个定制的视频数据库上进行了测试。实验结果表明，在适当的条件下，人脸检测和人脸识别的准确率较高。该系统的挑战在于更好的识别技术，以应对照明和天气方面的困难情况。
2015-06-03 cs.CV cs.CY cs.HC
ViT Cane: Visual Assistant for the Visually Impaired
盲人和视力障碍者在独立导航世界时面临多种问题。其中一些挑战包括找到到达目的地的最短路径和从远处检测障碍物。为了解决这个问题，本文提出了ViT甘蔗，它利用了一个视觉Transformer模型，以实时检测障碍物。我们的整个系统由一个Pi Camera Module v2，Raspberry Pi 4B，8GB Ram和4个电机组成。基于使用4个电机的触觉输入，障碍物检测模型在帮助视力受损者导航未知地形方面非常高效，并且易于复制。本文讨论了可视化Transformer模型与其他基于CNN的模型相比在此特定应用中的实用性。通过严格的测试，所提出的障碍物检测模型取得了更高的性能上的共同对象在上下文（COCO）数据集上比CNN对应。进行了全面的现场测试，以验证我们的系统的整体室内理解和避障的有效性。
2021-09-26 cs.AI cs.CV
Guardian Angel: A Novel Walking Aid for the Visually Impaired
National Taiwan University（国立台湾大学）；Ming Chuan University（铭传大学）
本作品介绍了一款帮助视障人士在复杂交通环境中避免危险的Android应用程序Guardian Angel。该系统由预先训练的YOLO模型的目标检测、距离估计和移动方向估计组成，提供周围车辆的信息并警告用户潜在的危险，而不需要昂贵的专用设备。通过8名受试者的实验，我们证实，在使用智能手机的App的帮助下，在跨马路实验中的满意度得分优于没有99%置信水平的情况。在我们的系统的帮助下，平均过马路所需的时间更短，但是，通过我们的实验，没有达到显着的差异。该应用程序已在Google Play商店发布，免费向公众开放。
2022-06-20 cs.CV cs.HC
Real-Time Pill Identification for the Visually Impaired Using Deep Learning
San Francisco Bay University（旧金山湾大学）；University of Science and Technology of China（中国科学技术大学）；University of Southampton（南安普顿大学）；Stevens Institute of Technology（史蒂文斯理工学院）；Georgia Institute of Technology（佐治亚理工学院）
本文利用YOLO框架开发了一款面向视障人士的实时药片识别移动应用，通过TTS提供听觉反馈，旨在提升药物管理安全性与用户独立性。
2024-05-08 cs.AI cs.CV cs.LG
AIris: An AI-powered Wearable Assistive Device for the Visually Impaired
National Technical University of Athens（雅典国立技术大学）
AIris是一款AI驱动的可穿戴辅助设备，通过眼镜摄像头与自然语言处理接口为视障用户提供实时环境听觉描述，支持人脸识别、场景描述、文本阅读、物体识别、钞票清点、笔记记录和条形码扫描等多种任务，实现了辅助技术的变革性提升。
2024-08-09 cs.CV cs.HC
Amirkabir campus dataset: Real-world challenges and scenarios of Visual Inertial Odometry (VIO) for visually impaired people
Amirkabir University of Technology（阿米尔卡比尔理工大学）；Sharif University of Technology（谢里夫理工大学）
本文提出了Amirkabir校园数据集（AUT-VI），包含126个序列和17个地点的极端导航场景，以解决现有VIO数据集在动态环境中对视障人群导航的不足，并评估了多种VIO和VO方法。
2024-01-07 cs.CV
Deep Learning based Wearable Assistive System for Visually Impaired People
CloudMinds Technologies Inc.（达闼科技有限公司）
在本文中，我们提出了一个基于深度学习的辅助系统，以改善视觉障碍（VI）的环境感知体验。该系统由配备RGBD摄像头和耳机的可穿戴终端、主要用于深度学习推理的强大处理器和用于基于触摸的交互的智能手机组成。提出了一种数据驱动的学习方法，使用RGBD数据和建立的语义映射来预测安全可靠的可步行指令。此地图还用于帮助VI通过精心设计的触摸屏交互来了解其周围的3D对象和布局。定量和定性的实验结果表明，我们基于学习的避障方法在室内和室外数据集的低洼障碍物取得了良好的效果。同时，用户研究也进行了各种情况下，并显示了改善VI的环境感知体验与我们的系统。
2019-08-09 cs.CV cs.RO
Supporting Navigation of Outdoor Shopping Complexes for Visually-impaired Users through Multi-modal Data Fusion
Arizona State University（亚利桑那州立大学）
户外购物中心（OSC）对于视力障碍的人来说非常难以导航。现有的GPS设备大多是为路边导航而设计的，很少能很好地过渡到类似OSC的设置。我们报告我们的研究所面临的挑战，盲人导航OSC通过开发一个新的移动应用程序命名为iExplore。我们首先报告了一个探索性的研究，旨在通过学习这个问题的独特挑战，得出具体的设计原则，建立这个系统。然后，我们提出了一种方法，可以用来获得必要的信息，为iExplore的发展，然后由一组视障用户在当地的户外购物中心的技术进行实验验证。用户反馈和其他实验表明，iExplore虽然处于初始阶段，但有可能填补现有视障者辅助技术的实际空白。
2017-04-05 cs.CV cs.CY cs.HC
AI-based Wearable Vision Assistance System for the Visually Impaired: Integrating Real-Time Object Recognition and Contextual Understanding Using Large Vision-Language Models
Hamdard University（哈姆达德大学）；Applied Science Private University（应用科学私立大学）；Argaam Investment（阿尔加姆投资公司）；Danat Fz LLC (owned by Argaam)（Danat Fz有限责任公司（阿尔加姆旗下））；Doaz（Doaz公司）
本文提出一种基于树莓派和大型视觉语言模型的可穿戴视觉辅助系统，通过实时物体识别、情境描述和碰撞蜂鸣预警，帮助视障人士安全独立生活。
2024-12-28 cs.CV
Enabling Computer Vision Driven Assistive Devices for the Visually Impaired via Micro-architecture Design Exploration
University of Waterloo（滑铁卢大学）；Waterloo AI Institute, University of Waterloo（滑铁卢大学滑铁卢人工智能研究所）
最近在目标检测方面的改进已经显示出在以前的解决方案不能实现的任务中提供帮助的潜力。一个特殊领域是为视力障碍者提供的辅助设备。虽然最先进的深度神经网络已被证明可以实现卓越的目标检测性能，但其高计算和内存要求使其成本过高，无法在设备上运行。或者，基于云的操作会导致隐私问题，这两者对潜在用户都没有吸引力。为了解决这些挑战，本研究通过微架构设计探索，研究专门为OLIV创建一个高效的目标检测网络，OLIV是一种用于视障人士对象定位的AI辅助工具。特别是，我们将寻找最佳网络微架构的问题表述为数值优化问题，在该问题中，我们找到了控制MobileNetV 2-SSD网络微架构的超参数集，该超参数集最大化了室内对象的MSCOCO-OLIV数据集的修改后的NetScore目标函数。实验结果表明，这样的微架构设计探索策略导致了一个紧凑的深度神经网络，在准确性、大小和速度之间取得了平衡，使其非常适合于为视障人士实现设备上计算机视觉驱动的辅助设备。
2019-05-20 cs.CV cs.NE
Deep Learning-Powered Visual SLAM Aimed at Assisting Visually Impaired Navigation
Institute of Computer Science, ZHAW School of Engineering（苏黎世应用科技大学工程学院计算机科学研究所）；Department of Informatics, University of Zurich（苏黎世大学信息学系）
本文提出SELM-SLAM3框架，结合SuperPoint和LightGlue提升特征提取与匹配鲁棒性，在低纹理、运动模糊等挑战性条件下实现更精确的定位与跟踪，提升视障导航可靠性。
2026-04-09 cs.CV cs.RO
A Large Vision-Language Model based Environment Perception System for Visually Impaired People
AI Innovation Center, China Unicom（中国unicom人工智能创新中心）；Unicom Digital Technology, China Unicom（中国unicom数字技术）
本文提出一种基于大型视觉-语言模型（LVLM）的视障人群环境感知系统，通过将RGB图像分割结果作为外部知识输入LVLM以减少幻觉，并结合多种屏幕交互方式，帮助视障人群准确感知周围环境。
2025-04-25 cs.AI cs.CV cs.RO
SonoVision: A Computer Vision Approach for Helping Visually Challenged Individuals Locate Objects with the Help of Sound Cues
Department of Computer Science and Engineering（计算机科学与工程系）；BRAC University（布拉克大学）
SonoVision通过声音线索帮助视障人士独立定位物体，采用Flutter开发并使用Efficientdet-D2模型实现离线功能。
2025-12-27 cs.CV
Panoptic Lintention Network: Towards Efficient Navigational Perception for the Visually Impaired
Institute for Anthropomatics and Robotics, Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院人机与机器人研究所）；Sino-German School, Tongji University（同济大学中德学院）；Hangzhou SurImage Technology Company Ltd.（杭州 SurImage 科技有限公司）；Hangzhou KrVision Technology Company Ltd.（杭州 KrVision 科技有限公司）
经典的计算机视觉算法、实例分割和语义分割不能为视觉障碍者提供对周围环境的整体理解。在本文中，我们利用全景分割，以协助视障人士的导航，有效地提供在视障人士附近的东西和东西的意识。为此，我们提出了一个有效的Attention模块--Linintention，它可以用线性空间来模拟线性时间内的长程相互作用。在此基础上，我们提出了一种新的全景分割模型，我们称之为全景分割网。在COCO数据集上的实验表明，Panoptic Lininty Net将Panoptic Quality（PQ）从39.39提高到41.42，性能提高4.6%，而仅需要减少10%的GFLOPs和25%的语义分支参数。此外，通过我们设计的紧凑型可穿戴全景分割系统的真实世界的测试，表明我们的系统的基础上的Panoptic Lintention Net完成了一个相对稳定的和非常显着的全景分割在现实世界的场景。
2021-03-06 cs.CV cs.LG cs.RO
Floor extraction and door detection for visually impaired guidance
Instituto de Investigacion en Ingenieria de Aragon（阿拉贡工程研究所）；University of Zaragoza（萨拉戈萨大学）
本研究针对视障人士未知环境导航难题，提出融合RGB-D相机与鱼眼相机的可穿戴导航系统，可提取无障碍区域并支持轨迹规划，提升了系统鲁棒性与环境感知能力。
2024-01-30 cs.CV cs.RO
Helping Visually Impaired People Take Better Quality Pictures
The University of Texas at Austin（德克萨斯大学奥斯汀分校）；Meta AI Research（Meta人工智能研究院）；The University of Colorado Boulder（科罗拉多大学博尔德分校）
针对视障用户拍摄照片存在技术失真的问题，研究构建了含4万张图像的LIVE-Meta VI-UGC数据集，开发出局部到全局的盲质量预测器并达SOTA，还推出多任务反馈原型系统辅助拍摄。
2023-05-14 cs.CV eess.IV
Banknote Recognition for Visually Impaired People (Case of Ethiopian note)
Mekelle University（默克莱大学）
货币几乎在任何地方都被用来促进商业活动。在大多数发展中国家，特别是非洲国家，有形票据主要用于日常金融交易。其中一个国家，埃塞俄比亚，被认为是世界上失明率（1.6%）和低视力率（3.7%）最高的国家之一。大约有400万视力受损的人; 170万人完全丧失视力。这些人在公共汽车站、购物中心或任何需要金钱交换的地方都面临着许多挑战。在本文中，我们试图使用AI/ML应用程序来解决这个问题。我们开发了一个Android和IOS兼容的移动应用程序，其模型在我们的数据集上实现了98.9%的分类准确率。该应用程序具有语音集成功能，可以用埃塞俄比亚的工作语言阿姆哈拉语告诉扫描货币的类型。该应用程序的开发是为了方便用户访问。它是为了减轻埃塞俄比亚视障人士的负担而建造的。
2022-08-25 cs.AI cs.CV cs.HC
Wearable Travel Aid for Environment Perception and Navigation of Visually Impaired People
Beihang University（北京航空航天大学）；CloudMinds Technologies Inc.（达闼科技有限公司）；China Academy of Telecommunication Technology（中国电信技术研究院）
本文提出了一种眼镜形状的可穿戴辅助设备，它可以让视障人士在不熟悉的环境中安全快速地导航，以及感知复杂的环境，自动做出方向的决定移动。该设备使用消费级红绿蓝深度（RGB-D）相机和惯性测量单元（IMU）来检测障碍物。由于该设备利用了相邻图像帧之间的地面高度连续性，因此能够准确快速地将地面与障碍物分割开。基于检测到的地面，计算最佳步行方向，然后通过转换的蜂鸣声通知用户。此外，通过利用深度学习技术，设备可以对检测到的障碍物进行语义分类，以改善用户对周围环境的感知。它将部署在智能手机上的卷积神经网络（CNN）与基于深度图像的目标检测相结合，以确定对象类型以及对象所在的位置，然后通过语音通知用户这些信息。我们通过不同的实验评估了该设备的性能，其中20名视障人士被要求佩戴该设备并在办公室中移动，发现他们能够避免障碍物碰撞并在复杂的场景中找到道路。
2019-04-30 cs.CV cs.HC
Grounding Answers for Visual Questions Asked by Visually Impaired People
University of Texas at Austin（德克萨斯大学奥斯汀分校）；University of Colorado Boulder（科罗拉多大学博尔德分校）
视觉问答是回答关于图像的问题的任务。我们介绍了VizWiz-VQA-Grounding数据集，这是第一个在视觉上为视觉障碍人士提出的视觉问题提供答案的数据集。我们分析了我们的数据集，并将其与五个VQA接地数据集进行了比较，以证明是什么使它相似和不同。然后，我们评估的SOTA VQA和VQA接地模型，并证明，目前的SOTA算法往往无法识别正确的视觉证据的答案位于。当视觉证据占据图像的一小部分时，这些模型经常会遇到困难，例如图像质量更高，以及需要文本识别技能的视觉问题。数据集、评估服务器和排行榜都可以在以下链接中找到：https://vizwiz.org/tasks-and-datasets/answer-grounding-for-vqa/。
2022-04-08 cs.CL cs.CV
Space-Aware Instruction Tuning: Dataset and Benchmark for Guide Dog Robots Assisting the Visually Impaired
ETRI（韩国电子通信研究院）
针对现有VLMs在解读和传达空间关系方面的不足，本文提出SAIT数据集、SA-Bench基准及自动化数据生成管道，通过空间感知指令调优提升VLMs的环境理解能力，实验表明其性能优于现有算法且已开源相关资源。
2025-02-12 cs.CV cs.RO
LYTNet: A Convolutional Neural Network for Real-Time Pedestrian Traffic Lights and Zebra Crossing Recognition for the Visually Impaired
Shanghai American School（上海美国学校）
目前，视力受损者依靠视力正常的人、导盲犬或白色手杖来安全导航。然而，训练导盲犬的费用非常昂贵，而且手杖不能提供有关交通灯颜色和人行横道方向的基本信息。在本文中，我们提出了一个基于深度学习的解决方案，提供有关交通灯模式和斑马线位置的信息。以前利用机器学习的解决方案只提供一条信息，并且大多是二进制的：只检测红灯或绿灯。建议的卷积神经网络，LYTNet，是专为全面性，准确性和计算效率。LYTNet为视障人士过马路提供了两条最重要的信息。我们提供了五类行人交通信号灯，而不是常见的三个或四个，和一个方向矢量表示的斑马线的中线，从2D图像平面转换到现实世界的位置。我们创建了自己的行人交通灯数据集，其中包含在上海数百个十字路口拍摄的5000多张照片。在iPhone 7上测试网络时，通过额外的后处理步骤，所进行的实验实现了94%的分类准确度，6.35度的平均角度误差，帧速率为每秒20帧。
2019-07-23 cs.CV cs.LG
Recognition of Documents in Braille
K. K. T. M. Govt. College, Pullut, Kodungallur, Kerala（喀拉拉邦科敦格阿尔卢尔普卢特 K. K. T. M. 政府学院）
视障人士是社会不可或缺的一部分，必须为他们提供与世界沟通的手段和系统。在这项工作中，我想解决如何计算机可以有用的阅读盲文脚本。这项工作的重要性在于减少视障人士与社会之间的沟通鸿沟。即使在本世纪，盲文仍然是最流行的触觉阅读代码。有大量的文献被用盲文锁起来。盲文识别不仅可以减少阅读或提取盲文文件中信息的时间，而且可以帮助从事特殊教育的人修改试卷和其他与学校有关的工作。该系统的可用性将增强与视障人士的沟通和合作的可能性。现有的作品只支持白色的文档，无论是明亮还是暗淡的颜色。几乎没有任何工作可以追溯到手工印刷的盲文普通文件。
2017-09-28 cs.CV
Efficient Gesture Recognition for the Assistance of Visually Impaired People using Multi-Head Neural Networks
University of Alicante（阿利坎特大学）
本文提出了一个交互式系统的手势控制的移动设备，旨在帮助有视觉障碍的人。该系统允许用户通过做出简单的静态和动态手势来与设备交互。每个手势触发系统中的不同动作，诸如对象识别、场景描述或图像缩放（例如，将手指指向对象将显示对它的描述）。该系统基于多头神经网络架构，该架构最初检测手势并对其进行分类，随后根据检测到的手势执行执行相应动作的第二阶段。这种多头架构优化了同时执行不同任务所需的资源，并利用从初始骨干获得的信息在第二阶段执行不同的处理。为了训练和评估系统，手动编译并标记了具有约40k图像的数据集，包括不同类型的手势、背景（室内和室外）、照明条件等。该数据集包含合成手势（其目的是预训练系统以改善结果）和使用不同移动电话捕获的真实图像。所获得的结果以及与现有技术的比较显示了关于由系统执行的不同动作的竞争结果，例如姿势的分类和定位的准确性，或者对象和场景的描述的生成。
2022-05-14 cs.CV
Street Crossing Aid Using Light-weight CNNs for the Visually Impaired
Shanghai American School Puxi West（上海美国学校浦西西区）
在本文中，我们解决了一个问题，视障人士通常面临的，而过十字路口，并提出了一个解决方案，采取形式作为一个移动应用程序。该应用程序利用深度学习卷积神经网络模型LytNetV2来输出视障人士在没有人类同伴或导盲犬的情况下可能缺乏的必要信息。该应用程序的原型在版本11或更高版本的iOS设备上运行。它的目的是全面，简洁，准确和计算效率，通过提供两个最重要的信息，行人交通灯的颜色和方向，需要在实时过马路。此外，它特别旨在支持那些面临经济负担的人，因为解决方案采取免费移动应用程序的形式。通过修改和利用MobileNetV3中的关键原理，例如深度可分离卷积和挤压激励层，深度神经网络模型在以每秒16.34帧的帧速率运行时实现了96%的分类准确率和6.15度的平均角度误差。此外，该模型被训练为图像分类器，允许更快，更准确的模型。该网络能够在准确性和彻底性方面优于其他方法，如目标检测和非深度学习算法。该信息通过听觉信号和振动传递，并已在七名视障人士身上进行了测试，并获得了上述满意的反应。
2022-06-10 cs.CV cs.LG stat.ML
Towards Perception-based Collision Avoidance for UAVs when Guiding the Visually Impaired
Department of Computational and Data Sciences, Indian Institute of Science（计算与数据科学系，印度科学院）
本文提出一种基于感知的路径规划系统，利用多DNN框架实现无人机在引导视觉障碍者时的局部避障，并在校园三种场景中验证了可行性。
2025-06-17 cs.CV cs.RO
Indoor Navigation Assistance for Visually Impaired People via Dynamic SLAM and Panoptic Segmentation with an RGB-D Sensor
Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
探索不熟悉的室内环境并避开障碍物对视障人士来说是一项挑战。目前，有几种方法实现了避免静态障碍物的基础上室内场景的映射。为了解决动态障碍物的识别问题，我们提出了一个辅助系统与RGB-D传感器检测场景的动态信息。一旦系统捕获图像，就执行全景分割以获得先前的动态对象信息。利用从图像中提取的稀疏特征点和深度信息，可以估计用户的姿势。在自我运动估计之后，可以识别和跟踪动态目标。然后，跟踪的动态对象的姿态和速度可以估计，这是通过声学反馈传递给用户。
2022-04-03 cs.CV cs.HC cs.RO
SUGAMAN: Describing Floor Plans for Visually Impaired by Annotation Learning and Proximity based Grammar
在本文中，我们提出了SUGAMAN（监督和统一框架使用语法和注释模型的访问和导航）。SUGAMAN是一个印地语单词，意思是“从一个地方到另一个地方的轻松通道”。SUGAMAN为视障人士从一个给定的平面图图像合成文字描述。视障人士可以使用SUGAMAN生成的文本描述在室内环境中导航。在文本阅读器软件的帮助下，目标用户可以了解建筑物内的房间和家具的布置以进行导航。SUGAMAN是第一个用于描述平面图并为建筑物内的无障碍运动提供方向的框架。我们从$1355$房间图像样本中学习房间类别的$5$类，并在监督学习范式下进行学习。这些学习的注释被馈送到描述合成框架中以产生平面图图像的整体描述。我们展示了各种监督分类器在房间学习中的性能。我们还提供了一个系统生成的和人类的书面描述的比较分析。SUGAMAN在具有挑战性的、真实世界的平面图图像上表现出最先进的性能。这项工作可以应用于了解历史古迹的平面图，建筑物的稳定性分析和检索等领域。
2018-11-14 cs.CV cs.LG cs.MM
Guidance system for Visually Impaired Persons using Deep Learning and Optical flow
Indian Institute of information technology, Allahabad（印度理工学院阿拉哈巴德分校）
本文提出一种基于深度学习和光流的视障人士引导系统，通过将视频帧分为三部分判断接近物体的方向，结合YOLOv3物体检测、Lucas Kanade光流估计和Depth-net深度估计，为视障人士提供必要的信息与警告。
2023-10-22 cs.CV cs.LG
AI-Driven Smartphone Solution for Digitizing Rapid Diagnostic Test Kits and Enhancing Accessibility for the Visually Impaired
Bangladesh University of Engineering and Technology（孟加拉国工程技术大学）；United International University（联合国际大学）；North Carolina State University（北卡罗来纳州立大学）；University of Alabama（阿拉巴马大学）；Purdue University（普渡大学）；LifeScape Bioscience Inc.（LifeScape生物科学公司）；University of British Columbia（不列颠哥伦比亚大学）
针对快速诊断测试结果解读难题，本研究提出集成YOLOv8与CNN的智能手机AI应用，实现测试膜区域精准提取与结果分类，提升视障人士可及性及解读准确性，并通过SHAP分析增强模型可解释性。
2024-11-27 cs.CV
Investigating YOLO Models Towards Outdoor Obstacle Detection For Visually Impaired People
Nansha College Preparatory Academy（南沙学院预科学院）；University of Oxford（牛津大学）
为辅助视障人士户外避障，研究对比7种YOLO系列目标检测模型在障碍物数据集上的性能，发现YOLOv8表现最优，最新的YOLO-NAS反而不适用于该任务。
2023-12-10 cs.AI cs.CV cs.LG
Adaptive Multi-Scale Channel-Spatial Attention Aggregation Framework for 3D Indoor Semantic Scene Completion Toward Assisting Visually Impaired
本文提出自适应多尺度注意力聚合框架，解决2D到3D特征提升中的噪声扩散和多尺度融合结构不稳定问题，通过通道-空间注意力机制和分层自适应门控策略提升小物体和桌子的识别精度，实验表明在NYUv2基准上mIoU达27.88%。
2026-04-15 cs.CV
VIALM: A Survey and Benchmark of Visually Impaired Assistance with Large Models
The Hong Kong Polytechnic University（香港理工大学）；Hillming Smartech Ltd.（希尔明智能科技有限公司）
本文针对基于大型模型的视觉障碍辅助任务（VIALM）进行了综述与基准实验，探究大型模型在多模态环境理解下的逐步指导能力，发现其仍存在环境结合度不足与缺乏细粒度指导的局限性。
2024-02-10 cs.AI cs.CL cs.CV
VIABLE: A Visually Impaired Assistance Benchmark for VLM-as-a-Judge Evaluation
Department of Computing, The Hong Kong Polytechnic University（香港理工大学计算机系）
针对视障辅助任务中VLM-as-a-Judge评估的可靠性问题，提出VIABLE基准（含30万+样本、有效性-公正性-稳定性框架及12种失败模式分类），发现现有模型不可靠，并开发VIA-Judge-Agent方法提升诊断准确性和用户偏好。
2026-08-26 cs.CL cs.CV
