Vision-Based American Sign Language Classification Approach via Deep Learning
University of Cincinnati（辛辛那提大学）；University of Louisiana at Lafayette（路易斯安那大学拉斐特分校）
听力障碍是部分或全部听力损失的残疾，这导致与社会中其他人沟通的重大问题。美国手语（American Sign Language，简称ASL）是听障社群最常用的沟通语言之一。在本文中，我们提出了一个简单的深度学习模型，旨在将美国手语字母分类为消除与残疾相关的沟通障碍的一步。
2022-04-08 cs.CV cs.LG
American Sign Language Identification Using Hand Trackpoint Analysis
Maharaja Agrasen Institute of Technology（马哈拉贾·阿格拉森理工学院）
手语帮助有语言和听力障碍的人与他人有效地沟通。手语识别是计算机视觉领域的一个具有挑战性的领域，最近的发展已经能够实现近乎完美的结果，尽管一些挑战尚未得到解决。在本文中，我们提出了一种新的机器学习为基础的管道，美国手语识别使用的手跟踪点。我们将一个手势转换成一系列的手轨迹点坐标，作为我们的系统的输入。为了使解决方案更有效，我们试验了28种不同的预处理技术组合，每种组合都运行在三种不同的机器学习算法上，即k-最近邻，随机森林和神经网络。通过比较它们的性能，确定最佳的预处理方案和算法对。我们的系统实现了95.66%的准确率，以识别美国手语手势。
2021-01-19 cs.AI cs.CV cs.HC
SeRV: Semantic-Aligned Residual Vector Quantization for American Sign Language Generation
University of Oklahoma（俄克拉荷马大学）；University of Georgia（佐治亚大学）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
针对ASL生成中语义一致性不足的问题，提出语义对齐残差向量量化分词器SeRV，结合层次化GPT从文本生成3D动作，在375小时视频上取得最先进姿态精度。
2026-10-14 cs.AI cs.CV
Modular Traffic Sign Recognition applied to on-vehicle real-time visual detection of American and European speed limit signs
Valeo Driving Assistance Domain（法雷奥驾驶辅助领域）；Ecole des Mines de Paris (ParisTech)（巴黎矿业学院（巴黎理工学院））
我们提出了一个新的模块化交通标志识别系统，成功地应用于美国和欧洲的限速标志。我们的符号检测步骤仅基于形状检测（矩形或圆形）。这使得它能够处理灰度图像，与大多数欧洲竞争对手相反，这减轻了对照明条件（特别是夜间操作）的鲁棒性。速度标志候选者通过分割它们内部的潜在数字（这是相当原始的并且具有几个优点）来分类（或拒绝），然后应用神经数字识别。（标准）美国和欧盟的全球检出率约为90%。速度标志，错误分类率<1%，并且在>150分钟的视频中没有经过验证的假警报。该系统在标准高端笔记本电脑上的实时的【形】处理速度约为20帧/秒。
2009-10-07 cs.CV
Action Recognition for American Sign Language
University of Coimbra（科英布拉大学）
在这项研究中，我们提出了我们的发现，识别美国手语从一系列的手势。虽然大多数文献中的研究只集中在静态的手形，我们的工作目标动态手势。由于动态标志数据集非常少，我们收集了10个标志的150个视频的初始数据集和15个标志的225个视频的扩展。我们将迁移学习模型与深度神经网络和背景减除相结合，用于不同时间设置的视频。我们的初步结果表明，我们可以得到一个正确的$0.86$和$0.71$使用DenseNet201，LSTM与视频序列的12帧相应。
2022-05-20 cs.CV cs.LG
The American Sign Language Knowledge Graph: Infusing ASL Models with Linguistic Knowledge
Univ. of Southern California（南加州大学）；Univ. of Hawaii（夏威夷大学）；Chapman University（查普曼大学）；Boston University（波士顿大学）
本文提出美国手语知识图谱（ASLKG），融合专家语言学知识，训练神经符号模型，在孤立手语识别、语义特征预测和视频主题分类等任务上取得显著效果。
2024-11-06 cs.CL cs.CV
Challenges for Linguistically-Driven Computer-Based Sign Recognition from Continuous Signing for American Sign Language
Boston University（波士顿大学）
本文基于大型带语言标注的ASL视频语料库，综述连续手语识别相较孤立手语识别面临的变异与结构难题，并指出可利用语言规律提升手形及手语识别。
2023-11-01 cs.CL cs.CV
Recognizing American Sign Language Nonmanual Signal Grammar Errors in Continuous Videos
The City College, The City University of New York（纽约城市大学城市学院）
作为教育工具的发展，可以帮助学生实现流利的美国手语（ASL）通过独立和互动的实践与即时反馈的一部分，本文介绍了一个近实时的系统来识别语法错误，在连续的签署视频，而不一定识别整个序列的迹象。我们的系统会自动识别ASL句子的表现是否包含ASL学生所犯的语法错误。我们首先通过3D-ResNet网络识别ASL语法元素，包括独立于多种模态（即手势，面部表情和头部运动）的手动手势和非手动信号。然后，从不同的模态语法元素的时间边界检查，以检测ASL语法错误，使用滑动窗口为基础的方法。我们已经收集了一个连续手语数据集ASL-HW-RGBD，涵盖了用于训练和测试的ASL语法的不同方面。我们的系统能够从手动手势、面部表情和头部运动中识别ASL-HW-RGBD上的语法元素，并成功检测到8个ASL语法错误。
2020-05-01 cs.CV
American Sign Language fingerspelling recognition from video: Methods for unrestricted recognition and signer-independence
Toyota Technological Institute at Chicago（芝加哥丰田技术研究所）
本文研究了美国手语中手指拼写字母视频序列的识别问题。手指拼写是美国手语中一个重要但相对研究不足的部分，识别它具有挑战性，原因有很多：它涉及快速，小动作，通常是高度共同表达的;它在签名者之间表现出显着的变化;并且缺乏连续的手指拼写数据收集。在这项工作中，我们提出了几种类型的识别方法，并探讨了签名者的变化问题。我们表现最好的模型是使用基于深度神经网络的特征的分段（半马尔可夫）条件随机场。在签名依赖的设置，我们的识别器实现了约8%的字母出错率。独立于签名者的设置更具挑战性，但通过神经网络自适应，我们实现了高达17%的字母出错率。
2016-08-30 cs.CL cs.CV
3D-LEX v1.0: 3D Lexicons for American Sign Language and Sign Language of the Netherlands
University of Amsterdam（阿姆斯特丹大学）
本文提出高效三维手语采集流程并发布 3D-LEX v1.0 数据集，包含美式与荷兰手语各 1000 个词，通过自动生成手形标注将识别准确率提升 5%，支持三维感知手语处理研究。
2024-09-03 cs.AI cs.CL cs.CV
RGB Arabic Alphabets Sign Language Dataset
University of Sharjah（沙迦大学）；The University of Jordan（约旦大学）；AppsWave for Information Technology（AppsWave信息技术公司）；Al-Wefaq Control Systems（Al-Wefaq控制系统公司）
本文介绍了RGB阿拉伯字母手语（AASL）数据集。AASL包括7，856个阿拉伯手语字母的原始和完全标记的RGB图像，据我们所知，这是第一个公开的RGB数据集。该数据集旨在帮助那些对开发现实生活中的阿拉伯手语分类模型感兴趣的人。AASL是从200多名参与者中收集的，并具有不同的设置，如照明，背景，图像方向，图像大小和图像分辨率。该领域的专家监督、验证和过滤收集的图像，以确保高质量的数据集。AASL在Kaggle上向公众开放。
2023-01-30 cs.CV
EmoSign: A Multimodal Dataset for Understanding Emotions in American Sign Language
MIT Media Lab（麻省理工学院媒体实验室）；National University of Singapore（新加坡国立大学）；The University of Tokyo（东京大学）；Gallaudet University（美国聋人大学）
提出首个含200个ASL视频情感与情绪标签的多模态数据集EmoSign，由聋人手语者标注，并提供基线模型，填补手语情感识别研究空白。
2025-05-20 cs.CV
How2Sign: A Large-scale Multimodal Dataset for Continuous American Sign Language
Universitat Politècnica de Catalunya（加泰罗尼亚理工大学）；Barcelona Supercomputing Center（巴塞罗那超级计算中心）；Institut de Robòtica i Informàtica Industrial, CSIC-UPC（工业机器人与信息学研究所，CSIC-UPC）；Carnegie Mellon University（卡内基梅隆大学）；Facebook AI；Gallaudet University（加劳德特大学）
阻碍手语识别、翻译和制作领域进展的因素之一是缺乏大型注释数据集。为此，我们介绍了How2Sign，一个多模态和多视图连续的美国手语（ASL）数据集，由一个超过80小时的手语视频和一组相应的模态（包括语音，英语成绩单和深度）的并行语料库组成。在Panoptic工作室中进一步记录了三小时的子集，从而能够进行详细的3D姿态估计。为了评估How2Sign对现实世界的影响，我们对ASL签名者进行了一项研究，并表明使用我们的数据集合成的视频确实可以被理解。该研究进一步深入了解了计算机视觉为了在该领域取得进展而应该解决的挑战。数据集网站：http://how2sign.github.io/
2021-04-01 cs.CV
A New Dataset and Proposed Convolutional Neural Network Architecture for Classification of American Sign Language Digits
Ayrancı Anadolu High School（阿伊兰哲安纳托利亚高中）
根据对从事语言障碍者工作的人的采访，语言障碍者在与周围不懂手语的人交流时有困难，这种情况可能使他们与社会隔绝，失去独立感。有了这篇论文，为了提高个人的生活质量，促进使用手语和不知道这种语言的个人之间的交流，一个新的美国手语（ASL）数字数据集可以帮助创建机器学习算法，这些算法需要大量不同的数据才能成功创建并发布为Kaggle数据集网页上的手语数字数据集，提出了一种卷积神经网络（CNN）结构，在我们的数据集上可以获得98%的测试准确率，并与现有流行的CNN模型进行了比较。
2021-02-23 cs.CL cs.CV
Fingerspelling Detection in American Sign Language
Toyota Technological Institute at Chicago（芝加哥丰田技术学院）；University of Chicago（芝加哥大学）
手指拼写法是美国手语的一个重要组成部分。大多数以前的工作，自动fingerspelling识别已假设签名视频中的fingerspelling区域的边界是已知的。在本文中，我们认为在原始的，未经修剪的手语视频的手指拼写检测的任务。这是建立真实世界的手指拼写识别系统的重要一步。我们提出了一个基准和一套评估指标，其中一些反映了下游的手指拼写识别任务的检测效果。此外，我们提出了一种新的模型，通过多任务训练学习检测fingerspelling，将姿势估计和fingerspelling识别（转录）与检测结合起来，并将该模型与几种替代方案进行比较。该模型在所有指标上都优于所有替代方法，在基准上建立了最先进的水平。
2021-04-03 cs.CL cs.CV
Real-Time American Sign Language Recognition Using 3D Convolutional Neural Networks and LSTM: Architecture, Training, and Deployment
University of Denver（丹佛大学）
本文提出一种结合3D CNN和LSTM的实时手语识别系统，通过训练和部署实现对7000万聋人和听力障碍者的有效沟通。
2025-12-19 cs.CV
ASL-Skeleton3D and ASL-Phono: Two Novel Datasets for the American Sign Language
Universidade Federal de Pernambuco（伯南布哥联邦大学）
手语是一种重要的资源，使残疾性听力损失患者能够获得沟通和适当的社会情感发展。预计到2050年，这一人口将达到7亿，语言的重要性变得更加重要，因为它在确保这些人融入社会方面发挥着关键作用。手语识别领域旨在弥合手语用户和非手语用户之间的差距。然而，数据集数量和质量的稀缺是限制探索新方法的主要挑战之一，这些方法可能会导致该研究领域的重大进展。因此，本文的贡献，介绍了两个新的数据集为美国手语：第一个是由三维表示的签名者，第二，由一个前所未有的语言学为基础的表示包含一组音韵属性的标志。
2022-01-06 cs.CL cs.CV
Bukva: Russian Sign Language Alphabet
SberDevices（斯ber设备公司）
本文针对俄罗斯手语dactyl识别的数据短缺问题，构建了首个包含3,757个视频的开源数据集Bukva，并利用TSM模块在仅CPU实时推理下实现83.6%的top-1准确率。
2026-11-03 cs.CV
YouTube-ASL: A Large-Scale, Open-Domain American Sign Language-English Parallel Corpus
Google（谷歌）
本文提出 YouTube-ASL，一个约 1000 小时、超 2500 名手语使用者的大规模开放域美国手语-英语平行语料库，并在 How2Sign 上取得 12.39 BLEU 的微调最优结果及首次零样本结果。
2023-10-26 cs.CL cs.CV
American Sign Language Video to Text Translation
Carnegie Mellon University（卡内基梅隆大学）
本研究复制并改进了美国手语视频到文本翻译模型，通过BLEU和rBLEU评估发现优化器、激活函数及标签平滑显著影响性能，未来将探索视觉特征、解码器及预训练以提升效果。
2024-02-11 cs.CL cs.CV
Recognizing American Sign Language Manual Signs from RGB-D Videos
The Graduate Center, The City University of New York（纽约市立大学研究生中心）
本文提出了一种基于3D卷积神经网络（3DCNN）的多流框架来识别美国手语（ASL）中的手势通过融合多通道的多模态特征，包括手势、面部表情和身体姿势，（RGB、深度、运动和骨架关节）。为了学习视频中的整体时间动态，通过为每个视频选择帧的子集来生成代理视频，然后将其用于训练所提出的3DCNN模型。我们收集了一个新的ASL数据集ASL-100-RGBD，其中包含由Microsoft Kinect V2摄像头捕获的42个RGB-D视频，每个视频包含100个ASL手动标志，包括RGB通道，深度图，骨骼关节，面部特征和HDface。数据集针对每个语义区域进行了完全注释（即，人类签名者执行的每个单词的持续时间）。我们提出的方法实现了92.88的准确率识别100个ASL单词在我们新收集的ASL-100-RGBD数据集。我们的框架用于从RGB-D视频中识别手势的有效性在Chalearn IsoGD数据集上得到了进一步证明，并且通过仅使用5个通道而不是以前工作中的12个通道，在平均融合方面达到了76的准确率，比最先进的工作高5.51。
2019-06-07 cs.CV
SignDiff: Diffusion Model for American Sign Language Production
Rutgers University（罗格斯大学）；Columbia University（哥伦比亚大学）；National University of Singapore（新加坡国立大学）；Victoria University（维多利亚大学）；Georgia Institute of Technology（佐治亚理工学院）；The University of Texas at Dallas（德州大学达拉斯分校）；University of Central Florida（中佛罗里达大学）
提出SignDiff双条件扩散模型，通过FR-Net帧强化网络及改进模块与损失函数，实现从文本生成高质量美国手语骨架视频，在How2Sign和PHOENIX14T数据集上取得SOTA结果。
2025-04-30 cs.CV
Advanced Arabic Alphabet Sign Language Recognition Using Transfer Learning and Transformer Models
Egypt-Japanese University of Science & Technology（埃及-日本科技大学）；Badya University（巴迪亚大学）
本文结合迁移学习与Transformer模型，在ArSL2018和AASL数据集上实现阿拉伯字母手语识别，准确率分别达99.6%和99.43%，显著超越现有方法，为阿拉伯语听障群体提供更便捷的沟通途径。
2024-10-01 cs.AI cs.CV cs.LG
Live American Sign Language Letter Classification with Convolutional Neural Networks
University of Wisconsin - Madison（威斯康星大学麦迪逊分校）
本文提出结合预训练手部关节检测模型与全连接网络的方法，解决了卷积网络和 VGG16 迁移学习在实时美国手语字母识别中背景泛化差的问题，并在实时视频流中取得更优效果。
2023-05-26 cs.CV cs.NE
MS-ASL: A Large-Scale Data Set and Benchmark for Understanding American Sign Language
Microsoft（微软）
手语识别是一个具有挑战性的，往往被低估的问题，包括多模态发音（手形，方向，运动，上身和脸），集成异步多个流。在这种情况下学习强大的统计模型需要大量的数据，特别是应用该领域的最新进展。然而，由于转录这些非书面语言的巨大成本，标记数据是手语的稀缺资源。我们提出了第一个真实的大规模手语数据集，包括超过25，000个注释视频，我们使用最先进的手势和相关动作识别方法对其进行了彻底评估。与当前最先进的技术不同，该数据集允许在具有200多个签名者的现实环境中调查对看不见的个人的泛化（签名者独立测试）。以前的工作主要涉及有限的词汇任务，而在这里，我们涵盖了具有挑战性和不受约束的现实生活中的记录条件下的1000个标志的大型类计数。我们进一步提出了I3D，从视频分类，作为一个强大的和合适的架构，手语识别，性能优于目前的最先进的大幅度。该数据集向社区公开提供。
2019-11-20 cs.CV
Searching for fingerspelled content in American Sign Language
TTI-Chicago（芝加哥丰田技术研究所）；Univeristy of Chicago（芝加哥大学）
手语视频的自然语言处理--包括识别、翻译和搜索等任务--对于让聋人能够使用人工智能技术至关重要，近年来越来越受到研究兴趣。在本文中，我们解决的问题，搜索手指拼写的关键词或关键短语在原始手语视频。这是一项重要的任务，因为手语中的重要内容通常是通过手指拼写来传达的，据我们所知，这项任务以前没有被研究过。我们为此任务提出了一个端到端的模型，FSS-Net，它联合检测fingerspelling并将其与文本序列相匹配。我们的实验，在一个大型的公共数据集的ASL fingerspelling在野外，显示的重要性，fingerspelling检测作为一个组成部分的搜索和检索模型。我们的模型显著优于从相关任务的先前工作改编的基线方法
2022-03-24 cs.CL cs.CV
Generative Multi-Stream Architecture For American Sign Language Recognition
George Mason University（乔治梅森大学）
随着深度模型体系结构的进步，只要提供适当的数据预处理和模型参数初始化，计算机视觉中的任务就可以达到最佳收敛。然而，在复杂应用程序的低特征丰富度数据集上进行训练限制并损害了低于人类表现的最佳收敛。在过去的工作中，研究人员以补充硬件为代价提供了补充数据的外部来源，这些数据以流的形式提供，以抵消这种限制并提高性能。我们提出了一个生成式多流架构，消除了对额外硬件的需要，旨在提高功能的丰富性，而不会冒不切实际的风险。我们还将紧凑的时空残差块引入到标准的3维卷积模型C3 D中。我们的rC 3D模型在FASL-RGB数据集上的表现与顶级C3 D残差变体架构（伪3D模型）相当。我们的方法实现了95.62%的验证准确率，与训练的方差为1.42%，在验证准确率和方差方面优于过去的模型0.45%和5.53%。
2020-03-09 cs.CV
American Sign Language fingerspelling recognition in the wild
Toyota Technological Institute at Chicago（芝加哥丰田技术研究院）；University of Chicago（芝加哥大学）
我们解决的问题，美国手语fingerspelling识别在野外，使用从网站上收集的视频。我们介绍了迄今为止最大的数据集的问题，fingerspelling识别，第一次使用自然发生的视频数据。使用这个数据集，我们提出了第一次尝试，在这个具有挑战性的设置识别fingerspelling序列。与以前的工作不同，由于低帧速率和视觉可变性，我们的视频数据极具挑战性。为了解决视觉上的挑战，我们训练一个特殊用途的签名手检测器使用我们的数据的一个小子集。给定手检测器输出，序列模型解码假设的手指拼写字母序列。对于序列模型，我们探索了基于注意力的递归编码器-解码器和基于CTC的方法。作为第一次尝试在野外的手指拼写识别，这项工作的目的是作为一个基线，未来的工作在现实条件下的手语识别。我们发现，正如预期的那样，字母出错率比以前的工作更控制的数据要高得多，我们分析了错误的来源和模型变量的影响。
2019-02-17 cs.CL cs.CV
WLASL-LEX: a Dataset for Recognising Phonological Properties in American Sign Language
The University of Manchester（曼彻斯特大学）
本文构建了大规模美国手语音系属性数据集WLASL-LEX，并实证发现基于骨架特征的图神经网络能有效自动识别手语音系属性，且在未见手语上依然有效。
2022-03-11 cs.CL cs.CV cs.LG
SDW-ASL: A Dynamic System to Generate Large Scale Dataset for Continuous American Sign Language
The Nueva School（努埃瓦学校）
尽管近年来使用深度学习技术在自然语言处理方面取得了巨大进展，但手语的产生和理解进展甚微。一个关键的障碍是缺乏大规模的数据集提供给公众，由于无法承受的成本标记的数据生成。为美国手语（ASL）理解提供公共数据的努力已经产生了两个数据集，包括一千多个视频剪辑。这些数据集足够大，可以为手语的深度学习研究提供一个有意义的开端，但太小了，无法形成任何可以实际部署的解决方案。到目前为止，仍然没有合适的数据集用于ASL生产。我们提出了一个系统，可以产生大规模的连续ASL数据集。它适用于一般ASL加工，特别适用于ASL生产。连续ASL数据集包含以精简身体姿势数据格式的英语标记的人类发音。为了更好地服务于研究社区，我们发布了我们的ASL数据集的第一个版本，它包含30k句子，416k单词，18k单词的词汇表，总共104小时。这是迄今为止在视频持续时间方面发布的最大的连续手语数据集。我们还描述了一个系统，可以发展和扩展数据集，以纳入更好的数据处理技术和更多的内容时可用。我们希望这个ASL数据集和可持续数据集生成系统的发布将推动ASL自然语言处理中更好的深度学习研究。
2022-10-13 cs.AI cs.CL cs.CV
FineHand: Learning Hand Shapes for American Sign Language Recognition
George Mason University（乔治梅森大学）
美国手语识别是手势识别中的一个难点问题，其特点是快速、清晰的手势。这些是由手臂运动与不同的手形，面部表情和头部运动。在这些组成部分中，手形是至关重要的，往往是手势中最具辨别力的部分。在这项工作中，我们提出了一种有效的学习手形嵌入，这是判别ASL手势的方法。对于手形识别，我们的方法使用手动标记的手形和高置信度预测的混合来训练深度卷积神经网络（CNN）。通过在第一阶段中学习的嵌入上训练的递归神经网络（RNN）来捕获顺序手势分量。我们将证明，更高质量的手形模型可以显着提高最终的视频手势分类的准确性，在具有挑战性的条件下，各种扬声器，不同的照明和显着的运动模糊。我们将我们的模型与利用不同模态和数据表示的替代方法进行比较，并在GMU-ASL 51基准数据集上显示了改进的视频手势识别准确性
2020-03-04 cs.CV cs.HC cs.LG
ASL Video Corpora & Sign Bank: Resources Available through the American Sign Language Linguistic Research Project (ASLLRP)
Boston University（波士顿大学）；Rutgers University（罗格斯大学）
美国手语语言学研究项目（ASLLRP）提供高质量手语视频数据的互联网访问，通常包括正面和侧面视图以及面部特写。签名的手动和非手动部分已经使用SignStream（R）进行了语言注释。最近扩展的视频语料库可以通过我们设计的数据访问接口（DAI 2）进行浏览和搜索;可以进行复杂的搜索。我们的语料库中的数据也可以下载;注释以XML导出格式提供。我们还开发了ASLLRP符号库，其中包含近6，000个词汇符号的符号条目，具有独特的基于英语的注释，共有41，830个词汇符号示例（此外还有大约300个手势，超过1，000个手指拼写符号和475个分类器示例）。同样，在互联网上也可以访问和搜索符号库;也可以从SignStream（R）（促进语言注释和视觉语言数据分析的软件）中访问该符号库，以使注释更加准确和有效。在这里，我们描述了可用的资源。这些数据已被用于许多类型的研究语言学和基于计算机的手语识别从视频;这样的研究的例子提供在本文的后半部分。
2022-01-19 cs.CL cs.CV cs.LG
Modeling Global Body Configurations in American Sign Language
Rochester Institute of Technology（罗切斯特理工学院）；Sign-Speak
美国手语（英语：American Sign Language）是美国第四大最常用的语言，也是美国和加拿大英语区聋人最常用的语言。不幸的是，直到最近，ASL才得到很少的研究。这部分是由于它作为一种语言的认识延迟，直到威廉C。1960年，Stokoe出版。有限的数据一直是ASL研究和计算建模的长期障碍。由于缺乏大规模数据集，许多现代机器学习技术（如神经机器翻译）无法应用于ASL。此外，捕获手语（即视频）所需的模态在自然环境中是复杂的（因为必须处理背景噪声，运动模糊和维数灾难）。最后，当与口语（如英语）相比时，对美国手语的语言学研究有限。我们利用概率图模型（PGM）实现了Liddell和Johnson运动保持（MH）模型的简化版本。我们在ASLing上训练了我们的模型，这是一个从三个流利的ASL签名者那里收集的数据集。我们评估我们的PGM对其他模型，以确定其建模ASL的能力。最后，我们解释了PGM的各个方面，并得出关于ASL语音的结论。本文的主要贡献是
2020-09-03 cs.CV cs.LG
FLEURS-ASL: Including American Sign Language in Massively Multilingual Multitask Evaluation
Google（谷歌）
本文提出 FLEURS-ASL 基准，将美国手语扩展至多语言多任务评估中，支持 ASL 与 200 种文本或 102 种语音语言间的翻译，并提供统一建模基线，揭示了前沿多模态模型对 ASL 的理解不足。
2024-08-24 cs.CL cs.CV
Speak2Sign3D: A Multi-modal Pipeline for English Speech to American Sign Language Animation
Department of Computer Science, BRAC University（计算机科学系，布拉克大学）
提出Speak2Sign3D流水线，结合Whisper、MarianMT及3D关键点运动系统，将英语语音转换为流畅的3D美国手语动画，并构建新数据集以提升翻译性能。
2025-07-09 cs.CV
Design of Arabic Sign Language Recognition Model
聋人使用手语进行交流，它是手势，动作，姿势和面部表情的组合，对应于口语中的字母和单词。所提出的阿拉伯手语识别模型有助于聋人和听力障碍者与普通人进行有效的交流。识别有四个阶段，将字母表转换为字母，如下所示：图像加载阶段，其加载稍后用于训练和测试模型的阿拉伯手语字母的图像，预处理阶段，其应用图像处理技术，诸如归一化、图像增强、消隐和滤波，以提取完美地完成识别所必需的特征，一个训练阶段，通过深度学习技术（如CNN）实现，一个测试阶段，演示模型对之前没有看到的图像的有效性，模型主要使用PyTorch库构建和测试。该模型在ArASL 2018上进行了测试，该模型由来自40个签名者的32个字母符号的54，000个图像组成，数据集有两个集合：训练数据集和测试数据集。我们必须确保该系统在准确性、时间和使用灵活性方面可靠，本报告中对此进行了详细解释。最后，未来的工作将是将阿拉伯手语转换为阿拉伯文本的模型。
2023-01-06 cs.CV
Data-Efficient American Sign Language Recognition via Few-Shot Prototypical Networks
Computer Science, NYUAD（纽约大学亚当分校计算机科学系）
本文提出一种少样本原型网络框架，通过时空图卷积网络和多尺度时间聚合模块提升手语识别的准确率与泛化能力。
2025-12-11 cs.CV
Mediapipe and CNNs for Real-Time ASL Gesture Recognition
Galgotias College of Engineering and Technology（加尔各答工程技术学院）
本研究提出一种结合Mediapipe特征提取与CNN分类的实时美国手语识别系统，以99.95%准确率识别全部ASL字母，为听障人士通信提供有效方案。
2023-05-24 cs.CV cs.LG
An Improved Feature Descriptor for Recognition of Handwritten Bangla Alphabet
Jadavpur University（贾达普大学）
手写体字符识别的一个重要方面是如何选择合适的特征来表示模式类。特征的有效性取决于所选择的用于表示不同类别的模式的特征的辨别能力。然而，歧视性特征并不容易衡量。调查实验对于识别歧视性特征是必要的。在目前的工作中，我们已经确定了一个新的变化的功能集，显着优于手写孟加拉字母从以前使用的功能集。这里使用了所有132个特征，即修改的阴影特征、八分圆和质心特征、基于距离的特征、基于四叉树的最长运行特征。使用这个特征集，识别性能从我们以前的工作中观察到的75.05%急剧增加[7]，在相同数据集上使用基于MLP的分类器的50个字符类上达到85.40%。
2015-01-22 cs.CV
Analyzing Multispectral Satellite Imagery of South American Wildfires Using Deep Learning
Monta Vista High School（蒙塔维斯塔高中）
由于频繁的严重干旱延长了亚马逊雨林的旱季，因此必须及时发现野火并预测可能的蔓延，以便采取有效的扑灭措施。目前的野火探测模型对于南美热点的低技术条件来说不够通用。这项深度学习研究首先在厄瓜多尔和加拉帕戈斯的Landsat 8图像上训练全卷积神经网络，使用绿色和短波红外波段来预测像素级二元防火面具。该模型在圭亚那和苏里南的测试数据上实现了0.962的验证F2得分和0.932的F2得分。然后，使用K均值聚类对卷云波段进行图像分割，将连续的像素值简化为三个离散的类别，代表不同程度的卷云污染。训练三个额外的卷积神经网络以进行灵敏度分析，测量简化特征对模型精度和训练时间的影响。与在原始卷云图像上训练的对照模型相比，在分割卷云图像上训练的实验模型在训练时间上提供了统计学上显著的减少，而不损害二进制精度。这一概念证明表明，特征工程可以通过降低计算费用来提高野火检测模型的性能。
2022-04-19 cs.CV cs.LG
Radar-Based Recognition of Static Hand Gestures in American Sign Language
Friedrich-Alexander-Universität Erlangen-Nürnberg（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）
本文研究基于成像雷达空间信息的美式手语静态手势识别，提出仅用可调材料模型的射线追踪模拟器生成合成数据训练神经网络，并在真实测量数据上验证了其有效性，为解决雷达手势识别中训练数据稀缺问题提供了实用方法。
2024-02-20 cs.CV eess.SP
Toward American Sign Language Processing in the Real World: Data, Tasks, and Methods
Toyota Technological Institute at Chicago（芝加哥丰田理工学院）
该研究针对真实场景手语处理难题，构建3个美国手语数据集，围绕指拼提出端到端识别、检测与搜索方法，并搭建大词汇量开放域翻译基准，性能接近人类水平。
2023-08-23 cs.CL cs.CV
The OCR Quest for Generalization: Learning to recognize low-resource alphabets with model editing
Centre de Visió per Computador (CVC)（计算机视觉中心）；Computer Science Department, Universitat Autònoma de Barcelona（计算机科学系，巴塞罗那自治大学）
本研究利用模型编辑技术，通过域合并方法提升低资源字母表的识别泛化能力，在迁移学习和域外评估中显著优于集中式微调策略。
2025-06-18 cs.CV cs.LG
