Pose-Based Sign Language Appearance Transfer
University of Zurich(苏黎世大学)
提出一种在手语骨骼姿态中迁移打手势者外观并保留手语内容的方法,在掩盖身份改进渲染的同时揭示了隐私保护与手语识别性能之间的权衡。
2025-04-29 cs.CL cs.CV
ChaLearn LAP Large Scale Signer Independent Isolated Sign Language Recognition Challenge: Design, Results and Future Research
Ankara University(安卡拉大学);Computer Vision Center(计算机视觉中心);University of Barcelona(巴塞罗那大学)
近年来,手语识别(SLR)系统的性能有了很大的提高。然而,一些开放的挑战仍然需要解决,以使SLR在实践中有用。该领域的研究还处于起步阶段,涉及到模型对各种各样的标志和签名者的鲁棒性,以及模型对来自不同人口统计数据的表演者的公平性。这项工作总结了ChaLearn在CVPR 2021上组织的大规模Signer独立隔离SLR挑战赛,其目标是克服上述一些挑战。我们分析和讨论了挑战设计,获奖的解决方案和建议,为未来的研究。本次挑战赛吸引了132名RGB赛道的参赛者和59名RGB+Depth赛道的参赛者,共收到超过1.5K的参赛作品。参与者使用一个新的大规模多模态土耳其手语(AUTSL)数据集进行评估,该数据集由43个不同签名者执行的226个标志标签和36,302个孤立的标志视频样本组成。获胜的团队实现了超过96%的识别率,他们的方法受益于姿势/手部/面部估计,迁移学习,外部数据,模态融合/集成以及不同的时空信息建模策略。然而,方法仍然无法区分非常相似的标志,特别是那些共享相似的手轨迹。
2021-05-11 cs.CV
Motion is the Choreographer: Learning Latent Pose Dynamics for Seamless Sign Language Generation
本文提出两阶段手语视频生成框架,通过构建与手语者无关的运动词典和潜在姿态动力学,实现运动与身份解耦,从而提升合成质量与个性化灵活性。
2025-08-06 cs.CV
DiffSign: AI-Assisted Generation of Customizable Sign Language Videos With Enhanced Realism
Amazon Prime Video(亚马逊Prime视频)
本文提出DiffSign框架,结合参数化三维头像与扩散生成模型,并通过视觉适配器实现外观可控的逼真手语视频生成,提升时间一致性并支持多样性定制与匿名化。
2024-12-05 cs.CV
A Signer-Invariant Conformer and Multi-Scale Fusion Transformer for Continuous Sign Language Recognition
University of Waterloo(滑铁卢大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出双架构框架解决连续手语识别挑战:Signer-Invariant Conformer学习签名者无关表示,Multi-Scale Fusion Transformer捕获细粒度姿态动态以理解新语法,在Isharah-1000数据集上显著降低词错率并取得竞赛优异成绩。
2025-08-12 cs.AI cs.CV cs.IR
Visual Recognition of Isolated Swedish Sign Language Signs
KTH(瑞典皇家理工学院)
我们提出了一种孤立的瑞典手语符号识别方法。该方法将用于一个游戏,旨在帮助儿童在家中训练手语,作为与教师培训的补充。目标群体主要不是聋哑儿童,而是有语言障碍的儿童。使用手语作为对话的辅助手段,已被证明可以极大地促进这些儿童的言语发展。签名者是用RGB-D(Kinect)传感器捕捉的,它比普通的RGB相机有三个优点。首先,它可以很容易地去除复杂的背景。我们根据肤色和深度信息分割手和脸。其次,它有助于解决手在脸上遮挡。第三,标志发生在3D中;标志的某些方面由垂直于图像平面的手部运动定义。如果深度是可观察的,则可以估计该运动。手相对于躯干的3D运动与手的形状一起被用作提示,并且使用该输入训练的Hacker被用于分类。为了获得更高的鲁棒性对签名者之间的差异,Fisher线性判别分析是用来找到最具描述性的每个标志的功能组合,无论签名者。实验表明,该系统可以区分标志,从一个具有挑战性的94字词汇的准确率高达94%,在签名人依赖的情况下,高达47%,在签名人独立的情况下。
2012-11-16 cs.CV
DiffSLVA: Harnessing Diffusion Models for Sign Language Video Anonymization
Rutgers University(罗格斯大学);Boston University(波士顿大学)
本文提出 DiffSLVA,利用预训练扩散模型和 ControlNet 零样本文本引导实现手语视频匿名化,规避姿态估计并保留语言内容,首次适用于真实场景。
2023-11-27 cs.CV
Diverse Signer Avatars with Manual and Non-Manual Feature Modelling for Sign Language Production
CVSSP, University of Surrey(计算机视觉与模式识别研究所,萨里大学)
本文提出利用潜在扩散模型和显式建模手动与非手动特征的手语特征聚合模块,在保持语言内容的同时生成具有不同种族背景的多样化逼真手语虚拟形象,并在YouTube-SL-25数据集上取得优于现有方法的视觉质量。
2025-08-21 cs.CV
SIGNeRF: Scene Integrated Generation for Neural Radiance Fields
University of Tübingen(蒂宾根大学)
SIGNeRF利用深度条件扩散模型生成多视图参考表,实现无需迭代优化的快速可控NeRF场景编辑与场景集成式物体生成,并支持空间位置与形状引导控制。
2024-03-27 cs.CV cs.GR
FSboard: Over 3 million characters of ASL fingerspelling collected via smartphones
Google(谷歌公司);Tulane University(杜兰大学);Rochester Institute of Technology(罗切斯特理工学院);Deaf Professional Arts Network(聋人专业艺术网络)
本文提出FSboard,一个通过智能手机从147名聋哑手语者收集的超过300万字符的美国手语手指拼写数据集,并微调ByT5-Small基线模型,在测试集上达到11.1%的字符错误率,为手指拼写识别提供了大规模数据基础。
2024-07-22 cs.CL cs.CV
SegSLR: Promptable Video Segmentation for Isolated Sign Language Recognition
Computer Vision Group, University of Hamburg, Germany(汉堡大学计算机视觉组)
提出SegSLR系统,通过可提示零样本视频分割结合RGB与姿态信息,保留手部形状细节,在ChaLearn249 IsoGD数据集上优于现有最先进方法。
2025-09-12 cs.CV
Spatial Relationship Based Features for Indian Sign Language Recognition
University of Mysore(迈索尔大学)
本文研究了听觉障碍者在句子水平上的符号识别问题。提出了一种新的空间特征提取方法来捕捉签名者的手部动作。一个给定的视频标志的帧进行预处理,以提取面部和手部组件的签名。利用提取的组件的局部质心以及全局质心来提取空间特征。区间值类型符号数据的概念已被探索,以捕捉不同的签名者在不同的时间实例在同一个符号的变化。一个合适的符号相似性的措施进行了研究,以建立测试和参考符号之间的匹配和一个简单的最近邻分类器是用来识别一个未知的标志作为已知的标志之一,通过指定所需的阈值水平。一个广泛的实验进行了相当大的数据库的迹象,我们创造了在研究工作的过程中,以评估所提出的系统的性能
2016-10-09 cs.CV
Multitask training with unlabeled data for end-to-end sign language fingerspelling recognition
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们解决的问题,自动美国手语手指拼写识别视频。之前的工作主要依赖于帧级标签,手工制作的功能或其他限制,并且由于缺乏数据而受到阻碍。我们介绍了一个模型的手指拼写识别,解决这些问题。该模型由一个基于自动编码器的特征提取器和一个基于注意力的神经编码器-解码器组成,它们是联合训练的。该模型接收一系列图像帧并输出手指拼写的单词,而不依赖于任何帧级训练标签或手工制作的特征。此外,自动编码器子组件可以利用未标记的数据来改进特征学习。该模型实现了11.6%和4.4%的绝对字母准确率分别在签名独立和签名适应的手指拼写识别比以前的方法,需要帧级训练标签。
2019-02-17 cs.CL cs.CV
Pose-Guided Sign Language Video GAN with Dynamic Lambda
Beuth University of Applied Sciences Berlin(柏林博伊特应用科学大学)
我们提出了一种使用GANs合成手语视频的新方法。我们扩展了Stoll等人以前的工作。通过使用Soft-Gated Warping-GAN的人类语义解析器来生成由区域级空间布局指导的逼真视频。合成目标姿态提高了对独立和对比签名者的性能。因此,我们使用高度异构的MS-ASL数据集评估了我们的系统,该数据集具有超过200个签名者,导致SSIM为0.893。此外,我们引入了一个周期性的加权方法的发电机,重新激活的训练,并导致定量更好的结果。
2021-05-06 cs.CV
YouTube-ASL: A Large-Scale, Open-Domain American Sign Language-English Parallel Corpus
Google(谷歌)
本文提出 YouTube-ASL,一个约 1000 小时、超 2500 名手语使用者的大规模开放域美国手语-英语平行语料库,并在 How2Sign 上取得 12.39 BLEU 的微调最优结果及首次零样本结果。
2023-10-26 cs.CL cs.CV
A Hong Kong Sign Language Corpus Collected from Sign-interpreted TV News
The Hong Kong University of Science and Technology(香港科技大学);Microsoft Research Asia(微软亚洲研究院)
本文构建了TVB-HKSL-News香港手语数据集,包含16.07小时视频和6,515个gloss,并给出SLR词错误率34.08%与SLT BLEU-4 23.58的基线结果。
2024-05-02 cs.CL cs.CV
HATL: Hierarchical Adaptive-Transfer Learning Framework for Sign Language Machine Translation
本文提出HATL框架,通过动态解冻预训练层和层间学习率衰减,提升手语翻译的鲁棒性和适应性,在Sign2Text和Sign2Gloss2Text任务中表现优异,BLEU-4得分提升显著。
2026-02-26 cs.AI cs.CL cs.CV
Hierarchical Windowed Graph Attention Network and a Large Scale Dataset for Isolated Indian Sign Language Recognition
RKMVERI(罗摩克里希纳使命维韦卡南达大学);FDMSE, RKMVERI(罗摩克里希纳使命维韦卡南达大学FDMSE学院);RKMVC(罗摩克里希纳使命维韦卡南达学院)
针对印度手语数据缺乏问题,本文构建了包含40033个视频的大规模孤立ISL数据集,并提出基于上半身骨架图的HWGAT模型,在多个手语数据集上显著提升了识别性能。
2024-09-27 cs.CL cs.CV
PerSign: Personalized Bangladeshi Sign Letters Synthesis
University of Colorado Boulder(科罗拉多大学博尔德分校);Ahsanullah University of Science and Technology(阿赫桑努拉科技大学)
孟加拉国手语(BdSL)-像其他手语一样-对于普通人来说很难学习,特别是在表达字母时。在这张海报中,我们提出了PerSign,一个可以通过在其中引入手势来复制人的图像的系统。我们使这个操作个性化,这意味着生成的图像保持人的初始图像轮廓-面部,肤色,服装,背景-不变,同时适当地改变手,手掌和手指的位置。我们使用图像到图像的翻译技术,并建立相应的唯一数据集来完成任务。我们相信翻译的图像可以减少签名者(使用手语的人)和非签名者之间的沟通差距,而无需事先了解BdSL。
2022-09-29 cs.CV cs.HC
SignSeek: Learning Transferable Representations for Sign Dictionary Retrieval
University of Surrey(萨里大学)
SignSeek 采用显著性引导发音器掩码的对比学习,在多手语数据集预训练后,在跨语料库手语检索等任务上实现了最优性能,且可零样本泛化到新手语并迁移至其他相关任务。
2026-09-04 cs.CV
SkelCap: Automated Generation of Descriptive Text from Skeleton Keypoint Sequences
Hacettepe University(哈杰泰佩大学)
本文提出SkelCap模型,通过全连接层和transformer将骨架关键点序列转化为身体运动文本描述,并基于AUTSL构建新数据集,在无关评估中取得高ROUGE-L和BLEU-4分数。
2024-05-05 cs.CV cs.LG
Isharah: A Large-Scale Multi-Scene Dataset for Continuous Sign Language Recognition
King Fahd University of Petroleum & Minerals(国王法赫德石油和矿物大学);SDAIA-KFUPM Joint Research Center for Artificial Intelligence(SDAIA-KFUPM人工智能联合研究中心);National Center for Artificial Intelligence, SDAIA(人工智能国家中心,SDAIA)
本文提出Isharah,一个在无约束环境下用智能手机采集的大规模多场景连续手语识别数据集,包含30,000个视频片段和词级标注,并引入多个CSLR与SLT基准。
2025-06-04 cs.CV
Isolated Sign Language Recognition with Segmentation and Pose Estimation
University of Tennessee, Knoxville(田纳西大学,诺克斯维尔)
本文提出了一种降低计算成本且具备鲁棒性的孤立手语识别模型,通过姿态估计、分割模块和ResNet-Transformer主干联合建模空间与时间依赖性,以提升对签署人变异的适应能力。
2025-12-16 cs.CV
Towards Continuous Sign Language Conversation from Isolated Signs
Yonsei University(延世大学);LG Electronics(LG电子);Emory University(埃默里大学)
本文提出通过构建连续手语对话来解决手语翻译模型词汇覆盖不足和泛化能力弱的问题,引入了SignaVox-W和SignaVox-U数据集,并采用检索引导的语音到词组翻译和BRAID模型实现结构匹配。
2026-05-14 cs.CV
Simultaneous Translation between Sign Languages
Oregon State University(俄勒冈州立大学)
本文提出首个同声手语到手语翻译系统,采用两种wait-k机制并引入计算感知延迟度量ca-Stream-AL,在六个方向上实现38%延迟降低,同时保持较小的质量损失。
2026-09-29 cs.CL cs.CV
Trajectory-Based Recognition of Dynamic Persian Sign Language Using Hidden Markov Model
University of Tabriz(大不里士大学)
手语识别(SLR)是促进聋人与社会其他人交流的重要一步。现有的波斯语手语识别系统主要局限于静态符号,在日常交流中不是很有用。在这项研究中,一个动态的波斯手语识别系统。从12个人用简单的白色手套执行20个动态标志中捕获了1200个视频的集合。使用简单的区域生长技术从每个视频中提取手的轨迹以及手的形状信息。这些随时间变化的轨迹,然后使用隐马尔可夫模型(HMM)与高斯概率密度函数作为观察建模。系统的性能进行了评估,在不同的实验策略。在该系统上进行了与签名者无关和与签名者相关的实验,平均准确率为97.48%。实验结果表明,该系统的性能与主题无关,即使在有限的训练数据的情况下也能表现出良好的性能。
2019-12-04 cs.CV
SignDATA: Data Pipeline for Sign Language Translation
Computer Science and Information Engineering National Central University(计算机科学与信息工程国家级中央大学);Electrical Engineering National Changhua University Of Education(电气工程国家彰化教育大学)
本文提出SignDATA,一种标准化手语数据集的预处理工具包,支持端到端的姿势和视频处理流程,通过可配置的接口实现统一输出,提升手语研究的可重复性和比较性。
2026-04-22 cs.CL cs.CV
Real-time Sign Language Fingerspelling Recognition using Convolutional Neural Networks from Depth map
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
手语识别对于聋人群体和听力正常人群之间自然、便捷的交流具有重要意义。我们采取了高效的初始步骤的自动手指拼写识别系统使用卷积神经网络(CNN)从深度图。在这项工作中,我们认为相对较大的类的数量相比,以前的文献。我们训练CNN使用从多个主题收集的深度数据的子集对31个字母和数字进行分类。当使用不同的学习配置,如超参数选择与验证和不验证,我们实现了99.99%的准确率为观察签名和83.58%至85.49%的准确率为新的签名。结果表明,当我们在训练过程中包含更多来自不同主题的数据时,准确率会提高。对于单个图像的预测,处理时间为3ms。据我们所知,该系统实现了最高的准确性和速度。经过训练的模型和数据集可以在我们的存储库中找到。
2015-10-14 cs.CV
LSA-T: The first continuous Argentinian Sign Language dataset for Sign Language Translation
Universidad Nacional de La Plata(拉普拉塔国立大学);Comisión de Investigaciones Científicas de la Pcia. de Bs. As. (CIC-PBA)(布宜诺斯艾利斯省科学研究委员会);Universidad Tecnológica de La Habana José Antonio Echeverría(哈瓦那何塞·安东尼奥·埃切维里亚科技大学)
手语翻译是一个活跃的研究领域,包括人机交互,计算机视觉,自然语言处理和机器学习。这一领域的进展可能导致聋人更高程度的融入社会。本文介绍了,据我们所知,第一个连续的阿根廷手语(LSA)数据集。它包含从CN Sordos YouTube频道提取的14,880个句子级别的LSA视频,每个签名者都有标签和关键点注释。我们还提出了一种方法,用于推断的主动签名者,数据集的特性的详细分析,一个可视化工具,以探索数据集和神经网络模型作为基线,为未来的实验。
2022-11-14 cs.CV cs.LG
Everybody Sign Now: Translating Spoken Language to Photo Realistic Sign Language Video
University of Surrey(萨里大学)
为了真正被聋人社区理解和接受,自动手语制作(SLP)系统必须生成照片般逼真的签名者。基于图形化身的先前方法已被证明不受欢迎,而最近产生骨架姿势序列的神经SLP作品已被证明是聋人观众无法理解的。在本文中,我们提出了SignGAN,这是第一个直接从口语中生成逼真的连续手语视频的SLP模型。我们采用了一个Transformer架构与混合密度网络(MDN)制定处理翻译从口头语言的骨架姿势。然后引入一个姿态调节的人体合成模型,从骨骼姿态序列中生成一个照片般逼真的手语视频。这允许直接从书面文本翻译的标志视频的照片逼真的生产。我们进一步提出了一种新的基于关键点的损失函数,它显着提高了合成的手图像的质量,在关键点空间中操作,以避免运动模糊引起的问题。此外,我们还介绍了一种可控视频生成方法,可以在大型、多样化的手语数据集上进行训练,并提供在推理时控制签名者外观的能力。使用从广播片段中提取的八种不同手语翻译的数据集,我们表明SignGAN在定量指标和人类感知研究方面显着优于所有基线方法。
2020-11-26 cs.CL cs.CV cs.LG
Diversity-Aware Sign Language Production through a Pose Encoding Variational Autoencoder
University of Surrey(萨里大学)
针对多样性感知手语生成需求,提出结合姿态信息与属性条件的姿态编码变分自编码器,采用UNet架构和分部位解码器,在SMILE II数据集上多项指标优于现有基线。
2024-05-16 cs.CV
MS-ASL: A Large-Scale Data Set and Benchmark for Understanding American Sign Language
Microsoft(微软)
手语识别是一个具有挑战性的,往往被低估的问题,包括多模态发音(手形,方向,运动,上身和脸),集成异步多个流。在这种情况下学习强大的统计模型需要大量的数据,特别是应用该领域的最新进展。然而,由于转录这些非书面语言的巨大成本,标记数据是手语的稀缺资源。我们提出了第一个真实的大规模手语数据集,包括超过25,000个注释视频,我们使用最先进的手势和相关动作识别方法对其进行了彻底评估。与当前最先进的技术不同,该数据集允许在具有200多个签名者的现实环境中调查对看不见的个人的泛化(签名者独立测试)。以前的工作主要涉及有限的词汇任务,而在这里,我们涵盖了具有挑战性和不受约束的现实生活中的记录条件下的1000个标志的大型类计数。我们进一步提出了I3D,从视频分类,作为一个强大的和合适的架构,手语识别,性能优于目前的最先进的大幅度。该数据集向社区公开提供。
2019-11-20 cs.CV
Toward Deployable Bangla Sign Language Recognition with Expert-Validated Data and a Lightweight Attention-Based Model
Bangladesh Army University of Science and Technology(孟加拉国陆军科技大学)
本文构建专家验证的RSBdSL38数据集,提出轻量型注意力卷积网络,实现高准确率孟加拉语手语识别,模型可在普通智能手机部署,相关资源已公开。
2026-08-11 cs.AI cs.CV
SignNet-1M: Large-Scale Multilingual Sign Language Video Dataset with Downstream Benchmarks
New York University Abu Dhabi(纽约大学阿布扎比分校);ChatSign Technology(ChatSign 技术公司);Tsinghua University(清华大学)
提出SignNet-1M,通过3D高斯泼溅、扩散模型和后期渲染增强合成多样化手语视频,提升模型在跨视角、背景和身份等分布偏移下的泛化能力。
2026-06-24 cs.CV
Challenges for Linguistically-Driven Computer-Based Sign Recognition from Continuous Signing for American Sign Language
Boston University(波士顿大学)
本文基于大型带语言标注的ASL视频语料库,综述连续手语识别相较孤立手语识别面临的变异与结构难题,并指出可利用语言规律提升手形及手语识别。
2023-11-01 cs.CL cs.CV
CSLRConformer: A Data-Centric Conformer Approach for Continuous Arabic Sign Language Recognition on the Isharah Datase
Department of Computer and Information Sciences(计算机与信息科学系);Faculty of Graduate Studies for Statistical Research(统计研究研究生学院)
针对连续阿拉伯手语识别,提出数据中心的CSLRConformer架构,结合EDA特征选择、DBSCAN预处理及CNN-Transformer,在Isharah数据集上取得WER 5.60%/12.01%,获挑战赛第三名。
2025-08-03 cs.AI cs.CL cs.CV
Towards the extraction of robust sign embeddings for low resource sign language recognition
Ghent University(根特大学);imec(比利时微电子研究中心);Trinity College Dublin(都柏林圣三一学院)
本文比较 OpenPose、MMPose 和 MediaPipe,提出通过关键点归一化、缺失插补与姿态嵌入学习提升低资源手语识别的鲁棒性和跨语言迁移能力。
2023-08-16 cs.CL cs.CV
Improving Sign Recognition with Phonology
University of Southern California(南加州大学);San Diego State University(圣地亚哥州立大学)
我们使用美国手语(ASL)语音学研究的见解,训练模型孤立的手语识别(ISLR),自动手语语言理解的一步。我们的主要观点是明确认识到音系学在手语制作中的作用,以实现比现有工作更准确的ISLR,不考虑手语音系学。我们训练ISLR模型,该模型采用对产生单个符号的签名者的姿势估计,不仅预测该符号,还预测其语音特征,例如手形。这些辅助预测在WLASL基准测试中导致了近9%的符号识别准确性的绝对增益,并且无论底层预测模型架构如何,ISLR都得到了一致的改进。这项工作有可能加速手语领域的语言学研究,减少聋人和听力正常人之间的沟通障碍。
2023-02-11 cs.CL cs.CV
JSL-DC: A Word-Level Japanese Sign Language Dataset with Linguist-Derived Descriptions for Distinguishing Confusable Signs
Kwansei Gakuin University(关西学院大学);Georgia Institute of Technology(佐治亚理工学院);Keio University(庆应义塾大学);Technical University of Clausthal(克劳斯塔尔工业大学);The University of Tokyo(东京大学)
针对日语手语缺乏大规模多手势者数据集的问题,提出JSL-DC数据集,其含36700个视频,受其描述启发的模型在易混淆子集上性能超现有方法9.8%,将加速手语识别研究。
2026-08-20 cs.CV
SignRR: Retrieve and Refine Real Motion for Sign Language Production
University of Central Florida(中佛罗里达大学);Universidad Nacional Mayor de San Marcos(圣马科斯国立大学);Universidad Catolica San Pablo(圣巴勃罗天主教大学);Marist University(玛瑞斯特大学)
针对手语生成的现有范式局限,提出 SignRR 框架,采用检索并优化的范式,在 PHOENIX14T 和 CSL-Daily 上实现了最优回译性能且姿态质量具竞争力。
2026-10-28 cs.CV
Sign language segmentation with temporal convolutional networks
University of Oxford(牛津大学);University of Heilbronn(海尔布隆大学);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
这项工作的目的是确定连续手语视频中符号之间的时间边界的位置。我们的方法采用3D卷积神经网络表示与迭代的时间段细化,以解决符号边界线索之间的歧义。我们证明了我们的方法在BSLCORPUS,PHOENIX 14和BSL-1 K数据集上的有效性,显示出比现有技术有相当大的改进,并且能够推广到新的签名者,语言和域。
2021-02-12 cs.CV
Can Everybody Sign Now? Exploring Sign Language Video Generation from 2D Poses
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
最近的工作已经解决了由用于手语的人体关节的2D/3D坐标表示的人体姿势的生成。我们使用深度学习中最先进的技术进行运动传输,并在美国手语数据集How2 Sign上对其进行评估,以生成签名者在给定2D姿势骨架的情况下执行手语的视频。我们对生成的视频进行了定量和定性评估,结果表明,由于缺乏手中的细节,目前的模型不足以生成足够的手语视频。
2021-01-04 cs.AI cs.CV
BdSLW401: Transformer-Based Word-Level Bangla Sign Language Recognition Using Relative Quantization Encoding (RQE)
针对低资源孟加拉手语识别,本文提出大规模多视角数据集BdSLW401,并引入相对量化编码(RQE)方法通过锚定生理参考点和量化运动轨迹改进基于Transformer的模型,显著降低错误率并提升可解释性,为该领域设定了新基准。
2025-03-04 cs.AI cs.CV cs.HC
Classification of Phonological Parameters in Sign Languages
Heriot-Watt University(赫瑞-瓦特大学)
手语者通过组合诸如手形、方向、位置、运动和非手动特征等语音参数来组成手语音素,从而实现交流。语言学研究通常将符号分解为它们的组成部分来研究手语,并且通常在视频的注释上投入大量精力。在这项工作中,我们将展示如何使用一个单一的模型来识别的目的是帮助语言注释或描述的标志识别模型的标志内的手语的个别语音参数。我们使用丹麦手语数据集“Ordbog over Dansk Tegnsprog”来使用姿势估计模型生成多个数据集,然后将其用于训练多标签快速R-CNN模型以支持多标签建模。此外,我们发现,有一个显着的相互依赖的方向和位置的语音参数之间生成的数据,我们将这种相互依赖的模型,以实现更好的性能。
2022-05-24 cs.CL cs.CV
Open-Domain Sign Language Translation Learned from Online Video
TTI-Chicago(芝加哥丰田技术研究院)
现有的手语翻译工作-即从手语视频翻译成书面语言的句子-主要集中在(1)在受控环境中收集的数据或(2)特定领域的数据,这限制了对现实世界设置的适用性。在本文中,我们介绍了OpenASL,这是一个从在线视频网站(例如,YouTube)。OpenASL包含来自200多个签名者的多个领域的288小时ASL视频,是迄今为止最大的公开可用ASL翻译数据集。为了解决现实环境中的手语翻译的挑战,没有掩饰,我们提出了一套技术,包括标志搜索作为预训练和融合的口形和手形特征的借口任务。所提出的技术在翻译质量上产生了一致的和大的改进,超过了基于先前工作的基线模型。我们的数据和代码可在https://github.com/chevalierNoir/OpenASL上公开获取
2022-11-19 cs.CL cs.CV
AutoSign: Direct Pose-to-Text Translation for Continuous Sign Language Recognition
Carnegie Mellon University(卡内基梅隆大学)
本文提出 AutoSign,一种仅解码器自回归 transformer,利用 1D CNN 时间压缩与 AraGPT2 直接将姿态序列翻译为文本,消除 CSLR 多阶段对齐流程,并在 Isharah-1000 上将 WER 最高降低 6.1%。
2025-07-26 cs.AI cs.CL cs.CV
ASL-Skeleton3D and ASL-Phono: Two Novel Datasets for the American Sign Language
Universidade Federal de Pernambuco(伯南布哥联邦大学)
手语是一种重要的资源,使残疾性听力损失患者能够获得沟通和适当的社会情感发展。预计到2050年,这一人口将达到7亿,语言的重要性变得更加重要,因为它在确保这些人融入社会方面发挥着关键作用。手语识别领域旨在弥合手语用户和非手语用户之间的差距。然而,数据集数量和质量的稀缺是限制探索新方法的主要挑战之一,这些方法可能会导致该研究领域的重大进展。因此,本文的贡献,介绍了两个新的数据集为美国手语:第一个是由三维表示的签名者,第二,由一个前所未有的语言学为基础的表示包含一组音韵属性的标志。
2022-01-06 cs.CL cs.CV
AUTSL: A Large Scale Multi-modal Turkish Sign Language Dataset and Baseline Methods
Ankara University(安卡拉大学)
手语识别是一个具有挑战性的问题,其中通过多个源的同时局部和全局表达来识别符号,即手的形状和方向、手的动作、身体姿势和面部表情。即使使用最先进的模型,在现实生活中为大量的符号词汇计算解决这个问题仍然是一个挑战。在这项研究中,我们提出了一个新的大规模多模态土耳其手语数据集(AUTSL)的基准,并提供基线模型的性能评估。我们的数据集由43个不同的签名者执行的226个签名和总共38,336个孤立的签名视频样本组成。样本包含在室内和室外环境中记录的各种背景。此外,空间位置和姿势的签署者也不同的记录。每个样本都使用Microsoft Kinect v2记录,并包含RGB,深度和骨架模态。我们为用户独立的模型评估准备了基准训练和测试集。我们训练了几个基于深度学习的模型,并使用基准测试提供了经验评估;我们使用CNN来提取特征,使用单向和双向LSTM模型来表征时间信息。我们还将特征池模块和时间注意力引入到我们的模型中,以提高性能。我们在AUTSL和Montalbano数据集上评估了我们的基线模型。我们的模型在Montalbano数据集上取得了与最先进方法相竞争的结果,即96.11%的准确率。在AUTSL随机训练测试中,我们的模型的准确率高达95.95%。在建议的用户独立的基准数据集,我们最好的基线模型达到62.02%的准确率。相同基准模型的性能差距显示了我们基准数据集固有的挑战。AUTSL基准数据集…
2020-10-19 cs.CV
Text2Sign: A Single-GPU Diffusion Baseline for Text-to-Sign Language Video Generation
研究文本到手语视频生成,提出Text2Sign模型,结合冻结视觉语言文本编码器等技术,降低全视频注意力成本。在特定分割上有一定验证损失等结果,虽提示敏感性弱,但为单GPU研究提供了基线。
2026-07-16 cs.CL cs.CV cs.LG
Continuous Sign Language Recognition Using Intra-inter Gloss Attention
Sharif University of Technology(谢里夫理工大学)
针对连续手语识别中普通自注意力难以利用局部时间语义的问题,提出词内-词间注释注意力模块并结合背景分割,在 PHOENIX-2014 上以端到端方式取得具有竞争力的 WER 20.4。
2024-06-26 cs.AI cs.CV
SignGPT: Toward LLM-Mediated Sign Language Interaction through Gloss-Free Translation and Generation
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学);E Fund(易方达基金);Peng Cheng Laboratory(鹏城实验室);Tencent AI Lab(腾讯AI实验室)
SignGPT提出统一的无注释手语翻译与生成框架,集成部件感知层次表示和非对称多令牌预测,在How2Sign和Phoenix-2014T上验证,并探索了LLM介导的手语对话潜力。
2026-09-21 cs.CV
Fingerspelling recognition in the wild with iterative visual attention
Toyota Technological Institute at Chicago(芝加哥丰田理工学院);University of Chicago(芝加哥大学)
手语识别是一个具有挑战性的手势序列识别问题,其特点是快速和高度协同运动。在本文中,我们专注于识别手指拼写序列在美国手语(ASL)视频收集在野外,主要是从YouTube和聋人社交媒体。以前大多数关于手语识别的工作都集中在受控设置上,其中数据记录在工作室环境中,并且签名者的数量有限。我们的工作旨在解决现实生活中的数据的挑战,减少对该领域常用的检测或分割模块的需求。我们提出了一个端到端的模型,基于迭代的注意力机制,没有显式的手检测或分割。我们的方法动态地关注越来越高分辨率的感兴趣区域。它比以前的工作要好得多。我们还介绍了一个新收集的数据集的众包注释的fingerspelling在野外,并表明,性能可以进一步提高与此额外的数据集。
2019-08-28 cs.CL cs.CV
Sign Stitching: A Novel Approach to Sign Language Production
University of Surrey(萨里大学)
本文提出了一种名为Sign Stitching的7步手语拼接方法,通过词典示例生成富有表现力的连续手语序列,并结合SignGAN模型实现照片级逼真的文本转手语生成,在所有数据集上达到最先进性能。
2024-10-14 cs.CL cs.CV
A Comparative Study of Continuous Sign Language Recognition Techniques
Applied College, Imam Abdulrahman Bin Faisal University(伊玛目阿卜杜勒拉赫曼·本·费萨尔大学应用学院);King Fahd University of Petroleum and Minerals(法赫德国王石油与矿产大学);SDAIA-KFUPM Joint Research Center for Artificial Intelligence(沙特数据与人工智能总局-法赫德国王石油与矿产大学人工智能联合研究中心)
本文实证比较了多种深度学习连续手语识别技术,在 RWTH-PHOENIX-Weather-2014、ArabSign 和 GrSL 三个数据集上评估其对不同手语的建模能力、鲁棒性和泛化性,并建立了新的基准。
2024-06-18 cs.CL cs.CV