Emotion Recognition in Signers
FIRST, Institute of Integrated Research Institute of Science Tokyo(FIRST研究所)
研究手语者情感识别面临的挑战,通过跨语言设置,利用eJSL和BOBSL数据集,实验证明口语文本情感识别、时间片段选择及手部动作对增强手语情感识别的作用,建立更强基线。
2026-07-14 cs.AI cs.CL cs.CV
On the Importance of Signer Overlap for Sign Language Detection
Microsoft(微软)
手语检测,识别某人是否正在签名,对于其在远程会议软件中的应用以及选择有用的手语数据用于训练手语识别或翻译任务变得至关重要。我们认为,目前的基准数据集的手语检测估计过于积极的结果,不推广以及由于签名者之间的重叠训练和测试分区。我们量化这与签名者重叠对当前的标志检测基准数据集的影响的详细分析。在DGS语料库和Signing in the Wild上比较有和没有重叠的准确度,我们观察到准确度分别相对下降了4.17%和6.27%。此外,我们提出了新的数据集分区是免费的重叠,并允许更现实的性能评估。我们希望这项工作将有助于提高手语检测系统的准确性和通用性。
2023-03-19 cs.CL cs.CV
Visual Recognition of Isolated Swedish Sign Language Signs
KTH(瑞典皇家理工学院)
我们提出了一种孤立的瑞典手语符号识别方法。该方法将用于一个游戏,旨在帮助儿童在家中训练手语,作为与教师培训的补充。目标群体主要不是聋哑儿童,而是有语言障碍的儿童。使用手语作为对话的辅助手段,已被证明可以极大地促进这些儿童的言语发展。签名者是用RGB-D(Kinect)传感器捕捉的,它比普通的RGB相机有三个优点。首先,它可以很容易地去除复杂的背景。我们根据肤色和深度信息分割手和脸。其次,它有助于解决手在脸上遮挡。第三,标志发生在3D中;标志的某些方面由垂直于图像平面的手部运动定义。如果深度是可观察的,则可以估计该运动。手相对于躯干的3D运动与手的形状一起被用作提示,并且使用该输入训练的Hacker被用于分类。为了获得更高的鲁棒性对签名者之间的差异,Fisher线性判别分析是用来找到最具描述性的每个标志的功能组合,无论签名者。实验表明,该系统可以区分标志,从一个具有挑战性的94字词汇的准确率高达94%,在签名人依赖的情况下,高达47%,在签名人独立的情况下。
2012-11-16 cs.CV
DiffSLVA: Harnessing Diffusion Models for Sign Language Video Anonymization
Rutgers University(罗格斯大学);Boston University(波士顿大学)
本文提出 DiffSLVA,利用预训练扩散模型和 ControlNet 零样本文本引导实现手语视频匿名化,规避姿态估计并保留语言内容,首次适用于真实场景。
2023-11-27 cs.CV
Diverse Signer Avatars with Manual and Non-Manual Feature Modelling for Sign Language Production
CVSSP, University of Surrey(计算机视觉与模式识别研究所,萨里大学)
本文提出利用潜在扩散模型和显式建模手动与非手动特征的手语特征聚合模块,在保持语言内容的同时生成具有不同种族背景的多样化逼真手语虚拟形象,并在YouTube-SL-25数据集上取得优于现有方法的视觉质量。
2025-08-21 cs.CV
SIGNER: Temporally Grounded Sign Language Generation via Time-Resolved Conditioning
IPAI;Dept. of ECE & ASRI, Seoul National University(首尔大学电子与计算机工程系及ASRI);Dept. of CSE, Korea University(高丽大学计算机科学与工程系)
提出SIGNER框架,通过时间分辨条件(时间-词汇条件与局部时间融合)确保手语生成中词汇顺序正确和语义准确,在Phoenix-2014T和CSL-Daily上达到最优性能。
2026-06-29 cs.CL cs.CV
Pose-Based Sign Language Appearance Transfer
University of Zurich(苏黎世大学)
提出一种在手语骨骼姿态中迁移打手势者外观并保留手语内容的方法,在掩盖身份改进渲染的同时揭示了隐私保护与手语识别性能之间的权衡。
2025-04-29 cs.CL cs.CV
SegSLR: Promptable Video Segmentation for Isolated Sign Language Recognition
Computer Vision Group, University of Hamburg, Germany(汉堡大学计算机视觉组)
提出SegSLR系统,通过可提示零样本视频分割结合RGB与姿态信息,保留手部形状细节,在ChaLearn249 IsoGD数据集上优于现有最先进方法。
2025-09-12 cs.CV
Spatial Relationship Based Features for Indian Sign Language Recognition
University of Mysore(迈索尔大学)
本文研究了听觉障碍者在句子水平上的符号识别问题。提出了一种新的空间特征提取方法来捕捉签名者的手部动作。一个给定的视频标志的帧进行预处理,以提取面部和手部组件的签名。利用提取的组件的局部质心以及全局质心来提取空间特征。区间值类型符号数据的概念已被探索,以捕捉不同的签名者在不同的时间实例在同一个符号的变化。一个合适的符号相似性的措施进行了研究,以建立测试和参考符号之间的匹配和一个简单的最近邻分类器是用来识别一个未知的标志作为已知的标志之一,通过指定所需的阈值水平。一个广泛的实验进行了相当大的数据库的迹象,我们创造了在研究工作的过程中,以评估所提出的系统的性能
2016-10-09 cs.CV
Pose-Guided Sign Language Video GAN with Dynamic Lambda
Beuth University of Applied Sciences Berlin(柏林博伊特应用科学大学)
我们提出了一种使用GANs合成手语视频的新方法。我们扩展了Stoll等人以前的工作。通过使用Soft-Gated Warping-GAN的人类语义解析器来生成由区域级空间布局指导的逼真视频。合成目标姿态提高了对独立和对比签名者的性能。因此,我们使用高度异构的MS-ASL数据集评估了我们的系统,该数据集具有超过200个签名者,导致SSIM为0.893。此外,我们引入了一个周期性的加权方法的发电机,重新激活的训练,并导致定量更好的结果。
2021-05-06 cs.CV
A Signer-Invariant Conformer and Multi-Scale Fusion Transformer for Continuous Sign Language Recognition
University of Waterloo(滑铁卢大学);Mohamed bin Zayed University of Artificial Intelligence(穆罕默德·本·扎耶德人工智能大学)
本文提出双架构框架解决连续手语识别挑战:Signer-Invariant Conformer学习签名者无关表示,Multi-Scale Fusion Transformer捕获细粒度姿态动态以理解新语法,在Isharah-1000数据集上显著降低词错率并取得竞赛优异成绩。
2025-08-12 cs.AI cs.CV cs.IR
Stable Signer: Hierarchical Sign Language Generative Model
Rutgers University(罗格斯大学);Nanyang Technological University(南洋理工大学);Georgia Institute of Technology(佐治亚理工学院);University of Wisconsin-Madison(威斯康星大学麦迪逊分校)
本文提出Stable Signer模型,通过层级生成端到端任务提升手语视频生成质量,采用SLUL和SLP-MoE模块实现高效生成。
2026-01-31 cs.CL cs.CV cs.CY
SignSeek: Learning Transferable Representations for Sign Dictionary Retrieval
University of Surrey(萨里大学)
SignSeek 采用显著性引导发音器掩码的对比学习,在多手语数据集预训练后,在跨语料库手语检索等任务上实现了最优性能,且可零样本泛化到新手语并迁移至其他相关任务。
2026-09-04 cs.CV
Isharah: A Large-Scale Multi-Scene Dataset for Continuous Sign Language Recognition
King Fahd University of Petroleum & Minerals(国王法赫德石油和矿物大学);SDAIA-KFUPM Joint Research Center for Artificial Intelligence(SDAIA-KFUPM人工智能联合研究中心);National Center for Artificial Intelligence, SDAIA(人工智能国家中心,SDAIA)
本文提出Isharah,一个在无约束环境下用智能手机采集的大规模多场景连续手语识别数据集,包含30,000个视频片段和词级标注,并引入多个CSLR与SLT基准。
2025-06-04 cs.CV
Isolated Sign Language Recognition with Segmentation and Pose Estimation
University of Tennessee, Knoxville(田纳西大学,诺克斯维尔)
本文提出了一种降低计算成本且具备鲁棒性的孤立手语识别模型,通过姿态估计、分割模块和ResNet-Transformer主干联合建模空间与时间依赖性,以提升对签署人变异的适应能力。
2025-12-16 cs.CV
Towards Continuous Sign Language Conversation from Isolated Signs
Yonsei University(延世大学);LG Electronics(LG电子);Emory University(埃默里大学)
本文提出通过构建连续手语对话来解决手语翻译模型词汇覆盖不足和泛化能力弱的问题,引入了SignaVox-W和SignaVox-U数据集,并采用检索引导的语音到词组翻译和BRAID模型实现结构匹配。
2026-05-14 cs.CV
Trajectory-Based Recognition of Dynamic Persian Sign Language Using Hidden Markov Model
University of Tabriz(大不里士大学)
手语识别(SLR)是促进聋人与社会其他人交流的重要一步。现有的波斯语手语识别系统主要局限于静态符号,在日常交流中不是很有用。在这项研究中,一个动态的波斯手语识别系统。从12个人用简单的白色手套执行20个动态标志中捕获了1200个视频的集合。使用简单的区域生长技术从每个视频中提取手的轨迹以及手的形状信息。这些随时间变化的轨迹,然后使用隐马尔可夫模型(HMM)与高斯概率密度函数作为观察建模。系统的性能进行了评估,在不同的实验策略。在该系统上进行了与签名者无关和与签名者相关的实验,平均准确率为97.48%。实验结果表明,该系统的性能与主题无关,即使在有限的训练数据的情况下也能表现出良好的性能。
2019-12-04 cs.CV
Real-time Sign Language Fingerspelling Recognition using Convolutional Neural Networks from Depth map
University of California, San Diego(加利福尼亚大学圣地亚哥分校)
手语识别对于聋人群体和听力正常人群之间自然、便捷的交流具有重要意义。我们采取了高效的初始步骤的自动手指拼写识别系统使用卷积神经网络(CNN)从深度图。在这项工作中,我们认为相对较大的类的数量相比,以前的文献。我们训练CNN使用从多个主题收集的深度数据的子集对31个字母和数字进行分类。当使用不同的学习配置,如超参数选择与验证和不验证,我们实现了99.99%的准确率为观察签名和83.58%至85.49%的准确率为新的签名。结果表明,当我们在训练过程中包含更多来自不同主题的数据时,准确率会提高。对于单个图像的预测,处理时间为3ms。据我们所知,该系统实现了最高的准确性和速度。经过训练的模型和数据集可以在我们的存储库中找到。
2015-10-14 cs.CV
Diversity-Aware Sign Language Production through a Pose Encoding Variational Autoencoder
University of Surrey(萨里大学)
针对多样性感知手语生成需求,提出结合姿态信息与属性条件的姿态编码变分自编码器,采用UNet架构和分部位解码器,在SMILE II数据集上多项指标优于现有基线。
2024-05-16 cs.CV
MS-ASL: A Large-Scale Data Set and Benchmark for Understanding American Sign Language
Microsoft(微软)
手语识别是一个具有挑战性的,往往被低估的问题,包括多模态发音(手形,方向,运动,上身和脸),集成异步多个流。在这种情况下学习强大的统计模型需要大量的数据,特别是应用该领域的最新进展。然而,由于转录这些非书面语言的巨大成本,标记数据是手语的稀缺资源。我们提出了第一个真实的大规模手语数据集,包括超过25,000个注释视频,我们使用最先进的手势和相关动作识别方法对其进行了彻底评估。与当前最先进的技术不同,该数据集允许在具有200多个签名者的现实环境中调查对看不见的个人的泛化(签名者独立测试)。以前的工作主要涉及有限的词汇任务,而在这里,我们涵盖了具有挑战性和不受约束的现实生活中的记录条件下的1000个标志的大型类计数。我们进一步提出了I3D,从视频分类,作为一个强大的和合适的架构,手语识别,性能优于目前的最先进的大幅度。该数据集向社区公开提供。
2019-11-20 cs.CV
PerSign: Personalized Bangladeshi Sign Letters Synthesis
University of Colorado Boulder(科罗拉多大学博尔德分校);Ahsanullah University of Science and Technology(阿赫桑努拉科技大学)
孟加拉国手语(BdSL)-像其他手语一样-对于普通人来说很难学习,特别是在表达字母时。在这张海报中,我们提出了PerSign,一个可以通过在其中引入手势来复制人的图像的系统。我们使这个操作个性化,这意味着生成的图像保持人的初始图像轮廓-面部,肤色,服装,背景-不变,同时适当地改变手,手掌和手指的位置。我们使用图像到图像的翻译技术,并建立相应的唯一数据集来完成任务。我们相信翻译的图像可以减少签名者(使用手语的人)和非签名者之间的沟通差距,而无需事先了解BdSL。
2022-09-29 cs.CV cs.HC
SkelCap: Automated Generation of Descriptive Text from Skeleton Keypoint Sequences
Hacettepe University(哈杰泰佩大学)
本文提出SkelCap模型,通过全连接层和transformer将骨架关键点序列转化为身体运动文本描述,并基于AUTSL构建新数据集,在无关评估中取得高ROUGE-L和BLEU-4分数。
2024-05-05 cs.CV cs.LG
FSboard: Over 3 million characters of ASL fingerspelling collected via smartphones
Google(谷歌公司);Tulane University(杜兰大学);Rochester Institute of Technology(罗切斯特理工学院);Deaf Professional Arts Network(聋人专业艺术网络)
本文提出FSboard,一个通过智能手机从147名聋哑手语者收集的超过300万字符的美国手语手指拼写数据集,并微调ByT5-Small基线模型,在测试集上达到11.1%的字符错误率,为手指拼写识别提供了大规模数据基础。
2024-07-22 cs.CL cs.CV
Multitask training with unlabeled data for end-to-end sign language fingerspelling recognition
Toyota Technological Institute at Chicago(芝加哥丰田技术研究所)
我们解决的问题,自动美国手语手指拼写识别视频。之前的工作主要依赖于帧级标签,手工制作的功能或其他限制,并且由于缺乏数据而受到阻碍。我们介绍了一个模型的手指拼写识别,解决这些问题。该模型由一个基于自动编码器的特征提取器和一个基于注意力的神经编码器-解码器组成,它们是联合训练的。该模型接收一系列图像帧并输出手指拼写的单词,而不依赖于任何帧级训练标签或手工制作的特征。此外,自动编码器子组件可以利用未标记的数据来改进特征学习。该模型实现了11.6%和4.4%的绝对字母准确率分别在签名独立和签名适应的手指拼写识别比以前的方法,需要帧级训练标签。
2019-02-17 cs.CL cs.CV
SignNet-1M: Large-Scale Multilingual Sign Language Video Dataset with Downstream Benchmarks
New York University Abu Dhabi(纽约大学阿布扎比分校);ChatSign Technology(ChatSign 技术公司);Tsinghua University(清华大学)
提出SignNet-1M,通过3D高斯泼溅、扩散模型和后期渲染增强合成多样化手语视频,提升模型在跨视角、背景和身份等分布偏移下的泛化能力。
2026-06-24 cs.CV
LSA-T: The first continuous Argentinian Sign Language dataset for Sign Language Translation
Universidad Nacional de La Plata(拉普拉塔国立大学);Comisión de Investigaciones Científicas de la Pcia. de Bs. As. (CIC-PBA)(布宜诺斯艾利斯省科学研究委员会);Universidad Tecnológica de La Habana José Antonio Echeverría(哈瓦那何塞·安东尼奥·埃切维里亚科技大学)
手语翻译是一个活跃的研究领域,包括人机交互,计算机视觉,自然语言处理和机器学习。这一领域的进展可能导致聋人更高程度的融入社会。本文介绍了,据我们所知,第一个连续的阿根廷手语(LSA)数据集。它包含从CN Sordos YouTube频道提取的14,880个句子级别的LSA视频,每个签名者都有标签和关键点注释。我们还提出了一种方法,用于推断的主动签名者,数据集的特性的详细分析,一个可视化工具,以探索数据集和神经网络模型作为基线,为未来的实验。
2022-11-14 cs.CV cs.LG
YouTube-ASL: A Large-Scale, Open-Domain American Sign Language-English Parallel Corpus
Google(谷歌)
本文提出 YouTube-ASL,一个约 1000 小时、超 2500 名手语使用者的大规模开放域美国手语-英语平行语料库,并在 How2Sign 上取得 12.39 BLEU 的微调最优结果及首次零样本结果。
2023-10-26 cs.CL cs.CV
A Hong Kong Sign Language Corpus Collected from Sign-interpreted TV News
The Hong Kong University of Science and Technology(香港科技大学);Microsoft Research Asia(微软亚洲研究院)
本文构建了TVB-HKSL-News香港手语数据集,包含16.07小时视频和6,515个gloss,并给出SLR词错误率34.08%与SLT BLEU-4 23.58的基线结果。
2024-05-02 cs.CL cs.CV
JSL-DC: A Word-Level Japanese Sign Language Dataset with Linguist-Derived Descriptions for Distinguishing Confusable Signs
Kwansei Gakuin University(关西学院大学);Georgia Institute of Technology(佐治亚理工学院);Keio University(庆应义塾大学);Technical University of Clausthal(克劳斯塔尔工业大学);The University of Tokyo(东京大学)
针对日语手语缺乏大规模多手势者数据集的问题,提出JSL-DC数据集,其含36700个视频,受其描述启发的模型在易混淆子集上性能超现有方法9.8%,将加速手语识别研究。
2026-08-20 cs.CV
SignRR: Retrieve and Refine Real Motion for Sign Language Production
University of Central Florida(中佛罗里达大学);Universidad Nacional Mayor de San Marcos(圣马科斯国立大学);Universidad Catolica San Pablo(圣巴勃罗天主教大学);Marist University(玛瑞斯特大学)
针对手语生成的现有范式局限,提出 SignRR 框架,采用检索并优化的范式,在 PHOENIX14T 和 CSL-Daily 上实现了最优回译性能且姿态质量具竞争力。
2026-10-28 cs.CV
Sign language segmentation with temporal convolutional networks
University of Oxford(牛津大学);University of Heilbronn(海尔布隆大学);Univ Gustave Eiffel(古斯塔夫·埃菲尔大学);CNRS(法国国家科学研究中心)
这项工作的目的是确定连续手语视频中符号之间的时间边界的位置。我们的方法采用3D卷积神经网络表示与迭代的时间段细化,以解决符号边界线索之间的歧义。我们证明了我们的方法在BSLCORPUS,PHOENIX 14和BSL-1 K数据集上的有效性,显示出比现有技术有相当大的改进,并且能够推广到新的签名者,语言和域。
2021-02-12 cs.CV
AUTSL: A Large Scale Multi-modal Turkish Sign Language Dataset and Baseline Methods
Ankara University(安卡拉大学)
手语识别是一个具有挑战性的问题,其中通过多个源的同时局部和全局表达来识别符号,即手的形状和方向、手的动作、身体姿势和面部表情。即使使用最先进的模型,在现实生活中为大量的符号词汇计算解决这个问题仍然是一个挑战。在这项研究中,我们提出了一个新的大规模多模态土耳其手语数据集(AUTSL)的基准,并提供基线模型的性能评估。我们的数据集由43个不同的签名者执行的226个签名和总共38,336个孤立的签名视频样本组成。样本包含在室内和室外环境中记录的各种背景。此外,空间位置和姿势的签署者也不同的记录。每个样本都使用Microsoft Kinect v2记录,并包含RGB,深度和骨架模态。我们为用户独立的模型评估准备了基准训练和测试集。我们训练了几个基于深度学习的模型,并使用基准测试提供了经验评估;我们使用CNN来提取特征,使用单向和双向LSTM模型来表征时间信息。我们还将特征池模块和时间注意力引入到我们的模型中,以提高性能。我们在AUTSL和Montalbano数据集上评估了我们的基线模型。我们的模型在Montalbano数据集上取得了与最先进方法相竞争的结果,即96.11%的准确率。在AUTSL随机训练测试中,我们的模型的准确率高达95.95%。在建议的用户独立的基准数据集,我们最好的基线模型达到62.02%的准确率。相同基准模型的性能差距显示了我们基准数据集固有的挑战。AUTSL基准数据集…
2020-10-19 cs.CV
Simultaneous Translation between Sign Languages
Oregon State University(俄勒冈州立大学)
本文提出首个同声手语到手语翻译系统,采用两种wait-k机制并引入计算感知延迟度量ca-Stream-AL,在六个方向上实现38%延迟降低,同时保持较小的质量损失。
2026-09-29 cs.CL cs.CV
Toward Deployable Bangla Sign Language Recognition with Expert-Validated Data and a Lightweight Attention-Based Model
Bangladesh Army University of Science and Technology(孟加拉国陆军科技大学)
本文构建专家验证的RSBdSL38数据集,提出轻量型注意力卷积网络,实现高准确率孟加拉语手语识别,模型可在普通智能手机部署,相关资源已公开。
2026-08-11 cs.AI cs.CV
SignDATA: Data Pipeline for Sign Language Translation
Computer Science and Information Engineering National Central University(计算机科学与信息工程国家级中央大学);Electrical Engineering National Changhua University Of Education(电气工程国家彰化教育大学)
本文提出SignDATA,一种标准化手语数据集的预处理工具包,支持端到端的姿势和视频处理流程,通过可配置的接口实现统一输出,提升手语研究的可重复性和比较性。
2026-04-22 cs.CL cs.CV
Everybody Sign Now: Translating Spoken Language to Photo Realistic Sign Language Video
University of Surrey(萨里大学)
为了真正被聋人社区理解和接受,自动手语制作(SLP)系统必须生成照片般逼真的签名者。基于图形化身的先前方法已被证明不受欢迎,而最近产生骨架姿势序列的神经SLP作品已被证明是聋人观众无法理解的。在本文中,我们提出了SignGAN,这是第一个直接从口语中生成逼真的连续手语视频的SLP模型。我们采用了一个Transformer架构与混合密度网络(MDN)制定处理翻译从口头语言的骨架姿势。然后引入一个姿态调节的人体合成模型,从骨骼姿态序列中生成一个照片般逼真的手语视频。这允许直接从书面文本翻译的标志视频的照片逼真的生产。我们进一步提出了一种新的基于关键点的损失函数,它显着提高了合成的手图像的质量,在关键点空间中操作,以避免运动模糊引起的问题。此外,我们还介绍了一种可控视频生成方法,可以在大型、多样化的手语数据集上进行训练,并提供在推理时控制签名者外观的能力。使用从广播片段中提取的八种不同手语翻译的数据集,我们表明SignGAN在定量指标和人类感知研究方面显着优于所有基线方法。
2020-11-26 cs.CL cs.CV cs.LG
Interference Motion Removal for Doppler Radar Vital Sign Detection Using Variational Encoder-Decoder Neural Network
University of Strathclyde(思克莱德大学)
针对雷达生命体征监测中干扰运动难去除的问题,提出带变分目标的卷积编解码神经网络,在半实验数据上验证其可有效提升呼吸相关微多普勒频率的提取效果。
2024-04-12 cs.CV
BosphorusSign22k Sign Language Recognition Dataset
University of Surrey(萨里大学)
手语识别是一个具有挑战性的研究领域。最近,随着数据可用性的增加,它取得了一些进展。在本文中,我们介绍了BosphorusSign22 k,这是一个面向计算机视觉、视频识别和深度学习研究社区的公开可用的大规模手语数据集。该数据集的主要目标是作为土耳其手语识别的新基准,因为其庞大的词汇,本地签名者的大量重复,高记录质量以及它所包含的符号的独特语法特性。我们还提供最先进的人体姿势估计,以鼓励其他任务,如手语制作。我们调查了其他公开的数据集,并扩展了BosphorusSign22k如何为未来的研究做出贡献,这些研究通过类似手语资源的广泛使用而成为可能。我们已经进行了广泛的实验,并提出了基线结果,以支持我们的数据集未来的研究。
2020-04-09 cs.CV
Sign Language Fingerspelling Classification from Depth and Color Images using a Deep Belief Network
Laval University(拉瓦尔大学)
自动手语识别是一个开放的问题,最近受到了很多关注,不仅是因为它的有用性签名,但也由于众多的应用程序的标志分类器可以有。在这篇文章中,我们提出了一种新的特征提取技术,用于使用从Microsoft Kinect传感器捕获的深度和强度图像进行手部姿势识别。我们将我们的技术应用于美国手语指法拼写分类使用深度信念网络,我们的特征提取技术是量身定制的。我们在多用户数据集上评估了我们的结果,其中包括两种情况:一种是所有已知用户,另一种是未知用户。我们在第一个上实现了99%的召回率和精确度,在第二个上实现了77%的召回率和79%的精确度。我们的方法也能够实时的迹象分类,并适应于任何环境或闪电强度。
2015-03-19 cs.CV
Can Everybody Sign Now? Exploring Sign Language Video Generation from 2D Poses
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
最近的工作已经解决了由用于手语的人体关节的2D/3D坐标表示的人体姿势的生成。我们使用深度学习中最先进的技术进行运动传输,并在美国手语数据集How2 Sign上对其进行评估,以生成签名者在给定2D姿势骨架的情况下执行手语的视频。我们对生成的视频进行了定量和定性评估,结果表明,由于缺乏手中的细节,目前的模型不足以生成足够的手语视频。
2021-01-04 cs.AI cs.CV
Slovo: Russian Sign Language Dataset
SaluteDevices
针对手语识别缺乏适配不同国家的数据集的问题,本文构建了含2万条全高清视频、1000类孤立手势的俄罗斯手语数据集Slovo,公开了构建流程与预训练模型,并验证了其教学应用价值。
2024-03-12 cs.CV
BdSLW401: Transformer-Based Word-Level Bangla Sign Language Recognition Using Relative Quantization Encoding (RQE)
针对低资源孟加拉手语识别,本文提出大规模多视角数据集BdSLW401,并引入相对量化编码(RQE)方法通过锚定生理参考点和量化运动轨迹改进基于Transformer的模型,显著降低错误率并提升可解释性,为该领域设定了新基准。
2025-03-04 cs.AI cs.CV cs.HC
Continuous Sign Language Recognition Using Intra-inter Gloss Attention
Sharif University of Technology(谢里夫理工大学)
针对连续手语识别中普通自注意力难以利用局部时间语义的问题,提出词内-词间注释注意力模块并结合背景分割,在 PHOENIX-2014 上以端到端方式取得具有竞争力的 WER 20.4。
2024-06-26 cs.AI cs.CV
Challenges for Linguistically-Driven Computer-Based Sign Recognition from Continuous Signing for American Sign Language
Boston University(波士顿大学)
本文基于大型带语言标注的ASL视频语料库,综述连续手语识别相较孤立手语识别面临的变异与结构难题,并指出可利用语言规律提升手形及手语识别。
2023-11-01 cs.CL cs.CV
CSLRConformer: A Data-Centric Conformer Approach for Continuous Arabic Sign Language Recognition on the Isharah Datase
Department of Computer and Information Sciences(计算机与信息科学系);Faculty of Graduate Studies for Statistical Research(统计研究研究生学院)
针对连续阿拉伯手语识别,提出数据中心的CSLRConformer架构,结合EDA特征选择、DBSCAN预处理及CNN-Transformer,在Isharah数据集上取得WER 5.60%/12.01%,获挑战赛第三名。
2025-08-03 cs.AI cs.CL cs.CV
Towards the extraction of robust sign embeddings for low resource sign language recognition
Ghent University(根特大学);imec(比利时微电子研究中心);Trinity College Dublin(都柏林圣三一学院)
本文比较 OpenPose、MMPose 和 MediaPipe,提出通过关键点归一化、缺失插补与姿态嵌入学习提升低资源手语识别的鲁棒性和跨语言迁移能力。
2023-08-16 cs.CL cs.CV
Improving Sign Recognition with Phonology
University of Southern California(南加州大学);San Diego State University(圣地亚哥州立大学)
我们使用美国手语(ASL)语音学研究的见解,训练模型孤立的手语识别(ISLR),自动手语语言理解的一步。我们的主要观点是明确认识到音系学在手语制作中的作用,以实现比现有工作更准确的ISLR,不考虑手语音系学。我们训练ISLR模型,该模型采用对产生单个符号的签名者的姿势估计,不仅预测该符号,还预测其语音特征,例如手形。这些辅助预测在WLASL基准测试中导致了近9%的符号识别准确性的绝对增益,并且无论底层预测模型架构如何,ISLR都得到了一致的改进。这项工作有可能加速手语领域的语言学研究,减少聋人和听力正常人之间的沟通障碍。
2023-02-11 cs.CL cs.CV
Classification of Phonological Parameters in Sign Languages
Heriot-Watt University(赫瑞-瓦特大学)
手语者通过组合诸如手形、方向、位置、运动和非手动特征等语音参数来组成手语音素,从而实现交流。语言学研究通常将符号分解为它们的组成部分来研究手语,并且通常在视频的注释上投入大量精力。在这项工作中,我们将展示如何使用一个单一的模型来识别的目的是帮助语言注释或描述的标志识别模型的标志内的手语的个别语音参数。我们使用丹麦手语数据集“Ordbog over Dansk Tegnsprog”来使用姿势估计模型生成多个数据集,然后将其用于训练多标签快速R-CNN模型以支持多标签建模。此外,我们发现,有一个显着的相互依赖的方向和位置的语音参数之间生成的数据,我们将这种相互依赖的模型,以实现更好的性能。
2022-05-24 cs.CL cs.CV
Open-Domain Sign Language Translation Learned from Online Video
TTI-Chicago(芝加哥丰田技术研究院)
现有的手语翻译工作-即从手语视频翻译成书面语言的句子-主要集中在(1)在受控环境中收集的数据或(2)特定领域的数据,这限制了对现实世界设置的适用性。在本文中,我们介绍了OpenASL,这是一个从在线视频网站(例如,YouTube)。OpenASL包含来自200多个签名者的多个领域的288小时ASL视频,是迄今为止最大的公开可用ASL翻译数据集。为了解决现实环境中的手语翻译的挑战,没有掩饰,我们提出了一套技术,包括标志搜索作为预训练和融合的口形和手形特征的借口任务。所提出的技术在翻译质量上产生了一致的和大的改进,超过了基于先前工作的基线模型。我们的数据和代码可在https://github.com/chevalierNoir/OpenASL上公开获取
2022-11-19 cs.CL cs.CV
AutoSign: Direct Pose-to-Text Translation for Continuous Sign Language Recognition
Carnegie Mellon University(卡内基梅隆大学)
本文提出 AutoSign,一种仅解码器自回归 transformer,利用 1D CNN 时间压缩与 AraGPT2 直接将姿态序列翻译为文本,消除 CSLR 多阶段对齐流程,并在 Isharah-1000 上将 WER 最高降低 6.1%。
2025-07-26 cs.AI cs.CL cs.CV
ASL-Skeleton3D and ASL-Phono: Two Novel Datasets for the American Sign Language
Universidade Federal de Pernambuco(伯南布哥联邦大学)
手语是一种重要的资源,使残疾性听力损失患者能够获得沟通和适当的社会情感发展。预计到2050年,这一人口将达到7亿,语言的重要性变得更加重要,因为它在确保这些人融入社会方面发挥着关键作用。手语识别领域旨在弥合手语用户和非手语用户之间的差距。然而,数据集数量和质量的稀缺是限制探索新方法的主要挑战之一,这些方法可能会导致该研究领域的重大进展。因此,本文的贡献,介绍了两个新的数据集为美国手语:第一个是由三维表示的签名者,第二,由一个前所未有的语言学为基础的表示包含一组音韵属性的标志。
2022-01-06 cs.CL cs.CV
Text2Sign: A Single-GPU Diffusion Baseline for Text-to-Sign Language Video Generation
研究文本到手语视频生成,提出Text2Sign模型,结合冻结视觉语言文本编码器等技术,降低全视频注意力成本。在特定分割上有一定验证损失等结果,虽提示敏感性弱,但为单GPU研究提供了基线。
2026-07-16 cs.CL cs.CV cs.LG
MRI Banding Removal via Adversarial Training
Facebook AI Research(Facebook人工智能研究);Facebook New York(纽约Facebook);NYU Grossman School of Medicine(纽约大学格罗斯曼医学院);Department of Radiology(放射科)
使用深度学习技术从子采样笛卡尔数据重建的MRI图像通常显示出特征条带(有时被描述为条纹),其在重建图像的低信噪比区域中特别强。在这项工作中,我们建议使用对抗性损失,惩罚带状结构,而不需要任何人类注释。我们的技术大大减少了条带的出现,而不需要在重建时进行任何额外的计算或后处理。我们报告了一组专家评估者(委员会认证的放射科医生)对强基线进行盲法比较的结果,其中我们的方法在条带去除方面排名优越,没有统计学上显著的细节损失。
2020-10-08 cs.CV cs.LG eess.IV