Context-Aware Autoregressive Diffusion for Gloss-Wise Sign Language Production
Dankook University(檀国大学);University of Birmingham(伯明翰大学)
提出GARD模型,通过语义和运动上下文条件化,结合词汇间过渡引导和全局运动协调器,实现逐词汇手语生成,在Phoenix-T和CSL-Daily数据集上优于现有方法。
2026-06-23 cs.CV
Hierarchical Feature Alignment for Gloss-Free Sign Language Translation
University of Surrey(塞弗里大学)
提出一种受手语结构启发的层级预训练策略,通过伪注释和对比视频-语言对齐在帧、片段和视频层级上对齐特征,提升无注释手语翻译的BLEU-4和ROUGE分数,同时保持效率。
2025-07-09 cs.CV
Autoregressive Sign Language Production: A Gloss-Free Approach with Discrete Representations
Korea Advanced Institute of Science and Technology (KAIST)(韩国科学技术院(KAIST))
本文提出手语向量量化网络,利用向量量化从手语姿态序列中提取离散表示,实现无注释的手语生成,并通过潜在层级对齐提升语言连贯性,实验表明其性能优于已有方法。
2024-06-08 cs.CV
Beyond Gloss: A Hand-Centric Framework for Gloss-Free Sign Language Translation
Center for Vision, Speech and Signal Processing (CVSSP) University of Surrey(视觉、语音和信号处理中心(CVSSP)大学学院)
针对手语翻译的模态差距与手部细微动作捕捉难题,提出以手部为中心的无标注手语翻译框架BeyondGloss,通过手部动作描述对齐、特征蒸馏及对比损失等方法,在两个基准上取得最优性能。
2025-09-01 cs.CV
SAGE: Segment-Aware Gloss-Free Encoding for Token-Efficient Sign Language Translation
CVSSP, University of Surrey, United Kingdom(CVSSP,萨里大学,英国)
提出分段感知视觉标记化框架,通过手语分段将连续视频转换为离散视觉令牌,结合令牌级对比对齐和双层监督,在减少序列长度50%的同时,在PHOENIX14T基准上超越现有方法。
2026-05-28 cs.CV
A Comprehensive Study on Deep Learning-based Methods for Sign Language Recognition
Information Technologies Institute(信息技术研究所);Centre for Research Technology Hellas(希腊研究与技术中心);University of Patras(帕特拉斯大学)
本文对基于计算机视觉的手语识别方法进行了对比实验评估。通过实现该领域最新的深度神经网络方法,对多个公开可用的数据集进行了全面的评估。本研究的目的是提供有关手语识别的见解,重点是将未分割的视频流映射到注释。对于这项任务,两个新的序列训练标准,已知从语音和场景文本识别领域,介绍。此外,过多的预训练计划进行了彻底的讨论。最后,为希腊手语创建了一个新的RGB+D数据集。据我们所知,这是第一个为视频捕获提供句子和注释级别注释的手语数据集。
2021-03-19 cs.CV
Denoising-Contrastive Alignment for Continuous Sign Language Recognition
School of Computer Science and Engineering, Tianjin University of Technology(天津理工大学计算机科学与工程学院)
针对连续手语识别中跨模态对齐忽视文本语法与全局时序上下文的问题,提出 DCA 范式,结合对比实例对齐、视频引导的 gloss 去噪及梯度调制以增强视频表示。
2024-12-01 cs.CV
SignGPT: Toward LLM-Mediated Sign Language Interaction through Gloss-Free Translation and Generation
Tsinghua University(清华大学);Nanyang Technological University(南洋理工大学);E Fund(易方达基金);Peng Cheng Laboratory(鹏城实验室);Tencent AI Lab(腾讯AI实验室)
SignGPT提出统一的无注释手语翻译与生成框架,集成部件感知层次表示和非对称多令牌预测,在How2Sign和Phoenix-2014T上验证,并探索了LLM介导的手语对话潜力。
2026-09-21 cs.CV
Think in Latent Thoughts: A New Paradigm for Gloss-Free Sign Language Translation
The Hong Kong Polytechnic University(香港理工大学);Sichuan University(四川大学)
本文提出一种基于推理的签语翻译框架,通过潜在思想序列作为中间层提升翻译的连贯性和准确性,并构建了一个新的大规模无手势词数据集。
2026-04-17 cs.CV
Gloss Attention for Gloss-free Sign Language Translation
Zhejiang University(浙江大学)
针对手语翻译依赖难获取的 gloss 标注问题,本文提出 gloss attention 与句级相似度知识迁移构建 GASLT,在多个大规模数据集上显著优于现有方法。
2023-07-14 cs.CL cs.CV
Keypoint based Sign Language Translation without Glosses
Incheon National University(仁川国立大学);Chung-Ang University(中央大学);Ewha Womans University(梨花女子大学);Konkuk University(建国大学)
与手语识别(SLR)的研究相比,手语翻译(SLR)是一项研究相对较少的任务。然而,SLR是一项认识到手语独特语法的研究,手语不同于口语,存在非残疾人无法轻松理解的问题。所以,我们要解决的问题,直接翻译手语视频中的口语。为此,我们提出了一种新的关键点规范化方法,用于基于签名者的骨架点进行翻译,并在手语翻译中对这些点进行鲁棒规范化。它有助于通过根据身体部位定制的归一化方法来提高性能。此外,我们提出了一种随机帧选择方法,使帧增强和采样在同一时间。最后,通过基于注意力的翻译模型将其翻译成口语。我们的方法可以应用于各种数据集的方式,可以应用于数据集没有掩盖。此外,定量的实验评价证明了我们的方法的优越性。
2022-06-14 cs.CV
Kinematics-Centric Continuous Sign Language Retrieval with Gloss-Guided Boundary-Aware Alignment
University of Trento(特伦托大学);Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会)
本文提出以SMPL-X运动为核心、手语词汇引导局部对齐和视觉蒸馏的手语检索框架,在CSL-Daily和PHOENIX-2014T上实现领先的双向检索性能。
2026-10-06 cs.CV
G2P-DDM: Generating Sign Pose Sequence from Gloss Sequence with Discrete Diffusion Model
Beihang University(北京航空航天大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出 G2P-DDM,通过 Pose-VQVAE 离散化姿态、离散扩散建模、CodeUnet 融合时空信息及聚类预测长度,实现 gloss 到手语姿态序列生成,并在 SLP 基准上达到最优。
2023-12-18 cs.CV
Gloss2Text: Sign Language Gloss translation using LLMs and Semantically Aware Label Smoothing
George Mason University(乔治梅森大学)
针对手语Gloss2Text翻译任务,提出结合预训练LLMs、数据增强与语义感知标签平滑损失的改进方法,在PHOENIX Weather 2014T数据集上超越现有最优性能。
2024-07-12 cs.CL cs.CV cs.LG
An Open-Source Gloss-Based Baseline for Spoken to Signed Language Translation
Bar-Ilan University(巴伊兰大学);University of Zurich(苏黎世大学)
本文提出一个开源的口语到手语翻译基线系统,通过文本到注释、注释到姿态再到视频的流水线,支持德语、法语和意大利语到瑞士手语的转换,并组合词形还原、规则重排和神经机器翻译三种方法。
2023-05-28 cs.CL cs.CV
A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation
Tsinghua University(清华大学);Microsoft Research Asia(微软亚洲研究院)
本文提出了一个简单的迁移学习基线手语翻译。现有的手语数据集(例如PHOENIX-2014 T,CSL-Daily)仅包含约10 K-20 K对手语视频,注释和文本,这比用于训练口语翻译模型的典型并行数据小一个数量级。因此,数据是训练有效手语翻译模型的瓶颈。为了缓解这个问题,我们建议从包含大量外部监督的一般域数据集到域内数据集逐步预训练模型。具体来说,我们在人类行为的一般域和符号到注释数据集的域内预训练符号到注释视觉网络,并在多语言语料库的一般域和域内预训练注释到文本翻译网络注释到文本语料库。联合模型通过一个名为视觉语言映射器的附加模块进行了微调,该模块连接两个网络。这个简单的基线超过了之前两个手语翻译基准测试的最新结果,证明了迁移学习的有效性。由于其简单性和强大的性能,这种方法可以作为未来研究的坚实基线。代码和模型可在https://github.com/FangyunWei/SLRT上获得。
2023-03-23 cs.CV
SignVTCL: Multi-Modal Continuous Sign Language Recognition Enhanced by Visual-Textual Contrastive Learning
The Chinese University of Hong Kong(香港中文大学);Zhejiang Lab(之江实验室);Gudsen Technology Co. Ltd(古登科技有限公司)
针对连续手语识别数据有限、弱监督对齐困难的问题,提出融合视频、关键点和光流并进行gloss级与句子级视觉-文本对比对齐的SignVTCL框架,在三个基准上达到SOTA。
2024-01-22 cs.CV
SignAgent: Agentic LLMs for Linguistically-Grounded Sign Language Annotation and Dataset Curation
Centre for Vision, Speech and Signal Processing(视觉、语音和信号处理中心)
本文提出SignAgent,一种利用大语言模型进行可扩展、语言学基础的手语标注和数据集整理的新框架。通过SignAgent协调器和SignGraph,解决传统方法和手动标注的瓶颈,实现大规模语言感知数据标注。
2026-03-19 cs.CV
A Spatio-Temporal Representation Learning as an Alternative to Traditional Glosses in Sign Language Translation and Production
Korea Advanced Institute of Science and Technology(韩国科学技术院);Electronics and Telecommunications Research Institute(电子通信研究院)
针对注释词标注昂贵且丢失手语时空动态的问题,本文提出 UniGloR 自监督关键点表示框架,并在 PHOENIX14T 与 How2Sign 上验证其可替代传统注释词用于 SLT 和 SLP。
2024-12-04 cs.CL cs.CV
Gloss-Free End-to-End Sign Language Translation
Zhejiang University(浙江大学);DAMO Academy, Alibaba Group(阿里巴巴集团达摩院)
本文提出无Gloss端到端手语翻译框架GloFE,通过从文本提取概念作为弱中间表示并进行对比学习,在OpenASL和How2Sign上取得最先进结果。
2023-05-27 cs.CL cs.CV
Gloss-Free Representation Learning for Cross-Dataset Sign Spotting
Hacettepe University(哈杰泰佩大学)
本研究针对资源受限语言的手语研究,用土耳其广播语料库 TSL-News 基于转录文本的伪 gloss 标签预训练手语编码器,在跨数据集手语定位任务中显著提升性能,证明松散对齐的广播数据可提供有效弱监督学习手语表征。
2026-08-13 cs.CL cs.CV
C${^2}$RL: Content and Context Representation Learning for Gloss-free Sign Language Translation and Retrieval
State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences (CASIA)(中国科学院自动化研究所多模态人工智能系统国家重点实验室);School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)(中国科学院大学人工智能学院);Macau University of Science and Technology(澳门科技大学);NIO(蔚来汽车)
针对无gloss手语表示学习中非单调对齐难以捕捉精细特征的问题,提出融合隐式内容学习与显式上下文学习的C²RL预训练范式,在多个手语翻译与检索数据集上实现显著性能提升并刷新基准。
2024-08-19 cs.CL cs.CV
RVLF: A Reinforcing Vision-Language Framework for Gloss-Free Sign Language Translation
Macau University of Science and Technology(澳门科学技术大学);SKL-IOTSC, CIS, University of Macau(澳门大学智能物联网与通信系统研究所);Beijing Institute of Technology, Zhuhai(珠海北京理工大学);University of Barcelona(巴塞罗那大学)
RVLF提出了一种无需gloss的手语翻译框架,通过融合骨架运动与视觉特征并结合强化学习优化,提升了翻译质量与语义一致性。
2025-12-08 cs.CV
Continuous Sign Language Recognition Using Intra-inter Gloss Attention
Sharif University of Technology(谢里夫理工大学)
针对连续手语识别中普通自注意力难以利用局部时间语义的问题,提出词内-词间注释注意力模块并结合背景分割,在 PHOENIX-2014 上以端到端方式取得具有竞争力的 WER 20.4。
2024-06-26 cs.AI cs.CV
ViPo-MLLM: Visual-Pose Multimodal LLM for Gloss-Free Sign Language Translation
King Fahd University of Petroleum and Minerals(国王法赫德石油矿物大学);University of British Columbia(不列颠哥伦比亚大学)
研究尝试无注释手语翻译,提出ViPo-MLLM框架结合时空RGB和人体姿势特征,用专用编码器与交叉模态注意力,经结构化提示和训练后由大语言模型处理。该模型在数据集取得新成果,验证了机制有效性。
2026-07-07 cs.AI cs.CV
SIGNER: Temporally Grounded Sign Language Generation via Time-Resolved Conditioning
IPAI;Dept. of ECE & ASRI, Seoul National University(首尔大学电子与计算机工程系及ASRI);Dept. of CSE, Korea University(高丽大学计算机科学与工程系)
提出SIGNER框架,通过时间分辨条件(时间-词汇条件与局部时间融合)确保手语生成中词汇顺序正确和语义准确,在Phoenix-2014T和CSL-Daily上达到最优性能。
2026-06-29 cs.CL cs.CV
Multi-Scale Local-Temporal Similarity Fusion for Continuous Sign Language Recognition
Beihang University(北京航空航天大学);Xiaomi AI Lab(小米人工智能实验室);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所)
连续手语识别是一项重要的公共任务,它将手语视频转换成有序的注释序列。捕获细粒度的光泽级细节是重要的,因为在符号视频帧和对应的光泽之间没有明确的对齐。在过去的工作中,一种有前途的方法是采用一维卷积网络(1D-CNN)来对序列帧进行时间融合。然而,CNN对相似性或不相似性是不可知的,因此无法捕获时间相邻帧内的局部一致语义。为了解决这个问题,我们建议通过时间相似性自适应地融合局部特征。具体来说,我们设计了一个多尺度局部-时间相似性融合网络(mLTSF-Net):1)对于特定的视频帧,我们首先选择具有多尺度感受区域的相似邻域,以适应不同长度的注释。2)为了确保时间一致性,我们然后使用位置感知卷积来对所选帧的每个尺度进行时间卷积。3)为了获得局部时间增强的逐帧表示,我们最后使用内容相关聚合器融合不同尺度的结果。我们以端到端的方式训练我们的模型,在RWTH-PHOENIX-Weather 2014数据集(RWTH)上的实验结果表明,与几个最先进的模型相比,我们的模型具有竞争力的性能。
2021-07-27 cs.CV
Improving Gloss-free Sign Language Translation by Reducing Representation Density
Artificial Intelligence Thrust, HKUST (Guangzhou)(香港科技大学(广州)人工智能方向);Tencent AI Lab(腾讯人工智能实验室);Department of Computer Science and Engineering, HKUST(香港科技大学计算机科学与工程系);Guangzhou HKUST Fok Ying Tung Research Institute(广州香港科技大学霍英东研究院)
针对无Gloss手语翻译中存在的表征密度瓶颈问题,提出自监督对比学习策略SignCL,可在不增加参数量的情况下显著降低表征密度、提升多种框架的翻译性能,效果优于现有最优方法且参数量更低。
2024-10-28 cs.CL cs.CV cs.MM
Continuous Sign Language Recognition with Adapted Conformer via Unsupervised Pretraining
本文提出 ConSignformer,将 Conformer 适配到连续手语识别,并结合 CMRA 与无监督回归特征提取预训练,在两个 PHOENIX 基准上达到最先进性能。
2024-05-20 cs.CV
FEA-SLT: A Gloss-Free End-to-End Framework for Facial-Expression-Aware Sign Language Translation
School of Software Technology, Zhejiang University(浙江大学软件学院)
提出FEA-SLT框架,通过面部表情感知融合模块利用面部动态作为语义锚点,解决无词汇手语翻译中手势歧义问题,在PHOENIX14T和CSL-Daily数据集上达到最优BLEU性能。
2026-09-01 cs.CL cs.CV
Toward Phonology-Guided Sign Language Motion Generation: A Diffusion Baseline and Conditioning Analysis
George Mason University(乔治梅森大学)
本文提出基于扩散模型的基线方法,研究文本条件对手语动作生成的影响,发现将符号化标注转为自然语言是CLIP有效条件,T5不受影响,最佳变体在所有指标上优于现有方法。
2026-03-29 cs.CV
Speak2Sign3D: A Multi-modal Pipeline for English Speech to American Sign Language Animation
Department of Computer Science, BRAC University(计算机科学系,布拉克大学)
提出Speak2Sign3D流水线,结合Whisper、MarianMT及3D关键点运动系统,将英语语音转换为流畅的3D美国手语动画,并构建新数据集以提升翻译性能。
2025-07-09 cs.CV
A Diffusion-Based Kinematics and Dynamics Model for 3D Sign Language Production
Department of Computer Science, University of Bari Aldo Moro(巴里阿尔多·莫罗大学计算机科学系);Institute for Technological Development and Innovation in Communications, University of Las Palmas de Gran Canaria(拉斯帕尔马斯大加那利大学通信技术发展与创新研究所)
研究手语生成问题,提出物理信息扩散模型PIDiffSign,将解剖学约束融入架构与训练目标,用Transformer编码器 - 解码器及可微几何模块训练,实验证明该模型能提升手语生成的运动真实感和语义保真度。
2026-11-05 cs.CV
Better Sign Language Translation with STMC-Transformer
École Polytechnique(巴黎综合理工学院);Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学);LIX, Ecole Polytechnique(巴黎综合理工学院计算机实验室);Institut Polytechnique de Paris(巴黎理工学院)
手语翻译(Sign Language Translation,简称SLR)首先使用手语识别(SLR)系统从视频中提取手语注释。然后,翻译系统从手语注释生成口语翻译。本文重点介绍了翻译系统,并介绍了STMC-Transformer,该系统在PHOENIX-Weather 2014 T数据集的光泽到文本和视频到文本翻译方面分别比当前最先进的系统提高了5和7个BLEU。在ASLG-PC 12语料库上,我们报告增加了超过16个BLEU。我们还证明了目前的方法,依靠光泽监督的问题。STMC-Transformer的视频到文本翻译优于GT注释的翻译。这与之前的说法相矛盾,即GT注释翻译作为一个上限的翻译性能,并揭示了注释是一个低效的手语表示。因此,对于未来的手语研究,我们建议对识别和翻译模型进行端到端的训练,或者使用不同的手语注释方案。
2020-11-03 cs.CL cs.CV cs.HC
Corpus Augmentation for Sign Language Translation via LLM-Guided Video Stitching
Peter Pazmany Catholic University, Faculty of Information Technology and Bionics(彼得·帕兹马尼天主教大学信息科技与仿生学院);DeepSign Technologies Ltd.(DeepSign科技有限公司)
提出一种无需额外标注或生成模型的手语翻译语料增强方法,利用CTC强制对齐提取手语片段,通过LLM生成句子并拼接视频,在GFSLT-VLP基线上提升BLEU-4达2.92,并发现合成数据对视觉-语言预训练有害但可提升下游任务。
2026-06-11 cs.CV cs.LG
Leveraging the Power of MLLMs for Gloss-Free Sign Language Translation
Department of Artificial Intelligence, Yonsei University(人工智能系,延世大学);Graduate School of Information, Yonsei University(信息研究生院,延世大学)
针对手语翻译(SLT)的模态差距和成分细微变化识别挑战,提出无Gloss框架MMSLT,利用MLLMs生成手语成分文本描述并通过预训练模块对齐特征,在两个基准数据集上取得最优性能。
2025-08-25 cs.CL cs.CV
SignDPO: Multi-level Direct Preference Optimisation for Skeleton-based Gloss-free Sign Language Translation
Monash University(墨尔本大学);Nanyang Technological University(南洋理工大学)
SignDPO通过多级直接偏好优化提升骨骼基签名语翻译的对齐效果,通过自引导机制和自动语言级偏好生成器解决语义漂移问题,实验表明其在多个基准测试中优于现有无手势符号方法。
2026-04-20 cs.CL cs.CV
Natural Language-Assisted Sign Language Recognition
The Hong Kong University of Science and Technology(香港科技大学);Microsoft Research Asia(微软亚洲研究院)
手语是通过手势、面部表情、肢体动作等来传达信息的视觉语言。由于这些视觉成分组合的固有限制,手语中存在大量的视觉不可区分符号(VISigns),这限制了视觉神经网络的识别能力。为了缓解这个问题,我们提出了自然语言辅助手语识别(NLA-SLR)框架,它利用包含在注释(标志标签)的语义信息。首先,对于具有相似语义含义的VISigns,我们提出了语言感知的标签平滑,通过为每个训练符号生成软标签,其平滑权重从注释之间的归一化语义相似性计算,以减轻训练。其次,对于具有不同语义的VISigns,我们提出了一种跨模态混合技术,该技术融合了视觉和光泽特征,以进一步最大限度地提高不同标志的可分离性,在混合标签的监督下。此外,我们还介绍了一种新的骨干,视频关键点网络,它不仅模型的RGB视频和人体关键点,但也从不同的时间感受野的标志视频派生知识。从经验上讲,我们的方法在三个广泛采用的基准测试中达到了最先进的性能:MSASL,WLASL和NMFs-CSL。代码可在https://github.com/FangyunWei/SLRT上获得。
2023-03-21 cs.CV
DiffSLT: Enhancing Diversity in Sign Language Translation via Diffusion Model
Yonsei University(延世大学)
提出DiffSLT无gloss手语翻译框架,利用扩散模型和引导融合模块增强视觉条件,变体DiffSLT-P引入伪gloss减少模态差距,在两个数据集上显著提升多样性和翻译性能。
2024-11-26 cs.CV
RAIDAL: Redundancy-Aware Information Density Active Learning for CTC-Based Continuous Sign Language Recognition
Universidade Federal de Minas Gerais(米纳斯吉拉斯联邦大学);University of Bristol(布里斯托大学)
针对连续手语识别中视频标注成本高的问题,提出RAIDAL方法,利用CTC解码器对齐峰值限制评分区域,在三个数据集上显著提升数据效率。
2026-09-11 cs.CV
Gloss-Free Sign Language Translation: An Unbiased Evaluation of Progress in the Field
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey(视觉、语音和信号处理中心(CVSSP),萨里大学)
本文通过统一代码库重新实现关键贡献,评估无 gloss 手语翻译模型的性能,发现许多文献中报告的性能提升在一致条件下会减少,表明实现细节和评估设置对结果有显著影响。
2026-02-18 cs.CL cs.CV
Bootstrapping Sign Language Annotations with Sign Language Models
Apple(苹果公司);Gallaudet University(加劳德特大学)
本文提出一种伪注释流程,利用手语视频和英语输入,生成手语、手指拼写词和手语分类器的注释。通过稀疏预测和K-Shot LLM方法,实现高精度的伪注释,为手语数据集提供高质量基准。
2026-04-08 cs.CV
Improving Sign Language Translation with Monolingual Data by Sign Back-Translation
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
尽管已有关于手语翻译的开创性工作,但仍存在一个不小的障碍,即,并行签名文本数据的有限数量。为了解决这种并行数据瓶颈,我们提出了一种符号回译(SignBT)方法,该方法将大量口语文本纳入训练。使用文本到注释翻译模型,我们首先将单语文本回译到其注释序列。然后,通过在特征级上拼接来自估计的光泽到符号库的片段来生成成对符号序列。最后,合成的并行数据作为编码器-解码器并行框架的端到端训练的有力补充。为了进一步促进对网络安全的研究,我们进一步贡献了CSL-Daily,一个大规模的连续网络安全数据集。它提供口语翻译和注释级别的注释。主题围绕着人们的日常生活(例如,旅游、购物、医疗),最有可能的物联网应用场景。CSL-Daily上报道了大量的实验结果和对这些方法的分析。与建议的符号回翻译的方法,我们得到了很大的改善,比以前的国家的最先进的翻译方法。
2021-05-26 cs.CL cs.CV
Isharah: A Large-Scale Multi-Scene Dataset for Continuous Sign Language Recognition
King Fahd University of Petroleum & Minerals(国王法赫德石油和矿物大学);SDAIA-KFUPM Joint Research Center for Artificial Intelligence(SDAIA-KFUPM人工智能联合研究中心);National Center for Artificial Intelligence, SDAIA(人工智能国家中心,SDAIA)
本文提出Isharah,一个在无约束环境下用智能手机采集的大规模多场景连续手语识别数据集,包含30,000个视频片段和词级标注,并引入多个CSLR与SLT基准。
2025-06-04 cs.CV
SMART: MLLM-guided Temporal Alignment for Unifying Sign Language Recognition and Spotting
Dankook University(檀国大学)
本研究提出 MLLM 引导的 SMART 框架,整合多尺度时间适配器与 CSFormer 模块,在四个手语基准数据集上实现了手语识别与定位任务的性能提升。
2026-09-01 cs.CV
SF-Net: Structured Feature Network for Continuous Sign Language Recognition
Tencent(腾讯);Hong Kong University of Science and Technology(香港科技大学)
连续手语识别(SLR)旨在将手语序列翻译成句子。这是非常具有挑战性的,因为手语词汇丰富,而其中许多包含类似的手势和动作。此外,由于签名注释的对齐不可用,因此它是弱监督的。在本文中,我们提出了结构化特征网络(SF-Net),通过有效地学习数据中的多层次语义信息来解决这些挑战。SF-Net以结构化的方式提取特征,并逐渐将帧级、注释级和句子级的信息编码到特征表示中。所提出的SF-Net可以在没有其他模型或预训练的帮助下进行端到端的训练。我们在两个从不同连续SLR场景收集的大规模公共SLR数据集上测试了所提出的SF-Net。结果表明,所提出的SF-Net在准确性和适应性方面明显优于以前的基于序列级监督的方法。
2019-08-04 cs.CV
Hierarchical Sub-action Tree for Continuous Sign Language Recognition
Wangxuan Institute of Computer Technology, Peking University, Beijing, China(王轩计算机技术研究所,北京大学,北京,中国);State Key Laboratory of General Artificial Intelligence, Peking Universitys, Beijing, China(通用人工智能国家重点实验室,北京大学,北京,中国)
针对连续手语识别中数据不足、文本知识利用不充分的问题,提出融合大语言模型gloss知识的分层子动作树方法HST-CSLR,通过逐步模态对齐和对比增强提升性能,在四个数据集上验证了有效性。
2025-06-26 cs.CV cs.MM
EvSign: Sign Language Recognition and Translation with Streaming Events
Dalian University of Technology(大连理工大学);National University of Singapore(新加坡国立大学)
提出EvSign事件流手语数据集及高效Transformer框架,利用稀疏事件和时序聚合实现低计算成本的手语识别与翻译,性能优于现有方法。
2024-07-21 cs.CV
AutoSign: Direct Pose-to-Text Translation for Continuous Sign Language Recognition
Carnegie Mellon University(卡内基梅隆大学)
本文提出 AutoSign,一种仅解码器自回归 transformer,利用 1D CNN 时间压缩与 AraGPT2 直接将姿态序列翻译为文本,消除 CSLR 多阶段对齐流程,并在 Isharah-1000 上将 WER 最高降低 6.1%。
2025-07-26 cs.AI cs.CL cs.CV
Siformer: Feature-isolated Transformer for Efficient Skeleton-based Sign Language Recognition
Monash University Malaysia(马来西亚莫纳什大学)
针对基于骨架手语识别中真实手部姿态缺失、数据不完整及词汇复杂度差异问题,提出Siformer,采用运动学手部姿态校正、特征隔离机制和输入自适应推理,在WLASL100和LSA64上取得SOTA性能。
2025-03-26 cs.CV
SimulSLT: End-to-End Simultaneous Sign Language Translation
Zhejiang University(浙江大学)
手语翻译作为一种具有深远社会意义的技术,近年来引起了越来越多研究者的关注。然而,现有的手语翻译方法需要在开始翻译之前阅读所有视频,这导致了高推理延迟,也限制了它们在现实生活场景中的应用。为了解决这个问题,我们提出了Simulation,这是第一个端到端同步手语翻译模型,它可以同时将手语视频翻译成目标文本。模拟器由文本解码器、边界预测器和掩码编码器组成。我们1)使用wait-k策略进行同声翻译。2)设计了一种新的基于Integrate-and-Fire模块的边界预测器,输出注释边界,用于建立手语视频与注释之间的对应关系。3)提出了一种新的重新编码方法,帮助模型获得更丰富的上下文信息,使现有的视频特征能够充分交互。在RWTH-PHOENIX-Weather 2014 T数据集上进行的实验结果表明,Simulator在保持低延迟的同时,取得了超过最新端到端非同步手语翻译模型的BLEU分数,证明了该方法的有效性。
2021-12-08 cs.CV
Motion is the Choreographer: Learning Latent Pose Dynamics for Seamless Sign Language Generation
本文提出两阶段手语视频生成框架,通过构建与手语者无关的运动词典和潜在姿态动力学,实现运动与身份解耦,从而提升合成质量与个性化灵活性。
2025-08-06 cs.CV
Linguistics-Vision Monotonic Consistent Network for Sign Language Production
School of Computer Science and Information Engineering, Hefei University of Technology(合肥工业大学计算机与信息工程学院);School of Information Science and Technology, University of Science and Technology of China(中国科学技术大学信息科学技术学院)
本文提出基于Transformer的语言学-视觉单调一致性网络(LVMCN),通过跨模态语义对齐器约束细粒度顺序对齐,并利用多模态语义比较器约束粗粒度语义一致性,有效解决了手语生成中的跨模态一致性问题,在PHOENIX14T基准上取得SOTA表现。
2024-12-22 cs.CV cs.MM
Vision Meets Definitions: Unsupervised Visual Word Sense Disambiguation Incorporating Gloss Information
UMass Amherst(马萨诸塞大学阿默斯特分校);UMass Lowell(马萨诸塞大学洛厄尔分校);UMass Chan Medical School(马萨诸塞大学陈医学院);VA Bedford Health Care(VA贝德福德医疗中心)
针对图文匹配模型多义词识别差及词典外问题,提出融合词义定义的贝叶斯推理无监督VWSD方法和基于GPT-3的上下文感知定义生成,显著提升了性能。
2023-07-24 cs.AI cs.CL cs.CV