Bridging Sign and Spoken Languages: Pseudo Gloss Generation for Sign Language Translation
City University of Hong Kong（香港城市大学）；Google（谷歌）
针对手语翻译依赖昂贵专家gloss标注的问题，提出无需人工gloss的伪gloss生成框架，结合LLM上下文学习生成草稿、弱监督重排序及三阶段训练，在基准上超越现有无gloss方法并媲美有gloss方法。
2025-05-21 cs.CV
Leveraging the Power of MLLMs for Gloss-Free Sign Language Translation
Department of Artificial Intelligence, Yonsei University（人工智能系，延世大学）；Graduate School of Information, Yonsei University（信息研究生院，延世大学）
针对手语翻译（SLT）的模态差距和成分细微变化识别挑战，提出无Gloss框架MMSLT，利用MLLMs生成手语成分文本描述并通过预训练模块对齐特征，在两个基准数据集上取得最优性能。
2025-08-25 cs.CL cs.CV
Improving Sign Language Translation with Monolingual Data by Sign Back-Translation
University of Science and Technology of China（中国科学技术大学）；Hefei Comprehensive National Science Center（合肥综合性国家科学中心）
尽管已有关于手语翻译的开创性工作，但仍存在一个不小的障碍，即，并行签名文本数据的有限数量。为了解决这种并行数据瓶颈，我们提出了一种符号回译（SignBT）方法，该方法将大量口语文本纳入训练。使用文本到注释翻译模型，我们首先将单语文本回译到其注释序列。然后，通过在特征级上拼接来自估计的光泽到符号库的片段来生成成对符号序列。最后，合成的并行数据作为编码器-解码器并行框架的端到端训练的有力补充。为了进一步促进对网络安全的研究，我们进一步贡献了CSL-Daily，一个大规模的连续网络安全数据集。它提供口语翻译和注释级别的注释。主题围绕着人们的日常生活（例如，旅游、购物、医疗），最有可能的物联网应用场景。CSL-Daily上报道了大量的实验结果和对这些方法的分析。与建议的符号回翻译的方法，我们得到了很大的改善，比以前的国家的最先进的翻译方法。
2021-05-26 cs.CL cs.CV
Hierarchical Feature Alignment for Gloss-Free Sign Language Translation
University of Surrey（塞弗里大学）
提出一种受手语结构启发的层级预训练策略，通过伪注释和对比视频-语言对齐在帧、片段和视频层级上对齐特征，提升无注释手语翻译的BLEU-4和ROUGE分数，同时保持效率。
2025-07-09 cs.CV
Sign2GPT: Leveraging Large Language Models for Gloss-Free Sign Language Translation
University of Surrey（萨里大学）；Meta Reality Labs（元宇宙现实实验室）
针对手语数据不足问题，本文提出 Sign2GPT 框架，利用预训练视觉与语言模型、轻量级适配器及伪 gloss 预训练，实现无标注 gloss 的手语翻译，并在两个基准上显著提升性能。
2024-05-07 cs.CV
Improving Gloss-free Sign Language Translation by Reducing Representation Density
Artificial Intelligence Thrust, HKUST (Guangzhou)（香港科技大学（广州）人工智能方向）；Tencent AI Lab（腾讯人工智能实验室）；Department of Computer Science and Engineering, HKUST（香港科技大学计算机科学与工程系）；Guangzhou HKUST Fok Ying Tung Research Institute（广州香港科技大学霍英东研究院）
针对无Gloss手语翻译中存在的表征密度瓶颈问题，提出自监督对比学习策略SignCL，可在不增加参数量的情况下显著降低表征密度、提升多种框架的翻译性能，效果优于现有最优方法且参数量更低。
2024-10-28 cs.CL cs.CV cs.MM
Gloss-Free Sign Language Translation: An Unbiased Evaluation of Progress in the Field
Centre for Vision, Speech and Signal Processing (CVSSP), University of Surrey（视觉、语音和信号处理中心（CVSSP），萨里大学）
本文通过统一代码库重新实现关键贡献，评估无 gloss 手语翻译模型的性能，发现许多文献中报告的性能提升在一致条件下会减少，表明实现细节和评估设置对结果有显著影响。
2026-02-18 cs.CL cs.CV
SignDPO: Multi-level Direct Preference Optimisation for Skeleton-based Gloss-free Sign Language Translation
Monash University（墨尔本大学）；Nanyang Technological University（南洋理工大学）
SignDPO通过多级直接偏好优化提升骨骼基签名语翻译的对齐效果，通过自引导机制和自动语言级偏好生成器解决语义漂移问题，实验表明其在多个基准测试中优于现有无手势符号方法。
2026-04-20 cs.CL cs.CV
Beyond Gloss: A Hand-Centric Framework for Gloss-Free Sign Language Translation
Center for Vision, Speech and Signal Processing (CVSSP) University of Surrey（视觉、语音和信号处理中心（CVSSP）大学学院）
针对手语翻译的模态差距与手部细微动作捕捉难题，提出以手部为中心的无标注手语翻译框架BeyondGloss，通过手部动作描述对齐、特征蒸馏及对比损失等方法，在两个基准上取得最优性能。
2025-09-01 cs.CV
Gloss-free Sign Language Translation: Improving from Visual-Language Pretraining
MUST（澳门科技大学）；UCAS（中国科学院大学）；MAIS, CASIA（中国科学院自动化研究所模式识别国家重点实验室（注：MAIS为CASIA下属部门，按要求提取至研究院级，此处取CASIA对应中文名：中国科学院自动化研究所））；Universitat de Barcelona（巴塞罗那大学）；Computer Vision Center（计算机视觉中心）；AAU（奥尔堡大学）；CAIR, HKISI, CAS（中国科学院香港创新研究院人工智能与机器人创新研究所（注：按要求提取至研究院级，取CAS对应中文名：中国科学院；HKISI为中国科学院香港创新研究院；CAIR为其下属机构，此处提取至研究院级：中国科学院香港创新研究院））
提出基于视觉-语言预训练的无gloss手语翻译方法GFSLT-VLP，通过结合CLIP与掩码自监督学习及端到端编码器-解码器架构，在无需gloss注释的情况下显著提升了翻译性能。
2023-07-27 cs.CV
C${^2}$RL: Content and Context Representation Learning for Gloss-free Sign Language Translation and Retrieval
State Key Laboratory of Multimodal Artificial Intelligence Systems (MAIS), Institute of Automation, Chinese Academy of Sciences (CASIA)（中国科学院自动化研究所多模态人工智能系统国家重点实验室）；School of Artificial Intelligence, University of Chinese Academy of Sciences (UCAS)（中国科学院大学人工智能学院）；Macau University of Science and Technology（澳门科技大学）；NIO（蔚来汽车）
针对无gloss手语表示学习中非单调对齐难以捕捉精细特征的问题，提出融合隐式内容学习与显式上下文学习的C²RL预训练范式，在多个手语翻译与检索数据集上实现显著性能提升并刷新基准。
2024-08-19 cs.CL cs.CV
Contrastive Pretraining with Dual Visual Encoders for Gloss-Free Sign Language Translation
CVSSP, University of Surrey（CVSSP，英国萨里大学）
提出一种基于双视觉编码器对比预训练的两阶段框架，通过融合互补视觉特征实现无 gloss 手语翻译，在 Phoenix-2014T 基准上取得了最高 BLEU-4 分数。
2025-07-14 cs.CV
Keypoint based Sign Language Translation without Glosses
Incheon National University（仁川国立大学）；Chung-Ang University（中央大学）；Ewha Womans University（梨花女子大学）；Konkuk University（建国大学）
与手语识别（SLR）的研究相比，手语翻译（SLR）是一项研究相对较少的任务。然而，SLR是一项认识到手语独特语法的研究，手语不同于口语，存在非残疾人无法轻松理解的问题。所以，我们要解决的问题，直接翻译手语视频中的口语。为此，我们提出了一种新的关键点规范化方法，用于基于签名者的骨架点进行翻译，并在手语翻译中对这些点进行鲁棒规范化。它有助于通过根据身体部位定制的归一化方法来提高性能。此外，我们提出了一种随机帧选择方法，使帧增强和采样在同一时间。最后，通过基于注意力的翻译模型将其翻译成口语。我们的方法可以应用于各种数据集的方式，可以应用于数据集没有掩盖。此外，定量的实验评价证明了我们的方法的优越性。
2022-06-14 cs.CV
SignRAG: Unified Retrieval-Augmented Gloss-Free Sign Language Translation
Macau University of Science and Technology（澳门科技大学）；University of Macau（澳门大学）；Chinese Academy of Sciences（中国科学院）；Yale University（耶鲁大学）；VIVO AI Lab（vivo AI实验室）
针对仅解码器 LLM 难以适配无 gloss 手语翻译的问题，提出 SignRAG 框架，通过分层预训练、目标域检索增强及 RUG-RFT 实现 SOTA 性能，是首个在 CSL-Daily 所有指标上优于 gloss 监督方法的无 gloss 手语翻译方法。
2026-10-09 cs.CL cs.CV cs.MM
ViPo-MLLM: Visual-Pose Multimodal LLM for Gloss-Free Sign Language Translation
King Fahd University of Petroleum and Minerals（国王法赫德石油矿物大学）；University of British Columbia（不列颠哥伦比亚大学）
研究尝试无注释手语翻译，提出ViPo-MLLM框架结合时空RGB和人体姿势特征，用专用编码器与交叉模态注意力，经结构化提示和训练后由大语言模型处理。该模型在数据集取得新成果，验证了机制有效性。
2026-07-07 cs.AI cs.CV
SAGE: Segment-Aware Gloss-Free Encoding for Token-Efficient Sign Language Translation
CVSSP, University of Surrey, United Kingdom（CVSSP，萨里大学，英国）
提出分段感知视觉标记化框架，通过手语分段将连续视频转换为离散视觉令牌，结合令牌级对比对齐和双层监督，在减少序列长度50%的同时，在PHOENIX14T基准上超越现有方法。
2026-05-28 cs.CV
A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation
Tsinghua University（清华大学）；Microsoft Research Asia（微软亚洲研究院）
本文提出了一个简单的迁移学习基线手语翻译。现有的手语数据集（例如PHOENIX-2014 T，CSL-Daily）仅包含约10 K-20 K对手语视频，注释和文本，这比用于训练口语翻译模型的典型并行数据小一个数量级。因此，数据是训练有效手语翻译模型的瓶颈。为了缓解这个问题，我们建议从包含大量外部监督的一般域数据集到域内数据集逐步预训练模型。具体来说，我们在人类行为的一般域和符号到注释数据集的域内预训练符号到注释视觉网络，并在多语言语料库的一般域和域内预训练注释到文本翻译网络注释到文本语料库。联合模型通过一个名为视觉语言映射器的附加模块进行了微调，该模块连接两个网络。这个简单的基线超过了之前两个手语翻译基准测试的最新结果，证明了迁移学习的有效性。由于其简单性和强大的性能，这种方法可以作为未来研究的坚实基线。代码和模型可在https://github.com/FangyunWei/SLRT上获得。
2023-03-23 cs.CV
An Efficient Sign Language Translation Using Spatial Configuration and Motion Dynamics with LLMs
本文提出SpaMo框架，利用现成视觉编码器提取手语空间与运动特征并输入大语言模型，辅以视觉-文本对齐预热，在PHOENIX14T和How2Sign数据集上达到最先进性能。
2025-02-24 cs.CL cs.CV
SignGPT: Toward LLM-Mediated Sign Language Interaction through Gloss-Free Translation and Generation
Tsinghua University（清华大学）；Nanyang Technological University（南洋理工大学）；E Fund（易方达基金）；Peng Cheng Laboratory（鹏城实验室）；Tencent AI Lab（腾讯AI实验室）
SignGPT提出统一的无注释手语翻译与生成框架，集成部件感知层次表示和非对称多令牌预测，在How2Sign和Phoenix-2014T上验证，并探索了LLM介导的手语对话潜力。
2026-09-21 cs.CV
Autoregressive Sign Language Production: A Gloss-Free Approach with Discrete Representations
Korea Advanced Institute of Science and Technology (KAIST)（韩国科学技术院(KAIST)）
本文提出手语向量量化网络，利用向量量化从手语姿态序列中提取离散表示，实现无注释的手语生成，并通过潜在层级对齐提升语言连贯性，实验表明其性能优于已有方法。
2024-06-08 cs.CV
Think in Latent Thoughts: A New Paradigm for Gloss-Free Sign Language Translation
The Hong Kong Polytechnic University（香港理工大学）；Sichuan University（四川大学）
本文提出一种基于推理的签语翻译框架，通过潜在思想序列作为中间层提升翻译的连贯性和准确性，并构建了一个新的大规模无手势词数据集。
2026-04-17 cs.CV
RVLF: A Reinforcing Vision-Language Framework for Gloss-Free Sign Language Translation
Macau University of Science and Technology（澳门科学技术大学）；SKL-IOTSC, CIS, University of Macau（澳门大学智能物联网与通信系统研究所）；Beijing Institute of Technology, Zhuhai（珠海北京理工大学）；University of Barcelona（巴塞罗那大学）
RVLF提出了一种无需gloss的手语翻译框架，通过融合骨架运动与视觉特征并结合强化学习优化，提升了翻译质量与语义一致性。
2025-12-08 cs.CV
SignBind-LLM: Multi-Stage Modality Fusion for Sign Language Translation
CVSSP, University of Surrey（计算机视觉与模式识别研究所，萨里大学）
SignBind-LLM通过多阶段模态融合提升手语翻译的准确性和鲁棒性，实现高保真翻译效果。
2026-09-03 cs.CL cs.CV
Sign Language Transformers: Joint End-to-end Sign Language Recognition and Translation
University of Surrey（萨里大学）；Microsoft（微软）
先前关于手语翻译的工作表明，具有中等水平的符号注释表示（有效地识别单个符号）可以大大提高翻译性能。事实上，目前最先进的翻译需要注释级别标记化才能工作。我们引入了一种新的基于Transformer的架构，该架构可以在端到端的方式下共同学习连续手语识别和翻译。这是通过使用一个连接时间分类（CTC）损失绑定到一个单一的统一架构的识别和翻译问题。这种联合方法不需要任何地面实况定时信息，同时解决了两个相互依赖的序列到序列学习问题，并导致显着的性能增益。我们评估了我们的方法在具有挑战性的RWTH-PHOENIX-Weather-2014 T（PHOENIX 14 T）数据集上的识别和翻译性能。我们报告了我们的手语Transformers所实现的最先进的手语识别和翻译结果。我们的翻译网络优于手语视频到口语和注释到口语翻译模型，在某些情况下，性能提高了一倍以上（9.58比21.80 BLEU-4分数）。我们还分享了使用Transformer网络进行其他几个文本到文本手语翻译任务的新基线翻译结果。
2020-03-30 cs.CL cs.CV cs.HC
Gloss-Free Representation Learning for Cross-Dataset Sign Spotting
Hacettepe University（哈杰泰佩大学）
本研究针对资源受限语言的手语研究，用土耳其广播语料库 TSL-News 基于转录文本的伪 gloss 标签预训练手语编码器，在跨数据集手语定位任务中显著提升性能，证明松散对齐的广播数据可提供有效弱监督学习手语表征。
2026-08-13 cs.CL cs.CV
AutoSign: Direct Pose-to-Text Translation for Continuous Sign Language Recognition
Carnegie Mellon University（卡内基梅隆大学）
本文提出 AutoSign，一种仅解码器自回归 transformer，利用 1D CNN 时间压缩与 AraGPT2 直接将姿态序列翻译为文本，消除 CSLR 多阶段对齐流程，并在 Isharah-1000 上将 WER 最高降低 6.1%。
2025-07-26 cs.AI cs.CL cs.CV
SignLlama: Enhancing Gloss-free Sign Language Translation by Prioritizing Visual Features for LLMs
State Key Laboratory of Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）；University of Warwick（华威大学）
该研究针对无词素手语翻译（GFSLT）中LLMs的视觉特征利用问题，提出SignLlama模型，通过过滤伪词素CTC预训练与视觉优先蒸馏策略，在多数据集上取得极具竞争力的性能。
2026-08-11 cs.AI cs.CV
DiffSLT: Enhancing Diversity in Sign Language Translation via Diffusion Model
Yonsei University（延世大学）
提出DiffSLT无gloss手语翻译框架，利用扩散模型和引导融合模块增强视觉条件，变体DiffSLT-P引入伪gloss减少模态差距，在两个数据集上显著提升多样性和翻译性能。
2024-11-26 cs.CV
LLaVA-SLT: Visual Language Tuning for Sign Language Translation
ShanghaiTech University（上海科技大学）；ByteDance（字节跳动）；Zhejiang University（浙江大学）
为缩小无gloss手语翻译与基于gloss方法的性能差距，提出LLaVA-SLT框架，通过持续预训练、视觉对比预训练和视觉语言微调三阶段，有效融合视觉与语言模型，实现高准确率翻译。
2024-12-21 cs.CV
SIGNER: Temporally Grounded Sign Language Generation via Time-Resolved Conditioning
IPAI；Dept. of ECE & ASRI, Seoul National University（首尔大学电子与计算机工程系及ASRI）；Dept. of CSE, Korea University（高丽大学计算机科学与工程系）
提出SIGNER框架，通过时间分辨条件（时间-词汇条件与局部时间融合）确保手语生成中词汇顺序正确和语义准确，在Phoenix-2014T和CSL-Daily上达到最优性能。
2026-06-29 cs.CL cs.CV
SLTUNET: A Simple Unified Model for Sign Language Translation
University of Edinburgh（爱丁堡大学）；University of Zurich（苏黎世大学）
针对手语翻译的数据稀缺与模态差距问题，提出支持多任务联合建模的统一模型SLTUNET，可利用口语翻译数据优化，在多个数据集上取得优异性能。
2023-05-02 cs.CL cs.CV
Speak2Sign3D: A Multi-modal Pipeline for English Speech to American Sign Language Animation
Department of Computer Science, BRAC University（计算机科学系，布拉克大学）
提出Speak2Sign3D流水线，结合Whisper、MarianMT及3D关键点运动系统，将英语语音转换为流畅的3D美国手语动画，并构建新数据集以提升翻译性能。
2025-07-09 cs.CV
SimulSLT: End-to-End Simultaneous Sign Language Translation
Zhejiang University（浙江大学）
手语翻译作为一种具有深远社会意义的技术，近年来引起了越来越多研究者的关注。然而，现有的手语翻译方法需要在开始翻译之前阅读所有视频，这导致了高推理延迟，也限制了它们在现实生活场景中的应用。为了解决这个问题，我们提出了Simulation，这是第一个端到端同步手语翻译模型，它可以同时将手语视频翻译成目标文本。模拟器由文本解码器、边界预测器和掩码编码器组成。我们1）使用wait-k策略进行同声翻译。2)设计了一种新的基于Integrate-and-Fire模块的边界预测器，输出注释边界，用于建立手语视频与注释之间的对应关系。3）提出了一种新的重新编码方法，帮助模型获得更丰富的上下文信息，使现有的视频特征能够充分交互。在RWTH-PHOENIX-Weather 2014 T数据集上进行的实验结果表明，Simulator在保持低延迟的同时，取得了超过最新端到端非同步手语翻译模型的BLEU分数，证明了该方法的有效性。
2021-12-08 cs.CV
Corpus Augmentation for Sign Language Translation via LLM-Guided Video Stitching
Peter Pazmany Catholic University, Faculty of Information Technology and Bionics（彼得·帕兹马尼天主教大学信息科技与仿生学院）；DeepSign Technologies Ltd.（DeepSign科技有限公司）
提出一种无需额外标注或生成模型的手语翻译语料增强方法，利用CTC强制对齐提取手语片段，通过LLM生成句子并拼接视频，在GFSLT-VLP基线上提升BLEU-4达2.92，并发现合成数据对视觉-语言预训练有害但可提升下游任务。
2026-06-11 cs.CV cs.LG
Context-Aware Autoregressive Diffusion for Gloss-Wise Sign Language Production
Dankook University（檀国大学）；University of Birmingham（伯明翰大学）
提出GARD模型，通过语义和运动上下文条件化，结合词汇间过渡引导和全局运动协调器，实现逐词汇手语生成，在Phoenix-T和CSL-Daily数据集上优于现有方法。
2026-06-23 cs.CV
Open-Domain Sign Language Translation Learned from Online Video
TTI-Chicago（芝加哥丰田技术研究院）
现有的手语翻译工作-即从手语视频翻译成书面语言的句子-主要集中在（1）在受控环境中收集的数据或（2）特定领域的数据，这限制了对现实世界设置的适用性。在本文中，我们介绍了OpenASL，这是一个从在线视频网站（例如，YouTube）。OpenASL包含来自200多个签名者的多个领域的288小时ASL视频，是迄今为止最大的公开可用ASL翻译数据集。为了解决现实环境中的手语翻译的挑战，没有掩饰，我们提出了一套技术，包括标志搜索作为预训练和融合的口形和手形特征的借口任务。所提出的技术在翻译质量上产生了一致的和大的改进，超过了基于先前工作的基线模型。我们的数据和代码可在https://github.com/chevalierNoir/OpenASL上公开获取
2022-11-19 cs.CL cs.CV
A Simple Baseline for Spoken Language to Sign Language Translation with 3D Avatars
The Hong Kong University of Science and Technology（香港科技大学）；Microsoft Research Asia（微软亚洲研究院）
本文首次提出以3D手语为输出格式的Spoken2Sign翻译任务，通过构建词汇-3D手语词典并训练Text2Gloss翻译器、手语连接器和渲染模块，实现口语到3D手语虚拟形象的翻译。
2024-07-03 cs.CV
A Diffusion-Based Kinematics and Dynamics Model for 3D Sign Language Production
Department of Computer Science, University of Bari Aldo Moro（巴里阿尔多·莫罗大学计算机科学系）；Institute for Technological Development and Innovation in Communications, University of Las Palmas de Gran Canaria（拉斯帕尔马斯大加那利大学通信技术发展与创新研究所）
研究手语生成问题，提出物理信息扩散模型PIDiffSign，将解剖学约束融入架构与训练目标，用Transformer编码器 - 解码器及可微几何模块训练，实验证明该模型能提升手语生成的运动真实感和语义保真度。
2026-11-05 cs.CV
GLoT: A Novel Gated-Logarithmic Transformer for Efficient Sign Language Translation
针对手语机器翻译中传统 Transformer 难以建模动态时序依赖的问题，提出 GLoT 门控对数 Transformer，并在 Sign-to-Gloss-to-Text 任务上验证其性能全面优于基线。
2025-02-17 cs.CL cs.CV
EvSign: Sign Language Recognition and Translation with Streaming Events
Dalian University of Technology（大连理工大学）；National University of Singapore（新加坡国立大学）
提出EvSign事件流手语数据集及高效Transformer框架，利用稀疏事件和时序聚合实现低计算成本的手语识别与翻译，性能优于现有方法。
2024-07-21 cs.CV
VTaMo: Video-Text Alignment Model for Sign Language Translation
New York University Abu Dhabi（纽约大学阿布扎比分校）；ChatSign Technology（ChatSign科技）
研究手语翻译问题，提出VTaMo框架，通过局部、全局对齐及位置对齐对比学习实现多粒度对齐，在多个数据集实验中展现领先性能，各组件贡献互补。
2026-07-13 cs.CL cs.CV
Multi-channel Transformers for Multi-articulatory Sign Language Translation
CVSSP, University of Surrey（萨里大学视觉、语音与信号处理中心）；Microsoft（微软）
手语使用多个异步信息通道（发音器官），不仅仅是手，还有面部和身体，这是计算方法经常忽略的。在本文中，我们解决了多发音手语翻译任务，并提出了一种新的多通道Transformer架构。所提出的架构允许在Transformer网络本身内对不同的符号发音器之间的上下文关系和上下文关系进行建模，同时还保持通道特定的信息。我们在RWTH-PHOENIX-Weather-2014 T数据集上评估了我们的方法，并报告了具有竞争力的翻译性能。重要的是，我们克服了对其他最先进方法的基础注释的依赖，从而消除了未来对昂贵的策展数据集的需求。
2020-09-01 cs.CV
Towards Compact Sign Language Translation: Frame Rate and Model Size Trade-offs
Computer Science and Information Engineering, National Central University, Zhongli, Taiwan（资讯工程系，国立中央大学，中坜，台湾）
本文提出一种紧凑的77M参数 pipeline，结合MMPose骨骼姿态提取与单线性投影到T5-small，通过调整输入帧率实现效率权衡，减少计算复杂度且保持翻译质量。
2026-05-10 cs.CL cs.CV
Continuous Sign Language Recognition Using Intra-inter Gloss Attention
Sharif University of Technology（谢里夫理工大学）
针对连续手语识别中普通自注意力难以利用局部时间语义的问题，提出词内-词间注释注意力模块并结合背景分割，在 PHOENIX-2014 上以端到端方式取得具有竞争力的 WER 20.4。
2024-06-26 cs.AI cs.CV
Denoising-Contrastive Alignment for Continuous Sign Language Recognition
School of Computer Science and Engineering, Tianjin University of Technology（天津理工大学计算机科学与工程学院）
针对连续手语识别中跨模态对齐忽视文本语法与全局时序上下文的问题，提出 DCA 范式，结合对比实例对齐、视频引导的 gloss 去噪及梯度调制以增强视频表示。
2024-12-01 cs.CV
Mixed SIGNals: Sign Language Production via a Mixture of Motion Primitives
University of Surrey（萨里大学）
通常的做法是在语音级别上表示口语。然而，对于手语来说，这意味着将运动分解为其组成运动基元。基于化身的手语制作（SLP）传统上就是这样做的，从手部动作，形状和面部表情序列中构建动画。然而，最近基于深度学习的SLP解决方案已经使用估计完整骨架结构的单个网络来解决该问题。我们建议将SLP任务拆分为两个不同的联合训练子任务。第一个翻译子任务将口语翻译成潜在的手语表示，并进行注释监督。随后，动画子任务的目的是产生表达手语序列，非常类似于学习的时空表示。使用一个渐进的Transformer的翻译子任务，我们提出了一种新的混合运动原语（MoMP）的手语动画架构。在训练过程中学习一组不同的运动基元，这些运动基元可以在推理时在时间上组合以动画化连续的手语序列。我们对具有挑战性的RWTH-PHOENIX-Weather-2014 T（PHOENIX 14 T）数据集进行了评估，展示了广泛的消融研究，并显示MoMP在用户评估中优于基线。我们实现了最先进的回译性能，比竞争结果提高了11%。重要的是，我们第一次展示了从口语到手语的完整翻译管道的更强性能，而不是从注释到手语。
2021-07-26 cs.CV
Neural Sign Language Translation by Learning Tokenization
Boğaziçi University（博阿齐奇大学）
手语翻译最近取得了相当大的成功，提高了与聋人沟通的希望。一个称为标记化的预处理步骤可以提高翻译的成功率。如果监督数据可用，则可以从标志视频中学习令牌。然而，在光泽级别的数据注释是昂贵的，并且注释的数据是稀缺的。本文利用对抗、多任务、迁移学习来寻找没有额外标记负担的半监督标记化方法。它提供了广泛的实验来比较不同设置中的所有方法，以进行更深入的分析。在除了句子之外没有额外的目标注释的情况下，所提出的方法获得了13.25的BLUE-4和36.28的ROUGE分数，这在BLUE-4中提高了4分，在ROUGE中提高了5分。
2020-03-04 cs.CV
Is context all you need? Scaling Neural Sign Language Translation to Large Domains of Discourse
University of Surrey（萨里大学）；Meta Reality Labs（Meta现实实验室）
本文提出融合视频、手势识别与上下文编码器的多模态 transformer，利用历史序列上下文增强神经手语翻译，并在 BOBSL 和 SRF 上显著提升 BLEU-4。
2023-08-18 cs.CV
Kinematics-Centric Continuous Sign Language Retrieval with Gloss-Guided Boundary-Aware Alignment
University of Trento（特伦托大学）；Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）
本文提出以SMPL-X运动为核心、手语词汇引导局部对齐和视觉蒸馏的手语检索框架，在CSL-Daily和PHOENIX-2014T上实现领先的双向检索性能。
2026-10-06 cs.CV
G2P-DDM: Generating Sign Pose Sequence from Gloss Sequence with Discrete Diffusion Model
Beihang University（北京航空航天大学）；Carnegie Mellon University（卡内基梅隆大学）
本文提出 G2P-DDM，通过 Pose-VQVAE 离散化姿态、离散扩散建模、CodeUnet 融合时空信息及聚类预测长度，实现 gloss 到手语姿态序列生成，并在 SLP 基准上达到最优。
2023-12-18 cs.CV
Toward Phonology-Guided Sign Language Motion Generation: A Diffusion Baseline and Conditioning Analysis
George Mason University（乔治梅森大学）
本文提出基于扩散模型的基线方法，研究文本条件对手语动作生成的影响，发现将符号化标注转为自然语言是CLIP有效条件，T5不受影响，最佳变体在所有指标上优于现有方法。
2026-03-29 cs.CV
SignVTCL: Multi-Modal Continuous Sign Language Recognition Enhanced by Visual-Textual Contrastive Learning
The Chinese University of Hong Kong（香港中文大学）；Zhejiang Lab（之江实验室）；Gudsen Technology Co. Ltd（古登科技有限公司）
针对连续手语识别数据有限、弱监督对齐困难的问题，提出融合视频、关键点和光流并进行gloss级与句子级视觉-文本对比对齐的SignVTCL框架，在三个基准上达到SOTA。
2024-01-22 cs.CV
Sign Language Question Answering: A New Task, Benchmark, and Baseline for Sign Language Understanding
该研究提出手语问答新任务，构建基于PHOENIX14T与CSL-Daily的SignQA基准，设计带特定模块的基线模型，实验显示其在各问题类别上优于代表性视觉-语言模型。
2026-07-31 cs.AI cs.CV
SignAgent: Agentic LLMs for Linguistically-Grounded Sign Language Annotation and Dataset Curation
Centre for Vision, Speech and Signal Processing（视觉、语音和信号处理中心）
本文提出SignAgent，一种利用大语言模型进行可扩展、语言学基础的手语标注和数据集整理的新框架。通过SignAgent协调器和SignGraph，解决传统方法和手动标注的瓶颈，实现大规模语言感知数据标注。
2026-03-19 cs.CV
