Significance of Chain of Thought in Gender Bias Mitigation for English-Dravidian Machine Translation
Research Spark Hub Inc.(研究火花中心公司);IIIT Hyderabad(印度信息技术研究所海得拉巴分校)
本文研究了英语到达罗毗荼语系机器翻译中的性别偏见,发现思维链处理能显著降低泰卢固语和卡纳达语翻译中的偏见,并强调需采取语言特定策略以提升公平性。
2024-06-03 cs.AI cs.CL
Gloss2Text: Sign Language Gloss translation using LLMs and Semantically Aware Label Smoothing
George Mason University(乔治梅森大学)
针对手语Gloss2Text翻译任务,提出结合预训练LLMs、数据增强与语义感知标签平滑损失的改进方法,在PHOENIX Weather 2014T数据集上超越现有最优性能。
2024-07-12 cs.CL cs.CV cs.LG
Better Sign Language Translation with STMC-Transformer
École Polytechnique(巴黎综合理工学院);Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学);LIX, Ecole Polytechnique(巴黎综合理工学院计算机实验室);Institut Polytechnique de Paris(巴黎理工学院)
手语翻译(Sign Language Translation,简称SLR)首先使用手语识别(SLR)系统从视频中提取手语注释。然后,翻译系统从手语注释生成口语翻译。本文重点介绍了翻译系统,并介绍了STMC-Transformer,该系统在PHOENIX-Weather 2014 T数据集的光泽到文本和视频到文本翻译方面分别比当前最先进的系统提高了5和7个BLEU。在ASLG-PC 12语料库上,我们报告增加了超过16个BLEU。我们还证明了目前的方法,依靠光泽监督的问题。STMC-Transformer的视频到文本翻译优于GT注释的翻译。这与之前的说法相矛盾,即GT注释翻译作为一个上限的翻译性能,并揭示了注释是一个低效的手语表示。因此,对于未来的手语研究,我们建议对识别和翻译模型进行端到端的训练,或者使用不同的手语注释方案。
2020-11-03 cs.CL cs.CV cs.HC
SignMusketeers: An Efficient Multi-Stream Approach for Sign Language Translation at Scale
TTI-Chicago(芝加哥技术研究所)
SignMusketeers提出一种基于面部、手部和身体姿态多流输入的自监督高效手语翻译方法,通过单帧学习替代视频序列预训练,在How2Sign数据集上以不到3%的计算量取得与现有最优模型相当的翻译性能。
2025-06-03 cs.AI cs.CL cs.CV
SignSpeak: Open-Source Time Series Classification for ASL Translation
Cheriton School of Computer Science(克里顿计算机科学学院);University of Waterloo(滑铁卢大学);Faculty of Engineering(工程学院)
针对手语沟通障碍,提出低成本实时ASL翻译手套及包含7200样本的SignSpeak数据集,用LSTM等模型实现92%准确率,开源促进后续研究。
2024-07-18 cs.AI cs.CL cs.LG
SignBank+: Preparing a Multilingual Sign Language Dataset for Machine Translation Using Large Language Models
Bar-Ilan University(巴伊兰大学);University of Zürich(苏黎世大学)
本文提出清理版多语言手语数据集SignBank+,证明传统文本到文本翻译方法在该数据集上同样有效,模型表现超越原数据集并确立了新基准。
2024-03-21 cs.CL
Bidirectional American Sign Language to English Translation
我们概述了一个双向翻译系统,转换句子从美国手语(ASL)到英语,反之亦然。为了在ASL和英语之间进行机器翻译,我们采用了生成式方法。具体来说,我们采用了调整IBM单词对齐模型1(IBM WAM 1),我们定义了英语和ASL的语言模型,以及翻译模型,并试图生成一个翻译,最大限度地提高后验分布由这些模型定义。然后,使用这些模型,我们能够量化语言之间的翻译的流畅性和忠实性的概念。
2017-01-10 cs.CL
SSL-SSAW: Self-Supervised Learning with Sigmoid Self-Attention Weighting for Question-Based Sign Language Translation
School of Computer Science and Technology, College of Intelligence and Computing, Tianjin University(计算机科学与技术学院,智能计算学院,天津大学);School of Computer Science and Technology, Tiangong University(计算机科学与技术学院,天津工大大学)
本文提出基于问题的手语翻译(QB-SLT)任务,并设计SSL-SSAW融合方法,利用对比学习对齐多模态特征及Sigmoid自注意力加权自适应提取特征,结合自监督学习增强表示,在多个数据集上取得SOTA性能。
2025-09-17 cs.AI cs.CL
SignAttention: On the Interpretability of Transformer Models for Sign Language Translation
Instituto de Investigación en Informática LIDI(LIDI信息学研究所);Universidad Nacional de La Plata(拉普拉塔国立大学);Consejo Nacional de Investigaciones Científicas y Técnicas (CONICET)(国家科学技术研究委员会);Comisión de Investigaciones Científicas de la Pcia. de Bs. As. (CIC-PBA)(布宜诺斯艾利斯省科学研究委员会);Instituto de Ciencias de la Computación, Universidad de Buenos Aires(布宜诺斯艾利斯大学计算机科学学院)
本文首次对基于Transformer的希腊手语翻译模型进行可解释性分析,揭示其注意力机制的对齐模式及解码过程中注意力焦点的动态变化,为构建更透明可靠的手语翻译系统提供基础。
2024-10-18 cs.AI cs.CL
iLSU-T: an Open Dataset for Uruguayan Sign Language Translation
Universidad de la República(乌拉圭共和国大学);Universidad de Buenos Aires(布宜诺斯艾利斯大学);Universidad Católica del Uruguay(乌拉圭天主教大学);Duke University(杜克大学)
本研究发布了包含185小时以上多模态乌拉圭手语视频的开放数据集iLSU-T,通过三种前沿算法建立翻译基准,验证了本地化数据集对手语技术发展及残障包容的重要性。
2025-07-07 cs.AI cs.CL
Improving Sign Language Translation with Monolingual Data by Sign Back-Translation
University of Science and Technology of China(中国科学技术大学);Hefei Comprehensive National Science Center(合肥综合性国家科学中心)
尽管已有关于手语翻译的开创性工作,但仍存在一个不小的障碍,即,并行签名文本数据的有限数量。为了解决这种并行数据瓶颈,我们提出了一种符号回译(SignBT)方法,该方法将大量口语文本纳入训练。使用文本到注释翻译模型,我们首先将单语文本回译到其注释序列。然后,通过在特征级上拼接来自估计的光泽到符号库的片段来生成成对符号序列。最后,合成的并行数据作为编码器-解码器并行框架的端到端训练的有力补充。为了进一步促进对网络安全的研究,我们进一步贡献了CSL-Daily,一个大规模的连续网络安全数据集。它提供口语翻译和注释级别的注释。主题围绕着人们的日常生活(例如,旅游、购物、医疗),最有可能的物联网应用场景。CSL-Daily上报道了大量的实验结果和对这些方法的分析。与建议的符号回翻译的方法,我们得到了很大的改善,比以前的国家的最先进的翻译方法。
2021-05-26 cs.CL cs.CV
Data Augmentation for Sign Language Gloss Translation
Bar-Ilan University(巴伊兰大学);Carnegie Mellon University(卡内基梅隆大学);Allen Institute for AI(艾伦人工智能研究所)
手语翻译(英语:Sign language translation,缩写为手语翻译)通常被分解为视频到注释识别和注释到文本翻译,其中注释是按照它们被签名的顺序转录的口语单词的序列。我们在这里专注于注释到文本的翻译,我们将其视为低资源神经机器翻译(NMT)问题。然而,与传统的低资源NMT不同,注释到文本的翻译不同,因为注释-文本对通常具有比口语对更高的词汇重叠和更低的句法重叠。我们利用这种词汇重叠和处理句法分歧,提出了两个基于规则的语法生成伪平行的单语口语文本的注释文本对。通过对由此获得的合成数据进行预训练,我们将美国手语(ASL)到英语和德国手语(DGS)到德语的翻译分别提高了3.14和2.20 BLEU。
2021-05-16 cs.CL
Direct Translation between Sign Languages
Oregon State University(俄勒冈州立大学)
本文提出了一种直接的手语到手语翻译方法,通过使用回译技术生成合成的手语对,从而克服了传统级联方法中的误差传播和信息丢失问题,并在多个手语数据集上实现了更高的翻译质量和速度提升。
2026-10-01 cs.CL cs.CV
ELMI: Interactive and Intelligent Sign Language Translation of Lyrics for Song Signing
University of Toronto(多伦多大学);NAVER AI Lab(NAVER人工智能实验室)
本文提出ELMI工具,通过逐行手语注释编辑、实时歌词视频同步及大语言模型对话,辅助歌曲手语演绎者完成歌词翻译,并在13人研究中验证其能提升翻译信心与独立性。
2025-02-21 cs.AI cs.CL cs.HC
Continuous Bangla Sign Language Translation: Mitigating the Expense of Gloss Annotation with the Assistance of Graph
University of Dhaka(达卡大学)
本研究提出将图方法与transformer架构融合以实现无gloss的连续孟加拉手语翻译,在多个数据集上取得最先进性能,并首次在BornilDB v1.0上建立基准。
2025-08-14 cs.AI cs.CL
Example-Based Machine Translation from Text to a Hierarchical Representation of Sign Language
SYSTRAN(SYSTRAN公司);Université Paris-Saclay(巴黎萨克雷大学);CNRS(法国国家科学研究中心)
本文提出了一种新颖的文本到签名翻译方法。它弥补了数据的稀缺性,使用特定领域的平行语料库之间的对齐文本和分层的正式描述的手语视频在Azee。该算法在检测源文本中存在的相似性的基础上,递归地利用对齐片段的匹配和替换来为一个新的语句构建多个候选翻译。这有助于以生成的方式尽可能多地保留手语结构,而不是太快地依赖字面翻译。最终的翻译是以Azee表达式的形式,旨在用作化身合成系统的输入。我们提出了一个测试集,以展示其表达能力和生成惯用目标语言的潜力,并观察到的局限性。这项工作最终打开了前景,如何评估翻译和语言方面,如准确性和语法流畅性。
2022-05-06 cs.CL
Open-Domain Sign Language Translation Learned from Online Video
TTI-Chicago(芝加哥丰田技术研究院)
现有的手语翻译工作-即从手语视频翻译成书面语言的句子-主要集中在(1)在受控环境中收集的数据或(2)特定领域的数据,这限制了对现实世界设置的适用性。在本文中,我们介绍了OpenASL,这是一个从在线视频网站(例如,YouTube)。OpenASL包含来自200多个签名者的多个领域的288小时ASL视频,是迄今为止最大的公开可用ASL翻译数据集。为了解决现实环境中的手语翻译的挑战,没有掩饰,我们提出了一套技术,包括标志搜索作为预训练和融合的口形和手形特征的借口任务。所提出的技术在翻译质量上产生了一致的和大的改进,超过了基于先前工作的基线模型。我们的数据和代码可在https://github.com/chevalierNoir/OpenASL上公开获取
2022-11-19 cs.CL cs.CV
Machine Translation between Spoken Languages and Signed Languages Represented in SignWriting
University of Zurich(苏黎世大学);Bar-Ilan University(巴伊兰大学)
本文介绍了新的机器翻译(MT)系统之间的口头和签署的语言,其中签署的语言表示在SignWriting,手语书写系统的工作。我们的工作旨在解决当前MT系统中缺乏对签名语言的开箱即用支持的问题,并基于SignBank数据集,该数据集包含口语文本和SignWriting内容。我们引入了新的方法来解析,分解,解码和评估SignWriting,利用神经因子MT的想法。在双语设置中-从美国手语翻译到(美国)英语-我们的方法实现了超过30 BLEU,而在两种多语言设置中-在口语和手语之间双向翻译-我们实现了超过20 BLEU。我们发现,用于提高口语翻译的常见MT技术同样会影响手语翻译的性能。这些发现验证了我们使用的中间文本表示的签名语言,包括他们在自然语言处理的研究。
2023-02-23 cs.CL
Statistical Sign Language Machine Translation: from English written text to American Sign Language Gloss
Research Lab. UTIC, University of Tunis(突尼斯大学UTIC研究实验室)
本论文旨在设计一个从英文文本到美国手语的统计机器翻译。该系统基于Moses工具进行了一些修改,并通过3D化身进行解释合成结果。首先,我们将输入的文本翻译为gloss,这是ASL的一种书面形式。第二,我们将输出传递给WebSign插件来播放标志。这项工作的贡献是使用一对新的语言英语/美国手语和统计机器翻译的基础上字符串匹配感谢加罗距离的改进。
2011-12-01 cs.CL
GinSign: Grounding Natural Language Into System Signatures for Temporal Logic Translation
University of Florida(佛罗里达大学)
GinSign通过将自然语言接地到系统签名,提升时序逻辑翻译的准确性和下游模型检查能力,实现95.5%的逻辑等价分数。
2025-12-18 cs.AI cs.CL
Unsupervised Sign Language Translation and Generation
Shanghai Jiao Tong University(上海交通大学)
提出无监督手语翻译与生成网络USLNet,利用单模态重建和跨模态反向翻译从无平行数据中学习,通过滑动窗口解决跨模态对齐问题,实现统一生成文本与手语视频。
2024-02-12 cs.CL
Using Sign Language Production as Data Augmentation to enhance Sign Language Translation
University of Surrey(萨里大学)
针对手语数据资源稀缺问题,提出利用手语生成技术(基于骨架生成、手语拼接及SignGAN、SignSplat模型)做数据增强,可将手语翻译模型性能最高提升19%,助力资源受限场景下的手语翻译系统优化。
2025-06-11 cs.CL cs.CV
JWSign: A Highly Multilingual Corpus of Bible Translations for more Diversity in Sign Language Processing
Kwame Nkrumah University of Science and Technology(夸梅·恩克鲁玛科技大学);EFREI Paris(巴黎EFREI高等工程学院);University of Dayton(代顿大学);University of Zurich(苏黎世大学)
针对手语数据稀缺且分布不均的问题,提出包含98种手语、2530小时圣经翻译的JWSign数据集,并通过多语言神经机器翻译实验证明其有效性,多语言系统优于双语基线,聚类相关语言对可提升翻译质量。
2023-11-16 cs.CL
DiscoSign: Discourse-Aware Text to Sign Language Gloss Translation
Apple(苹果公司);Northeastern University(东北大学);Gallaudet University(加劳德特大学)
本研究提出基于LLM的DiscoSign框架,解决手语翻译中的空间共指等三个篇章现象,配套新评估指标,在数据集上显著提升空间一致性,建立首个篇章级手语gloss翻译系统框架
2026-09-03 cs.CL
Enhancing Document-level Translation of Large Language Model via Translation Mixed-instructions
The Key Laboratory of Linguistic and Cultural Computing of Ministry of Education(教育部语言与文化计算重点实验室);Institute of Artificial Intelligence(人工智能研究所);Northwest Minzu University(西北民族大学);Soochow University(苏州大学)
本文提出翻译混合指令方法,结合不同长度的句子级和文档级指令微调大语言模型,使其在多达2048个token的文档上保持稳定翻译性能,并在10个语言对上显著提升文档级翻译质量与语篇连贯性。
2024-01-16 cs.CL
Enhanced Sign Language Translation between American Sign Language (ASL) and Indian Sign Language (ISL) Using LLMs
本文提出一种基于随机森林分类器、大语言模型和RIFE-Net的端到端框架,实现ASL与ISL之间的实时翻译,以改善手语使用者的可访问性并弥合两种手语间的沟通鸿沟。
2024-11-19 cs.AI cs.CL
ReSCUE: Re-translation with Sentence Commitment for Unsegmented Long-Form Simultaneous Sign Language Translation
ShanghaiTech University(上海科技大学);DGene;University of Derby(德比大学)
ReSCUE提出统一框架,通过推理感知训练、稳定重翻译和句子承诺机制,实现未分段长形式手语视频的同步翻译,在低延迟下接近离线系统质量。
2026-10-05 cs.CL cs.CV
Fingerspelling within Sign Language Translation
Google(谷歌公司)
针对手语翻译中模型对整句语境下指语理解能力不足的问题,本研究标注FLEURS-ASL中的指语实例,验证了采用字符级分词的ByT5模型可显著提升翻译质量,而混入指语识别数据的效果不一。
2024-08-13 cs.CL cs.CV
Introducing A Bangla Sentence - Gloss Pair Dataset for Bangla Sign Language Translation and Research
Department of Computer Science and Engineering, Bangladesh University of Engineering and Technology(Bangladesh University of Engineering and Technology计算机科学与工程系)
本文介绍了一个包含1000个人工标注句子- gloss配对的新数据集Bangla-SGP,通过规则基于的检索增强生成管道生成约3000个合成配对,用于孟加拉语手语翻译和研究。
2025-11-11 cs.AI cs.CL
Machine Translation from Signed to Spoken Languages: State of the Art and Challenges
本文综述了手语到口语机器翻译的研究现状,指出当前方法缺乏语言学动机,并提倡基于语言学分析的跨学科研究及人在回路中的模型开发。
2023-04-05 cs.CL
Leveraging Graph-based Cross-modal Information Fusion for Neural Sign Language Translation
Zhejiang University(浙江大学);Westlake University(西湖大学);Westlake Institute for Advanced Study(西湖高等研究院);City University of Hong Kong(香港城市大学);Xiamen University(厦门大学)
手语作为聋人的母语,是一种特殊的视觉语言,大多数听力正常的人无法理解。近年来,神经手语翻译作为一种弥合聋人与听力正常人之间沟通鸿沟的可能途径,引起了学术界的广泛关注。我们发现,目前主流的端到端神经网络模型试图以弱监督的方式学习语言知识,在数据资源不足的情况下,无法挖掘足够的语义信息。因此,我们建议引入手语语言学的额外单词级语义知识,以帮助改进当前的端到端神经元模型。具体地说,我们提出了一种基于动态图的多模态特征融合神经翻译模型,该模型首先将文本和视频等跨模态信息根据它们之间的相关性组装成动态图,然后通过多模态图编码器对动态图进行处理,生成多模态嵌入,以进一步用于后续的神经翻译模型。据我们所知,我们是第一个引入图神经网络,融合多模态信息,神经手语翻译模型。此外,我们在公开可用的流行天气数据集RWTH-PHOENIX-Weather-2014 T上进行了实验。定量实验表明,该方法可以改善模型。
2022-11-01 cs.AI cs.CL
Overcoming the Curse of Sentence Length for Neural Machine Translation using Automatic Segmentation
Ecole Polytechnique(巴黎综合理工学院);Jacobs University(雅各布大学);Université de Montréal(蒙特利尔大学)
作者(Cho等人,2014 a)已经表明,与现有的基于短语的翻译系统不同,最近引入的神经网络翻译系统在翻译长句时遭受翻译质量的显著下降。在本文中,我们提出了一种方法来解决这个问题,自动分割成短语,可以很容易地翻译的神经网络翻译模型的输入句子。一旦每个片段已经由神经机器翻译模型独立地翻译,则翻译的子句被连接以形成最终翻译。实验结果表明,长句的翻译质量显着提高。
2014-10-07 cs.CL cs.LG cs.NE
A Data Selection Approach for Enhancing Low Resource Machine Translation Using Cross-Lingual Sentence Representations
SCTR’s Pune Institute of Computer Technology(SCTR浦那计算机技术学院);Indian Institute of Technology Madras(印度马德拉斯理工学院);L3Cube Labs(L3Cube实验室)
本文针对英语-马拉地语低资源机器翻译中数据噪声问题,提出基于IndicSBERT跨语言句子表示的数据过滤方法,通过语义等价性评估筛选训练数据,显著提升了翻译质量,并为其他低资源语言翻译任务提供了可借鉴的框架。
2024-09-04 cs.CL cs.LG
Progressive Translation: Improving Domain Robustness of Neural Machine Translation with Intermediate Sequences
The Chinese University of Hong Kong(香港中文大学);Microsoft Cognitive Services Research(微软认知服务研究院)
本文提出利用“类源”到“类目标”的中间序列作为监督信号,结合全排列多任务学习和最小贝叶斯风险解码,有效提升了神经机器翻译的领域鲁棒性,减少了领域外翻译的幻觉,在低资源场景下尤为有效。
2023-05-16 cs.CL
ODE-Based Transformer Decoders for Iterative Sign Language Translation
ASELSAN(阿塞尔桑(土耳其国防工业公司));Hacettepe University(哈杰泰佩大学)
该研究将受常微分方程启发的高阶数值积分格式应用于迭代手语翻译,提出参数高效的解码器,在不增参数下提升性能,在两个基准上优于IPSLT基线。
2026-08-13 cs.CL cs.LG
Found in Translation: Reconstructing Phylogenetic Language Trees from Translations
IBM Research(IBM研究院);University of Haifa(海法大学);The Arab College for Education(阿拉伯教育学院)
几千年来,翻译在贸易、法律、商业、政治和文学中发挥着重要作用。译者总是试图做到隐形;理想的翻译应该看起来像是用目标语言写的。我们发现,源语言的痕迹仍然存在于翻译产品的程度,它是可能的,揭示历史的源语言只看翻译。具体来说,我们自动重建系统发育的语言树从单语文本(从几个源语言翻译)。源语言的信号是如此强大,即使经过两个阶段的翻译,它仍然保留。这有力地表明,源语言干扰是翻译文本最主要的特征,掩盖了翻译普遍属性的更微妙的信号。
2017-04-24 cs.CL
Simultaneous paraphrasing and translation by fine-tuning Transformer models
Amazon.com, Inc.(亚马逊公司)
本文介绍了在ACL 2020第四届神经生成和翻译(WNGT)研讨会上,语言教育同声翻译和释义共享任务的第三名提交。最终的系统利用预先训练的翻译模型,并使用Transformer架构与过采样策略相结合,以实现有竞争力的性能。该系统在匈牙利语(加权宏F1评分绝对提高27%)和葡萄牙语(绝对提高33%)上的表现明显优于基线。
2020-05-12 cs.CL cs.LG
Tackling Low-Resourced Sign Language Translation: UPC at WMT-SLT 22
Universitat Politècnica de Catalunya(加泰罗尼亚理工大学);Barcelona Supercomputing Center(巴塞罗那超级计算中心)
本文介绍了在加泰罗尼亚理工大学为机器翻译2022年手语翻译任务研讨会开发的系统,特别是用于符号到文本的方向。我们使用一个用Fairseq建模工具包实现的Transformer模型。我们已经试验了词汇量,数据增强技术和PHOENIX-14 T数据集的预训练模型。我们的系统为测试集获得了0.50 BLEU分数,将组织者的基线提高了0.38 BLEU。我们注意到基线和我们的系统的结果都很差,因此,我们的发现是不可靠的。
2022-12-02 cs.CL cs.CV
Amortized Noisy Channel Neural Machine Translation
New York University(纽约大学);Genentech(基因泰克);CIFAR(加拿大高等研究院)
噪声信道模型在神经机器翻译(NMT)中特别有效。然而,最近的方法,如“束搜索和重新排序”(BSR)在推理过程中产生显着的计算开销,使现实世界的应用不可行。我们的目标是研究是否有可能建立一个摊销的噪声信道NMT模型,使得当我们在推理过程中进行贪心解码时,翻译准确度在奖励(基于源到目标的日志概率和目标到源的日志概率)和质量(基于BLEU和BLEURT)方面与BSR相匹配。我们尝试了三种训练新模型的方法:知识蒸馏、一步偏差模仿学习和Q学习。第一种方法从伪语料库中获取有噪信道信号,后两种方法旨在直接优化有噪信道MT奖励。对于所有三种方法,生成的翻译都无法获得与BSR相当的回报,但BLEU和BLEURT近似的翻译质量与BSR生成的翻译质量相似。此外,这三种方法都将推理速度提高了1-2个数量级。
2022-07-18 cs.CL cs.LG
SignFLIP: A Unified Model for Sign Language Translation and Generation via Stage-wise Alignment at Scale
Institute of Science Tokyo(东京科学大学);Chungbuk National University(忠北国立大学)
SignFLIP提出以LLM为中心的对称架构和阶段式训练策略,在大规模数据上实现手语翻译与生成的统一双向对齐,并在多个基准上达到与任务特定模型相当的性能且强迁移至手语识别。
2026-09-29 cs.CL cs.CV cs.MM
Spatio-temporal transformer to support automatic sign language translation
Universidad Industrial de Santander(桑坦德工业大学)
本文提出一种基于Transformer的时空手语翻译架构,通过卷积与注意力机制同时建模局部和长程手势信息,在CoL-SLTD和PHOENIX14T上分别取得46.84%和30.77%的BLEU4,验证了其对真实手语变体的鲁棒性。
2025-02-04 cs.CL
Better Sign Language Translation with Monolingual Data
ByteDance(字节跳动);Zhejiang University(浙江大学)
针对手语翻译中G2T并行数据及gloss标注稀缺问题,提出用规则转换从大规模目标单语语料自动生成伪gloss,在两个基准上取得最先进性能。
2023-04-21 cs.CL
An Open-Source Gloss-Based Baseline for Spoken to Signed Language Translation
Bar-Ilan University(巴伊兰大学);University of Zurich(苏黎世大学)
本文提出一个开源的口语到手语翻译基线系统,通过文本到注释、注释到姿态再到视频的流水线,支持德语、法语和意大利语到瑞士手语的转换,并组合词形还原、规则重排和神经机器翻译三种方法。
2023-05-28 cs.CL cs.CV
AzSLD: Azerbaijani Sign Language Dataset for Fingerspelling, Word, and Sentence Translation with Baseline Software
Azerbaijan State Oil and Industry University(阿塞拜疆国立石油与工业大学);French-Azerbaijani University(法国-阿塞拜疆大学);ADA University(ADA大学)
本研究推出阿塞拜疆手语数据集AzSLD,含3万段多视角、多人群采集的标注视频及配套文档代码,严格遵循伦理规范,为手语识别、翻译等研究提供宝贵数据资源。
2024-11-23 cs.CL
Human-Paraphrased References Improve Neural Machine Translation
Google Research(谷歌研究院)
Freitag等人最近提出了将候选翻译与人类生成的参考翻译的释义进行比较的自动评估。当用于代替原始参考时,释义版本产生与人类判断更好相关的度量分数。这种效果适用于各种不同的自动度量,并且倾向于支持自然的公式而不是更字面的公式。在本文中,我们比较了使用标准和释义参考执行端到端系统开发的结果。与国家的最先进的英语-德语NMT组件,我们表明,调整到释义的参考产生一个系统,是显着更好地根据人类的判断,但5 BLEU点差时,测试标准参考。我们的工作证实了这一发现,即释义参考产生的度量分数与人类的判断更好地相关,并首次证明,使用这些分数的系统开发可以导致显着的改善。
2020-10-20 cs.CL cs.LG
Inducing Constituency Trees through Neural Machine Translation
New York University(纽约大学)
潜在树学习(LTL)方法学习仅使用来自下游任务的间接监督来解析句子。潜在树学习的最新进展使得通过使用语言建模或自动编码目标进行训练来恢复中等高质量的树结构成为可能。在这项工作中,我们探讨的假设,解码在机器翻译,作为一个有条件的语言建模任务,将产生更好的树结构,因为它提供了一个类似的训练信号的语言建模,但更多的语义信号。我们调整了两个现有的潜在树语言模型-PRPN和ON-LSTM-用于翻译。我们发现,他们确实恢复了F1分数比WSJ测试集上语言建模中看到的更好的树,同时保持了强大的翻译质量。我们观察到,翻译是一个更好的目标比语言建模诱导树,标志着第一次成功的潜在树学习使用机器翻译目标。此外,我们的研究结果表明,虽然翻译提供了更好的信号诱导树比语言建模,翻译模型可以表现良好,而不利用潜在的树结构。
2019-09-22 cs.CL
sign.mt: Real-Time Multilingual Sign Language Translation Application
本文介绍开源应用 sign.mt,利用先进开源模型实现口语与手语间实时多语言双向翻译,支持离线、照片级真实感定制虚拟人和翻译 API。
2024-08-04 cs.CL
American Sign Language Video to Text Translation
Carnegie Mellon University(卡内基梅隆大学)
本研究复制并改进了美国手语视频到文本翻译模型,通过BLEU和rBLEU评估发现优化器、激活函数及标签平滑显著影响性能,未来将探索视觉特征、解码器及预训练以提升效果。
2024-02-11 cs.CL cs.CV
Explore More Guidance: A Task-aware Instruction Network for Sign Language Translation Enhanced with Data Augmentation
Huazhong University of Science and Technology(华中科技大学);Nanchang University(南昌大学);Zhejiang University(浙江大学);Zhejiang Lab(之江实验室);The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
本文提出任务感知指令网络TIN-SLT,通过指令模块、特征融合策略和多层次数据增强提升手语翻译性能,并在两个基准数据集上取得领先结果。
2023-05-25 cs.CL
American Sign Language to Text Translation using Transformer and Seq2Seq with LSTM
Institut Teknologi Sepuluh Nopember(十一月理工学院)
本研究针对手语转文本翻译任务,对比了Transformer与Seq2Seq模型的性能,还测试了添加ResidualLSTM的Transformer效果,发现纯Transformer表现优于Seq2Seq,添加ResidualLSTM反而降低性能。
2024-09-17 cs.CL
Reconsidering Sentence-Level Sign Language Translation
Google(谷歌公司);Rochester Institute of Technology(罗切斯特理工学院)
本文通过语言现象分析与 How2Sign 上 ASL→英语的人类基线,揭示句子级手语翻译框架忽视语篇语境的局限。
2024-06-16 cs.CL
Uncertainty Signals for Network Intent Translation: Risk Ranking and Ambiguity Localization
Khalifa University(哈利法大学)
本研究针对LLM生成的网络意图翻译配置,提出用采样预测不确定性排序风险、令牌级熵定位歧义,验证了两类信号在部署流程中的应用潜力。
2026-09-07 cs.CL cs.NI
Personalized Machine Translation: Preserving Original Author Traits
IBM Research - Haifa(IBM 海法研究院);C-DAC Mumbai(孟买先进计算发展中心);University of Haifa(海法大学);University of Sheffield(谢菲尔德大学)
我们产生的语言反映了我们的个性,各种个人和人口统计特征可以在自然语言文本中检测到。我们专注于作者的一个特殊的个人特征,性别,并研究它是如何在原文和翻译中表现出来的。我们发现,作者的性别在原文中有一个强大的,明确的信号,但这个信号是混淆在人类和机器翻译。然后,我们提出了简单的域适应技术,有助于保留翻译中的原始性别特征,而不会损害翻译的质量,从而创建更个性化的机器翻译系统。
2017-01-12 cs.CL
Leveraging Large Language Models for Accurate Sign Language Translation in Low-Resource Scenarios
University of Catania, Italy(意大利卡塔尼亚大学);National Research Council - ISTC, Italy(意大利国家研究理事会-ISTC);University of Bologna, Italy(意大利博洛尼亚大学)
提出AulSign方法,利用大型语言模型通过动态提示和上下文学习及手语关联,在低资源场景下实现准确手语翻译,在英语和意大利语基准上优于现有模型。
2025-09-08 cs.AI cs.CL cs.CY