Hierarchical Transformer for Multilingual Machine Translation
Innopolis University(因诺波利斯大学);University of Campinas(坎皮纳斯大学)
多语言机器翻译模型中参数共享策略的选择决定了参数空间的最优使用,从而直接影响最终的翻译质量。受语言树的启发,最近提出了多语言机器翻译中参数共享的通用方法。主要思想是使用这些专家语言层次结构作为多语言架构的基础:两种语言越接近,它们共享的参数就越多。在这项工作中,我们使用Transformer架构来测试这个想法,并表明尽管在以前的工作中取得了成功,但训练这种分层模型存在固有的问题。我们证明,在精心选择的训练策略的情况下,层次结构可以优于双语模型和多语言模型与充分的参数共享。
2021-03-05 cs.CL cs.LG
Path2ST: Hierarchical Cell-Tissue Grounded Cross-Modal Translation for Spatial Transcriptomics
University of Liverpool(利物浦大学);Zhejiang Normal University(浙江师范大学)
Path2ST是一种基于细胞-组织层级的跨模态转换框架,通过融合层级条件机制、尺度自适应生成与全谱损失函数,实现从H&E图像精准预测空间转录组,在三个数据集上达到最优性能。
2026-08-18 cs.AI cs.CL cs.CV
Hierarchical Policy Optimization for Simultaneous Translation of Unbounded Speech
Carnegie Mellon University(卡内基梅隆大学);NVIDIA(英伟达)
本文提出分层策略优化方法,通过后训练处理不完美的监督微调数据,提升同时语音翻译质量与效率,实验显示在1.5秒延迟下,COMET和MetricX得分分别提升超7和1.25。
2026-04-22 cs.CL
Learning synchronous context-free grammars with multiple specialised non-terminals for hierarchical phrase-based translation
Universitat d’Alacant(阿利坎特大学)
基于分层短语统计机器翻译(HSMT)的翻译模型在某些语言对上表现出比非分层短语统计翻译模型更好的性能。HSMT的标准方法学习并应用带有单个非终结符的同步上下文无关文法。在这项工作中提出的语法细化算法背后的假设是,这个单一的非终端是过载的,并且没有足够的区分,因此,将其充分分割成更专业的符号可以导致改进的模型。本文提出了一种学习同步上下文无关文法的方法,该方法具有大量的初始非终结符,然后通过聚类算法对初始非终结符进行分组。我们的实验表明,由此产生的较小的一组非终端正确捕获的上下文信息,使其有可能在统计上显着提高标准HSMT方法的BLEU分数。
2020-04-03 cs.CL cs.LG
When Does Reasoning Help in Machine Translation? A Hierarchical Analysis of LRM Reasoning Traces
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Google DeepMind(谷歌DeepMind)
本研究通过层次化元摘要框架分析大型推理模型在机器翻译中的推理轨迹,发现推理语言、长度和模式对翻译质量有复杂影响,提出应模型感知、长度感知和模式感知地控制推理。
2026-09-21 cs.CL
HiMATE: A Hierarchical Multi-Agent Framework for Machine Translation Evaluation
University of Macau(澳门大学);Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究所);Johns Hopkins University(约翰霍普金斯大学)
本文提出HiMATE,一个基于MQM错误类型学的分层多智能体机器翻译评估框架,通过利用模型自反思和非对称信息智能体讨论缓解幻觉,显著提升了错误跨度检测与严重性评估的准确度。
2025-09-16 cs.CL
Hierarchical Learning for Generation with Long Source Sequences
Birch AI(桦树人工智能公司);The University of Chicago(芝加哥大学);Toyota Technological Institute at Chicago(芝加哥丰田理工学院);Paul G. Allen School of Computer Science & Engineering(保罗·G·艾伦计算机科学与工程学院);University of Washington(华盛顿大学)
当前序列到序列(seq 2seq)模型的挑战之一是处理长序列,例如摘要和文档级机器翻译任务中的长序列。这些任务要求模型在标记级别以及句子和段落级别进行推理。我们设计并研究了一种新的基于层次注意力转换器的体系结构(HAT),它在几个序列到序列任务上的性能优于标准Transformers。此外,我们的模型在四个摘要任务上实现了最先进的ROUGE分数,包括PubMed,arXiv,CNN/DM,SAMSum和AMI。我们的模型在WMT 20英语到德语的翻译任务上优于文档级机器翻译基线。我们调查什么层次层学习可视化的分层编码器-解码器的注意。最后,我们研究了仅编码器预训练的分层学习,并分析了其在分类任务上的性能。
2021-09-16 cs.CL
HENT-SRT: Hierarchical Efficient Neural Transducer with Self-Distillation for Joint Speech Recognition and Translation
CLSP JHU(杰斯罗大学计算机科学与工程系);HLTCOE JHU(杰斯罗大学人类语言技术与计算机工程系);Xiaomi(小米公司)
提出HENT-SRT框架,通过任务分解、CTC一致性自蒸馏、层级高效编码器及空白惩罚,在保持ASR性能的同时提升语音翻译质量并降低训练成本。
2025-06-02 cs.CL eess.AS
HATL: Hierarchical Adaptive-Transfer Learning Framework for Sign Language Machine Translation
本文提出HATL框架,通过动态解冻预训练层和层间学习率衰减,提升手语翻译的鲁棒性和适应性,在Sign2Text和Sign2Gloss2Text任务中表现优异,BLEU-4得分提升显著。
2026-02-26 cs.AI cs.CL cs.CV
THOR-MoE: Hierarchical Task-Guided and Context-Responsive Routing for Neural Machine Translation
Pattern Recognition Center, WeChat AI, Tencent Inc(模式识别中心、微信AI、腾讯公司)
针对神经机器翻译中现有稀疏MoE路由存在的任务知识难获取、未考虑上下文的问题,提出分层任务引导与上下文响应的THOR-MoE,在多领域、多语言翻译基准上性能更优,且兼容现有路由方案。
2025-05-20 cs.CL
Towards Neural Machine Translation with Latent Tree Attention
Salesforce(赛富时)
在没有先验注释的情况下利用语言的层次结构来构建模型是自然语言处理的长期目标。我们为机器翻译任务引入了这样一个模型,将递归神经网络语法编码器与新型注意力RNNG解码器配对,并应用策略梯度强化学习来诱导源和目标上的无监督树结构。当在没有显式分割或解析注释的字符级数据集上训练时,模型学习合理的分割和浅层解析,获得接近注意力基线的性能。
2017-09-06 cs.AI cs.CL
A Hierarchical Neural Network for Sequence-to-Sequences Learning
Aalto University(阿尔托大学);SharpSight Limited(SharpSight有限公司)
近年来,基于注意力机制的序列到序列学习神经网络取得了很大的进展。然而,仍然存在挑战,特别是对于神经机器翻译(NMT),例如长句的翻译质量较低。在本文中,我们提出了一个分层的深度神经网络架构,以提高长句翻译的质量。建议的网络嵌入序列到序列的神经网络到一个两级的类别层次结构,遵循粗到细的范例。通过将长句分割成较短的序列来输入长句,粗类别网络可以很好地处理长句,因为基于序列到序列神经网络的网络能够处理短句的长距离依赖。然后,它们被连接起来,并通过精细类别网络进行校正。实验结果表明,该方法在BLEU(Bilingual Evaluation Understudy)评分、困惑度、表达风格和词汇使用的模仿等方面均优于传统网络。
2018-11-23 cs.CL
Transformer-Encoder Trees for Efficient Multilingual Machine Translation and Speech Translation
Worcester Polytechnic Institute(沃斯特理工学院)
本文提出Transformer-编码树(TET),通过共享相似语言的中间表示提升低资源语言准确率,减少计算冗余,实现单次前向传递生成所有目标语言,比传统多语言设计减少66%参数和60%推理计算。
2026-09-01 cs.AI cs.CL
Syntactically Guided Neural Machine Translation
University of Cambridge(剑桥大学);SDL Research(SDL研究院)
我们研究了基于层次短语的SMT格在端到端神经机器翻译(NMT)中的使用。权重推送将完整翻译假设的Hiero分数与完整翻译语法分数和完整n元语言模型分数一起转换为与NMT预测概率兼容的后验。通过稍微修改的NMT波束搜索解码器,我们发现Hiero和NMT解码单独的增益,在将NMT扩展到非常大的输入和输出词汇方面具有实际优势。
2016-05-19 cs.CL
Multilingual Neural Machine Translation:Can Linguistic Hierarchies Help?
Monash University(莫纳什大学)
多语言神经机器翻译(MNMT)训练支持多种语言之间翻译的单个NMT模型,而不是为不同语言训练单独的模型。学习单个模型可以通过利用来自多种语言的数据来增强低资源翻译。然而,MNMT模型的性能高度依赖于训练中使用的语言类型,因为从不同的语言集合转移知识会由于负迁移而降低翻译性能。在本文中,我们提出了一个层次知识蒸馏(HKD)的MNMT方法,它利用根据语言的类型学特征和同源性产生的语言群体,以克服负迁移的问题。HKD通过基于语言组的选择性知识蒸馏机制生成一组多语言教师助理模型,然后以自适应的方式从这些助理中提取最终的多语言模型。来自53种语言的TED数据集的实验结果证明了我们的方法在避免MNMT中的负迁移效应方面的有效性,与强基线相比,提高了翻译性能(平均约1个BLEU分数)。
2021-10-15 cs.AI cs.CL
Head Automata for Speech Translation
本文提出了统计语言和翻译模型的基础上收集的小有限状态机,我们称之为“头自动机”。这些模型旨在捕捉N-gram模型和直接统计翻译模型的词汇敏感性,同时考虑到语言的层次短语结构。两种类型的头自动机的定义:关系头自动机适合于翻译的依赖树的转移,和头传感器适合于直接递归词汇翻译。
1996-07-04 cmp-lg cs.CL
Building a reordering system using tree-to-string hierarchical model
Yandex School of Data Analysis(Yandex数据分析学院)
本文介绍了我们提交的第一次研讨会上重新排序的统计机器翻译。我们决定构建一个基于树到字符串模型的重排序系统,只使用公开可用的工具来完成这项任务。利用提供的训练数据,我们使用Moses工具包建立了一个翻译模型,然后我们应用Moses中实现的图表解码器来重新排序句子。尽管我们的提交只涵盖了英语-波斯语语言对,但我们认为无论语言的选择如何,这种方法本身都应该起作用,因此我们还对英语-意大利语和英语-乌尔都语进行了实验。对于这些语言对,我们注意到BLEU,Kendall-Tau和Hamming指标的基线有了显着改善。给出了详细的描述,以便每个人都可以重现我们的结果。最后,对进一步改进的方向进行了讨论。
2013-02-13 cs.CL
The Importance of Being Recurrent for Modeling Hierarchical Structure
University of Amsterdam(阿姆斯特丹大学);Leiden University(莱顿大学)
最近的工作表明,当训练递归神经网络(RNN)以解决常见的自然语言处理任务(例如语言建模)时,它可以隐式地捕获和利用分层信息(Linzen et al.,2016)和神经机器翻译(Shi等人,2016年)。相比之下,尽管非递归神经网络在许多NLP任务中取得了成功,但用非递归神经网络对结构化数据进行建模的能力却很少受到关注(Gehring等人,2017; Vaswani等人,2017年)。在这项工作中,我们比较了这两种架构-经常性与非经常性-关于他们的能力,模型层次结构,并发现,递归确实是重要的,为此目的。
2018-08-28 cs.CL
GinSign: Grounding Natural Language Into System Signatures for Temporal Logic Translation
University of Florida(佛罗里达大学)
GinSign通过将自然语言接地到系统签名,提升时序逻辑翻译的准确性和下游模型检查能力,实现95.5%的逻辑等价分数。
2025-12-18 cs.AI cs.CL
One Model to Learn Both: Zero Pronoun Prediction and Translation
Tencent AI Lab(腾讯AI实验室)
零代词(ZPs)在亲降语中经常被省略,但在非亲降语中应该被记住。这种语篇现象给机器翻译从亲降语到非亲降语的翻译带来了巨大的挑战。在本文中,我们提出了一个统一的和话语感知的ZP翻译方法的神经MT模型。具体来说,我们共同学习以端到端的方式预测和翻译ZP,允许两个组件相互交互。此外,我们采用分层神经网络来利用语篇级上下文,这有利于ZP预测,从而翻译。在汉英和日英数据上的实验结果表明,我们的方法不仅在基线上,而且在使用外部ZP预测模型的以前的工作中,显著地和累积地提高了翻译性能和ZP预测准确性。大量的分析证实,性能的改善来自于减轻各种错误,特别是主观ZPs造成的。
2019-09-01 cs.CL
"Chi nas dal soch el sent de legn" -- Auditing Text Corpora for Lombard
NLP Centre, Faculty of Informatics Masaryk University(马萨里克大学信息学院自然语言处理中心)
本文通过手动审计伦巴第语的平行和单语语料库,发现网络抓取数据存在严重的语言误识别、模板文本和非语言噪声问题,并揭示了高质量数据偏向西部伦巴第语变体、东部变体被边缘化的代表性偏差,强调需要关注变体多样性和社区驱动的数据策展。
2026-06-04 cs.CL
A Latent Morphology Model for Open-Vocabulary Neural Machine Translation
University of Trento(特伦托大学);University of Edinburgh(爱丁堡大学);University of Zürich(苏黎世大学);University of Amsterdam(阿姆斯特丹大学)
翻译成形态丰富的语言挑战神经机器翻译(NMT)模型与极其稀疏的词汇表,原子处理的表面形式是不现实的。这个问题通常通过将单词预处理成子字单元或直接在字符级别执行翻译来解决。前者基于使用语料库级统计优化的分词算法,而不考虑翻译任务。后者直接从翻译数据中学习,但需要相当深入的架构。在本文中,我们提出了一个层次隐变量模型,模仿形态变化的过程中,通过建模的构词来翻译的话。我们的模型生成的单词一个字符的时间组成两个潜在的表示:一个连续的,旨在捕捉词汇语义,和一组(近似)离散的功能,旨在捕捉形态句法功能,这是不同的表面形式之间共享。与传统的开放词汇NMT方法相比,我们的模型在翻译成三种形态丰富的语言方面实现了更好的准确性,同时在中低资源设置下也表现出更好的泛化能力。
2020-02-26 cs.CL
Egyptian Arabic to English Statistical Machine Translation System for NIST OpenMT'2015
Qatar Computing Research Institute(卡塔尔计算研究所);Columbia University(哥伦比亚大学);New York University Abu Dhabi(纽约大学阿布扎比分校)
本文描述了QCRI-Columbia-NYUAD(QCN)小组提交给NIST OpenMT'2015竞赛的埃及阿拉伯语到英语统计机器翻译(SMT)系统。比赛的重点是非正式的阿拉伯方言,如短信,聊天和演讲中使用的。因此,我们的工作重点是处理和标准化阿拉伯语,例如,使用3arrib和MADAMIRA等工具。我们进一步训练了一个基于短语的SMT系统,使用最先进的功能和组件,如操作序列模型,基于类的语言模型,稀疏特征,神经网络联合模型,基于体裁的分层插值语言模型,无监督音译挖掘,短语表合并,和假设组合。我们的系统在所有三个流派中排名第二。
2016-06-18 cs.CL
Forming Trees with Treeformers
University of California, Santa Cruz(加州大学圣克鲁兹分校)
本文提出受CKY算法启发的通用编码器模块Treeformer,通过将层次结构融入Transformer,显著提升组合泛化及机器翻译、摘要和自然语言理解等下游任务性能。
2023-07-10 cs.AI cs.CL cs.LG
AMR Parsing with Causal Hierarchical Attention and Pointers
School of Information Science and Technology, ShanghaiTech University(上海科技大学信息科学与技术学院);Shanghai Engineering Research Center of Intelligent Vision and Imaging(上海智能视觉与成像工程技术研究中心)
针对基于翻译的AMR解析器忽略结构局部性及引入不必要共指token的问题,提出配备因果分层注意力和指针机制的CHAP模型,将结构整合进Transformer解码器,在五个基准中的四个上优于基线模型。
2023-10-18 cs.CL
A Hierarchical Model for Data-to-Text Generation
Sorbonne Université(索邦大学);BNP Paribas(法国巴黎银行);Criteo AI Lab(Criteo人工智能实验室)
将结构化数据转录成自然语言描述已经成为一项具有挑战性的任务,称为“数据到文本”。这些结构通常重组多个元素及其属性。大多数尝试依赖于翻译编码器-解码器方法,该方法将元素线性化为序列。然而,这会丢失数据中包含的大部分结构。在这项工作中,我们提出了一个分层模型,编码的数据结构在元素级和结构级,以克服这一限制。RotoWire上的评估表明我们的模型w.r.t.定性和定量指标。
2019-12-20 cs.CL cs.IR cs.LG
Polish -English Statistical Machine Translation of Medical Texts
Polish Japanese Institute of Information Technology(波兰日本信息技术学院)
这项新的研究探讨了各种训练方法对医学文本的波兰语到英语统计机器翻译系统的影响。OPUS项目的EMEA平行文本语料库的各种元素被用作短语表和语言模型的训练以及翻译系统的开发、调整和测试的基础。BLEU、NIST、METEOR、RIBES和TER指标已被用于评估各种系统和数据准备对翻译结果的影响。我们的实验包括使用POS标记,因子短语模型,层次模型,句法标记和许多不同的对齐方法的系统。我们还对波兰数据进行了深入分析,作为自动数据校正的准备工作,例如真正的大小写和标点符号规范化阶段。
2015-09-29 cs.CL cs.IR stat.ML
Chinese-Portuguese Machine Translation: A Study on Building Parallel Corpora from Comparable Texts
Macao Polytechnic Institute(澳门理工学院);Dublin City University(都柏林城市大学)
尽管中国与葡语国家之间的联系日益密切,但中葡语言对中的平行语料库并不多。这两种语言的人口都非常多,有12亿母语为汉语的人和2.79亿母语为葡萄牙语的人,然而,就可用的平行语料库而言,这两种语言可以被认为是低资源。在本文中,我们描述了我们的方法来策展中葡平行语料库和评估其质量。我们从澳门政府网站中抽取双语语料,并提出了一种分层策略来构建大型平行语料库。实验进行现有的语料库和我们使用基于短语的机器翻译(PBMT)和国家的最先进的神经机器翻译(NMT)模型。这项工作的结果可以作为未来的中葡MT系统的基准。我们在本文中使用的方法也展示了一个很好的例子,如何提高低资源语言对的MT系统的性能。
2018-04-05 cs.CL
Programming by Example and Text-to-Code Translation for Conversational Code Generation
AI Zwei, Inc.(AI Zwei公司);AI Zwei Tech(AI Zwei科技公司);Symanto Research(Symanto研究院)
对话系统是自然语言处理中越来越受欢迎的任务。然而,对话路径往往是确定性的,仅限于系统轨道,而不管给定的请求或输入文本。程序合成的最新进展已经导致了能够从非常一般的搜索空间合成程序的系统,例如通过实例编程,以及具有用于编写程序的非常可访问的接口的系统,例如文本到代码的翻译,但是还没有在同一系统中实现这两种质量。我们提出了文本引导分层合成模块化程序(MPaTHS),这是一种集成示例编程和文本到代码系统的方法,它为合成通用程序提供了一个可访问的自然语言接口。我们提出了一个程序表示,使我们的方法被应用到面向任务的对话的问题。最后,我们演示MPaTHS使用我们的程序表示。
2023-01-18 cs.CL
Hierarchical Text Generation using an Outline
Harvey Mudd College(哈维穆德学院);University of Colorado Springs(科罗拉多大学斯普林斯分校)
自然语言处理中的许多挑战需要生成文本,包括语言翻译、对话生成和语音识别。对于所有这些问题,随着文本变得越来越长,文本生成变得越来越困难。当前的语言模型通常难以跟踪长文本的连贯性。在这里,我们尝试构建模型,并使用它生成的文本的大纲来保持它的重点。我们发现,使用一个大纲改善困惑。我们没有发现,使用纲要改善人类的评价比一个简单的基线,揭示了困惑和人类感知的差异。类似地,没有发现分层生成提高人类评价分数。
2018-10-20 cs.CL cs.LG stat.ML
Improvement in Sign Language Translation Using Text CTC Alignment
Institute of Science Tokyo(东京科学大学);NHK Science & Technology Research Laboratories(NHK科学技术研究实验室)
本文提出结合联合CTC/Attention与迁移学习的手语翻译方法,有效处理单调与非单调对齐并弥合视觉与语言模态鸿沟,在主流基准上取得与SOTA相当且优于纯注意力基线的表现,为无gloss SLT研究开辟新方向。
2024-12-24 cs.CL
Hierarchical Learning of Cross-Language Mappings through Distributed Vector Representations for Code
Singapore Management University(新加坡管理大学)
将用一种程序设计语言编写的程序翻译成另一种语言对于需要用不同语言实现功能的软件开发任务可能是有用的。虽然过去的研究已经考虑了这个问题,但它们可能是特定于语言语法的,或者是特定于某些类型的代码元素(例如,令牌、短语、API使用)。本文提出了一种新的方法来自动学习跨语言表示的各种结构化代码元素,可用于程序翻译。我们的关键思想是两个折叠:首先,我们规范化和丰富的代码令牌流与额外的结构和语义信息,并训练跨语言的向量表示的令牌(又名。基于word 2 vec的共享嵌入,word 2 vec是一种用于产生词嵌入的基于神经网络的技术;其次,从自底向上的分层地,我们为更高粒度级别的代码元素构建共享嵌入(例如,表达式、语句、方法)从其组成部分的嵌入中提取,然后根据嵌入之间的相似性在跨语言的代码元素之间建立映射。我们对9个软件项目的约40,000个Java和C#源文件的初步评估表明,我们的方法可以自动学习不同语言中各种代码元素的共享嵌入,并以合理的平均精度分数识别它们的跨语言映射。与现有的映射库API方法的工具相比,我们的方法可以准确地识别更多的映射。映射结果和代码可以在https://github.com/bdqnghi/hierarchical-programming-language-mapping上访问。我们相信,我们的想法,学习跨语言的向量表示与代码结构信息可以是一个有用的一步,自动程序翻译…
2018-03-13 cs.CL cs.LG cs.SE
Urdu-English Machine Transliteration using Neural Networks
COMSATS University Islamabad, Lahore Campus(COMSATS大学伊斯兰堡分校拉合尔校区)
机器翻译近年来受到了广泛的关注。它是计算语言学的一个分支,专注于将文本从一种语言翻译成另一种语言。在各种翻译技术中,神经网络以其提供具有注意力机制、序列到序列和长短期建模的单个大型神经网络的能力,目前在该领域处于领先地位。尽管在机器翻译领域取得了显著的进步,但是对包括技术术语、命名实体、外来词的词汇表外词(out-of-vocabulary words,OOV)的翻译对于当前最先进的翻译系统仍然是一个挑战,并且当在低资源语言或具有不同结构的语言之间进行翻译时,这种情况变得更糟。由于语言形态的丰富性,一个词在不同的语境中可能有不同的脑膜。在这种情况下,单词的翻译不仅足以提供正确/高质量的翻译。音译是在翻译过程中考虑词/句的上下文的一种方法。对于像乌尔都语这样的低资源语言,很难拥有/找到足够大的并行语料库来进行音译,以训练系统。在这项工作中,我们提出了基于期望最大化(EM),这是无监督和语言无关的音译技术。系统从平行语料库中学习模式和词汇外(OOV)词,不需要在音译语料库上显式地进行训练。该方法在三种统计机器翻译模型(包括基于短语、基于层次短语和基于因子的模型)和两种神经机器翻译模型(包括LSTM和Transformer模型)上进行了测试。
2020-01-12 cs.CL
Structure-Preserving Document Translation via Multi-Stage LLM Pipeline: A Case Study in Marathi
Pune Institute of Computer Technology(普那计算机技术学院);L3Cube Labs(L3Cube实验室);Indian Institute of Technology Madras(印度理工学院马德拉斯分校)
提出一种结构保持的马拉地语-英语政府文档翻译框架,集成布局感知OCR、坐标文本提取、LLM翻译和HTML重建,确保文档布局和结构一致性。
2026-06-27 cs.CL cs.LG
Spoken Language Translation for Polish
Polish-Japanese Institute of Information Technology(波兰-日本信息技术学院)
在日益全球化的世界中,口语翻译(英语:Spoken language translation)无论从社会还是经济的角度来看都变得越来越重要。它是自动语音识别(ASR)和机器翻译(MT)的主要挑战之一,推动了这些领域的激烈研究活动。由于技术限制,过去的研究主要是在受控条件下记录的语音,而今天的主要挑战是翻译口语,因为它可以在现实生活中找到。考虑的应用场景范围从便携式翻译器为游客,讲座和演示文稿翻译,广播新闻和节目与现场字幕。我们希望介绍PJIIT在欧盟桥梁第七框架项目和U-Star联盟波兰语/英语对活动中获得的经验。目前的研究集中在波兰语的ASR适应(最先进的声学模型:DBN-BLSTM训练,Kaldi:LDA+MLLT+SAT+MMI),ASR和MT的语言建模(文本规范化,基于RNN的LM,n-gram模型域插值)和统计翻译技术(分层模型,因子翻译模型,自动装箱和标点符号,可比和双语语料库准备)。虽然定义明确的领域(旅行者短语,议会演讲,医疗文档,电影字幕)的结果非常令人鼓舞,但定义较少的领域(演讲,讲座)仍然是一个挑战。我们将介绍我们在IWWWTED任务(仅MT)中的进展,以及波兰ASR的当前进展。
2015-11-24 cs.CL
ALaRM: Align Language Models via Hierarchical Rewards Modeling
Institute of Science and Technology for Brain-inspired Intelligence, Fudan University(复旦大学脑智能科学与技术研究院);School of Data Science, Fudan University(复旦大学数据科学学院);School of Computer Science, Fudan University(复旦大学计算机科学技术学院);Research Institute of Intelligent and Complex Systems, Fudan University(复旦大学智能与复杂系统研究院)
ALaRM框架通过整合整体与特定方面奖励并基于一致性过滤组合,在RLHF中建模分层奖励,提升LLM与人类偏好对齐,在长问答和机器翻译任务上优于现有基线。
2024-03-16 cs.AI cs.CL cs.LG
Shared Latent Space by Both Languages in Non-Autoregressive Neural Machine Translation
Handong Global University(韩东全球大学)
针对非自回归机器翻译的多模态问题及辅助后验模型缺陷,本文提出跨语言共享潜在空间的双重重构分层潜在变量方法,显著提升翻译质量。
2024-09-09 cs.CL cs.LG
SignRAG: Unified Retrieval-Augmented Gloss-Free Sign Language Translation
Macau University of Science and Technology(澳门科技大学);University of Macau(澳门大学);Chinese Academy of Sciences(中国科学院);Yale University(耶鲁大学);VIVO AI Lab(vivo AI实验室)
针对仅解码器 LLM 难以适配无 gloss 手语翻译的问题,提出 SignRAG 框架,通过分层预训练、目标域检索增强及 RUG-RFT 实现 SOTA 性能,是首个在 CSL-Daily 所有指标上优于 gloss 监督方法的无 gloss 手语翻译方法。
2026-10-09 cs.CL cs.CV cs.MM
Towards Compact Sign Language Translation: Frame Rate and Model Size Trade-offs
Computer Science and Information Engineering, National Central University, Zhongli, Taiwan(资讯工程系,国立中央大学,中坜,台湾)
本文提出一种紧凑的77M参数 pipeline,结合MMPose骨骼姿态提取与单线性投影到T5-small,通过调整输入帧率实现效率权衡,减少计算复杂度且保持翻译质量。
2026-05-10 cs.CL cs.CV
MoSE: Hierarchical Self-Distillation Enhances Early Layer Embeddings
Apple(苹果公司)
MoSE通过自蒸馏机制增强早期层嵌入,实现代码检索与分类任务中的性能与准确性的平衡。
2026-01-25 cs.AI cs.CL cs.PL
Stack Attention: Improving the Ability of Transformers to Model Hierarchical Patterns
University of Notre Dame(圣母大学);ETH Zürich(苏黎世联邦理工学院)
本文提出结合栈机制的 stack attention,使 Transformer 无需句法监督即可建模任意深度层次结构,并在困难 CFL、语言建模和机器翻译任务上验证其优势。
2024-01-24 cs.CL
Read, Highlight and Summarize: A Hierarchical Neural Semantic Encoder-based Approach
Pennsylvania State University(宾夕法尼亚州立大学)
传统的序列到序列(seq2seq)模型和其他注意机制的变体,如层次注意,已被应用到文本摘要问题。尽管人类使用语言的方式存在着一种层次结构,即从句子中形成段落,从单词中形成句子,但层次模型通常并不比传统的seq2seq模型好多少。这主要是因为硬注意的层次注意力机制过于稀疏,软注意的层次注意力机制过于嘈杂。在本文中,我们提出了一种方法的基础上提取一个文件的亮点,一个关键的概念,是在几个句子。在一个典型的文本摘要数据集中,文档的长度(平均)为800个标记,捕获长期依赖关系是非常重要的,例如,可以将文档的最后一句与第一句分组以形成摘要。LSTM(长短期记忆)被证明对机器翻译很有用。然而,它们在建模长序列时往往无法捕获长期依赖关系。为了解决这些问题,我们已经适应了神经语义编码器(NSE)的文本摘要,一类记忆增强的神经网络,通过改善其功能,并提出了一种新的分层NSE,优于类似的以前的模型显着。摘要的质量通过增加语言因素,即词元和词性(PoS)标签来提高数据集中的每个单词的词汇覆盖率和泛化能力。因子化数据集上的分层NSE模型比最先进的模型高出近4个ROUGE点。我们进一步设计并使用了第一个基于GPU的自批判强化学习模型。
2019-11-01 cs.CL cs.LG stat.ML
Natural Language-conditioned Reinforcement Learning with Inside-out Task Language Development and Translation
Nanjing University(南京大学);Polixir Technologies(魔数智擎科技)
自然语言条件强化学习(RL)使智能体能够遵循人类的指令。以前的方法通常通过提供自然语言(NL)中的人类指令并训练跟随策略来实现语言条件RL。在这种由外而内的方法中,政策需要同时理解NL和管理任务。然而,无界的NL示例通常会给解决具体的RL任务带来额外的复杂性,这会分散策略学习完成任务的注意力。为了减轻学习负担的政策,我们调查了一个由内而外的计划自然语言条件RL通过开发一个任务语言(TL),是任务相关的和独特的。TL被用于RL,以实现高效和有效的政策培训。此外,还培训了一名翻译员将本族语翻译成目的语。我们实现了这个计划,TALAR(TAsk语言与谓词表示),学习多个谓词建模对象关系的TL。实验表明,TALAR不仅能更好地跟踪NL指令,而且能产生更好的跟随策略,提高13.4%的成功率,并能适应NL指令的不可见表达式。TL也可以是一个有效的任务抽象,自然与分层RL兼容。
2023-02-18 cs.CL cs.LG
The Query Translation Landscape: a Survey
Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);Trinity College of Dublin(都柏林三一学院);University of Bonn(波恩大学);TIB Leibniz Information Centre for Science and Technology(莱布尼茨科学技术信息中心);Leibniz University of Hannover(汉诺威莱布尼茨大学)
虽然数据的可用性在过去几年中增长了许多倍,但只有有效地解决数据多样性(这是大数据面临的突出挑战之一),才能显示其价值。数据互操作性的缺乏限制了其集体用于新应用的潜力。通过完全转换和集成不同的数据结构来实现互操作性仍然是一个很难实现的理想,如果不是不可能的话。相反,已经探索了可以同时解释以不同数据结构和格式可用的不同类型的数据的方法。另一方面,许多查询语言被设计为使用户能够与数据交互,从关系型到面向对象,到分层,再到众多新兴的NoSQL语言。因此,解决互操作性问题的方法不是强制进行物理数据转换,而是寻找能够使用一种统一语言查询异构数据源的技术。工业界和研究界都热衷于开发这样的技术,这需要将所选择的“通用”查询语言翻译成使底层数据可访问的各种数据模型特定的查询语言。在这篇文章中,我们调查了四十多个查询翻译方法和工具,流行的查询语言,并根据八个标准进行分类。特别是,我们研究的查询语言是一个最合适的候选人,“通用”查询语言。此外,研究结果使我们能够发现薄弱的解决和未探索的翻译路径,发现差距,并吸取教训,可以在该领域的未来研究。
2019-10-07 cs.CL cs.DB cs.IR
A Discriminative Hierarchical PLDA-based Model for Spoken Language Recognition
Instituto de Investigación en Ciencias de la Computación (ICC), CONICET-UBA(CONICET-布宜诺斯艾利斯大学计算机科学研究所(ICC));SRI International(斯坦福国际研究院)
口语识别(SLR)是指用于确定语音样本中存在的语言的自动过程。SLR本身就是一项重要的任务,例如,作为分析或分类大量多语言数据的工具。此外,它也是在工作流中选择下游应用的必要工具,例如,选择适当的语音识别或机器翻译模型。SLR系统通常由两个阶段组成,一个是提取代表音频样本的嵌入,第二个是计算每种语言的最终分数。在这项工作中,我们接近SLR任务作为一个检测问题,并实现第二阶段作为一个概率线性判别分析(PLDA)模型。我们发现,PLDA参数的判别式训练相对于通常的生成训练提供了很大的增益。此外,我们提出了一种新的分层方法,其中训练两个PLDA模型,一个用于生成高度相关语言的聚类的分数,第二个用于生成每个聚类的分数条件。最终的语言检测分数被计算为这两组分数的组合。完整的模型是有区别地训练的,以优化交叉熵目标。我们表明,这种层次化的方法始终优于非层次化的高度相关的语言检测,在许多情况下,大幅度。我们训练我们的系统上收集的数据集,包括超过100种语言,并测试他们的匹配和不匹配的条件下,显示的收益是强大的条件不匹配。
2022-08-11 cs.CL cs.SD eess.AS