Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach
Microsoft(微软)
研究同步语音翻译中仅解码器语言模型面临的挑战,提出基于固定长度块、回退前缀及教师标记前缀到前缀目标的CSSEL-P2P方法,经实验其在可比延迟下提升了流质量,证明无需架构改变可有效实现同步语音翻译。
2026-07-16 cs.CL
Is Context Helpful for Chat Translation Evaluation?
Instituto de Telecomunicações(电信研究所);Unbabel(Unbabel公司);Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学);Carnegie Mellon University(卡内基梅隆大学);INESC-ID(INESC-ID研究所)
本文元评估了句子级自动指标在聊天翻译质量评估中的表现,发现融入上下文信息能提升无参考及非英语场景下的评估相关性,并提出基于大语言模型和双语上下文的Context-MQM指标。
2024-03-13 cs.CL
Proverbs Run in Pairs: Evaluating Proverb Translation Capability of Large Language Model
Monash University(莫纳什大学)
本研究构建多语言谚语翻译数据集,评估NMT与LLM的谚语翻译能力,发现LLM更优,且现有自动评估指标不足以可靠评估谚语翻译质量,需开发更具文化意识的指标。
2025-01-21 cs.CL
Moving Beyond Review: Applying Language Models to Planning and Translation in Reflection
EPFL(瑞士联邦理工学院洛桑);KTH Royal Institute of Technology(瑞典皇家理工学院)
本文提出利用语言模型支持反思写作的规划与翻译阶段,通过实验发现AI支持能提升反思深度和结构质量,但效果在延迟测试中减弱。
2026-03-30 cs.AI cs.CL cs.HC
Evaluating Language Models in Realistic Conversational Contexts
该研究针对现有对话评估框架的不足,推出UPHELD基准,开发混合评判者框架,提升了对话评估与人类判断的相关性,为LLM对话评估提供了稳健基础。
2026-08-28 cs.CL
DevNous: An LLM-Based Multi-Agent System for Grounding IT Project Management in Unstructured Conversation
International Hellenic University(国际希腊大学);European Commission(欧盟委员会)
研究团队提出DevNous,一种基于LLM的多智能体系统,通过集成团队聊天环境自动将非结构化对话转化为结构化IT项目管理工件,并构建了160轮对话的公共基准,实现81.3%的准确率,贡献了架构模式与首个经验基线。
2025-08-12 cs.AI cs.CL
Scaling Multilingual Safety and Reasoning Evaluation through Reasoning-Guided Translation
Jožef Stefan Institute(约瑟夫·斯蒂芬研究所)
本研究提出推理引导的翻译框架,构建覆盖11种语言的多语言评估集合,发现开源LLMs存在语言依赖型漏洞,强调任务敏感型基准构建的重要性。
2026-10-15 cs.AI cs.CL
The Paradox of Poetic Intent in Back-Translation: Evaluating the Quality of Large Language Models in Chinese Translation
Computer Science Department University of Brasilia(布拉兹利亚大学计算机科学系);Math Department Federal Institute of Brasilia(布拉兹利亚联邦学院数学系)
本研究构建多样化语料库,利用BT-Fried评估系统对比大语言模型与传统翻译工具在中英翻译中的表现,揭示了“诗意意图悖论”并提出改进的BLEU变体,推进了对AI翻译文化保真度的理解。
2025-04-28 cs.CL
The Paternalistic Filter: Epistemic Injustice and Differential Refusal in LLM-Mediated History Education for Marginalized Romanian Students
Universitatea din București(布加勒斯特大学)
研究大语言模型用于罗马尼亚边缘化学生历史教育时的问题,通过API审计四个模型的1800条回复,发现认知家长式作风的四种模式,指出当前安全对齐成家长式过滤器,致叙事隔离,需教学审计。
2026-07-14 cs.AI cs.CL cs.CY
Empathic Prompting: Non-Verbal Context Integration for Multimodal LLM Conversations
University of Macerata(马切拉塔大学)
提出共情提示框架,通过集成面部表情识别服务将非语言情感线索隐式融入大语言模型对话,实现无需用户显式控制的流畅多模态交互。
2026-05-28 cs.AI cs.CL cs.HC
Trust No Bot: Discovering Personal Disclosures in Human-LLM Conversations in the Wild
University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所);McGill University(麦吉尔大学);Mila-Quebec AI Institute(米拉-魁北克人工智能研究所)
本研究通过分析真实用户与商业GPT模型的对话,发现个人身份信息在翻译和代码编辑等意外场景中泄露,且PII检测无法覆盖敏感主题,呼吁设计提示机制以保护隐私。
2024-07-20 cs.CL
Designing the Business Conversation Corpus
The University of Tokyo(东京大学)
虽然书面文本的机器翻译的进展在过去几年中由于并行语料库和基于语料库的训练技术的日益可用性而取得了很大进展,但即使对于现代系统,口语文本和对话的自动翻译仍然具有挑战性。本文旨在通过介绍一个新构建的日英商务会话平行语料库来提高会话文本的机器翻译质量。语料库的详细分析提供了具有挑战性的自动翻译的例子。我们还尝试在机器翻译训练场景中添加语料库,并展示了由此产生的系统如何从其使用中受益。
2020-08-05 cs.CL
Conversational SimulMT: Efficient Simultaneous Translation with Large Language Models
Department of Data Science & AI, Monash University(数据科学与人工智能系,莫纳什大学);MBZUAI(马克斯·普朗克智能系统研究所)
针对同步机器翻译中质量与延迟的权衡及大语言模型推理成本高的问题,本文提出对话式同步机器翻译框架,通过多轮对话解码提升效率,实验显示其在保证翻译质量优势的同时,延迟与专用模型相当。
2025-11-17 cs.CL
Curiosity as Linguistic Intervention: Using LLM Tutoring Dialogues to Influence Exploratory Learning Behavior
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院);Human-Computer Interaction Institute, Carnegie Mellon University(卡内基梅隆大学人机交互研究所)
提出CURIOBOT框架,通过LLM对话中的语言干预(新奇性、复杂性、冲突、不确定性)激发探索性学习行为,实验显示对话轮次增加2.4倍。
2026-06-23 cs.CL cs.HC
Assessing Translation capabilities of Large Language Models involving English and Indian Languages
LTRC, IIIT Hyderabad(海得拉巴国际信息技术学院语言技术研究中心)
本研究评估了大语言模型在英语与22种印度语言间的翻译能力,通过微调LLaMA-13b在多个测试集上取得显著BLEU和CHRF分数,证明了其机器翻译潜力。
2023-11-15 cs.AI cs.CL
Speech-to-Speech Translation Pipelines for Conversations in Low-Resource Languages
HEIG-VD / HES-SO;Bhaasha Sàrl;EPFL(苏黎世联邦理工学院)
本文针对土耳其语、普什图语与法语之间的低资源语言对话翻译,构建并评估了60多条语音到语音翻译流水线,结合自动指标与人工评估确定了各方向最优方案,并发现组件排名具有相对独立性。
2025-06-02 cs.CL
PHRASED: Phrase Dictionary Biasing for Speech Translation
Microsoft USA(微软公司)
针对语音翻译中短语稀少且难译的问题,提出PHRASED短语词典偏置方法,并在流式转导器模型与多模态大语言模型上验证,显著提升短语翻译与召回表现。
2025-06-10 cs.AI cs.CL cs.SD
Contextual Neural Model for Translating Bilingual Multi-Speaker Conversations
Monash University(莫纳什大学);Unbabel
神经机器翻译的最新工作已经开始探索文档翻译。然而,在线多人对话的翻译仍然是一个悬而未决的问题。在这项工作中,我们提出了翻译双语多说话者对话的任务,并探讨神经架构,利用源和目标方的会话历史,这项任务。为了启动此任务的评估,我们引入了从Europarl v7和OpenSubtitles2016中提取的数据集。我们对四种语言对的实验证实了利用对话历史的重要性,无论是在BLEU还是手动评估方面。
2018-09-02 cs.CL
Refusal in Language Models Is Mediated by a Single Direction
ETH Zürich(苏黎世联邦理工学院);University of Maryland(马里兰大学);Anthropic(Anthropic公司);MIT(麻省理工学院)
本研究发现13款主流开源聊天模型的拒绝行为由单一残差流方向介导,据此提出精准禁用拒绝功能的白盒越狱方法,并分析对抗性后缀的作用机制,揭示了当前安全微调的脆弱性。
2024-10-30 cs.AI cs.CL cs.LG
MIRAGE: How Conversation State Shapes Historical Evidence Use in Multimodal Personal Agents
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);School of Cyber Security, University of Chinese Academy of Sciences(中国科学院大学网络空间安全学院);Department of Computer Science and Software Engineering, The University of Western Australia(西澳大学计算机科学与软件工程系)
本研究提出MIRAGE框架,通过控制对话状态变化评估多模态个人代理的历史证据使用,发现压缩前后存在非单调失败机制,强调需在状态变化下评估而非仅看结果正确性。
2026-09-17 cs.AI cs.CL
Open-Source Large Language Models as Multilingual Crowdworkers: Synthesizing Open-Domain Dialogues in Several Languages With No Examples in Targets and No Machine Translation
Laboratoire Inforamitque d’Avignon (LIA)(阿维尼翁信息学实验室);Avignon Université(阿维尼翁大学)
针对开放域对话数据集以英语为主且多语言众包成本高昂的问题,提出利用开源大语言模型在无目标语言示例且无机器翻译的情况下合成多语言对话数据的流水线,并应用于PersonaChat数据集以提升对话开放性。
2025-03-05 cs.AI cs.CL cs.HC
Finetuning End-to-End Models for Estonian Conversational Spoken Language Translation
Tallinn University of Technology(塔林理工大学)
本文针对爱沙尼亚语会话语音翻译数据稀缺问题,通过合成数据微调 Whisper、OWSM 3.1 和 SeamlessM4T 三种端到端模型,其中 SeamlessM4T 性能达到或超过级联系统。
2024-07-04 cs.CL eess.AS
Rewriting Conversational Utterances with Instructed Large Language Models
University of Pisa(比萨大学);ISTI-CNR(ISTI-CNR研究院)
本文研究了使用指令微调大型语言模型在对话环境中重写用户问题以提升对话搜索有效性,在TREC CAST数据集上的实验表明该方法在多项检索指标上较最先进技术取得显著提升。
2024-10-10 cs.AI cs.CL cs.HC
Programming by Example and Text-to-Code Translation for Conversational Code Generation
AI Zwei, Inc.(AI Zwei公司);AI Zwei Tech(AI Zwei科技公司);Symanto Research(Symanto研究院)
对话系统是自然语言处理中越来越受欢迎的任务。然而,对话路径往往是确定性的,仅限于系统轨道,而不管给定的请求或输入文本。程序合成的最新进展已经导致了能够从非常一般的搜索空间合成程序的系统,例如通过实例编程,以及具有用于编写程序的非常可访问的接口的系统,例如文本到代码的翻译,但是还没有在同一系统中实现这两种质量。我们提出了文本引导分层合成模块化程序(MPaTHS),这是一种集成示例编程和文本到代码系统的方法,它为合成通用程序提供了一个可访问的自然语言接口。我们提出了一个程序表示,使我们的方法被应用到面向任务的对话的问题。最后,我们演示MPaTHS使用我们的程序表示。
2023-01-18 cs.CL
MiniF2F in Rocq: Automatic Translation Between Proof Assistants -- A Case Study
IRIF, Université Paris Cité, Inria, CNRS(IRIF、巴黎城市大学、Inria、CNRS);IRIF, Université Paris Cité, CNRS(IRIF、巴黎城市大学、CNRS);DI ENS, PSL University, Inria(ENS巴黎研究院、巴黎综合理工大学、Inria)
本研究利用先进LLM将MiniF2F翻译成Rocq,通过多阶段实验实现高精度翻译,成功翻译478个定理,数据集开源。
2025-11-24 cs.CL cs.LG cs.LO
The Hidden Costs of Translation Accuracy: Distillation, Quantization, and Environmental Impact
University of California, Santa Cruz(加州大学圣克鲁兹分校);Research Spark Hub Inc(Research Spark Hub公司)
本研究以机器翻译为案例,对比全尺寸、蒸馏及量化大语言模型的翻译质量与效率,发现模型压缩可在维持翻译质量的同时大幅降低计算与环境成本,提出应将效率与可持续性纳入NLP评估核心维度。
2025-10-02 cs.AI cs.CL
Language Model Bootstrapping Using Neural Machine Translation For Conversational Speech Recognition
Alexa Machine Learning, Amazon(亚马逊Alexa机器学习部门)
构建用于新语言的会话语音识别系统受到捕获用户-设备交互的话语的可用性的限制。数据汇集既昂贵又受人工转录速度的限制。为了解决这个问题,我们提倡使用神经机器翻译作为一种数据增强技术来引导语言模型。机器翻译(MT)提供了一种系统化的方法来整合来自成熟的、资源丰富的会话系统的集合,这些集合可能适用于不同的语言。然而,从一个通用的MT系统的原始翻译可能不是有效的,由于命名实体的存在,内部的代码转换和域之间的不匹配的会话数据被翻译和用于MT训练的平行文本。为了规避这一点,我们探索了以下领域自适应技术:(a)基于句子嵌入的MT训练数据选择,(b)模型微调,以及(c)重新评分和过滤翻译的假设。使用印地语作为实验测试平台,我们翻译美国英语的话语,以补充转录的集合。我们观察到一个相对字的错误率降低7.8- 15.6%,这取决于自举阶段。细粒度的分析表明,翻译特别是艾滋病的相互作用的情况下,在转录数据中代表性不足。
2019-12-02 cs.CL cs.LG
Reasoning-Augmented Conversation for Multi-Turn Jailbreak Attacks on Large Language Models
Beihang University(北京航空航天大学);AI Security Lab(360人工智能安全实验室);National University of Singapore(新加坡国立大学);Nanyang Technological University(南洋理工大学)
本文提出推理增强对话框架RACE,通过状态机建模、增益引导探索、自博弈和拒绝反馈,将有害查询转化为多轮良性推理任务,在OpenAI o1和DeepSeek R1上分别取得82%和92%的攻击成功率。
2025-03-11 cs.AI cs.CL cs.CR
Cross-Lingual Conversational Speech Summarization with Large Language Models
BBN Technologies(BBN技术公司)
针对跨语言对话语音摘要资源匮乏问题,研究者在Fisher和Callhome西英语音翻译语料库基础上补充GPT-4生成的摘要构建数据集,适配后的Mistral-7B模型摘要性能优于现成模型且媲美GPT-4。
2024-08-12 cs.AI cs.CL
PAIR-SAFE: A Paired-Agent Approach for Runtime Auditing and Refining AI-Mediated Mental Health Support
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Indiana University Indianapolis(印第安纳大学印第安纳波利斯分校)
PAIR-SAFE通过配对代理框架,在运行时对AI生成的心理健康支持进行审计和改进,结合MITI-4框架提升临床相关性。
2026-10-26 cs.AI cs.CL cs.CY
End-to-End Single-Channel Speaker-Turn Aware Conversational Speech Translation
Idiap Research Institute(伊迪亚普研究所);EPFL(洛桑联邦理工学院);AWS AI Labs(亚马逊云科技人工智能实验室)
本文提出端到端多任务的说话人轮次感知对话语音翻译模型,融合 ASR、ST 与轮次检测,并在适配后的 Fisher-CALLHOME 单通道多说话人语料上验证其优势。
2023-11-01 cs.CL eess.AS
Evaluating Communicative Success in Machine-Translated Conversation
KAIST(韩国科学技术院)
本研究提出三层清单与评判框架,从语义、语用和文化社会维度评估机器翻译口译对话的交际成功,经多语言基准验证,发现传统保真度指标忽视交际失败,而场景与文化上下文可提升成功。
2026-09-18 cs.CL
Document-aligned Japanese-English Conversation Parallel Corpus
The University of Tokyo(东京大学)
句子级(SL)机器翻译(MT)对于许多高资源语言已经达到了可接受的质量,但文档级(DL)MT却没有,其难以1)用少量DL数据进行训练;以及2)评估,因为主要方法和数据集集中于SL评估。为了解决第一个问题,我们提出了一个文档对齐的日英会话语料库,包括平衡的,高质量的业务会话数据的调整和测试。至于第二个问题,我们手动识别SL MT在缺乏上下文的情况下无法产生足够翻译的主要区域。然后,我们创建一个评估集,这些现象被注释,以减轻DL系统的自动评估。我们使用我们的语料库训练MT模型,以展示如何使用上下文导致改进。
2020-12-11 cs.CL
Lost in Conversation or Lost in Translation? Diagnosing Multi-Turn Degradation in RAG
Texas A&M University(德克萨斯A&M大学)
研究发现多轮对话导致RAG系统性能显著下降,最高相对降幅达21%,不可靠性增加47%,并识别出两种失败模式:翻译扭曲检索查询或LLM未能综合跨轮证据。
2026-09-30 cs.AI cs.CL
Findings of the WMT 2024 Shared Task on Chat Translation
University of Amsterdam(阿姆斯特丹大学);Instituto de Telecomunicações(电信研究所);Unbabel(Unbabel公司)
本文介绍了第三届 WMT 2024 聊天翻译共享任务,通过人工评估和自动指标对多语言对的双语客户支持对话翻译系统进行评估,发现系统在单轮翻译上表现优异,但对话级翻译质量仍需改进。
2024-10-15 cs.CL
Enhancing End-to-End Conversational Speech Translation Through Target Language Context Utilization
Johns Hopkins University(约翰斯·霍普金斯大学);Carnegie Mellon University(卡内基梅隆大学);George Mason University(乔治梅森大学)
针对端到端语音翻译上下文利用不足的问题,本文引入目标语言上下文、上下文丢弃和说话人信息,提升了会话翻译的连贯性与鲁棒性。
2023-09-27 cs.CL cs.SD eess.AS
BaatCheet: A Multilingual Corpus for Dialogue Translation in Indian Languages
针对现有翻译模型难以处理日常对话现象的问题,本文提出多语种对话语料库BaatCheet,含约49,000个对话,覆盖五个翻译方向,并微调五个开源LLM,证明微调显著优于零样本和少样本基线,采用多种评估策略验证翻译质量。
2026-09-29 cs.CL
Facilitating Global Team Meetings Between Language-Based Subgroups: When and How Can Machine Translation Help?
University of Maryland(马里兰大学)
全球团队通常由基于语言的子小组组成,这些小组将补充信息汇总在一起以实现共同目标。以前的研究概述了这些团队中的两步工作沟通流程。有使用所需通用语言的团队会议(即,英语);在准备这些会议时,人们用母语进行小组对话。团队会议上的工作沟通通常不如小组对话有效。在目前的研究中,我们调查的想法,利用机器翻译(MT),以促进全球团队会议。我们假设在团队会议之前交换子组对话日志提供了有利于会议团队合作的上下文信息。MT可以翻译这些日志,这使得能够以低成本理解。为了验证我们的假设,我们进行了一个受试者之间的实验,其中20个四人组的参与者进行了人员选择任务。每个四人组包括两名英语母语者(NS)和两名母语为普通话的非母语者(NNS)。所有参与者都以母语的小组对话开始任务,然后以英语进行团队会议。我们在团队会议之前操纵子组对话日志的交换:有MT介导的交换与没有。分析参与者的主观经验,任务性能,并通过他们的会话动作反映的讨论的深度共同表明,团队会议质量提高时,有MT介导的交流小组对话日志,而不是没有交流。最后,我们反思了何时以及如何将机器翻译应用于跨越语言障碍加强全球团队合作。
2022-09-27 cs.CL cs.HC
Conversational Domain Adaptation of IndicTrans2 across 21 Indic Languages via Experience Replay and Model Soups
通过经验回放和模型汤方法,将IndicTrans2-1B适应至21种印度语言的对话风格,在保持通用领域性能的同时,平均对话chrF提升6.2。
2026-06-27 cs.CL
The Cross-lingual Conversation Summarization Challenge
Westlake University(西湖大学);Sichuan Lan-bridge Information Technology Co., Ltd.(四川蓝桥信息技术有限公司);Zhejiang University(浙江大学);University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
我们提出了跨语言会话摘要的共享任务,\emph{ConvSumX Challenge},为研究人员研究集成会话摘要和机器翻译的解决方案开辟了新的途径。由于在线会议的出现,这项任务可能特别有用。我们构建了一个新的基准,涵盖2个真实世界的场景和3个语言方向,包括一个低资源语言。我们希望\emph{ConvSumX}能够激励研究超越英语,打破非英语使用者从会话摘要的最新进展中受益的障碍。
2022-05-03 cs.CL
A Dual Encoder Sequence to Sequence Model for Open-Domain Dialogue Modeling
UC Santa Cruz(加州大学圣克鲁兹分校)
自从序列到序列学习在神经机器翻译系统中的成功应用以来,人们对它在其他问题领域中对语言生成的适用性的兴趣激增。最近的工作已经调查了使用这些神经架构对建模开放域会话对话,其中已经发现,虽然这些模型能够学习一个良好的分布式语言模型,对话的连贯性仍然是关注。与翻译不同,对话更多的是从话语到响应的一对多映射,更迫切的是,模型要知道前面的对话流。在本文中,我们建议解决这个问题,通过引入以前的会话背景下,随着时间的推移,潜在的代表性的对话行为。我们将潜在的上下文表示注入到序列到序列神经网络的对话行为的形式,使用第二个编码器,以提高质量和生成的会话的一致性。这项研究工作的主要任务是表明,增加潜变量,捕捉话语关系确实会导致更连贯的反应相比,传统的序列到序列模型。
2017-10-28 cs.CL
Recovering Dropped Pronouns in Chinese Conversations via Modeling Their Referents
Beijing University of Posts and Telecommunications(北京邮电大学);Brandeis University(布兰迪斯大学)
代词在汉语句子中经常被省略,这种情况在会话类型中更常见,因为它们的所指可以很容易地从上下文中理解。恢复丢失的代词对于诸如需要解析这些丢失的代词的指称的信息抽取或当中文是源语言时的机器翻译等应用是必不可少的。在这项工作中,我们提出了一种新的端到端的神经网络模型来恢复会话数据中丢失的代词。我们的模型是基于一个结构化的注意力机制,模型的下降代词的参考利用两个句子级和单词级的信息。三种不同的会话类型的结果表明,我们的方法实现了显着的改进,目前的艺术状态。
2019-05-17 cs.CL
Conversational Word Embedding for Retrieval-Based Dialog System
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北))
人类对话包含许多类型的信息,例如,知识、常识和语言习惯。在本文中,我们提出了一个会话词嵌入方法PR嵌入,它利用会话对$ \left\langle{post, reply} \right\rangle$学习词嵌入。与以往的工作不同,PR嵌入使用两个不同的语义空间的向量来表示帖子和回复中的单词。为了更好地捕捉词对之间的信息,我们首先引入统计机器翻译中的词对齐模型,生成跨句窗口,然后在词级和句级上对嵌入进行训练。我们评估的方法对单轮和多轮响应选择任务检索为基础的对话系统。实验结果表明,PR-嵌入可以提高选择响应的质量。PR-嵌入源代码可在https://github.com/wtma/PR-Embedding上获得
2020-04-28 cs.CL
Zero-pronoun Data Augmentation for Japanese-to-English Translation
The University of Tokyo(东京大学)
对于日语到英语的翻译,日语中的零代词构成了一个挑战,因为模型需要在英语句子的目标侧推断并产生相应的代词。然而,尽管零代词的完全解析往往需要话语语境,但在某些情况下,句子中的局部语境为零代词的推断提供了线索。在这项研究中,我们提出了一种数据增强方法,为翻译模型提供额外的训练信号,以学习本地上下文和零代词之间的相关性。通过会话领域的机器翻译实验,我们证明了该方法显著提高了零代词翻译的准确性。
2021-07-01 cs.CL
OSN-MDAD: Machine Translation Dataset for Arabic Multi-Dialectal Conversations on Online Social Media
University of Ottawa(渥太华大学)
本文提出 OSN-MDAD 数据集,通过将英文推文语境化翻译为海湾、也门、伊拉克和黎凡特四种阿拉伯方言,并验证了基于该数据集训练的神经机器翻译模型性能优越,以缓解阿拉伯方言翻译资源不足的问题。
2023-09-21 cs.AI cs.CL
MELD-ST: An Emotion-aware Speech Translation Dataset
Technical University of Munich(慕尼黑工业大学);Kyoto University(京都大学);SenseTime(商汤科技);National Institute of Informatics(情报信息研究所)
本文提出MELD-ST数据集,用于情感感知语音翻译,包含英日和英德语言对,各约1万条带情感标签的语音,实验表明情感标签微调可提升翻译性能。
2024-05-21 cs.CL
CALICO: Conversational Agent Localization via Synthetic Data Generation
Amazon, Alexa AI(亚马逊Alexa AI)
本研究提出CALICO方法,通过微调大语言模型实现对话智能体训练数据跨语言本地化,支持三种槽位操作与迭代噪声过滤,构建8语言人工本地化MultiATIS++测试集,性能优于现有最优方法。
2024-12-06 cs.AI cs.CL cs.LG
Advancing Bangla Machine Translation Through Informal Datasets
Department of Computer Science and Engineering, BRAC University(计算机科学与工程系,BRAC大学)
本研究通过开发非正式数据集和改进模型,推动孟加拉语机器翻译,提升数字世界中孟加拉语使用者的信息可及性。
2025-12-15 cs.CL
Misgendering and Assuming Gender in Machine Translation when Working with Low-Resource Languages
University of Washington(华盛顿大学);University of Melbourne(墨尔本大学)
本章研究低资源语言机器翻译中的性别误指问题,以孟加拉语为例揭示性别预设机制及其社会影响,并提出赋予语言更多自主权的解决方向。
2024-03-12 cs.CL
Brotherhood at WMT 2024: Leveraging LLM-Generated Contextual Conversations for Cross-Lingual Image Captioning
本文提出利用 GPT-4o 和 Claude 3.5 Sonnet 等 LLM 生成上下文对话并结合加权提示策略,在无需训练或微调的情况下提升跨语言图像描述性能,并在 WMT 2024 低资源多模态翻译任务中取得领先结果。
2024-09-23 cs.AI cs.CL
Towards Making the Most of Dialogue Characteristics for Neural Chat Translation
Beijing Jiaotong University(北京交通大学);Xiamen University(厦门大学);Tencent Inc(腾讯公司)
神经聊天翻译(NCT)旨在翻译不同语言的说话者之间的对话文本。尽管会话级和上下文感知的神经机器翻译模型具有良好的性能,但由于忽略了对话的内在特征,如对话连贯性和说话人个性,当前的NCT模型仍然存在局限性。在本文中,我们提出了促进聊天翻译的NCT模型中引入的对话特征建模。为此,我们设计了四个辅助任务,包括单语反应生成,跨语言反应生成,下一个话语辨别,和说话人辨识。与主要的聊天翻译任务一起,我们通过所有这些任务的训练目标来优化NCT模型。通过这种方式,NCT模型可以通过捕获固有的对话特征来增强,从而生成更连贯和与说话者相关的翻译。在四个语言方向(英德和英汉)上的综合实验验证了该方法的有效性和优越性。
2021-09-02 cs.CL
Scheduled Multi-task Learning for Neural Chat Translation
Beijing Jiaotong University(北京交通大学);Tencent Inc(腾讯公司)
神经聊天翻译(NCT)旨在将会话文本翻译成不同的语言。现有的方法主要集中于对双语对话特征(例如,连贯性),以通过对小规模聊天翻译数据的多任务学习来改进聊天翻译。虽然NCT模型已经取得了令人瞩目的成功,但由于聊天翻译数据不足和简单的联合训练方式,仍然远远不能令人满意。为了解决上述问题,我们提出了一个预定的多任务学习框架的NCT。具体来说,我们设计了一个三阶段的训练框架,通过在原始预训练和微调阶段之间添加第二个预训练阶段,将大规模域内聊天翻译数据纳入训练。此外,我们研究了在多个训练阶段中在哪里以及如何安排对话相关的辅助任务,以有效地增强主要的聊天翻译任务。在英汉和英德四个语言方向上的实验验证了该方法的有效性和优越性。此外,我们还向研究界公开了大规模的域内配对双语对话数据集。
2022-05-10 cs.CL
COMET: A Neural Framework for MT Evaluation
Unbabel AI(Unbabel AI(Unbabel人工智能公司))
我们提出了COMET,一个用于训练多语言机器翻译评估模型的神经框架,该模型获得了与人类判断相关的新的最先进水平。我们的框架利用了最近在跨语言预训练语言建模方面的突破,从而产生了高度多语言和适应性强的MT评估模型,这些模型利用了来自源输入和目标语言参考翻译的信息,以便更准确地预测MT质量。为了展示我们的框架,我们训练了三个具有不同类型人类判断的模型:直接评估,人工中介翻译编辑率和多维质量评估。我们的模型在WMT 2019年的共享任务上实现了最先进的性能,并展示了对高性能系统的鲁棒性。
2020-10-19 cs.CL
9th Workshop on Sign Language Translation and Avatar Technologies (SLTAT 2025)
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);University of Augsburg(奥格斯堡大学);Institute for Language and Speech Processing(语言与语音处理研究所);Athena RC(雅典RC);DePaul University(德保罗大学);Université Paris-Saclay(巴黎-萨克雷大学);University of Hamburg(汉堡大学)
本文介绍了第九届手语翻译与虚拟人技术研讨会(SLTAT 2025),该会议旨在分享通过非侵入性手段改善聋人交流的最新进展,涵盖虚拟人技术、手语识别、数据收集与分析及情感计算等多领域研究。
2025-08-11 cs.CL