What do the metrics mean? A critical analysis of the use of Automated Evaluation Metrics in Interpreting
Dublin City University(都柏林城市大学)
本文批判性分析了自动化评估指标在解释质量测量中的局限性,指出其无法考虑交际语境,因此不能单独作为衡量解释服务质量的标准。
2026-01-09 cs.CL
Olive Oil is Made of Olives, Baby Oil is Made for Babies: Interpreting Noun Compounds using Paraphrases in a Neural Model
Bar-Ilan University(巴伊兰大学);Google Inc.(谷歌公司)
自动解释名词复合词的成分之间的关系,例如橄榄油(来源)和婴儿油(目的)是许多NLP应用程序的重要任务。最近的方法通常是基于名词复合表示或释义。虽然前者最初显示出有希望的结果,但最近的研究表明,成功源于记住每个关系的单个原型单词。我们探索了一种神经释义方法,当这种记忆是不可能的时候,这种方法表现出优越的性能。
2018-03-21 cs.CL
SLAM-Inspired Simultaneous Contextualization and Interpreting for Incremental Conversation Sentences
Keio University(庆应义塾大学)
词的分布式表示提高了许多自然语言任务的性能。然而,在许多方法中,一个词的一个标签只考虑一个含义,并且取决于上下文的多义词的多个含义很少被处理。虽然研究工作涉及多义词,但都是根据一批大的文献来确定多义词的意义。因此,将这些方法应用于连续的句子有两个问题,例如在包含歧义表达的对话中。第一个问题是这些方法不能顺序地处理语境和词义之间的相互依赖关系,即语境决定词义,词义决定语境。因此,语境估计必须并行进行,以寻求多种解释。第二个问题是,以前的方法使用大规模的句子集来离线学习新的解释,学习和推理的步骤被明确分离。这种使用离线学习的方法在对话期间无法获得新的解释。因此,为了动态估计会话语境和连续句子中多义词的解释,本文在传统的同时定位与地图构建(SLAM)算法的基础上,提出了一种同时语境化与解释(SCAIN)方法。通过使用SCAIN算法,我们可以顺序优化上下文和单词解释之间的相互依赖关系,同时在线获得新的解释。为了进行实验评估,我们创建了两个数据集:一个来自维基百科的消歧页面,另一个来自真实对话。对于这两个数据集,结果证实SCAIN可以有效地实现顺序优化的相互依赖性和收购新的解释。
2020-05-29 cs.AI cs.CL
MockConf: A Student Interpretation Dataset: Analysis, Word- and Span-level Alignment and Baselines
Charles University, Faculty of Mathematics and Physics(查理大学数学与物理系);Sorbonne Université, CNRS, ISIR(索邦大学、CNRS、ISIR)
本文提出学生口译数据集 MockConf 及标注工具 InterAlign,覆盖 5 种语言 7 小时录音,提供词级与片段级对齐,并给出自动对齐评估指标与基线。
2025-06-05 cs.CL
My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism
IIIT-Delhi(德里英迪拉·甘地信息技术学院);Adobe(奥多比公司);State University of New York at Buffalo(纽约州立大学布法罗分校);University of Texas at Austin(德克萨斯大学奥斯汀分校)
在过去的二十年里,基于深度学习的自动论文评分(AES)系统取得了重大进展。然而,很少有研究来理解和解释这些基于深度学习的评分模型的黑盒性质。最近的工作表明,自动评分系统甚至倾向于常识对抗样本。他们缺乏自然语言理解能力,这对数百万候选人积极使用的改变生活的决策模型提出了质疑。由于评分是一项高度多模态的任务,因此必须在所有这些模态上验证和测试评分模型。我们利用可解释性方面的最新进展来发现一致性,内容和相关性等特征对自动评分机制的重要程度,以及为什么它们容易受到对抗性样本的影响。我们发现,系统测试认为散文不是一段散文具有自然的语音和语法结构的特点,但作为“词汤”的几个字比其他的话更重要。删除这几个重要单词周围的上下文会导致散文失去语言和语法的流畅性,但对预测分数的影响很小。我们还发现,由于这些模型在语义上没有基于世界知识和常识,因此添加诸如“世界是平的”之类的虚假事实实际上会增加分数,而不是降低分数。
2020-12-27 cs.AI cs.CL cs.CY
Robustness of Multi-Source MT to Transcription Errors
Charles University(查理大学);Institute of Formal Applied Linguistics(形式应用语言学研究所);National Institute of Information Communications Technology(国立信息通信技术研究所)
本文研究多源神经机器翻译对语音识别错误的鲁棒性,通过在ESIC语料库上验证英语、德语等多源信息的错误独立性,并在同声翻译场景中证明多源方法能提升翻译质量,为实时同声翻译提供了新思路。
2023-05-26 cs.CL
Automatic Estimation of Simultaneous Interpreter Performance
Carnegie Mellon University(卡内基梅隆大学);University of Maryland(马里兰大学)
同声传译,即实时翻译口语,既具有很高的挑战性,又需要体力。预测口译员信心和口译信息的充分性的方法具有许多潜在的应用,例如在计算机辅助口译界面或教学工具中。我们提出了预测同声传译性能的任务,建立在现有的方法质量估计(QE)的机器翻译输出。在三种语言对的五种设置的实验中,我们扩展了QE管道来估计解释器性能(近似于METEOR评估指标),并提出了反映解释策略和评估措施的新功能,进一步提高预测准确性。
2018-07-06 cs.CL
Towards the evaluation of automatic simultaneous speech translation from a communicative perspective
Mainz University(美因茨大学);KUDO
近年来,由于人工智能的进步,特别是在语音识别和机器翻译领域的进步,自动语音到语音和语音到文本翻译已经获得了动力。这类应用程序的质量通常使用自动度量标准(如BLEU)进行测试,主要目的是评估版本的改进或评估活动。然而,很少有人知道这样的系统的输出是如何被最终用户感知的,或者它们如何与人类在类似的交际任务中的表现进行比较。在本文中,我们提出了一个实验的结果,旨在评估实时语音翻译引擎的质量,通过比较它的专业同声传译的性能。要做到这一点,我们采用了一个框架开发的人类口译员的评估,并使用它来执行人工评估人类和机器的性能。在我们的样本中,我们发现人类口译员在可理解性方面表现更好,而机器在信息量方面表现稍好。研究的局限性和可能的增强所选择的框架进行了讨论。尽管其固有的局限性,这个框架的使用代表了第一步,以用户为中心,面向通信的方法来评估实时自动语音翻译。
2021-06-30 cs.CL
An Automatic Quality Metric for Evaluating Simultaneous Interpretation
Nara Institiute of Science and Technology(奈良科学技术大学);Rikkyo University(立教大学)
本文提出一种基于秩相关系数和跨语言预训练语言模型的自动指标,用于评估同声传译与同声机器翻译中的词序同步,并在两个数据集上验证其有效性。
2025-01-10 cs.CL
BSTC: A Large-Scale Chinese-English Speech Translation Dataset
Baidu Inc.(百度公司)
本文介绍了一个大规模的汉英语音翻译数据集BSTC(Baidu Speech Translation Corpus)。该数据集是基于一系列许可的演讲或讲座视频构建的,包括约68小时的普通话数据,其手动转录和翻译成英语,以及通过自动语音识别(ASR)模型进行的自动转录。我们还邀请了三名经验丰富的口译员在模拟会议环境中同时为测试会谈进行口译。该语料库对自动同声翻译的研究和实用系统的开发具有一定的促进作用。我们已经组织了同声翻译任务,并使用该语料库来评估自动同声翻译系统。
2021-04-27 cs.CL
Presenting Simultaneous Translation in Limited Space
Charles University(查理大学)
一些自动同步翻译长格式语音的方法允许修改输出,以低延迟换取准确性。为用户部署这些系统面临着在有限的空间(例如电视屏幕上的两行)中呈现字幕的问题。字幕必须及时、渐进地显示,并有足够的阅读时间。我们提供了一个算法的字幕。此外,我们提出了一种方法来估计的整体可用性的组合自动翻译和字幕的质量,延迟和稳定性的测试集上进行测量,并提出了一种改进的措施,翻译延迟。
2020-09-18 cs.CL
KUDO Interpreter Assist: Automated Real-time Support for Remote Interpretation
KUDO;Mainz University(美因茨大学)
高质量的人工口译需要语言和事实准备,以及实时的【形】检索信息的能力。这种情况在远程同声传译(RSI)的情况下变得尤为重要,因为活动时间可能很短,这对专业口译员及其提供高质量服务的承诺提出了新的挑战。为了缓解这些挑战,我们提出了口译员协助,计算机辅助翻译工具,专门设计的RSI方案的整合。Interpreter Assist包括两个主要功能集:自动词汇表创建工具和实时的【形】建议系统。在本文中,我们描述了我们的工具的总体设计,其集成到典型的RSI工作流程,并在基准测试中取得的结果,无论是在质量和相关性的词汇表创建,以及在精度和召回的实时的【形】建议功能。
2022-01-05 cs.CL
Direct Models for Simultaneous Translation and Automatic Subtitling: FBK@IWSLT2023
Fondazione Bruno Kessler(布鲁诺·凯斯勒基金会);University of Trento(特伦托大学)
本文介绍FBK在IWSLT 2023的参与工作,利用直接架构完成同声传译与自动字幕生成任务,通过复用离线模型知识及调整ST模型,在降低延迟并提升字幕质量方面取得显著增益。
2023-09-27 cs.AI cs.CL cs.SD
Exploring the Correlation between Human and Machine Evaluation of Simultaneous Speech Translation
University of Leeds(利兹大学);University of Mainz(美因茨大学)
本文以专家人工评分为基准,比较句嵌入与大型语言模型在无参考译文条件下评估同传忠实度的相关性,发现直接提示的GPT-3.5表现最佳且上下文窗口影响显著。
2024-06-14 cs.CL
Aligning ESG Controversy Data with International Guidelines through Semi-Automatic Ontology Construction
University of Zürich (UZH)(苏黎世大学);RepRisk AG(RepRisk公司);Graduate School of Information Science and Technology, The University of Tokyo(东京大学信息科学与技术研究生院);The Canon Institute for Global Studies(佳能全球研究学院)
提出一种半自动本体构建方法,结合轻量级本体设计、形式模式建模和大型语言模型,将ESG新闻事件与联合国全球契约等国际原则框架对齐,生成结构化知识图以识别不合规情况。
2025-09-13 cs.CL cs.CY
End-to-End Rich Transcription-Style Automatic Speech Recognition with Semi-Supervised Learning
NTT Media Intelligence Laboratories, NTT Corporation(日本电信电话株式会社媒体智能研究所)
我们提出了一种半监督学习方法,用于从小规模富转录风格和大规模普通转录风格数据集构建端到端富转录风格自动语音识别(RT-ASR)系统。在自发言语任务中,经常会出现各种言语现象,如填充语、断词、笑声和咳嗽等。虽然普通的过渡语并不赋予这些现象特殊的意识,但丰富的过渡语明确地将它们转换为特殊的现象标记和文本标记。在以往的研究中,文本标记和现象标记是以端到端的方式同时估计的。然而,很难构建准确的RT-ASR系统,因为大规模丰富的转录风格数据集通常不可用。为了解决这个问题,我们的训练方法同时使用有限的丰富转录风格数据集和普通转录风格数据集。我们的半监督学习的关键过程是将普通的转录风格数据集转换为伪富转录风格数据集。为此,我们引入风格令牌控制现象令牌生成或不转换为基于自回归建模。我们使用这种建模来生成伪丰富的转录风格的数据集,并从伪和原始数据集构建RT-ASR系统。我们对自发ASR任务的实验表明了该方法的有效性。
2021-07-07 cs.CL cs.LG cs.SD