Harnessing Artificial Intelligence to Combat Online Hate: Exploring the Challenges and Opportunities of Large Language Models in Hate Speech Detection
Arizona State University（亚利桑那州立大学）
本研究通过文献综述与实证分析，探讨大语言模型在仇恨言论检测中的能力与限制，识别表现优异的模型及其影响因素。
2024-03-12 cs.AI cs.CL
Do LLMs Need Architectural Changes for Simultaneous Speech Translation? A Prefix-to-Prefix Data Driven Approach
Microsoft（微软）
研究同步语音翻译中仅解码器语言模型面临的挑战，提出基于固定长度块、回退前缀及教师标记前缀到前缀目标的CSSEL-P2P方法，经实验其在可比延迟下提升了流质量，证明无需架构改变可有效实现同步语音翻译。
2026-07-16 cs.CL
Efficient and Adaptive Simultaneous Speech Translation with Fully Unidirectional Architecture
School of Informatics, Xiamen University（厦门大学信息学院）；Alibaba Group Tongyi Lab（阿里巴巴集团通义实验室）；Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan (Xiamen University), Ministry of Culture and Tourism（文化和旅游部闽台非物质文化遗产数字保护与智能处理重点实验室（厦门大学））
提出全单向架构的EASiST，通过多延迟数据整理、显式读写标记和轻量策略头，实现高效自适应同声语音翻译，在多个数据集上取得更优延迟-质量权衡。
2026-09-22 cs.CL
All In Good Time: Causality-Aware Framework for LLM-Based Simultaneous Speech-to-Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；NVIDIA（英伟达）
针对大语言模型同声语音翻译中数据稀缺与延迟问题，提出因果感知框架FAST-CAP，通过分解架构与自适应策略，在CVSS上提升BLEU达1.2并降低延迟38.8%。
2026-09-28 cs.CL
Extreme Speech Classification in the Era of LLMs: Exploring Open-Source and Proprietary Models
针对网络极端言论分类的社会文化复杂性与人工审核规模化难题，本文基于印度极端言论数据集，构建大语言模型分类框架，对比开源Llama与闭源OpenAI模型，发现领域微调可显著提升性能并缩小模型差距。
2025-02-21 cs.AI cs.CL
SpeechGuard: Exploring the Adversarial Robustness of Multimodal Large Language Models
AWS AI Labs, Amazon（亚马逊 AWS 人工智能实验室）
该研究聚焦语音大语言模型的安全漏洞，设计了白盒与黑盒场景下的无人工对抗越狱算法，提出对应防御策略，验证了模型的高安全性能及攻击的高危害性与防御的有效性。
2024-05-14 cs.CL cs.SD eess.AS
SimulS2S-LLM: Unlocking Simultaneous Inference of Speech LLMs for Speech-to-Speech Translation
Department of Engineering, University of Cambridge（剑桥大学工程系）；Shanghai Jiao Tong University（上海交通大学）
提出SimulS2S-LLM，通过离线训练和测试时策略实现语音LLM的同步语音到语音翻译，利用边界感知提示和增量波束搜索，在CVSS上以相似延迟提升ASR-BLEU 3分。
2025-04-22 cs.CL cs.SD eess.AS
FASST: Fast LLM-based Simultaneous Speech Translation
Carnegie Mellon University（卡内基梅隆大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）
针对现有同声语音翻译方法延迟高或质量差的问题，提出基于大语言模型的FASST方法，通过分块因果编码、一致性掩码及两阶段训练实现增量编码，在MuST-C数据集上取得最优质量-延迟权衡。
2024-08-18 cs.AI cs.CL
Exploring the Integration of Large Language Models into Automatic Speech Recognition Systems: An Empirical Study
Peking University No.5 Yiheyuan Road, Haidian District, Beijing 100871, P.R.China（北京大学）
本文实证研究了将大语言模型（LLMs）的上下文学习能力集成到自动语音识别（ASR）系统中以纠正转录错误，发现使用ChatGPT和GPT-4等模型在Aishell-1和LibriSpeech数据集上反而导致更高的词错误率（WER），揭示了当前LLMs在语音应用中的局限性。
2023-07-13 cs.CL cs.SD eess.AS
InfiniSST: Simultaneous Translation of Unbounded Speech with Large Language Model
Carnegie Mellon University（卡内基梅隆大学）；Language Technologies Institute（语言技术研究所）
针对无界流式语音同传的质量与延迟平衡难题，提出将SST建模为多轮对话的InfiniSST方法，结合多延迟增强数据构建和KV缓存管理策略，在多语向上实现同质量下延迟降低0.5-1秒。
2025-06-16 cs.AI cs.CL
NAIST Simultaneous Speech Translation System for IWSLT 2024
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文提出 NAIST 在 IWSLT 2024 同声传译赛道上的系统，通过结合 HuBERT 和 mBART 构建多语言端到端语音翻译模型，并采用级联增量式 TTS 模块实现语音到语音翻译，其中升级后的 TTS 模块有效提升了整体系统性能。
2024-06-30 cs.CL cs.SD eess.AS
Speech Swin-Transformer: Exploring a Hierarchical Transformer with Shifted Windows for Speech Emotion Recognition
Southeast University（东南大学）；Imperial College London（伦敦帝国理工学院）；Pazhou Lab（琶洲实验室）
本文提出Speech Swin-Transformer，通过移位窗口的分层Transformer聚合帧级到段级的多尺度语音情感特征，在语音情感识别任务上取得优于现有方法的性能。
2024-01-19 cs.CL
Decoding Hate: Exploring Language Models' Reactions to Hate Speech
IRLab（IR实验室）；CITIC Research Centre（CITIC研究中心）；University of A Coruña（阿维拉大学）
本文通过定性分析比较七个主流LLM对仇恨言论及政治正确包装形式的反应，并提出微调与指南护栏等缓解生成仇恨言论的策略。
2024-10-01 cs.CL
Exploring Transformer Based Models to Identify Hate Speech and Offensive Content in English and Indo-Aryan Languages
Department of Computer Science；Engineering, Indian Institute of Technology, Kharagpur, West Bengal, India；Department of Electrical Engineering , Indian Institute of Technology, Kharagpur, West Bengal, India
仇恨言论被认为是目前困扰在线社交媒体的主要问题之一。反复和重复接触仇恨言论已被证明会对目标用户产生生理影响。因此，应在这些平台上处理一切形式的仇恨言论，以保持良好的健康。在本文中，我们探索了几种基于Transformer的机器学习模型，用于在FIRE 2021上检测英语和印度-雅利安语中的仇恨言论和攻击性内容。我们探索了几种型号，如mBERT，XLMR大型，XLMR基地的团队名称“超级马里奥”。我们的模型在代码混合数据集中排名第二（宏F1：0.7107），在印地语两类分类中排名第二（宏F1：0.7797），在英语四类分类中排名第四（宏F1：0.8006），在英语两类分类中排名第12（宏F1：0.6447）。
2021-11-27 cs.CL
Exploring Textual and Speech information in Dialogue Act Classification with Speaker Domain Adaptation
Monash University（莫纳什大学）；Univ. Grenoble Alpes（格勒诺布尔阿尔卑斯大学）
尽管最近的成功的对话行为（DA）的分类，大多数先前的作品集中在基于文本的分类与甲骨文transmittance，即人类transmittance，而不是自动语音识别（ASR）的transmittance。然而，在口语对话系统中，代理将只能访问有噪声的ASR传输，这可能由于域移位而进一步遭受性能降级。在本文中，我们探讨了使用声学和文本信号的有效性，无论是甲骨文或ASR transmittance，并探讨说话人领域自适应DA分类。我们的多模态模型被证明是优于单峰模型，特别是当甲骨文transmittance不可用。我们还提出了一种有效的方法，说话人领域自适应，取得了竞争力的结果。
2018-10-17 cs.CL
Exploring Energy-based Language Models with Different Architectures and Training Methods for Speech Recognition
Tsinghua University（清华大学）；China Unicom (Guangdong) Industrial Internet Co., Ltd.（中国联通（广东）产业互联网有限公司）
本文以大型预训练模型为骨干，探索不同能量函数架构与训练方法，研究基于能量的语言模型在语音识别重评分中的能力。
2023-05-29 cs.CL
Llama-Mimi: Exploring the Limits of Flattened Speech Language Modeling
Kyoto University（京都大学）；NII LLMC（日本信息处理学会大语言模型中心）；National Institute of Informatics（国家信息研究所）；Nagoya University（名古屋大学）
Llama-Mimi通过将多级RVQ标记扁平化并使用Transformer解码器进行自回归建模，实现了在语音任务中的优越性能。
2026-03-05 cs.CL
Simultaneous Speech-to-Speech Translation System with Neural Incremental ASR, MT, and TTS
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）
本文介绍了一个新开发的，同时神经语音到语音翻译系统及其评价。该系统由三个全增量神经处理模块组成，分别用于自动语音识别（ASR）、机器翻译（MT）和文本到语音合成（TTS）。我们研究了其在系统的耳语音跨度和说话延迟以及模块级性能的整体延迟。
2020-11-11 cs.CL
What does it take to get state of the art in simultaneous speech-to-speech translation?
toby（托比）
该研究针对同声语音翻译模型中幻觉引发的延迟尖峰问题，通过系统实验各类输入参数与条件提出优化方法，证实精细输入管理结合策略性参数调整可显著改善模型延迟表现。
2024-09-14 cs.CL
SimulMT to SimulST: Adapting Simultaneous Text Translation to End-to-End Simultaneous Speech Translation
Johns Hopkins University（约翰斯·霍普金斯大学）；Facebook AI（脸书人工智能研究院）
文本同步翻译和端到端语音翻译近年来取得了很大的进展，但很少有人将这些任务结合在一起。我们研究如何适应同步文本翻译方法，如等待k和单调多头注意端到端同步语音翻译通过引入一个预决策模块。详细分析了将固定和灵活的预决策与固定和灵活的策略相结合的延迟质量权衡。我们还设计了一个新的计算感知延迟度量，改编自平均滞后。
2020-11-03 cs.CL
Exploring Hate Speech Detection with HateXplain and BERT
Carnegie Mellon University（卡内基梅隆大学）
仇恨言论以多种形式针对社区进行贬损性评论，并使人类在社会进步中后退一步。HateXplain是最近发布的第一个数据集，它以基本原理的形式使用注释的跨度，以及语音分类类别和目标社区，使分类更人性化，可解释，准确和更少偏见。我们调整BERT以理由和类别预测的形式执行此任务，并比较我们在准确性、可解释性和偏差等不同指标上的表现。我们的创新有三个方面。首先，我们实验了具有不同重要性值的合并的基本类丢失。其次，我们广泛地实验了基本原理的地面真理注意力值。通过引入保守和宽松的注意力，我们比较了模型在HateXplain上的性能，并验证了我们的假设。第三，为了改善我们模型中的非预期偏见，我们使用了目标社区词的掩蔽，并注意到偏见和可解释性指标的改善。总的来说，我们成功地实现了模型的可扩展性，偏差消除和几个增量改进的原始BERT实现。
2022-08-09 cs.CL
Exploring Hate Speech Detection in Multimodal Publications
Eurecat, Centre Tecnològic de Catalunya（加泰罗尼亚技术中心 Eurecat）；Computer Vision Center, Universitat Autònoma de Barcelona（巴塞罗那自治大学计算机视觉中心）
在这项工作中，我们的目标是在由文本和图像形成的多模态出版物的仇恨言论检测的问题。我们从Twitter，MMHS 150K收集并注释了一个大规模的数据集，并提出了不同的模型，联合分析文本和视觉信息的仇恨言论检测，比较它们与单峰检测。我们提供定量和定性的结果，并分析所提出的任务的挑战。我们发现，即使图像是有用的仇恨言论检测任务，目前的多模态模型不能优于模型分析只有文本。我们讨论了原因，并打开了进一步研究的领域和数据集。
2019-10-09 cs.CL cs.CV
Exploring Phoneme-Level Speech Representations for End-to-End Speech Translation
Carnegie Mellon University（卡内基梅隆大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）
以前的语音端到端翻译工作主要使用帧级特征作为语音表示，这会创建比文本更长、更稀疏的序列。我们表明，一个天真的方法来创建压缩音素的语音表示是更有效和高效的翻译比传统的帧级语音功能。具体来说，我们为语音帧生成音素标签，并对具有相同标签的连续帧进行平均，以创建更短，更高级别的源序列进行翻译。我们在高资源和低资源语言对上都看到了高达5个BLEU的改进，训练时间减少了60%。我们的改进适用于多种数据大小和两种语言对。
2019-06-04 cs.CL cs.SD eess.AS
Exploring Generative Error Correction for Dysarthric Speech Recognition
Kore University of Enna（科雷大学恩纳分校）；Politecnico di Torino（托里诺理工学院）；Università di Palermo（巴勒莫大学）
针对构音障碍语音识别难题，提出结合先进ASR模型与LLM生成式纠错的两阶段框架，并在语音可访问性项目数据集上验证了其在结构化与自发语音上的有效性。
2025-05-26 cs.CL eess.AS
A Practical Evaluation Method for Long-Form Simultaneous Speech-to-Speech Translation
Carnegie Mellon University（卡内基梅隆大学）
针对长语音同声翻译评估困难的问题，提出一种基于ASR、强制对齐和句子嵌入对齐的实用方法，实现句子级延迟与质量度量，揭示现有系统在长语音上延迟累积严重。
2026-08-10 cs.CL
PolySpeech: Exploring Unified Multitask Speech Models for Competitiveness with Single-task Models
China Mobile Research Institute（中国移动研究院）
本文提出多任务语音模型PolySpeech，以多模态语言模型为核心，通过语义语音嵌入标记化与语音重建方法，在语音识别、合成和分类任务上取得与单任务模型相当甚至更优的性能。
2024-06-12 cs.CL cs.SD eess.AS
Bemba Speech Translation: Exploring a Low-Resource African Language
Kreasof AI Research Labs（Kreasof人工智能研究实验室）；African Institute for Mathematical Sciences (AIMS)（非洲数学科学研究所）；Trinity College Dublin（都柏林三一学院）
本文针对IWSLT 2025低资源赛道，基于Whisper和NLLB-200构建Bemba到英语的级联语音翻译系统，并采用回译等数据增强技术探究合成数据的影响。
2025-06-02 cs.CL cs.SD eess.AS
Exploring Transfer Learning For End-to-End Spoken Language Understanding
Amazon Alexa AI（亚马逊Alexa人工智能部门）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）
Alexa、Siri和Google Assistant等语音助理通常使用两阶段的口语语言理解管道;首先，自动语音识别（ASR）组件处理客户语音并生成文本译文，然后是自然语言理解（NLU）组件将译文映射到可操作的假设。直接从语音到假设的端到端（E2 E）系统是一个更有吸引力的选择。这些系统被证明是更小，更快，更好地优化。然而，它们需要大量的端到端训练数据，此外，不利用已经可用的ASR和NLU训练数据。在这项工作中，我们提出了一个E2 E系统，旨在联合训练多个语音到文本的任务，如ASR（语音转录）和SLU（语音假设），和文本到文本的任务，如NLU（文本假设）。我们称之为音频文本全任务（AT-AT）模型，我们证明它击败了在单个任务上训练的E2 E模型的性能，特别是在有限数据上训练的模型。我们在一个内部音乐数据集和两个公共数据集FluentSpeech和SNIPS Audio上展示了这一结果，在这些数据集上我们获得了最先进的结果。由于我们的模型可以处理语音和文本输入序列并学习预测目标序列，因此它还允许我们通过仅在新域的文本假设数据（没有任何语音）上进行训练来进行zero-shot E2 E SLU。我们在Facebook TOP数据集上评估了我们模型的这种能力，并为zeroshot E2 E性能设定了一个新的基准。我们将很快发布为TOP数据集收集的音频数据，以供未来研究。
2020-12-15 cs.CL
Exploring Teacher-Student Learning Approach for Multi-lingual Speech-to-Intent Classification
National University of Singapore（新加坡国立大学）；The Chinese University of Hong Kong (Shenzhen)（香港中文大学（深圳））
端到端语音到意图分类已经显示出其在从文本和语音中获取信息方面的优势。在本文中，我们研究了一种技术来开发这样一个端到端的系统，支持多种语言。为了克服多语言语音语料库的不足，我们利用预先训练的多语言自然语言处理模型的知识。来自Transformers（mBERT）模型的多语言双向编码器表示是在多种语言上训练的，因此预计在多语言场景中表现良好。在这项工作中，我们采用了师生学习的方法，充分提取信息的mBERT模型训练多语言的语音模型。特别是，我们使用从英语-汉语文本语料库生成的合成语音进行多语言意图分类模型的分析和训练。我们还证明了师生学习方法在实际的多语言场景中获得了比传统的端到端（89.40%）意图分类方法更好的性能（91.02%）。
2021-09-28 cs.AI cs.CL
Exploring Neural Transducers for End-to-End Speech Recognition
Baidu Silicon Valley AI Lab（百度硅谷人工智能实验室）
在这项工作中，我们进行了CTC，RNN传感器，和基于注意力的Seq 2Seq模型之间的经验比较，用于端到端的语音识别。我们表明，在没有任何语言模型的情况下，Seq 2Seq和RNN-Transducer模型在流行的Hub 5 '00基准测试中的表现都优于具有语言模型的最佳CTC模型。在我们内部的多样化数据集上，这些趋势仍在继续-在束搜索之后，使用语言模型重新评分的RNNTransducer模型优于我们最好的CTC模型。这些结果简化了语音识别流水线，使得解码现在可以纯粹地表示为神经网络操作。我们还研究了编码器架构的选择如何影响这三种模型的性能-当所有编码器层都只向前时，以及当编码器对输入表示进行下采样时。
2017-07-24 cs.CL cs.NE
An Empirical Study of End-to-end Simultaneous Speech Translation Decoding Strategies
Naver Labs Europe（NAVER欧洲实验室）
提出了一种端到端同步语音翻译的解码策略。我们利用在离线模式下训练的端到端模型，并对两种语言对（英语到德语和英语到葡萄牙语）进行实证研究。我们还研究了不同的输出令牌粒度，包括字符和字节对编码（BPE）单位。结果表明，所提出的解码方法允许控制BLEU/平均滞后权衡沿不同的延迟制度。我们最好的解码设置实现了与IWITH 2020共享任务的同声翻译轨道上评估的强大级联模型相当的结果。
2021-03-04 cs.CL
Simultaneous Translation with Offline Speech and LLM Models in CUNI Submission to IWSLT 2025
Charles University（查理大学）
本文提出基于离线 Whisper 和 EuroLLM 的级联同声翻译系统，采用 AlignAtt 策略并注入术语，在 IWSLT 2025 任务中较基线提升 2-22 BLEU，并引入新的延迟度量。
2025-06-20 cs.CL
CMU's IWSLT 2025 Simultaneous Speech Translation System
Language Technologies Institute, Carnegie Mellon University（语言技术研究所，卡内基梅隆大学）
本研究针对IWSLT 2025同声语音翻译任务，提出整合分块因果Wav2Vec 2.0编码器、适配器与Qwen2.5-7B-Instruct解码器的端到端系统，经两阶段训练实现可调延迟，在英中、英德翻译任务上取得较好的BLEU成绩与延迟表现。
2025-06-16 cs.CL
Exploring the Plausibility of Hate and Counter Speech Detectors with Explainable AI
Institute of Creative Media Technologies（创意媒体技术学院）
本文研究了Transformer模型在仇恨言论和反制言论检测中的可解释性，比较了四种方法并发现基于扰动的方法表现最佳，可解释性显著帮助用户理解模型预测。
2024-07-25 cs.AI cs.CL cs.LG
CUNI-KIT System for Simultaneous Speech Translation Task at IWSLT 2022
Charles University（查理大学）；Karlsruhe Institute of Technology（卡尔斯鲁厄理工学院）；Maastricht University（马斯特里赫特大学）；Carnegie Mellon University（卡内基梅隆大学）
在本文中，我们描述了我们提交给IWITH2022的同步语音翻译。我们探索策略，利用离线模型在同时设置，而不需要修改原始模型。在我们的实验中，我们表明，我们的在线化算法几乎与离线设置相当，而在测试集上的延迟方面，$3\times$比离线更快。我们还表明，在线离线模型优于最好的IWSLT2021同步系统在中等和高延迟制度，几乎是在低延迟制度的标准。我们公开了我们的系统。
2022-05-11 cs.CL
Exploring the Effect of Segmentation and Vocabulary Size on Speech Tokenization for Speech Language Models
The University of Tokyo（东京大学）；Keio University（.keio大学）；Graduate School of Information Science and Technology（信息科学与技术研究生院）；Faculty of Science and Technology（科学与技术学部）
本文研究语音标记化中分割宽度和聚类大小对语音语言模型的影响，发现适度粗粒度分割和较大聚类可提升零样本口语理解性能，并实现训练数据减半和运行时间降低70%。
2025-05-31 cs.CL cs.SD eess.AS
A Pocket Offline Model for Simultaneous Speech Translation as CUNI Submission to IWSLT 2026
Charles University, MFF, ÚFAL（查理大学，人文学院，语言学与应用语言学研究所）
本研究通过将离线直接语音到文本翻译模型 Canary 与最先进的策略 AlignAtt 结合，实现了同声传译能力，并在 IWSLT 2026 同声传译共享任务中提交了捷克语到英语以及英语到德语和意大利语的系统，展示了高翻译质量、低计算需求和多语言支持。
2026-06-02 cs.CL
Exploring Continuous Integrate-and-Fire for Adaptive Simultaneous Speech Translation
National Taiwan University（台湾大学）
同步语音翻译（SimulST）是一个具有挑战性的任务，旨在翻译流语音之前，观察到完整的输入。SimulST系统通常包括两个组件：聚合语音信息的预决策和决定读或写的策略。虽然最近的工作提出了各种策略来改善预决策，他们主要采用固定的wait-k政策，离开自适应政策很少探讨。本文提出了模型的自适应政策，通过适应连续集成和消防（CIF）。与单调多头注意（MMA）相比，我们的方法具有计算简单，在低延迟，更好的质量和更好的推广长话语的优点。我们在Must-C V2数据集上进行了实验，并证明了我们的方法的有效性。
2022-10-03 cs.CL cs.SD eess.AS
Exploring End-to-End Techniques for Low-Resource Speech Recognition
Speech Technology Center Ltd（语音技术中心有限公司）；STC-innovations Ltd（STC创新有限公司）；ITMO University（ITMO大学）
在这项工作中，我们提出了一个简单的基于grapheme-based系统的低资源语音识别使用巴别塔数据土耳其自发语音（80小时）。我们已经研究了不同的神经网络架构性能，包括全卷积，递归和ResNet与GRU。不同的功能和规范化技术进行了比较。我们还提出了在训练过程中使用分割的CTC损失修改，这导致在使用小波束尺寸进行解码时的改进。我们的最佳模型实现了45.8%的单词出错率，根据我们的知识，这是使用域内数据的端到端系统的最佳报告结果。
2018-07-02 cs.CL cs.SD eess.AS
Learning When to Commit from Partial Speech for End-to-End Simultaneous Speech Translation
Microsoft（微软）
本研究通过前缀监督适配语音语言模型，结合置信度阈值控制，在多轮解码下显著提升同声传译的质量-延迟权衡，并降低提交校准误差。
2026-10-05 cs.CL
BSTC: A Large-Scale Chinese-English Speech Translation Dataset
Baidu Inc.（百度公司）
本文介绍了一个大规模的汉英语音翻译数据集BSTC（Baidu Speech Translation Corpus）。该数据集是基于一系列许可的演讲或讲座视频构建的，包括约68小时的普通话数据，其手动转录和翻译成英语，以及通过自动语音识别（ASR）模型进行的自动转录。我们还邀请了三名经验丰富的口译员在模拟会议环境中同时为测试会谈进行口译。该语料库对自动同声翻译的研究和实用系统的开发具有一定的促进作用。我们已经组织了同声翻译任务，并使用该语料库来评估自动同声翻译系统。
2021-04-27 cs.CL
Exploring Machine Speech Chain for Domain Adaptation and Few-Shot Speaker Adaptation
Southern University of Science and Technology（南方科技大学）；Microsoft China（微软中国）
机器语音链将端到端（E2 E）自动语音识别（ASR）和文本到语音（TTS）集成到一个循环中进行联合训练，已被证明可以有效地利用大量未配对数据进行数据增强。在本文中，我们探索语音链中的TTS->ASR管道，对神经TTS和E2 E ASR模型进行领域自适应，仅使用来自目标域的文本数据。我们进行了实验，通过适应从有声读物域（LibriSpeech）到呈现域（TED-LIUM），有一个相对的词出错率（WER）减少10%的E2 E ASR模型上的TED-LIUM测试集，和一个相对的WER减少51.5%的神经TTS生成的合成语音在呈现域。此外，我们通过以无监督的方式使用目标说话者的一些话语，对E2 E ASR应用Few-Shot说话者自适应，从而获得额外的收益。
2021-04-08 cs.CL cs.SD eess.AS
Exploring the anatomy of articulation rate in spontaneous English speech: relationships between utterance length effects and social factors
University of Glasgow（格拉斯哥大学）；McGill University（麦吉尔大学）；University of Oregon（俄勒冈大学）；North Carolina State University（北卡罗来纳州立大学）
本研究通过建模13个英语语料库的语速，发现话语长度对语速影响最大且跨语料库和说话者差异小，年龄、性别影响幅度更小，提示语速的社会影响需结合言语约束背景解读。
2024-08-13 cs.CL cs.SD eess.AS
Does Simultaneous Speech Translation need Simultaneous Models?
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）；Zoom Video Communications（Zoom视频通讯公司）
本文研究同声语音翻译中单一离线训练模型能否同时胜任离线与同声任务，实验表明该方案在不影响延迟下实现了与同声模型相当或更好的翻译质量。
2022-11-16 cs.CL
Exploring the Statistical Derivation of Transformational Rule Sequences for Part-of-Speech Tagging
Eric Brill最近提出了一种简单而强大的基于语料库的语言建模方法，该方法可以应用于各种任务，包括词性标注和构建短语结构树。该方法学习一系列符号转换规则，然后可以将其依次应用于测试语料库以产生预测。学习过程只需要计算一组给定规则模板的匹配，允许该方法调查非常大的可能的上下文因素空间。本文分析了布里尔的方法作为一个有趣的变化，现有的决策树方法，实验的基础上，涉及英语和古希腊语料库的词性标注。特别是，分析揭示了为什么新机制似乎令人惊讶地抵抗过度训练。一个快速，增量的实现和机制，用于记录的依赖关系，所产生的规则序列。
1994-06-03 cmp-lg cs.CL
Streaming Simultaneous Speech Translation with Augmented Memory Transformer
Facebook（脸书）；Johns Hopkins University（约翰斯·霍普金斯大学）
基于transformer的模型在语音翻译任务上取得了最先进的性能。然而，该模型架构对于流场景不够有效，因为自注意力是在整个输入序列上计算的，并且计算成本随着输入序列的长度二次增长。然而，大多数关于同时语音翻译的先前工作，即从部分音频输入生成翻译的任务，在分析延迟时忽略了生成翻译所花费的时间。在这种假设下，系统可能具有良好的延迟质量权衡，但在实时场景中不适用。在本文中，我们重点关注流同步语音翻译的任务，其中系统不仅能够在部分输入的情况下进行翻译，而且还能够处理非常长或连续的输入。我们提出了一个端到端的变压器为基础的序列到序列模型，配备了一个增强内存的Transformer编码器，它已显示出巨大的成功，在流自动语音识别任务与混合或基于传感器的模型。我们进行实证评估的建议模型段，上下文和内存大小，我们比较我们的方法与单向掩码的Transformer。
2020-10-30 cs.CL
Exploring neural oscillations during speech perception via surrogate gradient spiking neural networks
Idiap Research Institute（伊迪亚普研究所）
提出一种受生理学启发的可扩展语音识别架构，通过端到端梯度下降训练使脉冲神经网络产生神经振荡，并揭示了反馈机制在调节神经活动以提升识别性能中的关键作用。
2024-09-02 cs.CL q-bio.NC
Exploring the topics, sentiments and hate speech in the Spanish information environment
University of Murcia（穆尔西亚大学）
本研究分析西班牙五家媒体2021年1月33万余条评论与推文，用BERTopic提取81个话题，发现社会与政治话题主导，内容以负面为主，仇恨言论虽低但毒性高。
2024-09-19 cs.CL
Exploring Gender Bias in Alzheimer's Disease Detection: Insights from Mandarin and Greek Speech Perception
University of Science and Technology of China（科学技术大学）；University of Edinburgh（爱丁堡大学）；University of Minnesota（明尼苏达大学）；Jiangsu Normal University（江苏师范大学）
本研究通过16名中文听众对中希语音的感知实验，揭示了阿尔茨海默病语音感知中的性别偏见，发现男性语音更易被误判为AD，强调开发检测模型时须解决性别偏见。
2025-07-16 cs.CL cs.HC cs.SD
Visualization: the missing factor in Simultaneous Speech Translation
Fondazione Bruno Kessler（布鲁诺·凯斯勒基金会）；University of Trento（特伦托大学）
同步语音翻译（SimulST）是一种必须对部分增量语音输入执行输出生成的任务。近年来，SimulST由于跨语言应用场景的普及而变得流行，如国际直播会议和流媒体讲座，其中即时语音翻译可以方便用户访问视听内容。在本文中，我们分析了SimulST系统开发到目前为止的特点，讨论他们的优点和缺点。然后，我们集中在正确评估系统的有效性所需的评估框架。为此，我们提出需要更广泛的性能分析，也包括用户体验的观点。SimulST系统，事实上，不仅应该在质量/延迟措施方面进行评估，而且还应该通过面向任务的度量会计，例如，所采用的可视化策略。有鉴于此，我们强调哪些是社区实现的目标，哪些仍然是缺失的。
2021-11-08 cs.CL
Exploring the encoding of linguistic representations in the Fully-Connected Layer of generative CNNs for Speech
Brown University（布朗大学）；University of California, Berkeley（加州大学伯克利分校）
本研究首次探索语音合成CNN全连接层的语言信息编码机制，提出两种全连接层探索技术，发现ciwGAN以符合语言学原理的方式通过全连接层权重编码词汇信息。
2025-01-13 cs.CL
Towards the evaluation of automatic simultaneous speech translation from a communicative perspective
Mainz University（美因茨大学）；KUDO
近年来，由于人工智能的进步，特别是在语音识别和机器翻译领域的进步，自动语音到语音和语音到文本翻译已经获得了动力。这类应用程序的质量通常使用自动度量标准（如BLEU）进行测试，主要目的是评估版本的改进或评估活动。然而，很少有人知道这样的系统的输出是如何被最终用户感知的，或者它们如何与人类在类似的交际任务中的表现进行比较。在本文中，我们提出了一个实验的结果，旨在评估实时语音翻译引擎的质量，通过比较它的专业同声传译的性能。要做到这一点，我们采用了一个框架开发的人类口译员的评估，并使用它来执行人工评估人类和机器的性能。在我们的样本中，我们发现人类口译员在可理解性方面表现更好，而机器在信息量方面表现稍好。研究的局限性和可能的增强所选择的框架进行了讨论。尽管其固有的局限性，这个框架的使用代表了第一步，以用户为中心，面向通信的方法来评估实时自动语音翻译。
2021-06-30 cs.CL
Exploring Speech Recognition, Translation, and Understanding with Discrete Speech Units: A Comparative Study
Carnegie Mellon University（卡内基梅隆大学）；Yahoo Japan Corporation（雅虎日本公司）；Northwestern Polytechnical University（西北工业大学）；University of Washington（华盛顿大学）；University of Stuttgart（斯图加特大学）；Waseda University（早稻田大学）；National Taiwan University（国立台湾大学）
本文系统比较离散语音单元在端到端语音识别、翻译和理解模型中的应用，验证其在压缩序列、缩短训练时间的同时可保持良好性能。
2023-09-27 cs.CL cs.SD eess.AS
Exploring Capabilities of Monolingual Audio Transformers using Large Datasets in Automatic Speech Recognition of Czech
University of West Bohemia Pilsen（西波西米亚大学比尔森分校）
在本文中，我们介绍了我们在预训练捷克单语音频Transformers方面的进展，该转换器来自一个包含超过8万小时未标记语音的大型数据集，随后使用域内数据和近6000小时的域外转录语音的组合对自动语音识别任务的模型进行微调。我们正在展示一系列实验，其中包括在两个公共数据集（CommonVoice和VoxPopuli）和一个来自MALACH项目的极具挑战性的数据集上评估的各种微调设置。我们的研究结果表明，单语Wav2Vec 2.0模型是鲁棒的ASR系统，可以利用大型标记和未标记数据集，并成功地与最先进的LVCSR系统竞争。此外，Wav2Vec模型被证明是很好的zero-shot学习者时，没有训练数据可用于目标ASR任务。
2022-06-15 cs.CL cs.SD eess.AS
