Improving Speaker Diarization using Semantic Information: Joint Pairwise Constraints Propagation
Alibaba Group（阿里巴巴集团）
本文提出一种利用语义信息改进基于聚类的说话人日志系统的新方法，通过口语理解模块提取语义并构建成对约束，实验证明其性能优于仅用声学特征的系统。
2024-02-04 cs.CL cs.SD eess.AS
Optimizing Speech Language Models for Acoustic Consistency
本研究提出融合自监督初始化、轻量对齐损失及稀疏化辅助目标的语音语言模型训练方法，发现纯语音模型声学一致性更优，交错训练可提升语义对齐，证明模型侧设计可调控声学稳定性与语义接地的平衡。
2025-09-30 cs.CL cs.SD
Broad-Coverage Semantic Parsing as Transduction
Johns Hopkins University（约翰斯·霍普金斯大学）
我们统一了不同的广泛覆盖的语义解析任务下的转导范式，并提出了一个基于注意力的神经框架，逐步建立一个意义表示通过一系列的语义关系。通过利用多个注意力机制，可以有效地训练换能器而不依赖于预先训练的对准器。在三个独立的广泛覆盖的语义解析任务- AMR，SDP和UCCA -上进行的实验表明，我们的基于注意力的神经传感器提高了AMR和UCCA的最新技术水平，并且与SDP的最新技术水平相竞争。
2019-11-04 cs.CL
Improving Contextual Spelling Correction by External Acoustics Attention and Semantic Aware Data Augmentation
Microsoft Corporation（微软公司）
我们以前提出了上下文拼写校正（CSC），以纠正输出端到端（E2 E）自动语音识别（ASR）模型与上下文信息，如姓名，地点等，虽然CSC已经取得了合理的改善偏置问题，仍然有两个缺点，进一步提高准确性。首先，由于纯文本假设中的信息限制或ASR模型在稀有域上的弱性能，CSC模型可能无法纠正具有相似发音的短语或反上下文情况，其中所有偏见短语都不存在于话语中。第二，CSC的训练和推理之间存在差异。训练中的偏差列表是随机选择的，但在推理中，地面真实短语和其他短语之间可能存在更多的相似性。针对上述问题，本文提出了一种改进的非自回归（NAR）拼写纠正模型，用于E2 E神经元ASR系统中的语境偏差问题，从两个方面对已有的CSC模型进行了改进：首先，在CSC模型中加入了带有外部注意力的声学信息以及文本假设，以更好地区分目标短语和不相似或不相关的短语。其次，我们在训练短语中设计了一个语义感知的数据增强模式，以减少训练和推理之间的不匹配，从而进一步提高偏置精度。实验结果表明，在不同的偏置列表名字覆盖率下，改进的方法比基准ASR+Biasing系统的相对名字召回率提高了20.3%，并且与之前的CSC方法相比，取得了稳定的改进。
2023-02-22 cs.CL cs.LG cs.SD
EMODE: Dynamic Para-Semantic Experts for Emotion-Aware Speech Language Modeling
Zhejiang University（浙江大学）
EMODE提出动态副语义专家（DPSE）分解语音特征，通过三阶段课程训练，在SER和共情任务上平衡词汇保真与情感敏感，增强跨语料情感理解。
2026-10-07 cs.CL cs.MM cs.SD
DNN-Based Semantic Model for Rescoring N-best Speech Recognition List
Université de Lorraine（洛林大学）；Inria（法国国家信息与自动化研究所）；Loria（洛林信息学研究实验室）
自动语音识别（ASR）系统的字出错率（WER）在由于噪声等而在训练条件和测试条件之间发生失配时增加。在这种情况下，声学信息可能不太可靠。这项工作的目的是改善ASR建模长期的语义关系，以补偿失真的声学特征。我们建议通过对ASR N-最佳假设列表进行重新评分来执行此操作。为了实现这一点，我们训练一个深度神经网络（DNN）。我们的DNN重新评分模型旨在选择具有更好语义一致性的假设，从而降低WER。我们研究了两种类型的表示作为DNN模型的输入特征的一部分：静态词嵌入（来自word 2 vec）和动态上下文嵌入（来自BERT）。声学和语言特征也包括在内。我们在公开的数据集TED-LIUM上进行实验，混合了真实的噪声。所提出的rescoring方法给出了显着改善的WER的ASR系统没有rescoring模型在两个嘈杂的条件下，与n-gram和RNNLM。
2020-11-02 cs.CL
Confusion2Vec: Towards Enriching Vector Space Word Representations with Representational Ambiguities
University of Southern California（南加州大学）
词向量表示是自然语言处理和人机交互的重要组成部分。在本文中，我们提出了一种新的词向量表示，混淆2 Vec，从人类的语音生产和感知编码的代表性歧义的动机。人类采用声学相似性线索和上下文线索来解码信息，我们专注于一个模型，将这两个信息源。声学的表征模糊性，表现在单词混淆中，通常由人类和机器通过上下文线索来解决。一系列的代表性的模糊性可以出现在各个领域进一步的声学感知，如形态变换，释义的自然语言处理任务，如机器翻译等。在这项工作中，我们提出了一个案例研究中的应用程序自动语音识别（ASR），其中的单词混淆与声学相似性。我们提出了几种技术来训练声学感知相似性表示歧义。我们称之为Confusion 2 Vec，并从ASR混淆网络或类格子结构中学习无监督生成的数据。适当的评价Confusion 2 Vec制定测量声学相似性，除了语义-句法和单词相似性评价。Confusion 2 Vec能够有效地对单词混淆进行建模，而不会影响语义-句法单词关系，从而有效地丰富了单词向量空间与额外任务相关的歧义信息。我们提供了一个直观的探索的2维Confusion 2 Vec空间使用主成分分析的嵌入和语义，句法和声学关系。通过与ASR错误校正相关的小示例，证明了Confusion 2 Vec在利用晶格中存在的不确定性方面的潜力。
2019-03-28 cs.CL
AMR Parsing as Sequence-to-Graph Transduction
Johns Hopkins University（约翰斯·霍普金斯大学）
我们提出了一个基于注意力的模型，将AMR解析作为序列到图的转换。与大多数AMR解析器依赖于预先训练的对齐器，外部语义资源或数据增强不同，我们提出的解析器是无对齐器的，并且可以使用有限数量的标记AMR数据进行有效训练。我们的实验结果在AMR 2.0（LDC 2017 T10上的76.3% F1）和AMR 1.0（LDC 2014 T12上的70.2% F1）上均优于所有先前报道的SMATCH评分。
2019-06-24 cs.CL
STACodec: Semantic Token Assignment for Balancing Acoustic Fidelity and Semantic Information in Audio Codecs
Dept. of Electrical and Computer Engineering, University of California, Los Angeles, USA（电气与计算机工程系，加州大学洛杉矶分校）
STACodec通过语义令牌分配和预蒸馏模块，在音频编码中实现音频保真度与语义信息的平衡。
2026-02-05 cs.CL eess.AS
Leveraging multilingual transfer for unsupervised semantic acoustic word embeddings
Stellenbosch University（斯泰伦博斯大学）
本文提出利用预训练多语言声学词嵌入模型对未转写目标语言进行聚类和软伪标签训练，实现无监督语义声学词嵌入，并在词相似度和语义按例查询搜索任务中取得优于以往方法的效果。
2023-07-05 cs.CL eess.AS
Scaling Open Discrete Audio Foundation Models with Interleaved Semantic, Acoustic, and Text Tokens
Stanford University（斯坦福大学）；University of Southern California（南加州大学）；University of Cambridge（剑桥大学）
本文提出SODA模型，通过交错语义、音频和文本标记扩展开放离散音频基础模型，实现通用音频生成和跨模态能力。
2026-02-18 cs.CL cs.SD eess.AS
Multilingual acoustic word embeddings for zero-resource languages
Stellenbosch University（斯泰伦博斯大学）
针对零资源语言语音处理，本文提出多语言迁移的新型声学词嵌入模型，提升零资源语言表示、关键词检出和语义示例查询性能。
2024-01-23 cs.CL cs.SD eess.AS
Structured Reordering for Modeling Latent Alignments in Sequence Transduction
University of Edinburgh（爱丁堡大学）；University of Amsterdam（阿姆斯特丹大学）
尽管在许多领域取得了成功，但神经模型在训练和测试示例来自不同分布的环境中挣扎。特别地，与人类相反，常规的序列到序列（seq 2seq）模型不能系统地概括，即，解释表示概念的新颖组合的句子（例如，文本段）在训练中看到的。传统的语法形式主义通过隐式编码输入和输出段之间的对齐在这种设置中表现出色，但难以扩展和维护。而不是工程的语法，我们直接建模段到段的对齐作为离散的结构化的潜变量在神经seq 2seq模型。为了有效地探索大空间的比对，我们引入了一个重排序的第一次，稍后的框架，其中心组件是一个神经重排序模块产生{ \it可分离}排列。我们提出了一个有效的动态规划算法进行精确的边际推理的可分离排列，从而使我们的模型的端到端的可微训练。所得到的seq 2seq模型在合成问题和NLP任务上表现出比标准模型更好的系统泛化（即，语义解析和机器翻译）。
2021-10-26 cs.CL cs.LG
EchoX: Towards Mitigating Acoustic-Semantic Gap via Echo Training for Speech-to-Speech LLMs
The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳））
EchoX通过利用语义表示并动态生成语音训练目标，整合声学与语义学习，以弥合声学-语义差距，从而在约六千小时训练数据下保持语音大语言模型的推理能力，并在多个知识问答基准上取得先进性能。
2025-09-11 cs.AI cs.CL cs.SD
S2Dialog: Multimodal Dialogue Retrieval with Semantic and Acoustic-Style Modeling
College of Computer Science, Inner Mongolia University（内蒙古大学计算机学院）；University of Electronic Science and Technology of China, Shenzhen Campus（电子科技大学深圳校区）
研究针对现有多模态对话检索方法无法捕捉对话全局语义与风格一致性的问题，提出S2Dialog框架，结合对话级文本与声学检索器及对比学习，在DailyTalk数据集上实现出色检索性能。
2026-08-17 cs.CL
BEATs: Audio Pre-Training with Acoustic Tokenizers
Microsoft（微软）
在过去的几年里，自我监督学习（SSL）在语言、视觉、语音和音频领域中得到了大规模的发展。虽然离散标签预测被广泛用于其他模态，但最先进的音频SSL模型仍然采用重建损失进行预训练。与重建损失相比，语义丰富的离散标签预测鼓励SSL模型抽象高级音频语义并丢弃人类感知中的冗余细节。然而，由于音频的连续性和不可用的音素序列（如语音），用于一般音频预训练的语义丰富的声学分词器通常不是直接获得的。为了应对这一挑战，我们提出了BEAT，这是一种迭代音频预训练框架，用于从音频Transformers学习双向编码器表示，其中声学标记器和音频SSL模型通过迭代进行优化。在第一次迭代中，我们使用随机投影作为声学标记器，以掩码和标签预测的方式训练音频SSL模型。然后，我们通过从预训练或微调的音频SSL模型中提取语义知识，为下一次迭代训练声学标记器。重复迭代，希望声学标记器和音频SSL模型相互促进。实验结果表明，我们的声学标记器可以生成具有丰富音频语义的离散标签，并且我们的音频SSL模型在各种音频分类基准中实现了最先进的结果，甚至优于使用更多训练数据和模型参数的先前模型。具体来说，我们在AudioSet-2 M上为纯音频模型设置了一个新的最先进的mAP 50.6%，而不使用任何外部数据，在ESC-50上设置了98.1%的准确率。代码和预训练模型可在https://aka.ms/beats上获得。
2022-12-18 cs.AI cs.CL cs.LG
Improving Device Directedness Classification of Utterances with Semantic Lexical Features
Amazon.com, Inc.（亚马逊公司）；Stony Brook University（石溪大学）
用户与Alexa、Google Home和Siri等个人助理的交互通常由唤醒词或唤醒词发起。一些个人助理具有“后续”模式，允许用户在不需要唤醒词的情况下进行额外的交互。为了使系统只在适当的时候做出响应，并忽略不针对它的语音，必须将话语分类为设备定向或非设备定向。最先进的系统在很大程度上使用声学特征来完成这项任务，而其他系统则只使用词汇特征或添加了基于LM的词汇特征。我们提出了一个方向性分类器，结合语义词汇功能与轻量级的声学功能，并表明它是有效的分类方向性。混合域的词汇和声学特征模型能够实现14%的相对减少的EER比一个国家的最先进的声学基线模型。最后，我们成功地将迁移学习和半监督学习应用于模型，以进一步提高准确性。
2020-09-29 cs.CL cs.LG cs.SD
WavCube: Unifying Speech Representation for Understanding and Generation via Semantic-Acoustic Joint Modeling
Shanghai Jiao Tong University（上海交通大学）；Shanghai Innovation Institute（上海创新研究院）；Tencent（腾讯）；Independent Researcher（独立研究员）；Peking University（北京大学）；Tianjin University（天津大学）；Zhejiang University（浙江大学）
WavCube通过语义-声音联合建模统一语音表示，解决语音理解和生成的表示兼容问题，实现压缩后的高性能语音任务表现。
2026-11-13 cs.AI cs.CL eess.AS
Flow-SLM: Joint Learning of Linguistic and Acoustic Information for Spoken Language Modeling
Toyota Technological Institute at Chicago（芝加哥技术学院）；Stony Brook University（石溪大学）
针对无文本口语语言模型缺乏声学上下文与细节控制的问题，提出Flow-SLM，通过流匹配目标联合建模语义token与连续声学表示，在语言性能相当的同时提升了生成语音的声学细节。
2025-10-21 cs.CL
UniAudio-Token: Empowering Semantic Speech Tokenizers with General Audio Perception
State Key Laboratory of Multimedia Information Processing, School of Computer Science, Peking University（信息处理国家重点实验室，计算机学院，北京大学）；Basic Model Technology Center, WeChat AI, Tencent Inc.（基础模型技术中心，微信AI，腾讯公司）
提出UniAudio-Token框架，通过语义-声学基元（SAP）和语义-声学均衡（SAE）机制，在不牺牲语音能力的前提下为语义分词器注入通用音频感知，实现统一音频接口。
2026-05-29 cs.CL cs.SD
HybridCodec: Fast Dual-Stream, Semantically Enhanced Neural Audio Codec
Indian Institute of Technology, Madras（印度理工学院马德拉斯分校）
提出HybridCodec，一种结合语义蒸馏与双流架构的统一神经音频编解码器，实现强解耦、跨语言鲁棒性及3倍速度提升。
2026-06-04 cs.AI cs.CL cs.SD
High-Fidelity Speech Synthesis with Minimal Supervision: All Using Diffusion Models
Tianjin University（天津大学）；Kuaishou Technology Co., Ltd（快手科技有限公司）
针对现有最小监督语音合成存在的语义表示冗余、波形失真、韵律平均等问题，提出全模块基于扩散模型的高保真合成方法，采用CTAP语义表示与连续回归任务，性能优于基线方法。
2023-12-18 cs.AI cs.CL cs.SD
Utilizing Neural Transducers for Two-Stage Text-to-Speech via Semantic Token Prediction
Samsung Research（三星研究院）
提出以 token transducer 为核心的两阶段 TTS 框架，先预测 wav2vec2.0 语义 token，再由 NAR 生成器合成语音，在零样本自适应任务中提升语音质量与说话人相似度。
2024-01-03 cs.CL cs.LG cs.SD
Hierarchical Self-Supervised Representation Learning for Depression Detection from Speech
College of Computing and Data Science（计算与数据科学学院）；Nanyang Technological University（南洋理工大学）；Center of AI in Medicine（医学人工智能中心）
本文提出HAREN-CTC模型，通过层级自适应表征学习和CTC目标，有效捕捉语音中抑郁症特征，提升抑郁症检测的准确性和泛化能力。
2026-01-21 cs.AI cs.CL cs.SD
Hierarchical Acoustic-Semantic Modeling: Modality Separation and Semantic Coherence for Full-Duplex SLMs
School of Computer Science and Technology, Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）计算机科学与技术学院）；Center for Language, Intelligence and Machines, Shenzhen Loop Area Institute, Shenzhen（深圳环智中语言、智能与机器中心）；School of Artificial Intelligence, The Chinese University of Hong Kong, Shenzhen（香港中文大学（深圳）人工智能学院）
研究全双工口语语言模型受模态干扰问题，提出Lychee-FD框架及分层参数分离策略，通过实验验证该方法能有效提升模型性能，在语音智能和交互流畅性上取得显著进步，且不影响推理效率。
2026-10-30 cs.CL
Lexicon Learning for Few-Shot Neural Sequence Modeling
Massachusetts Institute of Technology（麻省理工学院）
序列到序列转换是语言处理应用中的核心问题，如语义解析、机器翻译和指令遵循。为这些问题提供主要解决方案的神经网络模型是脆弱的，特别是在低资源环境中：它们无法从小数据集正确或系统地泛化。过去的研究表明，许多系统概括的失败源于神经模型无法将词汇现象与句法现象分开。为了解决这个问题，我们用词汇翻译机制来增强神经解码器，该机制概括了现有的复制机制，以纳入学习的，去语境化的，令牌级的翻译规则。我们描述了如何使用各种词典学习算法来初始化这种机制，并表明它提高了从认知科学，形式语义学和机器翻译中提取的序列建模任务的系统概括。
2021-06-07 cs.CL cs.LG
