Towards Comprehensive Semantic Speech Embeddings for Chinese Dialects
Tencent AI Labs(腾讯AI实验室);Tencent(腾讯)
本文提出通过仅使用ASR数据训练语音编码器,实现中文方言与普通话的跨方言语义对齐,并在新基准测试中展示了语音到语音检索和ASR性能的突破。
2026-01-12 cs.CL
The Study of Perceptual Training of Chinese Mandarin Tones for Monolingual Speakers of English Using Adaptive Computer Based Training Software
McGill University(麦吉尔大学)
本文研究面向英语单语者的汉语普通话声调感知训练,提出并考察一种基于自适应计算机训练软件的新型语音声调训练技术。
2023-09-24 cs.CL cs.HC
The Impact of Familiarity on Naming Variation: A Study on Object Naming in Mandarin Chinese
Catalan Institution for Research and Advanced Studies - ICREA(加泰罗尼亚高等研究院(ICREA));Universitat Pompeu Fabra(庞培法布拉大学)
本研究通过构建普通话语言与视觉数据集,探究物体熟悉度对命名变异的影响,发现熟悉度既可能扩展词汇增加变异,也可能促进名称趋同减少变异。
2023-11-16 cs.CL
A Cascade Sequence-to-Sequence Model for Chinese Mandarin Lip Reading
Zhejiang University(浙江大学)
唇读的目的是从说话者的嘴部动作中解读文本。近年来,唇读方法在单词和句子两个层面上都取得了很大的进步。然而,与英语不同,汉语普通话是一种基于音调的语言,依赖于音高来区分词汇或语法意义,这大大增加了唇读任务的歧义。在本文中,我们提出了一个级联序列到序列模型(CSMCM)的汉语普通话唇读,明确模型的音调时,预测的句子。声调是基于视觉信息和句法结构建模的,并与视觉信息和句法结构一起用于预测句子。为了评估CSSMCM,收集并发布了一个名为CMLR(汉语普通话唇读)的数据集,该数据集由中国网络电视网站上的10万多个自然句子组成。在CMLR数据集上进行训练时,所提出的CSMCM超过了最先进的唇读框架的性能,这证实了汉语普通话唇读声调显式建模的有效性。
2019-11-28 cs.CL cs.CV
A Corpus of Adpositional Supersenses for Mandarin Chinese
Georgetown University(乔治城大学)
形容词是语义关系的常用标记,但它具有高度的歧义性,并且在不同的语言中有很大的差异。此外,还缺乏用于研究介词语义的跨语言变异或用于构建多语言消歧系统的注释语料库。本文介绍了一个语料库,其中所有的形容词都有语义注释的汉语普通话,据我们所知,这是第一个汉语语料库,以广泛的形容词语义注释。我们的方法采用了一个框架,该框架根据表面上独立于语言的语义标准定义了一组一般的超义,尽管其发展主要集中在英语介词上(Schneider et al.,2018年)。我们发现,尽管汉语和英语在句法上存在差异,但超义范畴非常适合汉语形容词。在《小王子》的中文译本中,我们获得了较高的注释者间一致性,并分析了双文本中介词标记的语义对应关系。
2020-03-18 cs.CL cs.DL
Polyphone Disambiguation in Mandarin Chinese with Semi-Supervised Learning
Xmov
针对汉语多音字消歧缺乏公开标注数据、多音字规则不规则的难题,提出可利用无标注文本的半监督学习框架,验证多种代理标注策略效果,达到最优性能并发布专用数据集。
2024-08-15 cs.AI cs.CL
Measuring Taiwanese Mandarin Language Understanding
National Taiwan University(国立台湾大学)
本文提出面向台湾 Mandarin 的 LLM 评估基准 TMLU,涵盖 37 个学科,并通过 24 个模型的实验揭示繁体中文模型性能落后于简体中文及专有多语言模型,旨在推动本地化模型发展。
2024-03-29 cs.CL
A comparable study of modeling units for end-to-end Mandarin speech recognition
Didi Chuxing(滴滴出行)
端到端的语音识别在普通话语音识别中得到了越来越广泛的应用,并取得了令人满意的效果。普通话是一种声调语言,不同于英语,需要对声学建模单元进行特殊处理。普通话的建模单位有音素、音节、汉字等。在这项工作中,我们探讨了两个主要的端到端模型:连接时态分类(CTC)模型和基于注意的编码器-解码器模型的汉语语音识别。我们比较了三种不同尺度的建模单元:上下文相关音素(CDP),音节与声调和汉字的性能。结果表明,在CTC模型中,所有类型的建模单元都能达到近似的字符出错率(CER),且汉字注意模型的性能优于音节注意模型。此外,我们发现汉字是一个合理的单位,为普通话语音识别。在迪迪呼叫中心任务中,汉字注意模型的CER为5.68%,CTC模型的CER为7.29%,在迪迪阅读任务中,CER分别为4.89%和5.79%。此外,注意力模型在两个数据集上都取得了比CTC模型更好的性能。
2018-05-14 cs.CL eess.AS
Polyphone Disambiguation for Mandarin Chinese Using Conditional Neural Network with Multi-level Embedding Features
Duke Kunshan University(昆山杜克大学);Taiyuan University of Technology(太原理工大学);Sun Yat-sen University(中山大学)
本文描述了一种用于汉语多音字消歧的条件神经网络结构。该系统是由一个双向循环神经网络组件作为一个句子编码器,积累上下文相关性,其次是一个预测网络,映射的多音字嵌入随着条件,以相应的发音。我们从预训练的词到向量查找表中获得词级条件。多音字消歧的目的之一是解决汉语文语转换系统前端处理中存在的同形异义词问题。我们的系统达到了94.69\%的准确率在公开可用的多音字数据集。为了进一步验证我们在条件特征上的选择,我们分别研究了多层次条件下的多音字消歧系统。实验结果表明,基于词级和词级条件嵌入的汉语多音字消歧方法都能取得较好的消歧效果。
2019-07-03 cs.CL eess.AS stat.ML
A Polyphone BERT for Polyphone Disambiguation in Mandarin Chinese
SenseTime Research(商汤科技研究院)
形音转换是汉语文语转换系统中不可或缺的一部分,其核心是解决多音字的排歧问题,即为一个多音字的多个候选字选择正确的读音。本文提出了一个汉语多音字BERT模型来预测汉语多音字的读音。首先,我们从354个多音字中通过语音生成了741个新的汉语单音字。然后用741个新的汉语单音字符扩展预训练的汉语BERT,并为新的标记添加相应的嵌入层,得到汉语多音字BERT。这样,我们就可以将多音字消歧任务转化为汉语多音字BERT的预训练任务。实验结果证明了该模型的有效性,多音字BERT模型与基于BERT的分类器模型相比,平均准确率提高了2%(从92.1%提高到94.1%),是目前多音字消歧的最佳方法。
2022-07-01 cs.CL cs.LG eess.AS
Evaluation of Google Translate for Mandarin Chinese translation using sentiment and semantic analysis
School of Mathematics and Statistics, UNSW Sydney(新南威尔士大学悉尼分校数学与统计学院);Pingala Institute(平加拉研究所);Centre for Artificial Intelligence and Innovation(人工智能与创新中心)
本研究以《阿Q正传》为语料,通过情感与语义分析自动评估Google Translate的中译英质量,发现其在语义、情感传达精准度上不及人工翻译,且存在传统典故等特定表达误译问题。
2024-09-16 cs.AI cs.CL
Word-Free Spoken Language Understanding for Mandarin-Chinese
Carnegie Mellon University(卡内基梅隆大学)
语音对话系统,如Siri和Alexa,为人们的日常生活提供了极大的便利。然而,当前口语语言理解(SLU)流水线很大程度上依赖于自动语音识别(ASR)模块,其需要大量语言特定的训练数据。在本文中,我们提出了一个基于变压器的SLU系统,直接在手机上工作。这种基于声学的SLU系统仅由两个模块组成,并且不需要ASR模块的存在。第一块是通用的电话识别系统,第二块是用于电话的基于transformer的语言模型。我们验证了该系统的有效性在普通话的意图分类数据集。
2021-07-01 cs.CL cs.SD eess.AS
Pitch-Aware RNN-T for Mandarin Chinese Mispronunciation Detection and Diagnosis
School of Computing, National University of Singapore(新加坡国立大学计算机学院)
本文提出一种音高感知的无状态 RNN-T 模型用于汉语普通话发音错误检测与诊断,通过音高融合模块结合 HuBERT 特征,仅用母语者数据训练即在非母语场景下显著优于基线。
2024-06-07 cs.CL cs.SD eess.AS
CLiMP: A Benchmark for Chinese Language Model Evaluation
University of Colorado Boulder(科罗拉多大学博尔德分校);New York University(纽约大学)
对语言模型的语言学分析有助于理解和改进这些模型。在这里,我们介绍了语料库的中文语言最小对(CLiMP),它可以用来调查什么知识的中国LM收购。CLiMP由1,000个最小对(MP)组成,用于16个普通话句法对比,涵盖9个主要的普通话语言现象。MP是半自动生成的,人类与CLiMP中标签的一致性为95.8%。我们在CLiMP上评估了11种不同的LM,包括n-gram、LSTM和中文BERT。我们发现,量名一致和动词补语选择是模型通常表现最好的现象。然而,模型在ba构造、绑定和填充缺口依赖性方面做得最多。总体而言,中国BERT达到了81.8%的平均准确率,而LSTM和5-gram的性能仅略高于机会水平。
2021-01-26 cs.CL
A Novel Chinese Dialect TTS Frontend with Non-Autoregressive Neural Machine Translation
Bytedance AI-Lab(字节跳动人工智能实验室)
汉语方言是汉语的不同变体,与普通话同属一个语系。虽然它们都使用汉字,但发音、语法和成语可能差异很大,即使是当地人也很难输入正确的方言书面形式。此外,使用普通话文本作为文本到语音输入将生成自然度较差的语音。本文提出了一种新的带有翻译模块的汉语方言TTS前端,将普通话文本转换为方言表达,以提高合成语音的可懂度和自然度。提出了一种具有多种技巧的非自回归神经机器翻译模型。这是第一个已知的工作,将翻译与TTS前端。在粤语和普通话输入下的实验结果表明,该模型的BLEU提高了2.56,TTS提高了0.27 MOS。
2022-12-12 cs.CL cs.SD eess.AS
Back-Translation-Style Data Augmentation for Mandarin Chinese Polyphone Disambiguation
Kwai(快手)
汉语形音转换(G2 P)在汉语文语转换(TTS)系统中占有重要地位,其中最大的挑战之一就是多音字消歧。大多数以前的多音字消歧模型都是在手动标注的数据集上训练的,并且用于多音字消歧的公开数据集很少。本文提出了一种简单的回译式数据增强方法用于汉语多音字消歧。受机器翻译领域提出的回译技术的启发,本文分别建立了一个用于多音字发音预测的字-音(G2 P)模型和一个用于语音文本预测的音-字(P2 G)模型。同时,提出了基于窗口的匹配策略和多模型评分策略来判断伪标签的正确性。针对训练集分布不均衡或数据稀缺的情况,设计了一种数据均衡策略,以提高对一些典型多音字的识别准确率。实验结果表明了所提出的反平移式数据增强方法的有效性。
2022-11-17 cs.AI cs.CL cs.SD
On the Effectiveness of Pinyin-Character Dual-Decoding for End-to-End Mandarin Chinese ASR
Xi’an Jiaotong University(西安交通大学);Alibaba Group(阿里巴巴集团);Nanyang Technological University(南洋理工大学)
端到端自动语音识别(ASR)已经取得了可喜的成果。然而,大多数现有的端到端ASR方法忽略了特定语言特征的使用。在汉语普通话ASR任务中,汉语拼音与汉字之间存在相互促进的关系,汉字可以通过汉语拼音来罗马化。基于上述认识,本文首先研究了单输入双输出(SIDO)多任务框架下的端到端编解码器模型,然后根据拼音与汉字一一对应的特点,提出了一种基于模糊拼音采样的异步解码方法。此外,我们提出了一个两阶段的训练策略,使训练更稳定,收敛速度更快。在AISHELL-1数据集上的测试结果表明,与强基线模型相比,所提出的增强型无语言模型双解码器模型有很大的改进。
2022-03-30 cs.CL cs.SD eess.AS
Probing Social Identity Bias in Chinese LLMs with Gendered Pronouns and Social Groups
Department of Electronics, Information and Bioengineering, Politecnico di Milano(电子、信息与生物工程系,米兰理工大学);University of Science and Technology of China(中国科学技术大学)
通过设计考虑中文语言特性的提示,评估十种代表性中文大语言模型在240个社会群体上的内群体与外群体框架下的情感和毒性偏见,发现系统性不对称且指令调优减少情感偏见但毒性差距更持久,女性标记代词与更高毒性相关。
2026-05-26 cs.CL
Syllable-Based Sequence-to-Sequence Speech Recognition with the Transformer in Mandarin Chinese
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
基于序列到序列注意力的模型最近在自动语音识别(ASR)任务上显示出非常有前途的结果,其将声学、发音和语言模型集成到单个神经网络中。在这些模型中,Transformer是一种新的基于序列到序列注意力的模型,完全依赖于自我注意力,而不使用RNN或卷积,在神经机器翻译(NMT)任务上实现了新的单模型最先进的BLEU。由于Transformer的出色性能,我们将其扩展到语音,并将其作为基于序列到序列注意力模型的基本架构,用于汉语普通话ASR任务。在此基础上,我们利用Transformer对基于音节的模型和基于上下文无关音素的模型进行了比较。此外,提出了一种基于Transformer的贪婪级联解码器,用于将CI音素序列和音节序列映射为单词序列。在HKUST数据集上的实验表明,基于音节的Transformer模型比基于CI音素的模型性能更好,并且实现了\emph{$28.77\%$}的字符错误率(CER),这与基于CTC-注意的联合编码器-解码器网络的最新CER $28.0\%$具有竞争力。
2018-06-04 cs.CL cs.SD eess.AS
Eye-tracking based classification of Mandarin Chinese readers with and without dyslexia using neural sequence models
The Education University of Hong Kong(香港教育大学);University of Macau(澳门大学);University of Zurich(苏黎世大学);University of Potsdam(波茨坦大学)
眼动被认为反映了阅读中的认知过程,心理阅读研究表明,有阅读障碍的读者和没有阅读障碍的读者之间的眼睛注视模式是不同的。近年来,研究者尝试使用支持向量机(SVM)根据阅读障碍者的眼球运动对阅读障碍进行分类。然而,这些方法(i)是基于高度聚合的特征平均在所有的单词阅读的参与者,从而忽视了眼睛运动的顺序性质,和(ii)不考虑语言刺激和它的相互作用与读者的眼睛运动。在目前的工作中,我们提出了两个简单的序列模型,在整个刺激过程中的眼球运动,而不需要聚合功能的句子。此外,我们以两种方式将语言刺激纳入模型-上下文词嵌入和手动提取语言特征。该模型进行了评估,普通话中文数据集包含眼动儿童和无阅读障碍。我们的研究结果表明,(i)即使是像中文这样的语标文字,序列模型也能够对眼睛注视序列上的阅读障碍进行分类,达到最先进的性能,(ii)将语言刺激纳入分类并不能帮助提高分类性能。
2022-12-02 cs.CL cs.LG
Language Models at the Syntax-Semantics Interface: A Case Study of the Long-Distance Binding of Chinese Reflexive ziji
Georgetown University(乔治城大学)
本文探讨语言模型能否解决受句法语义制约的汉语反身代词ziji的约束问题,通过构建合成与自然句子数据集评估21个模型,发现现有模型无法稳定复现人类判断,严重依赖序列线索且忽略细微约束。
2025-04-02 cs.CL
Automated evaluation of LLMs for effective machine translation of Mandarin Chinese to English
本文通过自动化框架评估LLMs在中文到英文翻译中的表现,发现其在新闻翻译中表现良好,但在文学文本中存在性能差异,且文化细节和修辞表达仍需改进。
2026-02-15 cs.AI cs.CL
Multi-Level Modeling Units for End-to-End Mandarin Speech Recognition
NetEase Yidun AI Lab(网易易盾人工智能实验室)
建模单元的选择对于自动语音识别(ASR)任务至关重要。在普通话场景中,汉字代表意义,但与发音没有直接关系。因此,只考虑汉字的书写作为建模单元是不够的,以捕捉语音特征。本文提出了一种新的基于多级建模单元的汉语语音识别方法,该方法集成了汉语多层次信息。具体地,编码器块将音节视为建模单元,而解码器块处理字符级建模单元。为了促进从音节特征到字符特征的增量转换,我们设计了一个辅助任务,该任务将交叉熵(CE)损失应用于中间解码器层。在推理过程中,输入的特征序列由编码器模块转换为音节序列,然后由解码器模块转换为汉字。在广泛使用的AISHELL-1语料库上的实验表明,该方法取得了令人满意的结果,CER分别为4.1%/4.6%和4.6%/5.2%,使用Conformer和Transformer骨干。
2022-10-18 cs.CL cs.SD eess.AS
A Comparison of Modeling Units in Sequence-to-Sequence Speech Recognition with the Transformer on Mandarin Chinese
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学)
建模单元的选择对于自动语音识别(ASR)任务至关重要。传统的ASR系统通常选择上下文相关的状态(CD-状态)或上下文相关的音素(CD-音素)作为其建模单元。然而,它受到了基于序列到序列注意力模型的挑战,该模型将声学,发音和语言模型集成到单个神经网络中。在英语ASR任务中,先前的尝试已经表明,通过基于序列到序列注意力的模型,字素的建模单元可以优于音素的建模单元。在本文中,我们关注的是使用基于序列到序列注意力的模型与Transformer的汉语普通话ASR任务的建模单位。五个建模单位,包括上下文无关的音素(CI音素),音节,单词,子词和字符。在HKUST数据集上的实验表明,无词典建模单元在字符错误率(CER)方面优于词典相关建模单元。在五个建模单元中,基于字符的模型表现最好,并且在HKUST数据集上建立了一个新的最先进的$26.64\%$ CER,而无需手工设计的词典和额外的语言模型集成,这对应于$4.8\%$相对于现有的最佳CER的$28.0\%$的相对改进。
2018-05-18 cs.CL cs.SD eess.AS
Decoupling recognition and transcription in Mandarin ASR
Baidu Research USA(百度美国研究院);Johns Hopkins University(约翰斯·霍普金斯大学)
最近关于自动语音识别(ASR)的许多文献都采用端到端的方法。不像英语的书写系统与声音密切相关,汉字(汉字)代表的是意义,而不是声音。我们建议将音频->汉字分解为两个子任务:(1)音频->拼音和(2)拼音->汉字,其中拼音是标准汉语的音标系统。以这种方式分解音频->汉字任务在Aishell-1语料库上实现了3.9%的CER(字符出错率),这是迄今为止在该数据集上报告的最好结果。
2021-08-02 cs.CL cs.SD eess.AS
A Systematic Analysis of the Predictive Power of LM Surprisal in Reading Chinese
Shanghai Jiao Tong University(上海交通大学);Nanyang Technological University(南洋理工大学);Hong Kong Polytechnic University(香港理工大学)
本研究系统分析语言模型惊异度对中文阅读时间的预测能力,提出SMS对齐方案,发现预测效果因语料库而异,并揭示逆缩放现象及n-gram接近性解释。
2026-11-04 cs.AI cs.CL
Segment-Level Mandarin Chinese Speech-Based Cognitive Impairment Detection via an Autoencoder with Contrastive Learning
School of Automation and Intelligent Sensing, Shanghai Jiao Tong University(上海交通大学自动化与智能感知学院);Key Laboratory of System Control and Information Processing, Ministry of Education of China(教育部系统控制与信息处理重点实验室);Shanghai Key Laboratory of Perception and Control in Industrial Network Systems(上海市工业网络系统感知与控制重点实验室);Department of Computer Science and Engineering, University of Bologna(博洛尼亚大学计算机科学与工程系);Department of Mathematical, Physical and Computer Sciences, University of Parma(帕尔马大学数学、物理与计算机科学系)
提出段级表示学习框架,结合自编码器和对比学习,在四个普通话数据集上实现稳定的二分类和三分类认知障碍检测,尤其改善了临床困难的三分类性能。
2026-06-23 cs.CL cs.SD
Enhancing Taiwanese Hokkien Dual Translation by Exploring and Standardizing of Four Writing Systems
National Central University(中央大学);University of Toronto(多伦多大学);Ontario Tech University(安大略理工大学);Academia Sinica(中央研究院)
针对台湾闽南语这类低资源语言翻译研究不足的问题,本研究基于繁体中文优化的LLaMA 2-7B构建其与繁体中文、英语的双向翻译模型,通过书写系统标准化、有限单语语料优化及结合回译与GPT-4的评估方法提升翻译性能,填补相关资源与研究空白。
2024-05-14 cs.CL
Availability-Based Production Predicts Speakers' Real-time Choices of Mandarin Classifiers
Massachusetts Institute of Technology(麻省理工学院)
说话者经常面临如何将他们想要传达的信息组织成话语的选择。在这里,我们调查的影响,语境的可预测性的语言内容的编码表现为在一个分类语言的说话人选择。在英语中,数词直接修饰名词(例如,三台电脑)。在诸如汉语普通话之类的分类语言中,必须使用带有数字和名词的分类器(CL)(例如,三个CL.机械计算机,三个CL.通用计算机)。虽然不同的名词与不同的具体量词兼容,但有一个通用量词“个”(CL.general)可以与大多数名词一起使用。当即将出现的名词不太可预测时,使用更具体的分类器将减少名词的重复,从而潜在地促进理解(由Uniform Information Density,Levy & Jaeger,2007年预测),但是如果访问通用分类器总是可用,则从生产的角度来看,可以不使用该更具体的分类器(由基于可制造性的生产预测; Bock,1987; Ferreira & Dell,2000)。在这里,我们使用图片命名实验表明,基于可译性的生产预测说话人的实时的【形】选择的普通话量词。
2019-05-17 cs.CL
A New Approach to Accent Recognition and Conversion for Mandarin Chinese
Columbia University(哥伦比亚大学);Recognition Technologies, Inc.(识别技术公司)
提出并探讨了两种新的重音分类和转换方法。第一个主题是汉语口音分类/识别。第二个主题是使用编码器-解码器模型进行端到端汉语口音转换,其中第一个主题中的分类器用于口音转换器编码器-解码器模型的训练。使用不同的特征和模型进行口音识别的实验。这些特征包括MFCC和频谱图。分类器模型是TDNN和1D-CNN。在具有5类口音的MAGICDATA数据集上,在MFCC特征上训练的TDNN分类器实现了54%的测试准确度和0.54的测试F1得分,而在频谱图上训练的1D-CNN分类器实现了62%的测试准确度和0.62的测试F1得分。一个端到端的口音转换器模型的原型。转换器模型包括编码器和解码器。编码器模型将重音输入转换为重音中性形式。解码器模型将重音中性形式转换为带有由输入重音标签指定的重音的重音形式。转换器原型在输出音频中保留音调并放弃细节。编码器-解码器结构展示了成为有效口音转换器的潜力。还提出了未来改进的建议,以解决解码器输出中丢失细节的问题。
2020-08-07 cs.CL cs.LG cs.SD
Exploring Gender Bias in Alzheimer's Disease Detection: Insights from Mandarin and Greek Speech Perception
University of Science and Technology of China(科学技术大学);University of Edinburgh(爱丁堡大学);University of Minnesota(明尼苏达大学);Jiangsu Normal University(江苏师范大学)
本研究通过16名中文听众对中希语音的感知实验,揭示了阿尔茨海默病语音感知中的性别偏见,发现男性语音更易被误判为AD,强调开发检测模型时须解决性别偏见。
2025-07-16 cs.CL cs.HC cs.SD
Reduplicative constructions in Mandarin: Socio-emotional profiling through distributional semantics
Beihang University(北京航空航天大学);University of Tübingen(图宾根大学)
本研究利用分布语义学词嵌入分析汉语两种重叠构式,验证其能恢复语义语法属性,揭示语义语用分化,并证明嵌入可捕捉重叠的语义多样性与构式透明性。
2026-09-16 cs.CL
Information Asymmetry across Language Varieties: A Case Study on Cantonese-Mandarin and Bavarian-German QA
本文研究了本地语言变体在问答任务中的表现,发现LLM在本地维基百科信息缺失时表现不佳,通过上下文和翻译可提升性能,揭示本地维基百科作为区域和全球信息源的价值。
2026-03-16 cs.CL
Phonetic and semantic analyses of spoken corpora of Beijing and Taiwan Mandarin indicate that the neutral tone is a lexical tone
Eberhard Karls Universität Tübingen(图宾根大学)
通过分析北京和台湾普通话自然对话语料,发现轻声有自身调目标,且双音节词中轻声的基频轮廓受首音节声调影响,词特定音高特征可从上下文嵌入预测,提出轻声实为词汇声调。
2026-06-26 cs.CL
BlueMagpie-TTS: A Token-Efficient Tokenizer, Language Model, and TTS for Taiwanese-Accent Code-Switching Speech
National Taiwan University(台湾大学)
研究针对现成语音合成系统不适配台湾普通话的问题,提出从底层解决文本问题的方法,包括训练PangolinTokenizer分词器、Barbet语言模型,构建蓝鹊语音合成系统,显著降低了字符错误率和词错误率,获多数盲听投票青睐。
2026-07-08 cs.CL cs.SD
Perceptual compensation for tonal context in self-supervised speech models
Institute for Phonetics and Speech Processing, LMU Munich(慕尼黑大学语音与语言处理研究所)
通过伪复制普通话声调的感知补偿实验,比较纯自监督预训练模型和微调模型,发现纯预训练模型无补偿证据,而微调模型有部分补偿但未达到人类水平,表明监督目标可能对抽象某些音韵规律是必要的。
2026-06-17 cs.AI cs.CL eess.AS