MauBERT: Universal Phonetic Inductive Biases for Few-Shot Acoustic Units Discovery
ENS, PSL Research University, EHESS, CNRS, Paris, France（巴黎高等师范学院，PSL研究大学，法国社会科学高等研究院，法国国家科学研究中心，法国巴黎）；Univ. Grenoble Alpes, CNRS, Grenoble INP, GIPSA-lab, Grenoble, France（格勒诺布尔-阿尔卑斯大学，法国国家科学研究中心，格勒诺布尔国立理工学院，GIPSA-lab，法国格勒诺布尔）；Meta AI Research, France（Meta AI研究，法国）
MauBERT通过多语言数据学习语音到发音特征的映射，实现跨语言语音表示学习，提升模型在少样本下的语音单元发现能力。
2026-08-26 cs.CL eess.AS
XLEnt: Mining a Large Cross-lingual Entity Dataset with Lexical-Semantic-Phonetic Word Alignment
Twitter Cortex；Facebook AI；Johns Hopkins University（约翰斯·霍普金斯大学）
跨语言命名实体词典是多语言NLP任务（如机器翻译和跨语言维基化）的重要资源。虽然知识库包含大量高资源语言（如英语和法语）的实体，但低资源语言的相应实体往往缺失。为了解决这个问题，我们提出了词汇-语义-语音对齐（LSP-Align），一种从挖掘的Web数据中自动挖掘跨语言实体词汇的技术。我们证明了LSP-Align在提取跨语言实体对方面优于基线，并从与英语对齐的120种不同语言中挖掘了1.64亿个实体对。我们将这些跨语言实体对与大规模多语言标记命名实体语料库一起发布，作为NLP社区的资源。
2021-09-10 cs.CL
Evaluating Speech Articulation Synthesis with Articulatory Phoneme Recognition
Université de Lorraine, CNRS, Inria, LORIA（洛林大学、国家科学研究中心、法国国家信息与自动化研究所、LORIA）
本文通过发声学音素识别作为代理来评估语音发声合成的质量，提出利用发声学特征进行音素识别以更准确捕捉发音细节，从而改进生成模型的评估方法。
2026-05-20 cs.CL cs.SD
Coupling Phonology and Phonetics in a Constraint-Based Gestural Model
提出了一种将基于约束的音位学组件与发音语音合成器耦合的实现方法。发音手势确保了这两个组成部分之间的紧密联系，因为它们包括物理语音和语音方面。例如，音节化和语音过程（如德语的最后清音）的语音建模是在约束逻辑编程语言CUF中表达的。通过算术约束扩展CUF允许同时描述音韵和语音。因此，诸如HPSG的语法的陈述性词汇主义理论可以被丰富到详细的语音实现的水平。初步声学演示表明，我们的方法是在原则上能够合成完整的话语在语言动机的方式。
1994-12-23 cmp-lg cs.CL
Acoustic feature learning using cross-domain articulatory measurements
TTIC（丰田工业大学芝加哥分校）
先前的工作已经表明，可以通过从成对的声学发音数据中学习声学特征来改进语音识别，例如通过使用典型相关分析（CCA）或其深度扩展。这种先前工作的一个限制是，学习的特征模型难以移植到新的数据集或域，并且发音数据对于大多数语音语料库不可用。在这项工作中，我们研究了声学特征学习的问题，在这种情况下，我们可以访问一个外部的，域不匹配的配对语音和发音测量数据集，无论有没有标签。我们开发了在这些环境中进行声学特征学习的方法，基于深度变分CCA和使用源和目标域数据和标签的扩展。使用这种方法，我们提高了TIMIT和华尔街日报的语音识别精度，并分析了一些设计选择。
2018-03-20 cs.CL
PWESuite: Phonetic Word Embeddings and Tasks They Facilitate
ETH Zurich（苏黎世联邦理工学院）；Carnegie Mellon University（卡内基梅隆大学）；Brigham Young University（杨百翰大学）
针对现有词嵌入忽略语音信息及评估不一致的问题，开发了三种基于发音特征的语音词嵌入方法，并构建PWESuite任务套件以全面评估其内在属性和外在任务性能，促进可复现性。
2024-03-26 cs.CL
Latent semantics of action verbs reflect phonetic parameters of intensity and emotional content
Technical University of Denmark（丹麦技术大学）
语言唤起我们的思想，反映了词汇共现的统计模式，反过来又描述了我们如何感知世界。无论是计算名词和动词在谷歌搜索查询中组合的频率，还是从由维基百科的线条和莎士比亚的情节组成的术语文档矩阵中提取特征向量，所产生的潜在语义不仅捕获了形成概念的关联链接，而且还捕获了嵌入语言表面结构中的空间维度。由于已经发现物体的形状和运动与幼儿的语音对比有关，本研究探讨了发音和声学参数是否同样可以区分动作动词的潜在语义。选择3 × 20个已知激活大脑前运动区的情感、面部和手部相关动词，使用潜在语义分析LSA计算它们的相互余弦相似性，并基于两个不同的大规模文本语料库HAWIK和TASA比较所得邻接矩阵。应用层次聚类来识别两个文本语料库中的共同结构，动词主要分为嘴和手的动作与情感表达相结合。将动词转化为它们的组成音素，簇状的小尺寸和大尺寸的运动出现由前元音与后元音相对应的唤醒水平的增加来区分。而集群的情绪动词的特点似乎是序列的关闭与打开下巴产生的音素，产生向上或向下移动的共振峰频率，可能会影响他们的感知价。这表明，动作动词的潜在语义反映了强度和情感极性的参数，这些参数与发音对比和音素的声学特征相关
2014-11-29 cs.CL
Phonetic and semantic analyses of spoken corpora of Beijing and Taiwan Mandarin indicate that the neutral tone is a lexical tone
Eberhard Karls Universität Tübingen（图宾根大学）
通过分析北京和台湾普通话自然对话语料，发现轻声有自身调目标，且双音节词中轻声的基频轮廓受首音节声调影响，词特定音高特征可从上下文嵌入预测，提出轻声实为词汇声调。
2026-06-26 cs.CL
A Technique for Isolating Lexically-Independent Phonetic Dependencies in Generative CNNs
Brown University（布朗大学）
本研究针对深度神经网络能否表征词汇学习得到的音位结构泛化的问题，探究生成式CNN的词汇不变泛化能力，提出窄全连接层瓶颈下绕过FC输入随机特征图的探测技术，证明卷积层可泛化超出词汇约束的语音依赖。
2025-06-10 cs.CL cs.SD eess.AS
A phonetic model of non-native spoken word processing
School of Informatics（信息学院）；University of Edinburgh（爱丁堡大学）；E&E Engineering（电气与电子工程学院）；Stellenbosch University（斯泰伦博斯大学）；University of Maryland（马里兰大学）
非母语者在口语字处理方面表现出困难。许多研究将这些困难归因于词汇记忆中单词的不精确语音编码。我们测试了一个替代假设：这些困难中的一些可能来自非母语人士的语音感知。我们训练一个语音学习的计算模型，这个模型不涉及语音学，只涉及一种或两种语言。我们首先表明，该模型表现出可预测的行为，在语音水平和单词水平的歧视任务。然后，我们测试的模型上的口语字处理任务，表明语音可能是没有必要解释的一些字处理效果在非母语人士。我们对模型的词汇表示空间进行了额外的分析，结果表明两种训练语言在该空间中并没有完全分离，这与双语人类说话者的语言类似。
2021-03-11 cs.CL
On the Relationship between Accent Strength and Articulatory Features
Signal Analysis and Interpretation Laboratory（信号分析与解读实验室）；Department of Linguistics（语言学系）
本文通过自监督发音逆推技术估计发音特征，以音素级差异量化口音强度，发现舌头定位模式可区分美式和英式英语，尤其在儿化音和低后元音上差异显著。
2025-07-03 cs.AI cs.CL cs.SD
Attention model for articulatory features detection
Sciforce
发音特征以及语音标音在语音相关任务中起着重要作用：计算机辅助发音训练，文本到语音转换（TTS），研究语音产生机制，低资源语言的语音识别。近年来，语音相关任务的端到端方法得到了很大的吸引力。我们将Listen，Attend and Spell~（LAS）~ \cite{Chan-LAS2016}结构应用于小型训练集上的音素识别，如TIMIT~ \cite{TIMIT-1992}。此外，我们引入了一种新的解码技术，允许训练的方式和地方的发音检测器端到端使用注意力模型。我们还探讨了多任务学习环境中的联合音素识别和发音特征检测。
2019-07-02 cs.CL cs.LG cs.SD
Speech Codec Probing from Semantic and Phonetic Perspectives
University of Southern California（南加州大学）；Dolby Laboratories（杜比实验室）
本文通过三项任务系统分析多种语音分词器编码的信息，发现当前分词器主要捕获语音结构而非词汇语义，为下一代语音分词方法设计提供指导。
2026-06-25 cs.CL eess.AS
Simulating Articulatory Trajectories with Phonological Feature Interpolation
ENS（法国高等师范学院）；PSL Research University（PSL研究大学）；EHESS（法国高等社会科学研究学院）；CNRS（法国国家科学研究中心）；Univ. Grenoble Alpes（格勒诺布尔大学）；Grenoble INP（格勒诺布尔理工学院）；Aix-Marseille Univ.（艾克斯-马赛大学）；Meta AI
本文研究从伪运动指令到发音轨迹的前向映射，比较基于生成音系学和发音音系学的特征集及不同插值方法，在EMA数据上取得0.67相关系数，为言语学习的感知-产生回路建模提供基础。
2024-08-08 cs.CL eess.AS
Phonetic and Lexical Discovery of a Canine Language using HuBERT
Shanghai Jiao Tong University（上海交通大学）；University of Texas at Arlington（得克萨斯大学阿灵顿分校）
本文利用HuBERT自监督方法分析犬类发声，发现具有声学一致性的基础词汇，并开发了可标注犬类音频中音素n-gram的网页系统。
2024-02-25 cs.CL cs.LG cs.SD
Phonetically rich corpus construction for a low-resourced language
Alana AI Research（Alana AI研究院）
本文提出一种为巴西葡萄牙语构建语音丰富语料库的新方法，包括文本收集、基于三音子分布的句子选择及新音位分类，显著提高了不同三音子的覆盖率。
2024-02-08 cs.AI cs.CL
Structured Phonological Representations for Audio-Articulatory rtMRI Speech Classification
Friedrich-Alexander-Universität Erlangen-Nürnberg (FAU)（埃尔朗根-纽伦堡弗里德里希-亚历山大大学）；Universidad de Antioquia（安蒂奥基亚大学）
本研究提出将音频模型PhonoQ的结构化音系表征用于音频-发音rtMRI语音分类，可提升音系目标宏F1值与细粒度39音素分类性能，验证了音系信息的迁移价值。
2026-08-11 cs.CL cs.SD eess.AS
PunGraph: Retrieval-Enhanced Phonetic-Semantic Graph Reasoning for Pun Understanding
University of Auckland（奥克兰大学）；Shanxi University（山西大学）；Queen Mary University of London（伦敦玛丽女王大学）
PunGraph通过构建音义知识图谱并检索候选词来约束LLM推理，提升双关语理解性能，并在新数据集WebPun上验证了其有效性。
2026-09-16 cs.CL
Self-Supervised Lexical Representation Learning for Fast, Large-Scale Phylogenetic Inference
本文提出一种自监督对比学习框架，从原始IPA词表学习词汇表示，无需同源性注释，可高效推断3399种语言的系统发育树，性能与基线相当，还能捕获概念稳定性，为大规模系统发育推理提供自动高效方案。
2026-09-07 cs.CL
Pun Intended: Multi-Agent Translation of Wordplay with Contrastive Learning and Phonetic-Semantic Embeddings
Georgia Institute of Technology（佐治亚理工学院）
本研究结合大型语言模型与语言约束，提出三种双关语翻译方法，其多智能体系统在CLEF JOKER 2025竞赛中获专家评估第一，可改善文字游戏翻译效果。
2026-08-06 cs.CL
Tracking Articulatory Dynamics in Speech with a Fixed-Weight BiLSTM-CNN Architecture
University of Kerala（克里莎尔大学）；Digital University Kerala（卡里什拉数字大学）
本文提出一种固定权重的BiLSTM-CNN架构，用于从语音声学预测舌头和嘴唇的发音特征，在多种模式下优于自适应权重初始化，推动了发音特征预测模型的稳健发展。
2025-04-25 cs.CL cs.SD eess.AS
Analyzing Phonetic and Graphemic Representations in End-to-End Automatic Speech Recognition
Qatar Computing Research Institute, HBKU（哈马德·本·哈利法大学卡塔尔计算研究所）
用于自动语音识别（ASR）的端到端神经网络系统是从声学特征到文本翻译的训练。与模块化ASR系统（包含用于声学建模、发音词典和语言建模的单独训练的组件）相比，端到端范例在概念上更简单，并且具有在最终任务上训练整个系统的潜在好处。然而，这样的神经网络模型更加不透明：不清楚如何解释网络不同部分的作用，以及它在训练过程中学习到什么信息。在本文中，我们分析了学习的内部表示在一个端到端的ASR模型。我们评估的代表性质量方面的几个分类任务，比较音素和字素，以及不同的发音功能。我们研究了两种语言（英语和阿拉伯语）和三个数据集，发现不同属性在深层神经网络的不同层中的表现方式具有显著的一致性。
2020-04-19 cs.CL cs.SD eess.AS
Almost-unsupervised Speech Recognition with Close-to-zero Resource Based on Phonetic Structures Learned from Very Small Unpaired Speech and Text Data
National Taiwan University（国立台湾大学）
对于世界上95%以上的低资源语言来说，为训练ASR系统生成大量带注释的语音数据仍然很困难。然而，我们注意到，人类婴儿开始学习语言的声音，少量的范例词没有听到大量的数据。我们在本文中开始在这个方向上的一些初步工作。音频Word2Vec用于获得携带从信号中提取的语音信息的口语单词的嵌入。一个自动编码器被用来生成嵌入的文本单词的发音特征的基础上的音素序列。这两套嵌入口语和文本的话描述了相似的语音结构之间的话在各自的潜在空间。从音频嵌入到文本嵌入的映射关系实际上给出了单词级ASR。这可以通过在嵌入空间中对齐少量的口语单词和相应的文本单词来学习。在最初的实验中，只有200个注释的口语单词和一个小时的语音数据没有注释，给出了27.5%的单词准确率，这是一个很低的起点。
2018-10-30 cs.CL cs.SD eess.AS
Bob's Confetti: Phonetic Memorization Attacks in Music and Video Generation
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；University of California San Diego（加州大学圣地亚哥分校）；Carnegie Mellon University（卡内基梅隆大学）
研究揭示了生成音乐和视频AI系统中语音记忆攻击的漏洞，通过同音替代词绕过版权过滤，展示语音结构对跨模态检索的关键作用。
2026-02-25 cs.AI cs.CL cs.SD
Allophant: Cross-lingual Phoneme Recognition with Articulatory Attributes
AImotion Bavaria, Technische Hochschule Ingolstadt（因戈尔施塔特应用技术大学巴伐利亚人工智能运动实验室）；Intel Labs（英特尔实验室）
本文提出多语言音素识别器 Allophant，利用发音属性多任务学习与 PHOIBLE 扩展资源，仅依赖音素清单即可跨语言迁移，并显著降低低资源与零样本场景的音素错误率。
2023-08-16 cs.CL cs.SD eess.AS
Graph-Based Phonetic Error Correction of Noisy ASR
Sony Research India（索尼印度研究院）
提出G-SPIN框架，结合图神经网络构建音近候选集，并用掩码语言模型和指令调优大语言模型进行上下文重排序，以纠正ASR中结构化的音近错误。
2026-06-25 cs.CL cs.SD
A Graph Diffusion Algorithm for Lexical Similarity Evaluation
Slovak University of Technology（斯洛伐克技术大学）；Faculty of Civil Engineering（土木工程学院）
本文提出一种基于加权有向图和狄利克雷边界条件图扩散方程的词汇相似度评估算法，利用音标转写和改进的Damerau-Levenshtein距离计算翻译间距离，并通过欧洲语言案例验证其在多语言关系分析中的有效性。
2025-04-09 cs.CL
Machine Translation by Projecting Text into the Same Phonetic-Orthographic Space Using a Common Encoding
Indian Institute of Technology (BHU)（印度理工学院（瓦拉纳西））；Silo AI
针对印度语间低资源机器翻译性能不佳的问题，提出利用基于拉丁字母的通用编码（WX notation）结合BPE，将相似语言投影至相同的正字-语音字符空间以利用其语言相似性，实验证明该方法显著提升了翻译质量。
2023-05-21 cs.CL
Pronunciation Modeling of Foreign Words for Mandarin ASR by Considering the Effect of Language Transfer
Institute for Infocomm Research（资讯通信研究院）
自动语音识别面临的挑战之一是外来词识别。语言迁移效应是指说话人对一个外语词的发音受到母语知识的影响。本文主要研究自动语音识别中语言迁移的语音效应。提出了一套词汇规则来将英语单词转换为汉语语音表示。通过这种方式，可以通过包括英语单词来扩充普通话词典。因此，普通话ASR系统变得能够识别英语单词，而无需重新训练或重新估计声学模型参数。使用该规则生成的词汇，在不影响纯汉语语音识别准确性的前提下，提高了汉英混合语音的ASR性能。建议的词汇规则是广义的，他们可以直接应用到看不见的英语单词。
2022-10-07 cs.CL eess.AS
Analyzing the relationships between pretraining language, phonetic, tonal, and speaker information in self-supervised speech models
Institute for Phonetics and Speech Processing（语音处理研究所）；School of Informatics（信息学院）
本研究突破自监督语音模型分析多聚焦英语的局限，通过探测分类器与几何分析考察多语言wav2vec2的信息表征，发现其表征结构基本独立于预训练语音材料。
2025-06-12 cs.CL eess.AS
A Clustering Framework for Lexical Normalization of Roman Urdu
Stevens Institute of Technology（史蒂文斯理工学院）；City University of New York（纽约城市大学）；Lahore University of Management Sciences（拉合尔管理科学大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Hamad Bin Khalifa University（哈马德·本·哈利法大学）；Information Technology University（信息技术大学）
针对罗马乌尔都语缺乏标准拼写导致的规范化难题，本文提出一个基于特征的聚类框架，集成语音算法UrduPhone、字符串匹配和相似度函数及聚类算法Lex-Var，以处理字符级变体并实现词汇规范化。
2020-03-31 cs.CL cs.LG
Echoes of Persuasion: The Effect of Euphony in Persuasive Communication
Trento RISE（特伦托RISE研究院）；FBK-Irst（布鲁诺·凯斯勒基金会-IRST研究所）
虽然各种词汇，句法，语义和文体特征的影响已经从计算的角度在说服性语言中得到了解决，语音的说服效果却很少受到关注。通过对谐音的概念进行建模，并分析四个数据集，包括不同领域（政治演讲，电影报价，口号和推文）的说服性和非说服性句子，我们探讨了声音对不同形式的说服力的影响。我们在数据集内和数据集之间进行了一系列分析和预测实验。我们的研究结果突出了语音手段对说服的积极作用。
2015-08-24 cs.CL cs.CY cs.SI
Encoding of lexical tone in self-supervised models of spoken language
Tilburg University（蒂尔堡大学）；University of Amsterdam（阿姆斯特丹大学）；University of Groningen（格罗宁根大学）
本文以普通话和越南语为案例分析自监督口语模型的词汇声调编码，发现即使训练于非声调语言，模型仍能显著编码声调，且感知表现类似母语与非母语听者，但发展轨迹不同。
2024-04-03 cs.CL eess.AS
Measuring cross-language intelligibility between Romance languages with computational tools
University of Bucharest（布加勒斯特大学）；HLT Research Center（人类语言技术研究中心）
本文提出了一种基于词汇相似性的计算方法，用于评估罗曼语系语言间的相互可懂性，并通过不同语料库和模型验证了语言间的可懂性差异。
2026-02-07 cs.CL
Transfer Learning from Audio-Visual Grounding to Speech Recognition
Massachusetts Institute of Technology（麻省理工学院）
迁移学习旨在通过重复使用从学习其他相关任务中获得的知识来减少在新任务中出色所需的数据量。本文提出了一种新的迁移学习方案，该方案从基础模型中提取鲁棒的语音特征，这些基础模型经过训练以判断一对图像和语音是否在语义上相关，而不使用任何文本记录。由于语音的语义在很大程度上取决于其词汇内容，接地模型学习保留语音信息，而忽略不相关的因素，如扬声器和通道。为了研究从不同层提取的特征的性质，我们分别使用它们作为输入来训练多个语音识别模型。实验结果表明，越靠近输入的层保留更多的语音信息，而下面的层表现出更大的不变性域转移。此外，虽然大多数以前的研究包括用于特征提取器训练的语音识别的训练数据，但我们的接地模型没有在任何这些数据上进行训练，这表明对新领域具有更普遍的适用性。
2019-07-09 cs.CL cs.LG cs.SD
Kanade: A Simple Disentangled Tokenizer for Spoken Language Modeling
The University of Tokyo（东京大学）
Kanade是一种单层解耦语音分词器，通过分离声学常量实现高质量语音建模，达到最先进的说话人解耦和词汇可用性。
2026-01-31 cs.CL cs.SD eess.AS
Back to the Future: The Role of Past and Future Context Predictability in Incremental Language Production
University of California, Irvine（加州大学尔湾分校）
研究探讨了过去和未来上下文可预测性对语言生成的影响，提出信息论度量方法，揭示了上下文可预测性在词汇选择中的作用，发现未来可预测性降低错误率，过去可预测性增加错误率。
2026-09-09 cs.CL
Generative Spoken Language Model based on continuous word-sized audio tokens
ENS（巴黎高等师范学院）；INRIA（法国国家信息与自动化研究所）；INSERM（法国国家健康与医学研究院）；UPEC（巴黎第十二大学）；PSL Research University（巴黎文理研究大学）；Meta AI；The Hebrew University of Jerusalem（希伯来大学）
本研究受文本词级语言模型启发，提出基于词级连续值音频嵌入的生成式口语语言模型，通过替换查找表、损失函数与采样方式实现，性能与离散单元模型相当，内存效率提升五倍且嵌入具备语音语义可解释性。
2023-10-08 cs.CL cs.LG
Multilingual context-based pronunciation learning for Text-to-Speech
Amazon Alexa（亚马逊Alexa）
本研究提出一个多语言统一TTS前端系统，通过单一模型处理G2P转换、同形异义词和多音词消歧等发音相关任务，实验表明其跨语言表现具竞争力，但相比单语方案存在权衡。
2023-07-31 cs.CL eess.AS
Computational Induction of Prosodic Structure
Bielefeld University（比勒费尔德大学）
本研究有两个目标与韵律的语法，理解为语音的节奏和旋律。首先，概述了可计算的语法和语音的韵律分析方法，使用假设演绎的方法，是基于学习解释学的直觉语言。其次，提出了一个建议，在物理信号中的感应接地，其中韵律结构推断使用语言无关的方法从低频谱的语音信号。概述包括标准生成和生成后模型的计算方面的讨论，并建议重新制定这些形成归纳的方法。还包括讨论的语言语音学方法来分析注释（对语音单元标签与时间戳）记录的口语。该提案介绍了节奏形式化理论（RFT）的归纳方法和相关的节奏形式化分析（RFA）方法，其目的是通过建立一个独立于语言的语音信号分析归纳程序来完成语言假设演绎循环中的空白。该方法的有效性进行了论证，并适用于朗读普通话的节奏模式，发现与英语的差异，这是有关的语言之间的词汇和语法的差异，以及个人的变化。总的结论是：（1）考虑到由于体裁和风格差异以及话语动态而产生的各种语言内部因素，规范的语言与语言之间的节奏的语音或语音比较（例如汉语和英语）过于简单化;（2）需要语言独立的物理信号中的节奏经验基础。
2019-12-15 cs.CL cs.SD eess.AS
How Does a Deep Neural Network Look at Lexical Stress in English Words?
Faculty of Electrical and Computer Engineering, Technion -- Israel Institute of Technology, Haifa, 3200003, Israel（电气与计算机工程学院，技术Ion -- 以色列理工学院，海法，3200003，以色列）；Department of Linguistics, Northwestern University, Evanston, Illinois 60208, USA（语言学系，西北大学，埃文斯顿，伊利诺伊州60208，美国）
本文研究深度神经网络如何通过频谱特性识别英语双音节词的重音，通过实验揭示模型对重音元音的共振峰特征的依赖。
2026-02-12 cs.CL cs.LG cs.SD
Linguistically Informed Evaluation of Multilingual ASR for African Languages
University of Rochester（罗切斯特大学）
本文通过引入FER和TER，评估了多语言语音识别模型在非洲语言中的表现，发现声调特征是主要挑战，FER能更准确揭示模型错误模式。
2026-02-04 cs.CL
Beyond Decodability: Reconstructing Language Model Representations with an Encoding Probe
Tilburg University（蒂尔堡大学）；Radboud University（拉德堡德大学）
本文提出编码探针方法，用于重建语言模型内部表示，解决传统解码探针无法比较不同特征贡献和特征相关性影响的问题。
2026-09-04 cs.CL eess.AS
Advancing the Database of Cross-Linguistic Colexifications with New Workflows and Data
Max Planck Institute for Evolutionary Anthropology（马克斯·普朗克进化人类学研究所）；University of Passau（帕绍大学）
本文介绍新版跨语言同词化数据库，通过改进数据处理、筛选与呈现工作流，提升了语系覆盖均衡性与数据质量，为语言类型学、历史语言学、心理语言学及计算语言学等领域的开放问题研究提供新资源。
2025-08-21 cs.CL cs.DB
A computational model of early language acquisition from audiovisual experiences of young infants
Tampere University（坦佩雷大学）；Aalto University（阿尔托大学）
早期的研究表明，人类婴儿可能会使用语音和非语言多模态输入之间的统计依赖关系来引导他们的语言学习，然后才知道如何从连续语音中分割单词。然而，这一假设在现实世界的婴儿经验方面的可行性仍然不清楚。本文提出了一个更现实的测试多模态自举假设的一步，通过描述一个神经网络模型，可以学习单词段和它们的含义，从参考模糊的声音输入。该模型进行了测试记录的真实婴儿护理人员的互动，使用话语水平标签的具体视觉对象，由婴儿出席时，护理人员发言的话语包含的对象的名称，并使用随机的视觉标签的话语在没有注意。结果表明，词汇知识的开端确实可能出现在个别模糊的学习场景。此外，网络的隐藏层显示出逐渐增加的对语音类别的选择性，作为层深度的函数，类似于以监督方式训练用于电话识别的模型。
2019-06-24 cs.CL cs.LG cs.SD
What do self-supervised speech models know about Dutch? Analyzing advantages of language-specific pre-training
Institute for Logic, Language and Computation（逻辑、语言和计算研究所）；Centre for Language Studies（语言研究学院）
研究测试了自监督Wav2Vec2模型对荷兰语语音和词汇信息的编码，发现仅在荷兰语上预训练相比英语或多语言数据能更好地改善其语言特征表征，且此优势与自动语音识别的下游性能一致。
2025-07-10 cs.AI cs.CL cs.SD
Automatic Speech Recognition in Sanskrit: A New Speech Corpus and Modelling Insights
IIT Bombay（孟买印度理工学院）；University of Cambridge（剑桥大学）；IIT Kharagpur（卡哈拉格普尔印度理工学院）
梵语的自动语音识别（ASR）是一个有趣的课题，因为梵语具有多种语言特性。梵语在词汇上是多产的，在词的边界上经历了音素的悦耳同化，在拼写惯例和发音上表现出变化。在这项工作中，我们提出了第一个大规模的研究自动语音识别（ASR）在梵语，强调单位选择的影响，在梵语ASR。在这项工作中，我们发布了一个78小时的梵语ASR数据集，它忠实地捕捉了该语言所表达的几个语言特征。我们调查的作用，不同的声学模型和语言模型单位在梵语的ASR系统。我们还提出了一个新的建模单元，灵感来自音节级单元选择，捕获字符序列从一个元音在单词中的下一个元音。我们还强调了选择梵文的字形表示的重要性，并显示这种选择对单词错误率（WER）的影响。最后，我们扩展了这些见解，从梵语ASR的建设ASR系统在其他两个印度语言，古吉拉特语和泰卢固语。对于这两种语言，我们的实验结果表明，在ASR中使用基于语音的字形表示的结果相比，使用本机脚本的ASR系统的性能提高。
2021-07-23 cs.CL cs.LG cs.SD
Most Language Models can be Poets too: An AI Writing Assistant and Constrained Text Generation Studio
Oracle Corporation（甲骨文公司）；University of Oregon（俄勒冈大学）
本文提出一种即插即用的过滤函数组合技术，通过在生成前修改语言模型词汇表实现受限文本生成，并发布AI写作助手CTGS及省略字母e的散文数据集，性能优于单独微调。
2023-06-28 cs.AI cs.CL cs.LG
