Zero-Shot Cross-Lingual Recognition of Sign Language Handshapes
Universitat Pompeu Fabra(庞培法布拉大学)
本文提出首个零样本跨语言手形识别框架,利用音系特征分解从ASL迁移至LSC,在37手形基准上达到80%特征准确率,为低资源手语提供无标签迁移方案。
2026-11-04 cs.CL cs.CV
Deep Learning the EEG Manifold for Phonological Categorization from Active Thoughts
University of British Columbia(不列颠哥伦比亚大学)
语音相关的脑机接口(BCI)的主要目的是为有语言障碍的人找到一种替代的语音交流途径。作为从活跃思想中完全解码想象语音的一步,我们提出了一个BCI系统,用于利用基于深度学习的分层特征提取方案对语音类别进行独立于主体的分类。为了更好地捕捉高维脑电(EEG)数据的复杂表示,我们将EEG电极的联合变异性计算到通道互协方差矩阵中。然后,我们使用混合深度神经网络策略提取矩阵内编码的时空信息。我们的模型框架由卷积神经网络(CNN)、长短期网络(LSTM)和深度自动编码器组成。我们对各个网络进行分层训练,在最后的梯度提升分类步骤中输入它们的组合输出。我们最好的模型在五个不同的二进制分类任务中实现了77.9%的平均准确率,比以前的方法显著提高了22.5%。正如我们也显示视觉上,我们的工作表明,语音图像EEG具有显着的判别信息负责自然语音合成的预期发音运动。
2019-04-08 cs.CL cs.LG cs.SD
WLASL-LEX: a Dataset for Recognising Phonological Properties in American Sign Language
The University of Manchester(曼彻斯特大学)
本文构建了大规模美国手语音系属性数据集WLASL-LEX,并实证发现基于骨架特征的图神经网络能有效自动识别手语音系属性,且在未见手语上依然有效。
2022-03-11 cs.CL cs.CV cs.LG
Language Complexity and Speech Recognition Accuracy: Orthographic Complexity Hurts, Phonological Complexity Doesn't
University of Notre Dame(圣母大学)
该研究通过在25种语言、15种书写系统上微调Wav2Vec2-XLSR-53,考察语言复杂性对ASR的影响,发现正字法复杂性显著降低识别准确率,而音系复杂性无显著影响。
2024-06-13 cs.AI cs.CL
PhoniTale: Phonologically Grounded Mnemonic Generation for Typologically Distant Language Pairs
KAIST(韩国科学技术院);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Carnegie Mellon University(卡内基梅隆大学)
针对类型学差异较大语言的词汇习得难题,提出跨语言助记生成系统PhoniTale,通过基于IPA的语音适应和音节感知对齐检索L1关键词序列并利用LLMs生成言语线索,实验证明其优于现有自动化方法且媲美人工编写质量。
2025-10-13 cs.CL
Phonology Recognition in American Sign Language
The University of Manchester(曼彻斯特大学)
提出基于音系特性的手语处理方法,利用预训练深度模型提取3D坐标并训练统计与深度学习模型进行音系分类,在725个手势上建立新基线,F1分数显著超越基线。
2021-10-01 cs.AI cs.CL
LLMs Got Rhythm? Hybrid Phonological Filtering for Greek Poetry Rhyme Detection and Generation
University of Crete(克里特大学)
本文提出混合语音学算法与LLMs结合,解决希腊诗歌押韵检测与生成问题,通过验证循环提升性能至73.1%。
2026-01-23 cs.CL
Phonological distances for linguistic typology and the origin of Indo-European languages
Institute for Cross-Disciplinary Physics and Complex Systems IFISC (UIB-CSIC)(跨学科物理与复杂系统研究所 IFISC(UIB-CSIC))
本文利用信息论框架,通过构建第二阶马尔可夫链模型,量化67种现代语言的语音距离,揭示语言家族及接触导致的趋同现象,并发现与地理距离的显著相关性,支持印欧语系的草原假说。
2026-04-13 cond-mat.stat-mech cs.CL cs.IT
PhonologyBench: Evaluating Phonological Skills of Large Language Models
University of California, Los Angeles(加利福尼亚大学洛杉矶分校)
本文提出 PhonologyBench 基准,通过字素到音素转换、音节计数和押韵词生成三个任务评估大语言模型的音系学能力,揭示了其与人类的显著差距并建议按下游应用选择模型。
2024-04-05 cs.AI cs.CL cs.LG
Adapting Word Embeddings to New Languages with Morphological and Phonological Subword Representations
Carnegie Mellon University(卡内基梅隆大学)
自然语言处理(NLP)中的许多工作都是针对资源丰富的语言,这使得泛化到新的、资源较少的语言具有挑战性。我们提出了两种方法,以提高低资源的语言通过适应连续的单词表示使用语言动机的子词单位:音素,语素和字素。我们的方法既不需要平行语料库,也不需要双语词典,并提供了一个显着的增益,性能比以前的方法依赖于这些资源。我们证明了我们的方法的有效性命名实体识别的四种语言,即维吾尔语,土耳其语,孟加拉语和印地语,其中维吾尔语和孟加拉语是低资源的语言,并进行实验机器翻译。利用迁移学习的子词,维吾尔语的NER F1提高了+15.2,孟加拉语的NER F1提高了+9.7。我们还表明,在单语设置,我们实现(平均)的改善。+3 F1和(平均值)蓝色+1.35。
2018-08-28 cs.CL
The Visual Iconicity Challenge: Evaluating Vision-Language Models on Sign Language Form-Meaning Mapping
Multimodal Language Department(多模态语言部门);Max Planck Institute for Psycholinguistics(马克斯·普朗克心理语言学研究所);Department of Linguistics(语言学系);Boğaziçi University(博多伊奇大学);Donders Institute for Brain Cognition and Behaviour(多纳尔斯脑认知与行为研究所);Radboud University(拉德堡德大学);Department of Linguistics and Communication(语言学与沟通系);University of Birmingham(伯明翰大学)
本文提出一个新颖的视频基准测试,用于评估视觉-语言模型在手语形式-意义映射上的表现,通过心理语言学测量来评估三种任务:语音学手语形式预测、透明度和渐进象征性评分,并发现模型在语音形式预测上表现较好但整体仍低于人类表现。
2026-05-20 cs.CL cs.CV
The Sem-Lex Benchmark: Modeling ASL Signs and Their Phonemes
University of Southern California(南加州大学);Boston University(波士顿大学);Chapman University(查普曼大学)
本文发布包含 8.4 万余视频的 Sem-Lex Benchmark,并通过 SL-GCN 证明音系特征可辅助 ASL 孤立手语识别,显著提升少样本与整体性能。
2023-09-30 cs.CL cs.CV
Patterns in the English Language: Phonological Networks, Percolation and Assembly Models
Institute for Complex Systems Simulation, University of Southampton(南安普顿大学复杂系统模拟研究所)
在本文中,我们提供了一个定量框架的语音网络(PNs)的英语语言的研究进行原则性的比较,无论是基于网站渗透,随机化技术,或网络增长模型的空模型。与以前的工作相比,我们主要关注零模型,再现经验数据的低阶特征。我们发现与英语PN的连接性属性相匹配的人工网络极其罕见:这导致了这样的假设:随着时间的推移,单词库可能是通过优先引入对旧单词进行小修改的新单词来组装的。我们的空模型能够解释度分布的“幂律”部分,并且通常可以检索PN的定性特征,例如高聚类,高重复系数和小世界特征。然而,与空模型的期望的详细比较也指出了显着的差异,表明在词组装中存在额外的约束。我们确定的关键限制是避免大的程度,避免三元封闭,避免大的非重叠集群。
2015-03-23 cond-mat.stat-mech cs.CL
Generative Adversarial Phonology: Modeling unsupervised phonetic and phonological learning with neural networks
University of Washington(华盛顿大学);University of California, Berkeley(加利福尼亚大学伯克利分校)
在语音数据中对深度神经网络进行充分理解的依赖性训练,可以为它们如何学习内部表示提供新的见解。本文认为,收购的语音可以建模为随机空间和生成的语音数据之间的依赖关系的生成对抗网络架构,并提出了一种方法来揭示网络的内部表示,对应于语音和音韵属性。生成对抗架构非常适合语音和语音学习建模,因为网络是在未注释的原始声学数据上训练的,并且学习是无监督的,没有任何语言特定的假设或预先假设的抽象级别。一个生成对抗网络在英语中的一个allophonic分布上进行训练。该网络成功地学习了语音交替:网络生成的语音信号包含吸气持续时间的条件分布。该论文提出了一种建立网络内部表示的技术,该技术识别与[s]及其频谱属性的存在相对应的潜在变量。通过操纵这些变量,我们主动控制[s]的存在及其在生成的输出中的摩擦幅度。这表明网络学会使用潜在变量作为语音和音位表征的近似值。至关重要的是,我们观察到在训练中学习到的依赖关系超出了训练间隔,这允许对学习表示进行额外的探索。本文还讨论了网络的架构和创新输出如何与语言习得,言语障碍和言语错误中的语言行为相似和不同,以及如何充分理解语音数据中的依赖关系可以帮助我们解释神经网络如何学习它们的表示。
2020-06-06 cs.CL cs.LG q-bio.NC
Evolution and trade-off dynamics of functional load
功能负荷(FL)量化了语音对比对词汇差异的贡献。以前的研究已经将特别低的FL值与声音变化联系起来。在这里,我们扩大调查范围到FL,其演变的所有价值观。我们采用系统发育的方法来研究FL的历时演变在90个语言的Pama-Nyungan(PN)家庭的澳大利亚。我们发现了高度的系统发育信号FL。虽然系统发育信号已被报道的语音结构,如phonotactics,其检测的措施,语音功能是新颖的。我们还发现了一个显着的,负相关的FL元音长度和以下辅音,也就是说,一个深时间的历史权衡动态,我们涉及到已知的现代PN语言和补偿音的变化在他们的过去。这一发现揭示了一个历史的动态,类似于transphonologization,我们的特点是一个流动的对比子系统之间的音系。在跨越整个大陆和数千年时间深度的语言家族中反复出现,我们的发现为萨皮尔的“漂移”假说提供了最引人注目的例子之一,即历史上相关语言的非偶然平行发展。
2021-12-22 cs.CL
Training-Free Cross-Lingual Dysarthria Severity Assessment via Phonological Subspace Analysis in Self-Supervised Speech Representations
The Scott-Morgan Foundation(斯科特-摩根基金会);Tecnológico de Monterrey(蒙特雷科技大学)
本文提出无需训练数据的跨语言口吃严重程度评估方法,通过冻结HuBERT表示中的语音学子空间分析,利用健康对照语音估计特征方向,构建12维语音学轮廓,验证了其在多种语言和病因中的有效性。
2026-04-11 cs.CL cs.LG
From Phonology to Syntax: Unsupervised Linguistic Typology at Different Levels with Language Embeddings
Department of Computer Science(计算机科学系);University of Copenhagen(哥本哈根大学);Denmark(丹麦)
语言类型学的一个核心部分是根据语言特性对语言进行分类,例如世界语言结构地图集(WALS)中详细描述的语言。手动完成这项工作非常耗时,这在一定程度上可以从以下事实中得到证明:世界上使用的7,000多种语言中只有100种完全覆盖在WALS中。我们学习分布式语言表示,它可用于在大规模多语言规模上预测类型学属性。此外,对这些语言嵌入的定量和定性分析可以告诉我们语言相似性如何在不同类型水平的任务的NLP模型中编码。这些表征是以无监督的方式与三个类型学层面的任务一起学习的:音位学(字素到音素的预测和音素重建),形态学(形态变化)和句法(词性标记)。我们考虑了800多种语言,并根据目标任务的不同,发现编码的语言表示存在显著差异。例如,虽然挪威博克莫尔语和丹麦语在类型上彼此接近,但它们在语音上是遥远的,这反映在它们的语言嵌入在语音任务中变得相对遥远。我们还能够以高精度预测WALS中的类型学特征,即使是看不见的语言家族。
2018-02-23 cs.CL
Improving Sign Recognition with Phonology
University of Southern California(南加州大学);San Diego State University(圣地亚哥州立大学)
我们使用美国手语(ASL)语音学研究的见解,训练模型孤立的手语识别(ISLR),自动手语语言理解的一步。我们的主要观点是明确认识到音系学在手语制作中的作用,以实现比现有工作更准确的ISLR,不考虑手语音系学。我们训练ISLR模型,该模型采用对产生单个符号的签名者的姿势估计,不仅预测该符号,还预测其语音特征,例如手形。这些辅助预测在WLASL基准测试中导致了近9%的符号识别准确性的绝对增益,并且无论底层预测模型架构如何,ISLR都得到了一致的改进。这项工作有可能加速手语领域的语言学研究,减少聋人和听力正常人之间的沟通障碍。
2023-02-11 cs.CL cs.CV
A Two-Step Approach for Data-Efficient French Pronunciation Learning
NAVER Cloud(NAVER云);Université de Strasbourg(斯特拉斯堡大学)
针对法语语音现象研究依赖大量语言学知识或标注数据、资源构建成本高的问题,提出涵盖字形转音素和词后处理的两步法,在有限句子级发音数据下验证了其有效性,为资源受限环境下的法语发音学习提供可行方案。
2024-10-08 cs.AI cs.CL
ASL-Skeleton3D and ASL-Phono: Two Novel Datasets for the American Sign Language
Universidade Federal de Pernambuco(伯南布哥联邦大学)
手语是一种重要的资源,使残疾性听力损失患者能够获得沟通和适当的社会情感发展。预计到2050年,这一人口将达到7亿,语言的重要性变得更加重要,因为它在确保这些人融入社会方面发挥着关键作用。手语识别领域旨在弥合手语用户和非手语用户之间的差距。然而,数据集数量和质量的稀缺是限制探索新方法的主要挑战之一,这些方法可能会导致该研究领域的重大进展。因此,本文的贡献,介绍了两个新的数据集为美国手语:第一个是由三维表示的签名者,第二,由一个前所未有的语言学为基础的表示包含一组音韵属性的标志。
2022-01-06 cs.CL cs.CV
Towards Large-Scale Data Mining for Data-Driven Analysis of Sign Languages
Heriot-Watt University(赫瑞-瓦特大学)
手语数据的获取远远不够。我们表明,通过应用数据过滤来执行质量标准,并通过发现过滤数据中的模式,可以从TikTok,Instagram和YouTube等社交网络服务中收集数据,从而更容易分析和建模。使用我们的数据汇集管道,我们收集和检查在美国手语(ASL)和巴西手语(天秤座)的歌曲的解释。我们通过观察方位和位置音系参数的相互依赖性来探讨它们的异同
2020-06-03 cs.CL
Speech Representations and Phoneme Classification for Preserving the Endangered Language of Ladin
University of Southern California(南加州大学)
据预测,世界上7,000种口语中的绝大多数将在本世纪内灭绝,包括意大利阿尔卑斯山的拉丁语。致力于保存一种语言的语音和音韵结构的语言学家可能会花费数小时来转录母语人士的每一分钟讲话。为了解决这个问题的上下文中的Ladin,我们的论文提出了第一次分析的语音表示和机器学习模型分类32音素的Ladin。我们实验了一个新的数据集的法西斯方言的拉丁语,从母语在意大利收集。我们创建了帧级和段级语音特征提取方法,并使用在9种不同语音表示上训练的8种不同分类器进行了广泛的实验。我们的语音表示范围从传统特征(MFCC,LPC)到使用深度神经网络模型学习的特征(自动编码器,LSTM自动编码器和WaveNet)。我们最高性能的分类器,在语音信号的MFCC表示上训练,在所有Ladin音素中达到了86%的平均准确率。我们还获得了77%以上的平均精度为所有Ladin音素分组检查。我们的研究结果为学习有区别的Ladin音素表示提供了见解,并展示了利用机器学习和语音信号处理来保护Ladin和其他濒危语言的潜力。
2021-08-27 cs.CL cs.LG eess.AS
Deep Sound Change: Deep and Iterative Learning, Convolutional Neural Networks, and Language Change
Department of Linguistics, University of California, Berkeley(加利福尼亚大学伯克利分校语言学系)
本文提出了一种结合深度学习和迭代学习的声音变化建模框架。语音的获取和传输通过在未注释的原始语音数据上训练生成对抗网络(GANs)来建模。本文认为,几个属性的声音变化出现从建议的架构。GANs(Goodfellow et al. 2014 arXiv:1406.2661,Donahue et al. 2019 arXiv:1705.07904)是唯一适合建模语言变化的网络,因为网络是在原始的无监督声学数据上训练的,不包含语言特定的特征,并且正如Beguplant(2020 arXiv:2006.03965)所认为的那样,在其潜在空间中编码语音和音位表示,并生成语言信息丰富的创新数据。第一代网络是在TIMIT的人类语音中的相关序列上训练的。随后的几代不是在TIMIT上训练的,而是在上一代生成的输出上训练的,因此在迭代学习任务中开始相互学习。初始的allophonic分布随着每一代逐渐丢失,这可能是由于来自训练数据中的吸气的全局分布的压力。这些网络显示出语音目标逐渐转移的迹象,这是语音逐渐变化的特征。在端点,输出表面上类似于语音变化--规则丢失。
2021-09-22 cs.CL cs.SD eess.AS
Text Complexity Classification Based on Linguistic Information: Application to Intelligent Tutoring of ESL
University of Lynchburg(林奇堡大学)
本研究构建了一个基于多维度语言特征的文本复杂度分类器,用于ESL阅读教学,实验表明其在原始语料上F分数达0.97,跨领域应用时性能下降但仍有实际可用性。
2020-07-29 cs.CL
Toward a Motor Theory of Sign Language Perception
IRISA-UBS(法国国家信息与自动化研究所-南布列塔尼大学分院);Université de Bretagne Sud(南布列塔尼大学)
手语的研究仍然强烈地将语音学和语音学方面的语言问题与识别和合成目的的手势研究分离开来。本文从手势的动作与意义的叠置关系出发,对手语手势进行分析、综合与评价。我们讨论的相关性和兴趣的感知电机理论在手语交流。根据这一理论,我们认为,语言知识是映射在感觉运动过程,并提出了一种方法的基础上的原则的综合分析方法,指导评估过程,旨在验证一些假设和概念的这一理论。现有研究的例子说明了不同的概念,并为未来的工作提供了途径。
2012-01-08 cs.CL cs.HC
Data-adaptive Transfer Learning for Translation: A Case Study in Haitian and Jamaican
Carnegie Mellon University(卡内基梅隆大学);Brigham Young University(杨百翰大学)
多语言转换技术经常改善低资源机器翻译(MT)。这些技术中的许多技术都是在不考虑数据特性的情况下应用的。我们表明,在海地语到英语的翻译,转移的有效性与训练数据和知识共享语言之间的关系的量。我们的实验表明,对于某些语言超过阈值的真实数据,回译增强方法是适得其反,而跨语言迁移从一个足够相关的语言是首选。我们补充这一发现,贡献一个基于规则的法语海地的拼写和句法引擎和一种新的方法,语音嵌入。当与多语言技术一起使用时,正交变换比传统方法在统计上有显着的改进。在资源非常低的牙买加机器翻译中,使用转换语言进行正字法相似性的代码转换产生了6.63 BLEU点的优势。
2022-09-13 cs.CL
On the Non-Specificity of Statistical Measures Used in Script Decipherment
研究以生成性符号系统SIGIL为工具,发现文字破译中所用的统计测度不特定于语言,无法仅凭自身确立未破译符号系统编码言语。
2026-08-05 cs.CL
On the accuracy of language trees
Institute for Scientific Interchange (ISI)(科学交流研究所(ISI));Università di Torino(都灵大学);Sapienza Università di Roma(罗马第一大学)
历史语言学的目的是从语言的进化相关性出发,推断出最可能的语言系统发育树。可用的信息通常是许多不同语言的同源(词汇,语音,句法)特征或字符的列表。从这个角度来看,语言树的重建是逆问题的一个例子:从现在开始,不完整的,往往是嘈杂的信息,一个目的是推断最有可能过去的进化历史。反问题中的一个基本问题是对所作推断的评价。处理这个问题的一个标准方法是用人工模型生成数据,以便完全了解人们将要推断的进化过程。这个过程存在一个内在的局限性:当处理真实数据集时,人们通常不知道哪种进化模型最适合它们。一个可能的解决办法是将算法推理与专家分类进行比较。这是我们在这里通过与Ethnologue专家分类相比,对重建方法的准确性进行彻底调查的观点。我们特别关注使用全球语言数据库进行同源重建的最先进的基于距离的方法。为了评估的准确性推断的树木,我们介绍和表征两个概括的标准定义之间的距离树。根据这些分数,我们量化了所考虑的基于距离的算法的相对性能。此外,我们量化的完整性和可用数据库的覆盖范围如何影响重建的准确性。最后,我们得出了一些结论,在历史语言学的重建的准确性和提高它的主要方向。
2011-03-21 cs.CL physics.soc-ph q-bio.QM
Differentiating Between Human-Written and AI-Generated Texts Using Automatically Extracted Linguistic Features
University of Nicosia(尼科西亚大学)
本研究通过分析人类与AI生成文本的语言特征,揭示了AI在模仿人类写作方面的局限性,并强调了自动化工具在语言评估中的重要性。
2026-02-17 cs.AI cs.CL
Using Signals to Improve Automatic Classification of Temporal Relations
University of Sheffield(谢菲尔德大学)
语言传达的时间信息描述了我们周围的世界如何随着时间的推移而变化。事件、持续时间和时间都是可以被视为间隔的时间元素。这些间隔有时在文本中是时间相关的。自动确定这种关系的性质是一个复杂且未解决的问题。有些词可以作为“信号”,暗示间隔之间的时间顺序。在本文中,我们使用这些信号词,以提高最近的方法来分类的时间链接的准确性。
2012-03-22 cs.CL
Understanding Compositional Data Augmentation in Typologically Diverse Morphological Inflection
University of British Columbia(不列颠哥伦比亚大学)
本研究通过信息论分析揭示了数据增强策略StemCorrupt通过消除语素间伪相关改善组合泛化的机制,发现选择高多样性和高预测不确定性的数据点可显著提升其在七种语言中的数据效率,但高异形态语言因音位组合违规获益较少。
2023-10-23 cs.CL