Discovering Governing Equations by Machine Learning implemented with Invariance
Harbin Institute of Technology（哈尔滨工业大学）
偏微分方程（PDE）在科学和工程的许多领域中发挥着非常重要的作用。传统的偏微分方程的推导主要依赖于第一性原理和经验观察。然而，机器学习技术的发展使我们能够以全新的方式从海量存储数据中挖掘潜在的控制方程。虽然数据驱动的PDE发现已经取得了相当大的进展，但现存的文献大多集中在发现方法的改进上，而在发现过程本身，包括候选者的构建原则以及如何纳入物理先验方面没有实质性的突破。通过严格的公式推导，分别基于Galileo不变性和Lorentz不变性，首次提出了新的物理增强的加工学习控制方程发现方法：GSNN（Galileo Symbolic神经网络）和LSNN（Lorentz Symbolic神经网络），为建立候选发现方程提供了指导。采用强制嵌入物理约束的方式，在损失函数的形式上与PINN有着本质的不同，从而保证了所设计的神经网络严格遵守物理先验的不变性，增强了网络的可解释性。通过对Burgers方程和Sine-Gordon方程的数值试验，将结果与PDE-NET进行比较，结果表明本文方法具有更好的精度、简洁性和可解释性。
2022-03-29 cs.LG
Efficient Learning and Symmetry Discovery under Exact Invariances
MIT Laboratory for Information and Decision Systems (LIDS)（麻省理工学院信息与决策系统实验室）；Harvard John A. Paulson School of Engineering and Applied Sciences, Harvard University（哈佛大学约翰·A·保尔森工程与应用科学学院）；Technical University of Munich（慕尼黑工业大学）；MIT Computer Science and Artificial Intelligence Laboratory (CSAIL)（麻省理工学院计算机科学与人工智能实验室）
本文提出首个统一适用于有限与无限群的多项式时间精确不变学习算法，并解决未知对称性发现，证明可恢复对称性且匹配最优样本复杂度。
2026-09-09 cs.LG stat.ML
Rondo: Unsupervised Discovery of Recurring Temporal Structure
Rondo提出无监督方法，通过构建可重用单元词汇表来发现连续时间流中的重复层次结构，在有限数据和持续流场景下优于现有基线。
2026-09-29 cs.AI cs.LG
On the Identifiability of Causal Graphs with the Invariance Principle
Institute of Science and Technology Austria（奥地利科学与技术研究所）；Chan Zuckerberg Initiative（查兰·泽克伯格倡议）
本文证明在特定条件下，通过少量环境数据可唯一确定因果图结构，提出放松高斯噪声假设的方法，并扩展独立成分分析与因果发现的对偶性。
2026-05-14 cs.LG stat.ML
A Hierarchical Subspace Model for Language-Attuned Acoustic Unit Discovery
Boğaziçi University（博阿齐奇大学）；Brno University of Technology（布尔诺理工大学）
在这项工作中，我们提出了一个层次子空间模型的声学单元发现。在这种方法中，我们框架的任务作为一个低维语音子空间上的学习嵌入，同时指定子空间本身作为一个超子空间上的嵌入。我们训练的超子空间上的一组转录的语言，并将其转移到目标语言。在目标语言中，我们以无监督的方式推断语言和单元嵌入，并且在这样做的过程中，我们同时学习特定于该语言的单元的子空间以及驻留在其上的单元。我们对TIMIT和两种低资源语言进行了实验：Mboshi和Yoruba。结果表明，我们的模型优于主要的声学单元发现技术，无论是在聚类质量和分割精度。
2020-11-09 cs.LG cs.SD eess.AS
ContinuouSP: Generative Model for Crystal Structure Prediction with Invariance and Continuity
The University of Tokyo（东京大学）
本文提出晶体结构预测生成模型ContinuouSP，通过形式化不变性与连续性并基于能量模型构建，有效处理晶体对称性与周期性，初步实验验证了其在CSP任务中的有效性。
2025-02-04 cond-mat.mtrl-sci cs.LG
Towards Visually Grounded Sub-Word Speech Unit Discovery
MIT Computer Science and Artificial Intelligence Laboratory（麻省理工学院计算机科学与人工智能实验室）
在本文中，我们调查的方式，可解释的子字语音单元出现在一个卷积神经网络模型训练关联原始语音波形与语义相关的自然图像场景。我们展示了如何从模型中间层的激活模式中表面上提取双音子边界，这表明该模型可能会利用这些事件进行单词识别。我们提出了一系列的实验调查这些事件编码的信息。
2019-02-21 cs.CL cs.LG cs.SD
Bayesian Subspace Hidden Markov Model for Acoustic Unit Discovery
Brno University of Technology（布尔诺理工大学）
这项工作解决的问题，学习一组语言特定的声学单位从未标记的语音记录给定的一组标记的录音从其他语言。我们的方法可以描述为以下两个步骤的过程：首先，模型学习的概念的声学单位从标记的数据，然后模型使用它的知识，以找到新的声学单位的目标语言。我们用贝叶斯子空间隐马尔可夫模型（SHMM）实现这个过程，这是一种类似于子空间高斯混合模型（SGMM）的模型，其中每个低维嵌入表示一个声学单元，而不仅仅是HMM的状态。子空间在来自GlobalPhone语料库的3种语言（德语、波兰语和西班牙语）上训练，AU在TIMIT语料库上发现。以等效电话出错率测量的结果表明，该方法明显优于以前的基于HMM的声学单元发现系统，并且与变分自动编码器HMM相比毫不逊色。
2019-07-02 cs.LG cs.SD eess.AS
Discrete Lagrangian Neural Networks with Automatic Symmetry Discovery
University of Oxford（牛津大学）；University of Cambridge（剑桥大学）；Paderborn University（帕德博恩大学）
本文提出一种基于李群理论的框架，从离散运动观测中同时学习离散拉格朗日量及其对称群，从而自动识别守恒量，无需速度或动量数据，并通过变分后向误差分析与连续模型关联，在含噪情况下仍能提升模型性能。
2025-01-27 cs.LG math.SG
sHAIL-Causal: A Sequential Staircase Procedure for Invariant Causal Predictor Discovery
Rochester Institute of Technology（罗切斯特理工学院）
本文提出sHAIL-Causal，一种以不变性为门控的序贯阶梯程序，用于在Richness条件下发现真实因果预测器，解决了贪心搜索的失败并支持序贯环境下的有效置信保证。
2026-10-07 cs.LG stat.ML
Transformer VQ-VAE for Unsupervised Unit Discovery and Speech Synthesis: ZeroSpeech 2020 Challenge
Nara Institute of Science and Technology（奈良先端科学技术大学院大学）；RIKEN, Center for Advanced Intelligence Project AIP（理化学研究所先进智能项目中心）
在本文中，我们报告了我们在2019年赛道上提交的ZeroSpeech 2020挑战系统。这个挑战的主题是建立一个没有任何文本信息或语音标签的语音合成器。为了应对这些挑战，我们构建了一个系统，该系统必须解决两个主要组件，例如1）给定语音音频，以无监督的方式提取子字单元，2）重新合成来自新扬声器的音频。系统还需要在ABX出错率和比特率压缩率之间平衡码本性能。我们在这里的主要贡献是，我们提出了基于变换器的VQ-VAE的无监督单元发现和基于变换器的逆变器的语音合成给定提取的码书。此外，我们还探索了几种正则化方法来进一步提高性能。
2020-05-24 cs.CL cs.LG cs.SD
Unsupervised acoustic unit discovery for speech synthesis using discrete latent-variable neural networks
Stellenbosch University（斯泰伦博斯大学）；The University of Edinburgh（爱丁堡大学）
对于我们提交的ZeroSpeech 2019挑战，我们将离散潜变量神经网络应用于未标记的语音，并使用发现的单元进行语音合成。无监督离散子词建模可能是有用的研究语音类别学习婴儿或低资源语音技术需要符号输入。我们使用自动编码器（AE）架构与中间离散化。我们解耦声学单元发现扬声器建模条件AE的解码器上的训练扬声器身份。在测试时，单元发现从一个看不见的扬声器的语音进行，然后由一个已知的目标扬声器单元解码条件，以获得重建的滤波器组。该输出被馈送到神经声码器以合成目标说话者的语音。对于离散化，分类变分自编码器（CatVAE），矢量量化的VAE（VQ-VAE）和直通估计进行了比较，在不同的压缩水平上的两种语言。我们的最终模型使用卷积编码，VQ-VAE离散化，解卷积解码和FFTNet声码器。我们表明，解耦扬声器调节本质上提高了离散的声学表示，产生竞争力的合成质量相比，挑战基线。
2019-06-28 cs.CL cs.LG cs.SD
Discovery of Natural Language Concepts in Individual Units of CNNs
Seoul National University（首尔国立大学）；Kakao（Kakao公司）；Kakao Brain（Kakao Brain研究院）
尽管深度卷积网络在许多自然语言任务中实现了性能的提高，但由于难以解释，它们一直被视为黑箱。特别是，很少有人知道它们如何在中间层表示语言。为了理解在语言任务上训练的深度卷积网络的表示，我们证明了单个单元对特定的词素、单词和短语有选择性地做出响应，而不是对任意和不可解释的模式做出响应。为了定量分析这种有趣的现象，我们提出了一种概念对齐方法的基础上如何单位响应复制文本。我们使用不同的架构对多个数据集进行分析，以执行分类和翻译任务，并为深入了解模型如何理解自然语言提供新的见解。
2019-02-28 cs.CL cs.LG stat.ML
A Temporal Extension of Latent Dirichlet Allocation for Unsupervised Acoustic Unit Discovery
Stellenbosch University（斯泰伦博斯大学）
潜在狄利克雷分配（LDA）被广泛用于文档集的无监督主题建模。模型中没有使用时间信息。然而，在连续标记的对应主题之间通常存在关系。在本文中，我们提出了一个扩展LDA，使用马尔可夫链建模的时间信息。我们使用这个新的模型从语音声学单位发现。作为输入令牌，该模型从具有512个代码的矢量量化（VQ）神经网络中获取语音的离散化编码。然后，目标是将这512个VQ代码映射到50个类似于电话的单元（主题），以便更接近真实的电话。与仅考虑VQ码如何在话语（文档）内共同出现的基础LDA相比，马尔可夫链LDA另外捕获连续码如何彼此跟随。与基础LDA相比，这种扩展导致集群质量和电话分割结果的增加。与最近的矢量量化神经网络方法（也学习50个单元）相比，扩展的LDA模型在电话分割方面表现更好，但在互信息方面表现较差。
2022-06-29 cs.CL cs.LG eess.AS
PUFFIN: Protein Unit Discovery with Functional Supervision
Department of Computer Engineering（计算机工程系）；Roche Informatics Department（罗氏信息技术部）；F. Hoffmann-La Roche AG（罗氏集团）
PUFFIN通过联合学习结构划分和功能监督，发现蛋白质单元，揭示结构-功能关系的可解释框架。
2026-04-16 cs.LG q-bio.BM
Fast generalization error bound of deep learning without scale invariance of activation functions
Graduate School of Engineering Science, Osaka University（大阪大学工学研究科）；RIKEN Center for Advanced Intelligence Project (AIP)（理化学研究所先进智能项目中心）
在深度学习的理论分析中，发现深度学习的哪些特征会导致良好的性能是一项重要的任务。在本文中，使用Suzuki（2018）开发的分析泛化误差的框架，我们导出了具有更一般激活函数的深度神经网络的快速学习率。在Suzuki（2018）中，假设激活函数的尺度不变性，推导出了深度学习的严格泛化误差界。他们提到，激活函数的尺度不变性对于推导严格的误差界是必不可少的。而整流线性单元（ReLU; Nair和Hinton，2010）满足尺度不变性，其他著名的激活函数包括S形和双曲正切函数，以及指数线性单元（ELU; Clevert等人，2016年，不满足这个条件。现有的分析表明，当具有尺度不变激活的深度学习可以达到比$O(1/\sqrt{n})$更快的速率时，具有非尺度不变激活的深度学习可能具有更慢的$O(1/\sqrt{n})$收敛速率。在本文中，在没有激活函数的尺度不变性的情况下，我们推导出了与Suzuki（2018）基本相同的紧泛化误差界。从这个结果中，至少在Suzuki（2018）的框架中，可以看出激活函数的尺度不变性对于获得快速收敛速度并不重要。同时，也表明Suzuki（2018）提出的理论框架可以广泛应用于分析具有一般激活函数的深度学习。
2019-07-25 cs.LG stat.ML
