Efficient Latent Semantic Clustering for Scaling Test-Time Computation of LLMs
Department of Computer Science and Engineering, POSTECH, South Korea(计算机科学与工程系,POSTECH,韩国);Graduate School of Artificial Intelligence, POSTECH, South Korea(人工智能研究生院,POSTECH,韩国)
本文提出潜在语义聚类(LSC)方法,利用生成器LLM的内部隐藏状态进行轻量级且上下文敏感的聚类,消除了对外部模型的依赖,在保持或超越现有方法性能的同时显著提升了测试时计算扩展的效率。
2025-05-31 cs.AI cs.CL
Latent Semantic Learning with Structured Sparse Representation for Human Action Recognition
Peking University(北京大学)
本文提出了一种新的潜在语义学习方法,用于从大量具有结构化稀疏表示的丰富中级特征(即视觉关键字)的词汇中提取高级特征(即潜在语义),这有助于弥合人类动作识别这一具有挑战性的任务中的语义鸿沟。为了发现中间层特征的流形结构,我们开发了一种基于L1-图的潜在语义学习的谱嵌入方法,而不需要调整作为流形学习关键步骤的图构造的任何参数。更重要的是,我们构建了L1-图的结构化稀疏表示,这可以通过结构化稀疏编码与新的L1-范数超图正则化确保其结构化稀疏性的中层功能。在新的嵌入空间中,我们通过谱聚类从丰富的中层特征中自动学习潜在语义。通过定义直方图交集核,学习的潜在语义可以很容易地用于SVM的人体动作识别。与传统的基于主题模型的潜在语义分析方法不同,本文提出的潜在语义学习方法可以在L1图构建和谱嵌入两个方面探索中间层特征的流形结构,从而得到紧凑但具有区分力的高层特征。在常用的KTH动作数据集和无约束的YouTube动作数据集上的实验结果表明了该方法的优越性能。
2011-09-23 cs.AI cs.LG cs.MM
The Geometric Reasoner: Manifold-Informed Latent Foresight Search for Long-Context Reasoning
School of Information Science and Technology, Hangzhou Normal University, Hangzhou, China(信息科学与技术学院,杭州师范大学,杭州,中国)
本文提出TGR框架,通过流形感知的潜在前瞻性搜索在限制内存下提升长上下文推理的鲁棒性,实验表明在数学和代码基准上AUC提升达13点,且计算开销仅增加1.1-1.3倍。
2026-05-09 cs.AI cs.LG
Geodesic Calculus on Implicitly Defined Latent Manifolds
University of Bonn, Germany(波恩大学,德国);Université Paris–Saclay, ENS Paris–Saclay, Centre Borelli, France(巴黎-萨克莱大学,巴黎-萨克莱高等师范学院,Borelli研究中心,法国);University of Münster, Germany(穆尔斯特大学,德国)
提出将自编码器的潜在流形视为隐式子流形,并开发离散黎曼微积分工具以近似经典几何算子,通过去噪目标学习近似投影,实现潜在流形上的测地线路径计算和黎曼指数映射。
2026-06-17 cs.LG
Latent Diffusion Model-Enabled Low-Latency Semantic Communication in the Presence of Semantic Ambiguities and Wireless Channel Noises
School of Electrical and Electronic Engineering, Huazhong University of Science and Technology(华中科技大学电气与电子工程学院);Cornell University(康奈尔大学);Lassonde School of Engineering, York University(约克大学拉桑德工程学院)
本文提出潜在扩散模型赋能的语义通信系统,通过鲁棒编码器、潜在空间适配器和EECD蒸馏,解决异常值、分布外数据与信道噪声下的低延迟高保真传输问题。
2025-02-14 cs.AI cs.LG
A Tutorial on Probabilistic Latent Semantic Analysis
Lehigh University(理海大学)
在本教程中,我将详细讨论概率潜在语义分析(PLSA)是如何形式化的,以及如何提出不同的学习算法来学习模型。
2012-12-21 cs.LG stat.ML
DreamPartGen: Semantically Grounded Part-Level 3D Generation via Collaborative Latent Denoising
University of Illinois Urbana - Champaign(伊利诺伊大学厄巴纳-香槟分校)
DreamPartGen通过协作潜在去噪实现语义引导的部件级3D生成,引入双部件潜在和关系语义潜在,提升几何和语义一致性,实现高质量文本对齐的3D合成。
2026-07-08 cs.AI cs.CV cs.LG
Semantic uncertainty intervals for disentangled latent spaces
MIT(麻省理工学院);University of California, Berkeley(加州大学伯克利分校);Technion—Israel Institute of Technology(以色列理工学院)
计算机视觉中有意义的不确定性量化需要对语义信息进行推理--比如照片中人的头发颜色或街上汽车的位置。为此,最近在生成建模方面的突破使我们能够在分离的潜在空间中表示语义信息,但提供语义潜变量的不确定性仍然具有挑战性。在这项工作中,我们提供了原则性的不确定性区间,保证包含任何底层生成模型的真实语义因素。该方法执行以下操作:(1)它使用分位数回归为潜在空间中的每个元素输出启发式不确定性区间(2)校准这些不确定性,使得它们包含新的、看不见的输入的潜在的真实值。然后,这些校准间隔的端点可以通过生成器传播,以产生每个语义因素的可解释的不确定性可视化。这种技术可靠地传达了图像超分辨率和图像补全等逆问题中语义上有意义、有原则和实例自适应的不确定性。
2022-11-30 cs.AI cs.CV cs.LG
Latent Graph Inference using Product Manifolds
Cranberry-Lemon University(蔓越莓柠檬大学);University of the Witwatersrand(金山大学)
本文推广了离散可微图模块(dDGM),提出一种基于常曲率模型空间乘积流形的潜在图推断方法,通过引入黎曼几何学习动态曲率并计算更丰富的相似性度量,从而优化潜在图结构并在多个数据集上超越原始dDGM模型。
2023-06-27 cs.LG
Variational Autoencoder with Learned Latent Structure
Georgia Institute of Technology(佐治亚理工学院)
流形假设指出,高维数据可以被建模为位于或靠近低维非线性流形。变分自动编码器(VAE)通过学习从低维潜在向量到高维数据的映射来近似该流形,同时通过使用指定的先验分布来鼓励潜在空间中的全局结构。当这种先验与真实数据流形的结构不匹配时,它可能导致数据的模型不太准确。为了解决这种不匹配,我们引入了变分自动编码器与学习的潜在结构(VAELLS),它将一个可学习的流形模型到潜在的VAE空间。这使我们能够从数据中学习非线性流形结构,并使用该结构来定义潜在空间中的先验。潜在流形模型的集成不仅确保我们的先验与数据匹配良好,而且还允许我们在潜在空间中定义生成变换路径,并使用源于每个类的示例的变换来描述类流形。我们在具有已知潜在结构的示例上验证了我们的模型,并在真实世界的数据集上展示了其功能。
2021-03-02 cs.LG stat.ML
Continuous-Latent Predictive Modeling with Semantic Alignment for EEG-Language Foundation Models
本文提出BLPM模型,通过CELP编码器与MQSD模块对齐EEG语义,解决EEG基础模型预训练的关键挑战,在多基准任务中实现良好泛化。
2026-08-13 cs.LG
Latent Manifold Reconstruction and Representation with Topological and Geometrical Regularization
Southern University of Science and Technology(南方科技大学);Shenzhen University of Advanced Technology(深圳先进技术大学);Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(深圳先进技术研究所,中国科学院)
本文提出一种基于AutoEncoder的方法,通过流形重建层与拓扑几何正则化相结合,从噪声数据中发现并保持潜在流形结构,实验表明其优于t-SNE、UMAP和Topological AutoEncoders。
2025-05-07 cs.LG
Explaining Deep Convolutional Neural Networks via Latent Visual-Semantic Filter Attention
University of California, Los Angeles(加州大学洛杉矶分校)
可解释性是可视化模型的一个重要属性,因为它有助于研究人员和用户理解复杂模型的内部机制。然而,在没有直接监督的情况下,生成关于所学习的表示的语义解释是具有挑战性的。我们提出了一个通用的框架,潜在的视觉语义解释器(LaViSE),教任何现有的卷积神经网络生成文本描述自己的潜在表示在过滤器级别。我们的方法使用通用图像数据集,使用图像和类别名称构建视觉和语义空间之间的映射。然后将映射转移到没有语义标签的目标域。所提出的框架采用模块化结构,并能够分析任何训练的网络,无论其原始训练数据是否可用。我们表明,我们的方法可以为训练数据集中定义的类别集之外的学习过滤器生成新的描述,并对多个数据集进行广泛的评估。我们还展示了我们的方法用于无监督数据集偏差分析的新应用,该方法允许我们自动发现数据集中隐藏的偏差或比较不同的子集,而无需使用额外的标签。数据集和代码被公开,以方便进一步的研究。
2022-04-10 cs.AI cs.CV cs.LG
Continual Semantic Segmentation via Repulsion-Attraction of Sparse and Disentangled Latent Representations
University of Padova(帕多瓦大学)
深度神经网络在学习新任务时会遇到灾难性遗忘旧任务的主要限制。在本文中,我们专注于类增量持续学习语义分割,新的类别是随着时间的推移,而以前的训练数据不保留。所提出的持续学习方案塑造潜在空间以减少遗忘,同时提高对新类的识别。我们的框架由三个新颖的组件驱动,我们还将它们毫不费力地结合在现有技术之上。首先,原型匹配在旧类上强制执行潜在空间一致性,约束编码器在后续步骤中为先前看到的类产生类似的潜在表示。其次,特征稀疏化允许在潜在空间中腾出空间来容纳新的类。最后,对比学习是根据他们的语义聚类功能,而撕裂除了那些不同的类。对Pascal VOC 2012和ADE 20 K数据集的广泛评估证明了我们方法的有效性,显著优于最先进的方法。
2021-11-24 cs.AI cs.CV cs.LG
Enforcing Latent Euclidean Geometry in Single-Cell VAEs for Manifold Interpolation
Institute of Computational Biology, Helmholtz Munich, Munich, Germany(海德堡医学院计算生物学研究所);Lamin Labs(Lamin实验室);Munich Data Science Institute, Technical University of Munich, Germany(慕尼黑数据科学研究所);TUM School of Life Sciences Weihenstephan, Technical University of Munich, Germany(技术大学生命科学学院)
提出FlatVI框架,通过正则化离散似然变分自编码器的潜在流形为欧几里得几何,使潜在直线近似测地线插值,提升单细胞数据的轨迹重建与流形插值效果。
2025-07-15 cs.LG q-bio.QM
Semantic Unfolding of StyleGAN Latent Space
InterDigital, Inc.(InterDigital公司)
生成对抗网络(GANs)已被证明通过反转和操纵与输入真实图像对应的潜码来进行图像编辑是非常有效的。这种编辑特性来自潜在空间的非纠缠性质。在本文中,我们发现,面部属性解纠缠不是最佳的,因此,依赖于线性属性分离的面部编辑是有缺陷的。因此,我们提出了改进语义与监督的脱钩。我们的方法包括使用规范化流学习代理潜在表示,我们证明了这会导致更有效的人脸图像编辑空间。
2022-06-29 cs.CV cs.LG
LatentDiff: Scaling Semantic Dataset Comparison to Millions of Images
School of Electrical Engineering and Computer Science, Oregon State University, Corvallis, Oregon, USA(俄勒冈州立大学电气工程与计算机科学学院);Lawrence Livermore National Laboratory, Livermore, California, USA(劳伦斯利弗莫尔国家实验室);University of California San Diego, California, USA(加州大学圣地亚哥分校)
LatentDiff通过在预训练视觉编码器的潜在空间中结合稀疏自编码器的发散测试与密度比估计,实现语义数据集比较的高效准确,且在极小比例图像差异下仍保持鲁棒性。
2026-04-28 cs.CV cs.LG
Learning Disentangled Semantic Representation for Domain Adaptation
Guangdong University of Technology(广东工业大学);Nanyang Technological University(南洋理工大学);Carnegie Mellon University(卡内基梅隆大学);Foshan University(佛山科学技术学院)
领域自适应是一项重要而又具有挑战性的任务。现有的大多数领域自适应方法难以在领域信息和语义信息纠缠的特征空间上提取领域不变的表示。不同于以往的纠缠特征空间的努力,我们的目标是提取领域不变的语义信息的潜在的解纠缠语义表示(DSR)的数据。在DSR中,我们假设数据生成过程由两组独立的变量控制,即,语义潜变量和领域潜变量。在上述假设下,我们采用变分自动编码器来重构数据背后的语义潜变量和领域潜变量。我们进一步设计了一个双对抗网络来解开这两组重构的潜在变量。解开的语义潜变量最终适应跨域。实验研究证明,我们的模型产生的最先进的性能在几个领域自适应基准数据集。
2020-12-22 cs.CV cs.LG
The Elements of Visual Art Recommendation: Learning Latent Semantic Representations of Paintings
University of Luxembourg(卢森堡大学)
艺术品推荐具有挑战性,因为它需要了解用户如何与高度主观的内容交互,艺术品中嵌入的概念的复杂性,以及它们可能在用户中引发的情感和认知反射。在本文中,我们专注于有效地捕捉元素(即,潜在语义关系)进行个性化推荐。我们提出并研究基于文本和视觉特征学习技术的推荐系统,以及它们的组合。然后,我们执行一个小规模和大规模的以用户为中心的评价的质量的建议。我们的研究结果表明,文本特征与视觉特征相比毫不逊色,而两者的融合捕捉到了最合适的隐藏语义关系的艺术品推荐。最终,本文有助于我们理解如何提供内容,适当地匹配用户的兴趣和他们是如何被感知的。
2023-02-28 cs.AI cs.IR cs.LG
StructVAE: Tree-structured Latent Variable Models for Semi-supervised Semantic Parsing
Carnegie Mellon University(卡内基梅隆大学)
语义解析是将自然语言(NL)话语转换为形式意义表示(MR)的任务,其通常表示为树结构。用其对应的MR注释NL话语是昂贵且耗时的,因此标记数据的有限可用性通常成为数据驱动的监督模型的瓶颈。我们介绍了StructVAE,变分自动编码模型的半监督语义解析,学习既从有限数量的并行数据,并随时可用的未标记的NL话语。StructVAE将未标记数据中未观察到的潜在MR建模为树结构的潜在变量。在ATIS域上的语义解析和Python代码生成的实验表明,使用额外的未标记数据,StructVAE优于强监督模型。
2018-06-20 cs.CL cs.LG
Probabilistic Latent Semantic Analysis
EECS Department, Computer Science Division, University of California, Berkeley(加州大学伯克利分校电子工程与计算机科学系,计算机科学分部);International Computer Science Institute(国际计算机科学研究所)
概率潜在语义分析(ProbabilityLatentSemantic Analysis)是一种新的统计技术,用于分析双模式和共现数据,在信息检索和过滤、自然语言处理、文本机器学习等相关领域有着广泛的应用。相比标准的潜在语义分析,源于线性代数,并执行一个奇异值分解的同现表,所提出的方法是基于一个混合物分解来自一个潜在的类模型。这就产生了一种更有原则的方法,它在统计学方面有着坚实的基础。为了避免过拟合,我们提出了一个广泛适用的推广的最大似然模型拟合的回火EM。我们的方法产生大量的和一致的改进,在一些实验中的潜在语义分析。
2013-01-23 cs.IR cs.LG stat.ML
DiversityGAN: Diversity-Aware Vehicle Motion Prediction via Latent Semantic Sampling
Toyota Research Institute(丰田研究院);Massachusetts Institute of Technology(麻省理工学院)
车辆轨迹预测对于自动驾驶和高级驾驶员辅助系统至关重要。虽然现有的方法可以从车辆轨迹的预测分布中采样,但它们缺乏探索它的能力-这是从规划和验证角度评估安全性的关键能力。在这项工作中,我们设计了一种新的方法来生成逼真的和多样化的车辆轨迹。我们用低维近似语义空间扩展了生成对抗网络(GAN)框架,并塑造了该空间以捕获合并和转向等语义。我们以模拟预测分布的方式从这个空间中采样,但允许我们控制语义上不同结果的覆盖范围。我们在一个公开的数据集上验证了我们的方法,并显示了实现最先进的预测性能的结果,同时提供了预测轨迹语义空间的更好覆盖。
2020-03-22 cs.AI cs.LG cs.RO
Manifold GPLVMs for discovering non-Euclidean latent structure in neural data
University of Cambridge(剑桥大学);MRC Laboratory of Molecular Biology(医学研究委员会分子生物学实验室)
神经科学中的一个常见问题是阐明行为上重要变量的集体神经表征,如头部方向,空间位置,即将到来的运动或心理空间转换。通常,这些潜在变量是实验者无法直接访问的内部结构。在这里,我们提出了一个新的概率潜变量模型,以同时识别潜在的状态和每个神经元的方式有助于其表示在一个无监督的方式。与以前的模型,假设欧几里得潜在空间,我们拥抱的事实,即潜在的状态往往属于对称流形,如球体,环面,或旋转组的各种尺寸。因此,我们提出了流形高斯过程潜变量模型(mGPLVM),其中神经响应来自(i)生活在特定流形上的共享潜变量,以及(ii)一组非参数调谐曲线,确定每个神经元如何对表示做出贡献。具有不同拓扑结构的模型的交叉验证比较可以用于区分候选流形,并且变分推断能够量化不确定性。我们证明了几个合成数据集的方法的有效性,以及钙记录从椭圆体的果蝇和细胞外记录从小鼠丘脑前背核。已知这些电路都编码头部方向,并且mGPLVM正确地恢复了从表示单个角度变量的神经群体期望的环拓扑。
2020-10-21 cs.LG q-bio.NC stat.ML
Embedding-reparameterization procedure for manifold-valued latent variables in generative models
Neural Networks and Deep Learning Lab(神经网络与深度学习实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
变分自动编码器(VAE)的传统先验是高斯分布。最近的工作表明,先验分布的选择影响VAE模型的学习能力。本文提出了一种在VAE模型中引入任意流形变量的通用方法(嵌入-重新参数化过程,简称ER)。我们比较我们的技术与传统的VAE的玩具基准问题。这是正在进行的工作。
2018-12-06 cs.LG stat.ML
Generative Semantic HARQ: Latent-Space Text Retransmission and Combining
1 RPTU University Kaiserslautern-Landau 2 Wuhan University 3 German Research Center for Artificial Intelligence (DFKI GmbH)
本文提出一种语义级混合自动重传请求框架,通过Transformer-变分自编码器编码器生成多样潜在表示并提供增量知识,接收端利用软质量估计器触发重传并融合潜在向量,实验表明结合加权平均或MRC启发的融合策略与自一致性HARQ触发可获最佳性能。
2026-03-16 cs.LG eess.SP
Learning low bending and low distortion manifold embeddings
University of Bonn(波恩大学)
自编码器是机器学习中广泛使用的工具,用于将高维数据转换为低维表示,该表示仍显示输入的基本特征。编码器提供从输入数据流形到潜在空间中的嵌入,该潜在空间然后可以用于进一步处理。例如,学习流形上的插值可以通过潜在空间中的新流形表示来简化。这种进一步处理的效率在很大程度上取决于嵌入的规则性和结构。在本文中,通过损失函数来正则化嵌入到潜在空间中,该损失函数促进尽可能等距和平坦的嵌入。所需的训练数据包括输入流形上的附近点对以及它们的局部距离和它们的局部弗雷歇平均值。该规律性损失函数甚至允许对编码器自身进行训练。损失泛函计算通过蒙特卡洛积分,这是一致的几何损失函数直接定义在嵌入映射。使用编码不同数据流形的图像数据执行数值测试。结果表明,在潜空间中得到了光滑流形嵌入。这些嵌入足够规则,使得流形上不太远的点之间的插值可以很好地近似于潜空间中的线性插值。
2021-04-27 cs.LG
Parameterized Temporal Extrapolation of PDEs via Disentangled Latent Dynamics Manifold Fusion
National Center for Applied Mathematics, Tianjin University(应用数学国家中心,天津大学)
本文提出DLDMF框架,通过解耦空间、时间和参数,利用连续时间潜在方法和动态流形融合机制,提升参数泛化和时间外推的稳定性与准确性。
2026-07-16 cs.LG
Semisupervised regression in latent structure networks on unknown manifolds
Johns Hopkins University(约翰斯·霍普金斯大学);University of Pennsylvania(宾夕法尼亚大学);Indiana University(印第安纳大学)
本文研究潜在位置位于未知一维流形上的随机点积图半监督回归问题,提出结合流形学习与图嵌入的预测方法,并给出收敛性保证。
2023-05-04 cs.LG stat.ML
Improving Model Robustness with Latent Distribution Locally and Globally
Duke Kunshan University(昆山杜克大学);University of Liverpool(利物浦大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
在这项工作中,我们从全局流形的角度考虑深度神经网络对对抗攻击的模型鲁棒性。利用局部和全局潜在信息,我们提出了一种新的对抗性训练方法,通过鲁棒优化,以及一种易于处理的方法来生成潜在流形对抗性示例(LMAE),通过一个机器人和一个分类器之间的对抗性游戏。所提出的具有潜在分布的对抗性训练(ATLD)方法通过以无监督的方式用潜在流形制作LMAE来防御对抗攻击。ATLD保留了隐流形的局部和全局信息,提高了对对抗攻击的鲁棒性.为了验证我们提出的方法的有效性,我们在不同的数据集上进行了广泛的实验(例如,CIFAR-10、CIFAR-100、SVHN)与不同的对抗攻击(例如,PGD,CW),并表明我们的方法大大优于最先进的(例如,特征散射)在对抗鲁棒性方面具有很大的准确性。源代码可在https://github.com/LitterQ/ATLD-pytorch上获得。
2022-10-03 cs.LG
Mario Plays on a Manifold: Generating Functional Content in Latent Space through Differential Geometry
IT University of Copenhagen(哥本哈根信息技术大学);Technical University of Denmark(丹麦技术大学)
深度生成模型可以自动创建不同类型的内容。但是,无法保证这些内容满足向最终用户展示所需的标准,并且具有功能性,例如,生成的级别可能无法解决或不连贯。本文从几何的角度研究了这个问题,并基于黎曼几何给出了范畴VAE潜空间中可靠插值和随机游动的方法。我们测试我们的方法与“超级马里奥兄弟”和“塞尔达传说”的水平,并对简单的基线灵感来自目前的做法。结果表明,我们提出的几何形状能够更好地插值和采样,可靠地接近解码可播放内容的潜在空间部分。
2022-05-31 cs.LG
Semantic Noise Modeling for Better Representation Learning
Lunit Inc.(Lunit公司);New York University(纽约大学)
通过分层特征抽象从多层神经网络学习的潜在表示使得深度学习最近取得了成功。在深度学习框架下,泛化性能高度依赖于学习到的潜在表示,该潜在表示是从设计的网络模型上具有特定任务目标的适当训练场景中获得的。在这项工作中,我们提出了一种新的潜在空间建模方法来学习更好的潜在表示。我们设计了一个神经网络模型的基础上的假设,可以通过最大化的输入,潜在的,和输出变量之间的总相关性,以达到良好的基础表示。从基础模型出发,我们引入了一种语义噪声建模方法,该方法可以对潜在空间进行类条件扰动,以增强学习到的潜在特征的表示能力。在训练过程中,隐向量表示可以被建模的类条件加性噪声随机扰动,同时保持其原始语义特征。它隐含着对潜在空间的语义增强效应。所提出的模型可以很容易地学习反向传播与常见的基于梯度的优化算法。实验结果表明,该方法有助于实现性能优势,对各种以前的方法。我们还提供了经验分析,建议类条件扰动过程,包括t-SNE可视化。
2016-11-04 cs.LG cs.NE
Understanding Neural Coding on Latent Manifolds by Sharing Features and Dividing Ensembles
Norwegian University of Science and Technology(挪威科技大学);Bosch Center for Artificial Intelligence(博世人工智能中心);University of Cambridge(剑桥大学)
系统神经科学依赖于神经数据的两种互补观点,其特征在于单神经元调谐曲线和群体活动分析。这两种观点结合在神经潜变量模型中,该模型约束了潜变量和神经活动之间的关系,由简单的调谐曲线函数建模。最近已经证明了这一点,使用高斯过程,与现实和拓扑相关的潜在流形的应用。然而,这些模型和以前的模型错过了神经群体的关键共享编码特性。我们提出了跨神经调谐曲线的特征共享,这显著提高了性能并有助于优化。我们还提出了一个解决方案的合奏检测问题,其中不同的神经元组,即,合奏,可以调制不同的潜在流形。通过在训练期间对神经元进行软聚类来实现,这允许以无监督的方式分离混合神经种群。这些创新导致了更可解释的神经种群活动模型,即使在复杂的潜在流形的混合物上,这些模型也能很好地进行训练并表现得更好。最后,我们将我们的方法应用于最近发布的网格单元数据集,并在一个集成的建模框架中恢复不同的集合,推断环形潜伏期和预测神经调谐曲线。
2023-02-16 cs.LG q-bio.NC stat.ML
Encoded Prior Sliced Wasserstein AutoEncoder for learning latent manifold representations
Gatsby Computational Neuroscience Unit, University College London(伦敦大学学院盖茨比计算神经科学单元);Department of Mathematics and Center for Scientific Computation and Mathematical Modeling, University of Maryland College Park(马里兰大学帕克分校数学系与科学计算与数学建模中心)
虽然变分自编码器在若干任务中已经成功,但是常规先验的使用在它们对输入数据的底层结构进行编码的能力方面受到限制。我们介绍了一种编码的先验切片Wasserstein自动编码器,其中一个额外的先验编码器网络学习数据流形的嵌入,保留了数据的拓扑和几何属性,从而改善了潜在空间的结构。自动编码器和先验编码器网络使用切片Wasserstein距离进行迭代训练。学习流形编码的有效性是通过沿着测地线插值来遍历潜在空间来探索的,测地线生成的样本位于数据流形上,因此与欧几里得插值相比更真实。为此,我们引入了一个基于图形的算法,探索数据流形和插值沿网络测地线在潜在的空间,最大限度地提高密度的样本沿路径,同时最大限度地减少总能量。我们使用的3D螺旋数据显示,与传统的自动编码器不同,先验编码的几何基础的数据,并展示了通过网络算法的嵌入式数据流形的探索。我们将我们的框架应用于基准图像数据集,以展示学习数据表示在离群值生成,潜在结构和测地线插值中的优势。
2021-12-10 cs.CV cs.LG stat.ML
Link Prediction on Latent Heterogeneous Graphs
Singapore Management University(新加坡管理大学);National University of Singapore(新加坡国立大学)
在图数据上,大量的节点或边类型产生了异构信息网络(HIN)。为了保持HIN上的异构语义,丰富的节点/边类型成为HIN表示学习的基石。然而,在现实世界中,类型信息往往是嘈杂的,丢失或不可访问的。假设没有类型信息,我们定义了一个所谓的潜在异构图(LHG),它携带潜在的异构语义的节点/边缘类型无法观察到。在本文中,我们研究了具有挑战性的和未探索的问题的链接预测上的LHG。由于现有的方法严重依赖于基于类型的信息,他们是次优的,甚至不适用于LHG。为了解决类型信息的缺乏,我们提出了一个名为LHGNN的模型,基于在节点和路径级别的语义嵌入的新思想,捕捉节点上和节点之间的潜在语义。我们进一步设计了一个个性化的功能,以调制的异构上下文条件下,他们的潜在语义w.r.t.目标节点,以实现更细粒度的聚合。最后,我们在四个基准数据集上进行了大量的实验,并证明了LHGNN的优越性能。
2023-02-21 cs.LG
Latent Magic: An Investigation into Adversarial Examples Crafted in the Semantic Latent Space
Shanghai Jiao Tong University(上海交通大学)
本文提出在语义潜空间中构造对抗样本的框架,并设计了首个基于SSIM损失和欺骗率的对抗攻击质量评估指标,证明了潜空间对抗样本在欺骗率和可迁移性上优于像素空间样本。
2023-05-22 cs.LG
Discovering Interpretable Directions in the Semantic Latent Space of Diffusion Models
IT University of Copenhagen(哥本哈根信息技术大学);Technion(以色列理工学院)
本文探索扩散模型h-空间的语义方向,提出无监督与监督方法发现可解释方向,无需架构修改或微调,实现语义编辑。
2024-05-29 cs.CV cs.LG
Reconstruction or Semantics? What Makes a Latent Space Useful for Robotic World Models
Chandar Research Lab(昌达尔研究实验室);Mila – Quebec AI Institute(魁北克人工智能研究院);Polytechnique Montréal(蒙特利尔理工学院);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
本文评估了不同潜在空间在机器人世界模型中的有效性,发现语义潜在空间在规划和下游政策性能方面优于重建潜在空间。
2026-05-07 cs.CV cs.LG cs.RO
Enhancing Domain Word Embedding via Latent Semantic Imputation
New Jersey Institute of Technology(新泽西理工学院);Stony Brook University(石溪大学)
本文提出了一种新的方法潜在语义填补(LSI),将外部知识转移到语义空间,以增强词嵌入。该方法结合图论来提取实体在亲和空间中的潜在流形结构,并利用标准单纯形约束的非负最小二乘和幂迭代方法来获得谱嵌入。它提供了一个有效的和高效的方法来组合实体表示定义在不同的欧几里德空间。具体来说,我们的方法生成并估算可靠的嵌入向量的低频词在语义空间和利益的下游语言任务,依赖于词嵌入。我们进行了全面的实验,精心设计的分类问题和语言建模,并证明了通过LSI的增强嵌入的优越性超过几个著名的基准嵌入。我们还证实了我们的方法在不同参数设置下的结果的一致性。
2019-05-21 cs.IR cs.LG stat.ML
Learning Flat Latent Manifolds with VAEs
Machine Learning Research Lab, Volkswagen Group(大众集团机器学习研究实验室);Autonomous Intelligent Driving GmbH(自主智能驾驶有限公司)
测量数据点之间的相似性通常需要领域知识,这可以部分地通过依赖于无监督的方法来补偿,例如潜变量模型,其中在更紧凑的潜在空间中估计相似性/距离。普遍使用的是欧几里德度量,其缺点是忽略了关于存储在解码器中的数据的相似性的信息,如黎曼几何的框架所捕获的。我们提出了一个扩展的框架变分自动编码器允许学习平坦的潜在流形,其中欧几里德度量是数据点之间的相似性的代理。这是通过将潜在空间定义为黎曼流形并将度量张量正则化为缩放单位矩阵来实现的。此外,我们取代了紧凑的前通常用于变分自动编码器与最近提出的,更有表现力的层次-和制定的学习问题作为一个约束优化问题。我们在一系列数据集上评估了我们的方法,包括视频跟踪基准,其中我们的无监督方法的性能接近最先进的监督方法,同时保留了基于直线的方法的计算效率。
2020-08-12 cs.LG stat.ML
Intrinsic-Hybrid Latent Diffusion Models for Generative Modeling on Unknown Manifolds
School of Mathematics and Statistics, University of Glasgow(格拉斯哥大学数学与统计学院)
该研究提出ILDM框架,将概率降维与未知流形几何感知扩散结合,通过混合扩散与近似去噪得分匹配方法,在三类数据集上实现生成质量提升,降低了FID和LPIPS分数。
2026-08-06 cs.LG stat.ML
Ricci flow regularization in latent spaces for the forward learning of partial differential equations
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
本文提出基于流形的机器学习编码器-解码器方法,通过里奇流演化潜在空间来学习时间动态,特别是偏微分方程。方法通过参数化潜在流形并模拟物理约束下的里奇流,实现低维表示学习及对抗鲁棒性。
2026-06-08 cs.LG stat.ML
Latent Space Alignment for Semantic Channel Equalization
CEA-Leti;Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
本文研究分布式任务求解中智能体语言不匹配的影响,提出数学框架度量语义失真,并设计了有效的语义信道均衡新方法。
2024-06-04 cs.CL cs.IT cs.LG
On Probabilistic Pullback Metrics for Latent Hyperbolic Manifolds
Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院);KTH Royal Institute of Technology(皇家理工学院);Bosch Center for Artificial Intelligence(博世人工智能中心)
针对双曲潜在空间中传统测地线插值路径易穿低数据区、预测不确定性高的问题,本文提出为双曲流形增加拉回度量,完整推导GPLVMs的拉回度量,实验证明其测地线可对齐数据分布、显著降低预测不确定性。
2025-05-18 cs.LG stat.ML
Clustering and Latent Semantic Indexing Aspects of the Nonnegative Matrix Factorization
Faculty of Computer Science and Information Systems, University of Technology Malaysia(马来西亚理工大学计算机科学与信息系统学院)
本文为非负矩阵分解(NMF)的聚类方面提供了理论支持。通过利用Karush-Kuhn-Tucker最优性条件,我们证明了NMF目标等价于图聚类目标,因此NMF的聚类方面具有坚实的理由。不同于以往的方法,通常放弃非负约束,我们的方法保证用于推导等价的驻点位于非负正交的可行域。此外,由于矩阵分解技术的聚类能力有时可能意味着其潜在的语义索引(LSI)方面,我们也将评估LSI方面的NMF显示其在解决合成数据集的同义词和多义词问题的能力。并通过使用一些标准数据集比较NMF和标准LSI方法奇异值分解(SVD)的LSI性能,进行更广泛的评估。
2011-12-17 cs.LG
The Hyperspherical Geometry of CLIP Latent Space: A Semantic Mixture Model
Tsinghua University(清华大学);Cisco Research(思科研究院);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
研究 CLIP 潜在空间,提出基于冯·米塞斯-费舍尔分布混合的密度模型,用期望最大化算法学习,实现准确可解释的密度估计,改善长尾和分布外检测,建立几何一致的概率框架。
2026-07-16 cs.LG
Explorations in Homeomorphic Variational Auto-Encoding
University of Amsterdam(阿姆斯特丹大学);Qualcomm AI Research(高通人工智能研究院)
流形假设指出,许多种高维数据集中在低维流形附近。如果这个数据流形的拓扑结构是非平凡的,连续编码器网络不能以一对一的方式嵌入它,而不会在潜在空间中创建低密度的孔。这与通常在变分自动编码器(VAE)中进行的高斯先验假设不一致,因为高斯的密度集中在斑点状流形附近。在本文中,我们研究使用流形值的潜变量。具体来说,我们专注于连续可微对称群(李群)的重要情况下,如组的三维旋转$\operatorname{SO}(3)$。我们展示了如何VAE与$\operatorname{SO}(3)$值的潜变量可以构建,通过扩展的reparameterization技巧紧凑连接李群。我们的实验表明,选择与潜在数据流形的拓扑结构相匹配的流形值潜在变量,对于保持拓扑结构和学习行为良好的潜在空间至关重要。
2018-07-12 cs.LG stat.ML
Pullback Flow Matching on Data Manifolds
KTH Royal Institute of Technology(皇家理工学院);University of Amsterdam(阿姆斯特丹大学);University of Cambridge(剑桥大学);University of California, Los Angeles(加州大学洛杉矶分校);Delft University of Technology(代尔夫特理工大学)
本文提出拉回流匹配(PFM)框架,利用拉回几何与等距学习在数据流形上实现高效生成与精确插值,在蛋白质数据上验证了生成特定性质新样本的能力。
2025-07-09 cs.AI cs.LG math.DG
Soft Partitioning of Latent Space for Semantic Channel Equalization
CEA-Leti;Université Grenoble Alpes(格勒诺布尔阿尔卑斯大学)
针对多用户语义通信中的语言不匹配问题,提出一种基于软划分准则的潜在空间划分方法,以提升一对多映射任务场景下的语义信道均衡性能。
2024-06-04 cs.IT cs.LG cs.MA
Dueling Decoders: Regularizing Variational Autoencoder Latent Spaces
Google Research(谷歌研究院)
变分自编码器学习无监督的数据表示,但这些模型经常收敛到最小值,无法保留有意义的语义信息。例如,具有自回归解码器的变分自编码器通常会崩溃为自解码器,在自解码器中,它们学会忽略编码器输入。在这项工作中,我们证明了添加辅助解码器来正则化潜在空间可以防止这种崩溃,但成功的辅助解码任务是依赖于域的。辅助解码器可以增加潜在空间中编码的语义信息量,并在重建中可见。变分自编码器的表示中的语义信息仅与其速率、失真或证据下限弱相关。与其他修改训练目标的流行策略相比,我们对潜在空间的正则化通常增加了语义信息内容。
2019-05-17 cs.LG stat.ML
Latent Space Characterization of Autoencoder Variants
该研究通过矩阵流形表征与保距变换分析,揭示了卷积、去噪、变分三类自编码器潜在空间的结构差异及输入扰动下的变化规律,解释了其流形平滑性不同的原因。
2025-01-16 cs.CV cs.IT cs.LG
System stabilization with policy optimization on unstable latent manifolds
Virginia Tech(弗吉尼亚理工大学);Courant Institute of Mathematical Sciences, New York University(纽约大学柯朗数学科学研究所)
针对强化学习镇定动力系统时数据收集受限的难题,提出在不稳定极小潜流形上构建的强化学习方法,仅需少量样本即可实现复杂物理系统的镇定,效果优于状态空间法和通用潜流形方法。
2024-07-08 cs.LG cs.NA math.DS
NeuroLens: Learning Latent Embeddings of Neural Semantics from Chronic Recordings
Northwestern University(西北大学);University of Cambridge(剑桥大学);Johns Hopkins University(约翰霍普金斯大学);Columbia University(哥伦比亚大学);University of California, Los Angeles(加州大学洛杉矶分校);Stanford University(斯坦福大学)
NeuroLens利用JEPA框架的自监督模型,从慢性神经记录中学习去噪潜在表征,改善决策和语义解码,支持跨会话泛化与少样本适应,为研究神经表征动态提供新范式。
2026-10-05 cs.LG q-bio.NC
MIND: Decoupling Model-Induced Label Noise via Latent Manifold Disentanglement
State Key Laboratory of Novel Software Technology, Nanjing University, Nanjing 210023, China(新型软件技术国家重点实验室,南京大学,南京210023,中国)
MIND通过潜在流形解耦技术解决模型诱导标签噪声问题,通过动态投影样本到潜在结构聚类,提升噪声识别能力,验证了其在复杂基准测试中的优越性。
2026-05-15 cs.CV cs.LG
On the Semantic Latent Space of Diffusion-Based Text-to-Speech Models
Verily AI
本研究探索冻结扩散TTS模型潜空间的语义信息,提出有监督和无监督方法寻找语义方向,实现无需额外训练或架构更改的开箱即用音频编辑。
2024-06-04 cs.CL cs.LG cs.SD