A new locally linear embedding scheme in light of Hessian eigenmap
National Sun Yat-sen University（国立中山大学）
我们提供了一个新的解释Hessian局部线性嵌入（HLLE），揭示了它本质上是一个变体的方式来实现相同的想法局部线性嵌入（LLE）。基于新的解释，可以进行实质性的简化，其中“Hessian”的概念被相当任意的权重所取代。此外，我们通过数值例子表明，HLLE可能会产生类似投影的结果时，目标空间的维数大于数据流形，因此一个进一步的修改有关的流形维数的建议。结合所有的观察，我们最终实现了一个新的LLE类型的方法，这是所谓的切向LLE（TLLE）。它比HLLE更简单，更健壮。
2021-12-16 cs.LG cs.NA math.NA
Linear Iterative Feature Embedding: An Ensemble Framework for Interpretable Model
Wells Fargo（富国银行）
一种新的集成框架解释模型称为线性迭代特征嵌入（LIFE）已被开发，以实现高的预测精度，易于解释和高效的计算同时。LIFE算法能够准确地拟合宽单隐层神经网络（NN），其步骤为：通过神经节点的线性投影定义数据集的子集，从在数据的不同子集上训练的多个窄单隐层NN创建特征，将特征与线性模型相结合。LIFE背后的理论基础也提供了堆栈集成方法的损失模糊度分解的连接。仿真和实证实验都证实了LIFE的性能始终优于直接训练的单隐层NN，并且在许多实验中也优于许多其他基准模型，包括多层前馈神经网络（FFNN），Xgboost和随机森林（RF）。作为一个宽的单隐层神经网络，LIFE本质上是可解释的。同时，变量重要性和全局主效应和交互效应都可以轻松创建和可视化。此外，基本学习者构建的并行性质使得LIFE通过利用并行计算在计算上高效。
2021-03-18 cs.LG stat.ML
Think Globally, Embed Locally --- Locally Linear Meta-embedding of Words
The University of Liverpool（利物浦大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术大学）；National Institute of Informatics（日本国立信息学研究所）；Japan Science and Technology Agency, ERATO, Kawarabayashi Large Graph Project（日本科学技术振兴机构 ERATO 河原林大型图项目）
分布式词嵌入在许多自然语言处理（NLP）任务中表现出优越的性能。然而，它们的表现在不同的任务中有很大差异，这意味着通过这些方法学习的词嵌入捕捉了词汇语义的互补方面。因此，我们认为，重要的是要结合现有的词嵌入，以产生更准确和完整的\emph{meta-embeddings}的话。为此，我们提出了一种无监督的局部线性元嵌入学习方法，该方法将预训练的词嵌入作为输入，并产生更准确的Meta嵌入。与先前提出的元嵌入学习方法不同，该方法学习词汇表中所有单词的全局投影，我们提出的方法对单个源词嵌入的局部邻域的差异敏感。此外，我们表明，矢量拼接，以前提出的高度竞争力的基线方法集成词嵌入，可以作为一个特殊的情况下，所提出的方法。在语义相似度、词类比、关系分类和短文本分类任务上的实验结果表明，我们的元嵌入在几个基准数据集上的性能明显优于现有方法，为元嵌入建立了一个新的艺术状态。
2017-09-19 cs.CL cs.LG cs.NE
Locally Linear Image Structural Embedding for Image Structure Manifold Learning
University of Waterloo（滑铁卢大学）
现有的流形学习方法大多依赖于均方误差（MSE）或$\ell_2$范数。然而，对于图像质量评价问题，这些都不是很有前途的措施。在本文中，我们引入了图像结构流形的概念，捕捉图像的结构特征和判别图像失真。我们提出了一种新的流形学习方法，局部线性图像结构嵌入（LLISE），和核LLISE学习这个流形。LLISE受到局部线性嵌入（LLE）的启发，但使用SSIM而不是MSE。本文在流形学习和图像保真度评价之间架起了一座桥梁，为今后的研究开辟了一个新的领域。
2019-08-25 cs.CV cs.LG eess.IV
Billion-scale Network Embedding with Iterative Random Projection
Tsinghua University（清华大学）
网络嵌入是一种学习网络中节点的低维向量表示的方法，近年来受到了广泛的关注。然而，现有的方法是无法处理十亿规模的网络，因为它们是计算昂贵的，同时，难以被加速的分布式计算计划。为了解决这些问题，我们提出了RandNE（迭代随机投影网络嵌入），一种新颖而简单的十亿级网络嵌入方法。具体来说，我们提出了一种高斯随机投影方法，将网络映射到一个低维嵌入空间，同时保持节点之间的高阶近似。为了降低算法的时间复杂度，我们设计了一个迭代投影过程，避免了对高阶近似的显式计算。理论分析表明，该方法是非常有效的，友好的分布式计算方案，没有任何通信成本的计算。我们还设计了一个动态更新过程，可以有效地纳入网络的动态变化，而不会产生错误聚集。大量的实验结果表明，RandNE在多个任务中的效率和功效超过了最先进的方法，包括网络重建，链接预测和节点分类，多个数据集具有不同的规模，从数千到数十亿的节点和边缘。
2018-09-10 cs.LG cs.SI stat.ML
Are Girls Neko or Shōjo? Cross-Lingual Alignment of Non-Isomorphic Embeddings with Iterative Normalization
University of Maryland, College Park（马里兰大学帕克分校）；Massachusetts Institute of Technology（麻省理工学院）
跨语言词嵌入（CLWE）是许多多语言自然语言处理系统的基础，通常通过预训练的单语言嵌入的正交变换。然而，正交映射只适用于嵌入自然同构的语言对。对于非同构对，我们的方法（迭代归一化）通过同时强制（1）单个单词向量为单位长度，以及（2）每种语言的平均向量为零，来转换单语嵌入，以使正交对齐更容易。迭代规范化一致地提高了三种CLWE方法的单词翻译准确度，其中在英语-日语上观察到的改进最大（从2%到44%的测试准确度）。
2019-11-11 cs.AI cs.CL cs.LG
Learning Canonical Embeddings for Unsupervised Shape Correspondence with Locally Linear Transformations
University of Florida（佛罗里达大学）；National Renewable Energy Lab（美国国家可再生能源实验室）
我们提出了一种新的方法来无监督的点云对之间的形状对应学习。我们第一次尝试适应经典的局部线性嵌入算法（LLE）-最初设计用于非线性降维-形状对应。其关键思想是通过首先获得低维点云的高维邻域保持嵌入，然后使用局部线性变换对齐源和目标嵌入，来找到形状之间的密集对应。我们证明了学习嵌入使用一个新的LLE启发的点云重建目标的结果在准确的形状对应。更具体地说，该方法包括一个端到端的可学习框架，该框架提取高维邻域保持嵌入，估计嵌入空间中的局部线性变换，并通过重建和目标形状上构建的概率密度函数的基于发散测量的对齐来重建形状。我们的方法强制对应的形状嵌入位于相同的通用/规范嵌入空间中，这最终有助于正则化学习过程，并导致形状嵌入之间的简单最近邻方法，以找到可靠的对应关系。综合实验表明，新方法在覆盖人类和非人类形状的标准形状对应基准数据集上比最先进的方法有明显的改进。
2022-09-07 cs.CV cs.LG
Avoiding unwanted results in locally linear embedding: A new understanding of regularization
National Sun Yat-sen University（国立中山大学）
我们证明了局部线性嵌入（LLE）固有地承认一些不需要的结果时，没有正则化，即使是在正则化是不应该需要在原来的算法的情况下。在数据的每个邻域内都达到精确的局部线性关系的情况下，数学上证明了一种特殊类型的结果的存在性，我们称之为“投影模式”。这些特殊的模式，以及其他一些奇怪的结果，可能会发生在更一般的情况下，显示的数值例子的瑞士辊与孔嵌入在一个高维空间。据观察，所有这些坏的结果可以有效地防止使用正则化。
2021-08-28 cs.LG cs.NA math.NA
Robust Locally-Linear Controllable Embedding
University of Waterloo（滑铁卢大学）；Standford University（斯坦福大学）；DeepMind（深度思维）
嵌入控制（Embed-to-Control，E2 C）是一种将变分自编码器与局部最优控制器相结合的解决高维最优控制问题的模型。然而，E2 C模型具有两个主要缺点：1）其目标函数不对应于数据序列的似然性，以及2）用于嵌入的变分编码器通常具有大的变分近似误差，特别是当系统动态中存在噪声时。本文提出了一种新的鲁棒局部线性可控嵌入学习模型。我们的模型直接估计未来观测的预测条件密度，同时在当前和未来观测之间引入瓶颈。虽然瓶颈提供了一个自然的嵌入候选控制，我们的RCE模型在生成图形模型中引入了额外的特定结构，使模型动态可以鲁棒线性化。我们还提出了一个原则性的变分逼近的嵌入后验，考虑到未来的观察，从而使变分逼近更强大的噪声。实验结果表明，RCE优于E2 C模型，并且当底层动态有噪声时，RCE的性能显著提高。
2018-02-21 cs.LG
Locally Linear Embedding and fMRI feature selection in psychiatric classification
University of Alberta（阿尔伯塔大学）
背景资料：功能性磁共振成像（fMRI）使用内源性血氧水平依赖（BOLD）对比度提供神经元活动的非侵入性测量。本文介绍了一种非线性降维（局部线性嵌入）提取的BOLD时间序列的潜在神经元活动的信息措施。该方法是使用留一交叉验证（LOOCV）的准确性进行验证的精神病诊断使用休息状态和任务相关的功能磁共振成像分类。方法：BOLD时间序列的局部线性嵌入（到每个体素各自的张量中）用于优化特征选择。这使用了高斯的最小约束原理来保持空间和时间上的量。使用LOOCV评估这种保守性，以增量方式在根据精神病诊断分类的训练数据上重新选择时间点。调查结果：嵌入式功能磁共振成像在11个公开的数据集上提供了高度的诊断性能（> 80%），这些数据集包含健康对照和患有精神分裂症、注意力缺陷多动障碍（ADHD）或自闭症谱系障碍（ASD）的患者。此外，与使用主成分分析（PCA）减少伪影之前或之后的原始fMRI数据不同，嵌入式fMRI在11个数据集中的10个数据集上提供了显着优于机会分类（定义为多数类比例）的解释：局部线性嵌入似乎是一个有用的特征提取程序，保留了关于区分精神病队列的大脑活动模式的重要信息。
2019-11-07 cs.LG eess.IV stat.ML
Sentence Embeddings in NLI with Iterative Refinement Encoders
University of Helsinki（赫尔辛基大学）
句子级表示对于各种NLP任务是必要的。递归神经网络已被证明在学习分布式表示方面非常有效，并且可以在自然语言推理任务上进行有效训练。我们建立在这样一个模型之上，并提出了一个BiLSTM和最大池化层的层次结构，该层次结构实现了迭代细化策略，并在SciTail数据集上产生了最先进的结果，以及SNLI和MultiNLI的强结果。我们可以证明，以这种方式学习的句子嵌入可以用于各种各样的迁移学习任务，在10个SentEval句子嵌入评估任务中有7个优于InferSent，在9个SentEval评估任务中有8个优于SkipThought。此外，我们的模型在最近发表的10个SentEval探测任务中的8个中击败了InferSent模型，这些探测任务旨在评估句子嵌入捕捉句子的一些重要语言属性的能力。
2019-06-03 cs.CL cs.LG
IterefinE: Iterative KG Refinement Embeddings using Symbolic Knowledge
从文本源中提取的知识图（Knowledge Graph，KG）往往带有噪声，导致下游应用任务（如基于KG的问答）的性能不佳。虽然最近的许多活动都集中在通过使用嵌入来推断新事实来解决KG的稀疏性，但通过KG精化任务来清除KG中的噪声的问题并没有得到积极的研究。大多数成功的KG细化技术利用推理规则和本体推理。除了少数例外，嵌入不利用本体信息，并且它们在KG细化任务中的表现还没有得到很好的理解。在本文中，我们提出了一个KG细化框架称为IterefinE迭代结合两种技术-一个使用本体信息和推理规则，PSL-KGI，和KG嵌入，如ComplEx和ConvE不。因此，IterefinE不仅能够利用本体信息来提高预测的质量，而且还能够利用KG嵌入的能力（隐式地）执行更长的推理链。IterefinE框架在协同训练模式下运行，并导致从PSL-KGI（我们称之为TypeE-X）中细化的KG的显式类型监督嵌入。我们在一系列KG基准上的实验表明，我们产生的嵌入能够拒绝KG中的噪声事实，同时推断出更高质量的新事实，从而使整体加权F1得分提高了9%
2020-06-03 cs.AI cs.DB cs.LG
Domain Adaptation Broad Learning System Based on Locally Linear Embedding
广义学习系统（BLS）的提出已有几年的历史。它证明了许多分类和回归问题的有效学习能力。然而，BLS及其改进版本主要用于处理单一领域的无监督、有监督和半监督学习问题。据我们所知，BLS的跨域学习能力很少受到关注。因此，本文将BLS引入迁移学习领域，提出了一种基于局部线性嵌入的领域自适应广义学习系统（DABLS-LLE）。该算法利用目标域的一小部分标记数据和源域的全部标记数据学习一个鲁棒的分类模型。该算法继承了BLS的计算效率和学习能力。在基准数据集（CAST-Caltech-10）上的实验验证了该方法的有效性。实验结果表明，与现有的迁移学习方法相比，该方法能够以更少的运行时间获得更好的分类精度。这表明我们的方法可以为BLS带来新的优势。
2021-06-28 cs.LG
Towards Spectral Convergence of Locally Linear Embedding on Manifolds with Boundary
本文分析从区间或圆盘采样时 Locally Linear Embedding 渐近对应的二阶退化混合型微分算子，利用正则性边界条件与 Frobenius 方法解析确定极限特征值，并与数值结果比较，提出推广到紧流形的变分框架。
2025-01-16 cs.LG math.AP
Adaptive Locally Linear Embedding
Ferdowsi University of Mashhad（马什哈德费尔多西大学）；Center of Excellence in Soft Computing and Intelligent Information Processing, Ferdowsi University of Mashhad（马什哈德费尔多西大学软计算与智能信息处理卓越中心）
本文提出自适应局部线性嵌入（ALLE），通过数据驱动的动态度量替代欧氏距离，以拓扑邻域包含关系重新定义邻近性，从而在复杂高维数据降维中实现更优的邻域保持和更准确的嵌入。
2025-04-09 cs.AI cs.LG
Locally-Contextual Nonlinear CRFs for Sequence Labeling
University College London（伦敦大学学院）；Alan Turing Institute（艾伦·图灵研究所）
线性链条件随机场（CRF）与上下文词嵌入相结合的序列标记任务的最先进的性能。在许多这些任务中，当预测给定单词的标签时，相邻单词的身份通常是最有用的上下文信息。然而，上下文嵌入通常以任务不可知的方式训练。这意味着，虽然它们可以编码关于相邻字的信息，但不能保证。因此，设计序列标记架构以直接从嵌入中提取该信息可能是有益的。我们提出了局部上下文的非线性CRF序列标记。我们的方法在预测给定单词的标签时直接结合来自相邻嵌入的信息，并使用深度神经网络参数化潜在函数。我们的模型作为线性链CRF的替代品，在我们的消融研究中始终优于它。在各种各样的任务，我们的结果是具有竞争力的最好的公布的方法。特别是，我们超越了以前的国家的最先进的组块在CoNLL 2000和命名实体识别OntoNotes 5.0英语。
2021-03-30 cs.CL cs.LG stat.ML
Escaping Iterative Parameter-Space Noise: Differentially Private Learning with a Hypernetwork
The University of Tokyo（东京大学）；LY Corporation
提出一种新的差分隐私学习框架，通过超网络在公共数据集上训练，将私有数据集映射为低维表示并仅注入一次噪声，从而避免迭代参数空间噪声，在固定隐私预算下实现更高效用。
2026-06-26 cs.LG stat.ML
Locally Non-linear Embeddings for Extreme Multi-label Learning
Microsoft Research（微软研究院）；Indian Institute of Technology, Delhi（德里印度理工学院）
极端多标签学习的目标是训练一个分类器，该分类器可以自动标记一个新的数据点，并从一个非常大的标签集中选择最相关的标签子集。基于嵌入的方法通过假设训练标签矩阵是低秩的，使得训练和预测易于处理，因此可以通过将高维标签向量投影到低维线性子空间上来减少标签的有效数量。尽管如此，领先的嵌入方法仍然无法提供高的预测精度或扩展到大的问题，因为在大多数现实世界的应用中，低秩假设被违反。本文开发了X-One分类器来解决这两个限制。X-One的主要技术贡献是学习局部距离保持嵌入的小集合的公式，可以准确预测不经常出现的（尾部）标签。这使得X-One能够摆脱传统的低秩假设，并通过学习嵌入来提高分类精度，这些嵌入仅保留最近的标签向量之间的成对距离。我们对几个真实世界以及基准数据集进行了广泛的实验，并将我们的方法与最先进的极端多标签分类方法进行了比较。实验表明，X-One可以做出比最先进的方法更准确的预测，包括嵌入（高达35%）以及树（高达6%）。X-One还可以有效地扩展到具有一百万个标签的数据集，这超出了领先的嵌入方法的范围。
2015-07-09 cs.IR cs.LG math.OC
Structured Representation Learning with Locally Linear Embeddings and Adaptive Feature Fusion
Mila – Quebec AI Institute（米拉-魁北克人工智能研究所）
受神经科学启发，提出一种强化学习框架，利用局部线性嵌入捕捉状态局部结构，并通过注意力机制自适应融合动态与奖励特征，提升学习效率。
2026-06-18 cs.AI cs.LG
DIVE: End-to-end Speech Diarization via Iterative Speaker Embedding
Google Research（谷歌研究院）
我们介绍了DIVE，一个端到端的说话人日志化算法。我们的神经算法将日志化任务呈现为一个迭代过程：它重复地为每个说话者构建一个表示，然后根据提取的表示来预测每个说话者的语音活动。该策略本质上解决了说话人排序模糊，而不需要经典的排列不变训练损失。与以前的工作相比，我们的模型不依赖于预先训练的扬声器表示，并优化了系统的所有参数与多扬声器语音活动损失。重要的是，我们的损失明确排除了不可靠的说话人回合边界的训练，这是适应于标准的基于衣领的日记出错率（DER）的评估。总的来说，这些贡献产生了一个系统，重新定义了标准CALLHOME基准的最新技术水平，DER为6.7%，而最佳替代方案为7.8%。
2021-05-28 cs.LG cs.SD eess.AS
Enhancing Medical Data Analysis through AI-Enhanced Locally Linear Embedding: Applications in Medical Point Location and Imagery
本文提出一种结合AI与局部线性嵌入的方法，用于提升医疗数据分析的准确性和效率，应用于医疗点定位和成像领域。
2025-12-19 cs.AI cs.CV cs.LG
Learning Control by Iterative Inversion
Intel Labs（英特尔研究院）；Technion（以色列理工学院）
本文提出迭代反演算法，仅利用期望输出分布样本和前向函数学习逆函数，并将其应用于基于视频嵌入演示的模仿学习控制，无需奖励即可实现多样化行为的连续控制。
2023-05-30 cs.LG
On the Utility Gain of Iterative Bayesian Update for Locally Differentially Private Mechanisms
Inria（法国国家信息与自动化研究所）；École Polytechnique (IPP)（巴黎综合理工学院（巴黎理工学院））
本文评估 IBU 作为 LDP 离散分布估计后处理方法的效用，通过十四种机制、多指标与真实/合成数据实验证明其尤其在小 ε 下优于 MI，并开源实现与教程。
2023-07-15 cs.CR cs.LG
Iterative Methods via Locally Evolving Set Process
the School of Data Science, Fudan University（复旦大学数据科学学院）；Shanghai Key Laboratory of Data Science, School of Computer Science, Fudan University（复旦大学计算机科学学院上海数据科学重点实验室）；Department of Computer Science, Stony Brook University（石溪大学计算机科学系）；Samsung SAIT AI Lab.（三星SAIT人工智能实验室）
本文提出局部演化集过程框架，将标准迭代求解器有效局部化，并证明APPR及局部Chebyshev方法具有更优的运行时间界限，在真实图上实现高达百倍加速。
2024-10-19 cs.LG
Locally Differentially Private Embedding Models in Distributed Fraud Prevention Systems
Featurespace；University of Cambridge（剑桥大学）；University of Nottingham（诺丁汉大学）
本文提出了一种基于本地差分隐私和变长交易序列潜在嵌入的协作深度学习框架，用于分布式欺诈预防系统，在保障数据隐私的同时实现了对外部模型的安全数据共享，并在真实数据集上验证了其对推理时攻击的鲁棒性及效用-隐私权衡。
2024-01-03 cs.CR cs.LG
Characterization of Excess Risk for Locally Strongly Convex Population Risk
University of Chinese Academy of Sciences（中国科学院大学）；Academy of Mathematics and Systems Science, Chinese Academy of Sciences（中国科学院数学与系统科学研究院）；Huawei Noah’s Ark Lab（华为诺亚方舟实验室）
我们建立了适当的迭代算法训练的模型，近似局部极小值的期望超额风险的上界。与建立在强全局强凸性或全局增长条件上的结果不同，PL-不等式，我们只要求人口风险是\emph{locally}强凸围绕其局部极小值。具体地说，我们在凸问题下的界是$\tilde{\cO}(1/n)$阶的。对于具有$d$模型参数的非凸问题，使得$d/n$小于与$n$无关的阈值，如果经验风险没有具有高概率的伪局部最小值，则可以保持$\tilde{\cO}(1/n)$的阶。此外，非凸问题的界成为$\tilde{\cO}(1/\sqrt{n})$没有这样的假设。我们的结果是通过算法的稳定性和表征的经验风险的景观。与已有的基于算法稳定性的结果相比，我们的界是维数不敏感的，并且对算法的实现、学习率和迭代次数没有限制。我们的边界强调，与局部强凸的人口风险，任何适当的迭代算法训练的模型可以推广，甚至对非凸问题，和$d$是大的。
2022-10-08 cs.LG
Directional Attractors in LLM Reasoning: How Similarity Retrieval Steers Iterative Summarization Based Reasoning
McGill University（麦吉尔大学）
本文提出InftyThink与跨链记忆，通过语义引理检索提升LLM在结构化领域推理准确性，同时揭示异构领域中的失败模式及方向性偏见影响。
2025-12-22 cs.AI cs.CL cs.LG
