MONET: Debiasing Graph Embeddings via the Metadata-Orthogonal Training Unit
Google Research(谷歌研究院)
图神经网络(GNN)公平吗?在许多真实世界的图中,边的形成与某些节点属性(例如性别、社区、声誉)有关。在这种情况下,使用这些边的标准GNN将被这些信息所偏置,因为它被编码在邻接矩阵本身的结构中。在本文中,我们表明,当元数据与节点邻域的形成相关时,无监督的节点嵌入维学习该元数据。这种偏差意味着在现实世界的应用程序中无法控制重要的协变量,例如推荐系统。为了解决这些问题,我们引入了元数据正交节点嵌入训练(MONET)单元,这是一种用于消除图中节点嵌入的偏置的通用模型。MONET通过确保在与节点元数据正交的超平面上训练节点嵌入来实现这一点。这有效地将非结构化的嵌入维度组织成可解释的仅拓扑、仅元数据的划分,而没有线性交互。我们说明了MONET的有效性,通过我们的实验在各种现实世界的图,这表明,我们的方法可以学习和消除任意协变量的影响,如防止泄漏的博客网络中的政党从属关系,并挫败游戏的嵌入式推荐系统。
2020-02-25 cs.LG cs.SI stat.ML
Generalizing Knowledge Graph Embedding with Universal Orthogonal Parameterization
Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院);Key Laboratory of Trustworthy Distributed Computing and Service (MOE), Beijing University of Posts and Telecommunications(北京邮电大学);School of Computer Science and Technology, Dalian University of Technology(大连理工大学计算机科学与技术学院)
针对现有知识图谱嵌入方法维度受限、几何同质导致建模能力不足的问题,提出基于广义Householder反射的通用正交参数化框架GoldE,实现维度扩展与几何统一,在三个标准基准上取得最优性能。
2024-05-14 cs.AI cs.LG
Frequency-domain alignment of heterogeneous, multidimensional separations data through complex orthogonal Procrustes analysis
University of Granada(格拉纳达大学);Computational Data Science Lab(计算数据科学实验室)
针对异构多维分离数据中峰漂移导致难以对齐的问题,提出在频域利用复正交 Procrustes 分析对齐经对数变换的合成色谱数据,可在近最差情景下完成比较。
2025-02-18 cs.LG cs.NA math.NA
Aligning Embeddings and Geometric Random Graphs: Informational Results and Computational Approaches for the Procrustes-Wasserstein Problem
DI ENS(巴黎高等师范学院计算科学系);PSL University(巴黎文理研究大学);Inria Paris(法国国家信息与自动化研究所巴黎分部);Université Paris-Saclay(巴黎萨克雷大学);LMO(奥赛数学实验室);MSR-Inria Joint Centre(微软研究院-法国国家信息与自动化研究所联合中心)
本文研究Procrustes-Wasserstein问题,提出Ping-Pong算法,通过交替估计正交变换和重标记来对齐高维点云,并给出信息论界限和实验验证。
2024-05-23 cs.LG math.ST stat.ML
Ultrahyperbolic Knowledge Graph Embeddings
University of Stuttgart(斯图加特大学);University of Bonn(波恩大学);Monash University(莫纳什大学);University of Southampton(南安普顿大学)
最近的知识图谱(KG)嵌入已经由双曲几何,由于其优越的能力,表示层次。然而,现实世界KG的拓扑结构是相当异构的,即,KG由多个不同的层次和非层次图结构组成。因此,一个均匀的(无论是欧几里德或双曲)几何是不足以公平地代表这样的异质结构。为了捕捉KG的拓扑异质性,我们提出了一个超双曲KG嵌入(UltraE)在超双曲(或伪黎曼)流形无缝交织双曲和球面流形。特别是,我们的模型每个关系作为一个伪正交变换,保持伪黎曼双线性形式。伪正交变换被分解成各种算子(即,圆形旋转、反射和双曲线旋转),允许同时对异构结构以及复杂的关系模式进行建模。三个标准KG上的实验结果表明,UltraE优于以前的欧几里德和双曲线为基础的方法。
2022-06-01 cs.AI cs.LG
On the invertibility of a voice privacy system using embedding alignement
Inria(法国国家信息与自动化研究所);CNRS(法国国家科学研究中心);RENATER(法国国家高等教育与研究网络);Universities(大学)
本文探讨了使用嵌入对齐技术的语音匿名系统的各种攻击场景。我们使用Wasserstein-Procrustes(一种最初为无监督翻译设计的算法)或Procrustes分析来匹配语音匿名化之前和之后的两组x向量,以将这种转换模拟为旋转函数。我们计算最佳旋转,并将此近似结果与官方语音隐私挑战结果进行比较。我们表明,一个复杂的系统,如语音隐私挑战的基线,可以近似旋转,估计使用一组有限的x向量。本文研究了在特定旋转范围内的语音匿名化问题的解空间。旋转是可逆的,所提出的方法可以恢复高达62%的发言人身份从匿名嵌入。
2021-10-08 cs.CR cs.LG cs.SD
Information-Theoretic Quality Metric of Low-Dimensional Embeddings
Tecnologico de Monterrey(墨西哥蒙特雷技术学院)
本文提出熵秩保持度量(ERPM)用于评估低维嵌入的信息保留程度,通过量化不确定性变化,补充现有指标,提升嵌入质量评估的全面性。
2026-01-01 cs.LG
Change Detection in Noisy Dynamic Networks: A Spectral Embedding Approach
University of Kelaniya(凯拉尼亚大学);University of Canterbury(坎特伯雷大学)
动态网络中的变化检测在欺诈检测、网络入侵检测和医疗监控等领域都是一个重要的问题。这是一个具有挑战性的问题,因为它涉及到一个时间序列的图,其中每一个通常是非常大的和稀疏的异构顶点度,导致一个复杂的,高维的数学对象。谱嵌入方法提供了一种有效的方法,将图转换到一个低维的潜在的欧氏空间,保持网络的底层结构。虽然使用谱嵌入的变化检测方法是可用的,但它们不能解决通常发生在嘈杂的现实世界图中的稀疏性和度异质性,并且大多数这些方法都集中在整个网络的行为变化上。在本文中,我们适应以前开发的技术谱图理论,并提出了一个新的概念,应用Procrustes技术嵌入点的顶点在一个图中检测实体行为的变化。我们的谱嵌入方法不仅解决了稀疏性和度异质性问题,而且还获得了适当的嵌入维数的估计。我们称这种方法为CDP(使用Procrustes分析的变化检测)。我们证明了CDP的性能,通过广泛的模拟实验和现实世界的应用。CDP成功地检测各种类型的基于顶点的变化,包括(i)顶点度的变化,(ii)顶点的社区成员的变化,以及(iii)顶点之间的边权重的异常增加或减少。CDP的变化检测性能进行了比较与其他两个基线方法,采用替代频谱嵌入方法。在这两种情况下,CDP通常表现出优异的性能。
2019-10-05 cs.LG stat.CO stat.ML
OSCaR: Orthogonal Subspace Correction and Rectification of Biases in Word Embeddings
UCLA(加州大学洛杉矶分校);University of Utah(犹他大学)
众所周知,语言表征带有刻板偏见,因此,导致下游任务中有偏见的预测。虽然现有的方法在通过线性投影减轻偏差方面是有效的,但是这样的方法过于激进:它们不仅去除偏差,而且从词嵌入中擦除有价值的信息。我们开发了新的措施来评估特定的信息保留,证明偏见消除和信息保留之间的权衡。为了解决这一挑战,我们提出了OSCaR(正交子空间校正和整流),一种偏差缓解方法,专注于解开概念之间的偏见的关联,而不是删除概念批发。我们对性别偏见的实验表明,OSCaR是一种平衡良好的方法,可以确保语义信息保留在嵌入中,偏见也被有效地减轻。
2021-09-10 cs.AI cs.CL cs.LG
Are Girls Neko or Shōjo? Cross-Lingual Alignment of Non-Isomorphic Embeddings with Iterative Normalization
University of Maryland, College Park(马里兰大学帕克分校);Massachusetts Institute of Technology(麻省理工学院)
跨语言词嵌入(CLWE)是许多多语言自然语言处理系统的基础,通常通过预训练的单语言嵌入的正交变换。然而,正交映射只适用于嵌入自然同构的语言对。对于非同构对,我们的方法(迭代归一化)通过同时强制(1)单个单词向量为单位长度,以及(2)每种语言的平均向量为零,来转换单语嵌入,以使正交对齐更容易。迭代规范化一致地提高了三种CLWE方法的单词翻译准确度,其中在英语-日语上观察到的改进最大(从2%到44%的测试准确度)。
2019-11-11 cs.AI cs.CL cs.LG
Stochastic Gradient Descent for Spectral Embedding with Implicit Orthogonality Constraint
Ecole Polytechnique Fédérale de Lausanne (EPFL)(洛桑联邦理工学院);Université Paris-Est(巴黎东大学);CNRS(法国国家科学研究中心);ESIEE Paris(巴黎高等电子工程师学院)
在本文中,我们提出了一个可扩展的算法,频谱嵌入。后者是图聚类的标准工具。然而,其计算瓶颈是图的拉普拉斯矩阵的特征分解,这阻碍了其应用于大规模图。我们的贡献包括重新制定频谱嵌入,使其可以通过随机优化来解决。其思想是用直接注入准则的正交化矩阵代替正交约束。由于梯度可以通过Cholesky分解计算,我们的重新制定,使我们能够开发一个有效的算法的基础上小批量梯度下降。实验结果,合成和真实数据,确认所提出的方法的执行速度方面的效率与类似的现有技术。
2019-04-11 cs.LG stat.ML
Learning to Recall with Transformers Beyond Orthogonal Embeddings
University of Toronto and Vector Institute(多伦多大学和向量研究所);Flatiron Institute(Flatiron研究所);University of Southern California(南加州大学);New York University and Flatiron Institute(纽约大学和Flatiron研究所)
本文研究了在非正交嵌入条件下,单层Transformer在简单token检索任务中的存储容量,揭示了样本量、嵌入维度和序列长度之间的乘积关系。
2026-03-16 cs.LG stat.ML
Semi-orthogonal Embedding for Efficient Unsupervised Anomaly Segmentation
SK Telecom(SK电讯)
我们提出了无监督的异常分割的半正交嵌入的效率。来自预先训练的CNN的多尺度特征最近被用于局部化的Mahalanobis距离,具有显著的性能。然而,增加的特征大小对于扩展到更大的CNN是有问题的,因为它需要多维协方差张量的批量逆。在这里,我们推广了一个特设的方法,随机特征选择,到半正交嵌入鲁棒近似,降低计算成本的多维协方差张量的逆。通过对消融研究的详细审查,所提出的方法实现了MVTec AD、KolektorSDD、KolektorSDD2和mSTC数据集的最新技术水平和显著裕度。理论和实证分析提供了见解和验证我们的简单而具有成本效益的方法。
2021-05-31 cs.AI cs.CV cs.LG
SOLAR: Sparse Orthogonal Learned and Random Embeddings
Rice University(莱斯大学)
密集嵌入模型通常部署在商业搜索引擎中,其中所有文档向量都是预先计算的,并且利用查询向量执行近邻搜索(NNS)以找到相关文档。然而,索引大量密集向量和执行NNS的瓶颈损害了这些模型的查询时间和准确性。在本文中,我们认为,高维和超稀疏嵌入是一个显着优于密集的低维嵌入的查询效率和准确性。极端稀疏性通过用简单的查找替换NNS来消除对NNS的需要,而其高维性确保即使在稀疏时嵌入也是信息丰富的。然而,学习极高维嵌入会导致模型大小爆炸。为了使训练可行,我们提出了一种分区算法,可以在没有任何通信的情况下跨多个GPU学习这种高维嵌入。这是由我们的新的稀疏,正交,学习和随机(太阳)嵌入的非对称混合物。标签向量是随机的,稀疏的,并且通过设计接近正交,而查询向量是学习的和稀疏的。我们从理论上证明了我们的单边学习方式等价于同时学习查询和标签嵌入。有了这些独特的属性,我们可以成功地训练50万维SOLAR嵌入,用于在三个最大的公共数据集上搜索160万本书和多标签分类。与每个任务的最新基线相比,我们实现了卓越的精确度和召回率,速度快达10倍。
2020-08-30 cs.AI cs.DC cs.IR
Making LoRA Identifiable: Orthogonal Alignment for Continual Learning
Sony Research India(索尼印度研究院)
针对现有持续LoRA学习方法内存开销大、表示对齐不足的问题,提出SOAR框架,通过Stiefel流形约束A矩阵与正交Procrustes对齐B矩阵,在无额外内存开销下实现优异的持续学习性能。
2026-10-14 cs.LG
Rotate2Think: Geometric Priming via Orthogonal Rotation to Improve Language Model Reasoning
Polytechnique Montréal(蒙特利尔综合理工学院);Mila - Quebec AI Institute(Mila-魁北克人工智能研究所);LAMA-WeST Lab(LAMA-WeST实验室);Canada CIFAR AI Chair(加拿大CIFAR人工智能主席)
发现推理模型的输入嵌入与思考嵌入存在高锥度且方向非共线,提出无训练方法Rotate2Think,通过正交Procrustes分析估计旋转并注入合成思考向量,在30/32配置中提升数学、科学和代码任务准确率。
2026-06-02 cs.AI cs.LG
ConQuR: Corner Aligned Activation Quantization via Optimized Rotations for LLMs
Department of Computer Science(计算机科学系)
本文提出一种轻量级后训练旋转校准方法,通过学习正交旋转将归一化激活对齐超立方体的角落,提高激活能量在维度上的分布均匀性,避免端到端训练和大规模激活存储。
2026-10-02 cs.LG
Towards Continual Learning Desiderata via HSIC-Bottleneck Orthogonalization and Equiangular Embedding
Huazhong University of Science and Technology(华中科技大学);National University of Singapore(新加坡国立大学)
本文针对无样本缓冲区且模型规模恒定的严格持续学习场景,提出结合HSIC-Bottleneck正交化与等角嵌入的方法,通过减少参数覆盖和改善决策边界适应来缓解灾难性遗忘,并在实验中展现出有竞争力的准确率。
2024-01-17 cs.AI cs.CV cs.LG
OLÉ: Orthogonal Low-rank Embedding, A Plug and Play Geometric Loss for Deep Learning
Universidad de la República(共和国大学);Duke University(杜克大学)
使用顶部的softmax层和交叉熵损失训练的深度神经网络是图像分类的普遍工具。然而,这并不自然地强制学习的深度表示的类内相似性或类间边缘。为了同时实现这两个目标,文献中已经提出了不同的解决方案,例如成对或三重损失。然而,这样的解决方案承载了选择对或三元组的额外任务,以及对它们的许多组合进行计算和学习的额外计算负担。在本文中,我们提出了一个用于深度网络的即插即用损失项,该损失项以简单而优雅的几何方式显式地减少了类内方差并同时强制执行类间余量。对于每个类,深度特征被折叠到学习的线性子空间或它们的并集中,并且类间子空间被推到尽可能正交。我们提出的正交低秩嵌入(OLYST)不需要精心制作成对或三组样本进行训练,并且作为分类损失独立工作,这是同类深度度量学习框架中的第一个。由于不同类别的特征之间的间隔得到了改善,因此产生的深度网络更好地泛化,更具鉴别力,更鲁棒。我们证明了改进的分类性能,在一般的对象识别,插入到现有的现成的架构,建议的损失长期。特别是,我们展示了在小数据/模型场景中提出的损失的优势,并且我们在斯坦福STL-10基准测试中显着推进了最先进的技术。
2017-12-05 cs.CV cs.LG stat.ML
Bayesian learning of orthogonal embeddings for multi-fidelity Gaussian Processes
General Electric Research(通用电气研究中心)
我们提出了一个贝叶斯方法来确定最佳的转换,映射模型输入点的低维潜变量。“投影”映射由正交归一化矩阵组成,该正交归一化矩阵被认为是先验未知的,并且需要以可用的训练数据为条件与GP参数联合推断。建议的贝叶斯推断方案依赖于一个两步迭代算法,分别从GP参数和投影矩阵的边缘后验样本,都使用马尔可夫链蒙特卡罗(MCMC)采样。为了考虑正交投影矩阵的正交性约束,采用了适合于流形上概率测度的测地线蒙特卡罗抽样算法.我们将所提出的框架扩展到使用GP的多保真度模型,包括一起训练多个输出的场景。我们验证了我们的框架上的三个合成问题与一个已知的低维子空间。我们提出的框架的好处,说明了计算上具有挑战性的三维空气动力学优化的最后一级叶片的工业燃气轮机,在那里我们研究了85维翼型形状参数化对两个输出量的影响,特别是对空气动力学效率和反应的程度。
2020-08-05 cs.LG stat.CO stat.ML
Interpreting Protein Language Model Embeddings via Orthogonal Projection for Protein Fitness Prediction
Hasso Plattner Institute, University of Potsdam(波茨坦大学哈索·普拉特纳研究所);Broad Institute of MIT and Harvard(麻省理工学院及哈佛大学布罗德研究所);Humboldt University of Berlin(柏林洪堡大学);Karlsruhe Institute of Technology(卡尔斯鲁厄理工学院)
本研究提出通过正交投影技术去除蛋白质语言模型嵌入中的可解释生化特征效应,证明其编码与生化特性相关的模式并量化其对蛋白质适应性预测的贡献,该方法可迁移至其他问题场景。
2026-08-27 cs.LG q-bio.QM
Drift-Adapter: A Practical Approach to Near Zero-Downtime Embedding Model Upgrades in Vector Databases
Rutgers University - New Brunswick(新布朗斯维尔罗切斯特大学)
本文提出轻量可学习转换层 Drift-Adapter,将新查询映射到旧嵌入空间以复用 ANN 索引,实验表明其以极低延迟和成本恢复 95%–99% 的检索效果。
2025-09-27 cs.IR cs.LG
Inference-InfoGAN: Inference Independence via Embedding Orthogonal Basis Expansion
School of Astronautics, Beihang University(北京航空航天大学宇航学院)
解纠缠学习的目的是构造独立的和可解释的潜变量,其中生成模型是一种流行的策略。InfoGAN是一种经典的方法,通过最大化互信息(MI)来获得映射到目标空间的可解释的潜在变量。但它没有强调独立性。为了显式地推断具有相互独立性的潜在变量,我们提出了一种新的基于GAN的解纠缠框架,通过以无监督的方式将正交基扩展(OBE)嵌入InfoGAN网络(Inference-InfoGAN)。在OBE模块下,可以自适应地找到一组正交基,以扩展任意具有独立性的数据。为了保证目标的可解释性,我们在MI最大化的基础上增加了扩展系数和隐变量之间的一致性约束。此外,我们设计了一个交替优化步骤的一致性约束和正交的需求更新,从而可以更方便地训练推理InfoGAN。最后,通过实验验证了所提出的OBE模块获得的自适应正交基比固定基的离散余弦变换(DCT)具有更好的独立特性。为了描述下游任务的性能,我们在不同的数据集上比较了最先进的基于GAN甚至基于VAE的方法。我们的推理-InfoGAN在FactorVAE,分离属性可预测性(SAP),互信息差距(GBP)和变化可预测性(VP)指标方面实现了更高的解纠缠得分,而无需模型微调。所有的实验结果表明,我们的方法具有相互独立的推理能力,因为OBE模块,并提供了一个很好的权衡它和目标的潜在变量的可解释性,通过联合交替优化。
2021-10-02 cs.CV cs.LG
Compositional Generalization Requires Linear, Orthogonal Representations in Vision Embedding Models
Tübingen AI Center, University of Tübingen(图宾根人工智能中心,图宾根大学);Technical University of Munich(慕尼黑技术大学)
研究组合泛化中表示结构需满足的条件,通过形式化三个需求得出其几何约束,为线性表示假设提供理论基础,还推导维度界限并通过实验验证,揭示模型表示结构与组合泛化的关联。
2026-07-07 cs.CV cs.LG
SCOPE: Scalable Training-Free Semantic Coreset Selection for Long-Tailed Federated Learning
Iowa State University(爱荷华州立大学);Pacific Northwest National Laboratory(太平洋西北国家实验室)
本文提出SCOPE方法,通过正交投影嵌入和语义聚类技术,在联邦学习中有效处理类别不平衡问题,提升全局准确性和收敛稳定性,同时显著降低带宽和计算资源消耗。
2026-10-21 cs.CV cs.LG
OrthoReg: Improving Graph-regularized MLPs via Orthogonality Regularization
University of Illinois Chicago(伊利诺伊大学芝加哥分校);Amazon Web Services(亚马逊云科技);Carnegie Mellon University(卡内基梅隆大学)
图神经网络(GNN)是目前在图结构数据建模中占主导地位的方法,但其对图结构的高度依赖性极大地阻碍了其广泛应用。相比之下,图正则化的MLP(GR-MLP)隐式地将图结构信息注入模型权重中,而它们的性能在大多数任务中很难与GNN相匹配。这促使我们研究GR-MLP性能有限的原因。在本文中,我们首先证明了从传统GR-MLP学习的节点嵌入遭受维度崩溃,这是一种最大的几个特征值主导嵌入空间的现象,通过经验观察和理论分析。因此,学习的节点表示的表达能力受到限制。我们进一步提出了OrthoReg,一种新的GR-MLP模型,以减轻尺寸崩溃的问题。通过节点嵌入的相关矩阵上的软正则化损失,OrthoReg明确鼓励正交节点表示,从而可以自然避免维度折叠表示。在传统的直推式半监督分类任务和冷启动场景下的归纳式节点分类任务上的实验证明了该方法的有效性和优越性。
2023-01-31 cs.LG
Spectral Embeddings Leak Graph Topology: Theory, Benchmark, and Adaptive Reconstruction
Department of Computer Science Virginia Commonwealth University Richmond, VA, USA(计算机科学系弗吉尼亚 Commonwealth 大学里士满, VA, 美国);Department of Computer Science The University of Alabama at Birmingham Birmingham, AL, USA(计算机科学系阿拉巴马大学伯明翰分校伯明翰, AL, 美国)
本文提出LoGraB框架和AFR方法,解决分布式和隐私敏感场景下的图数据碎片化问题,通过自适应重建技术在保证隐私下实现高效图恢复。
2026-04-22 cs.LG
Orthogonal Activation with Implicit Group-Aware Bias Learning for Class Imbalance
School of Computing(计算学院);Australian National University(澳大利亚国立大学)
本文提出OGAB激活函数,通过正交性和组感知偏置学习缓解深度学习中的类别不平衡问题,无需显式标签信息,提升特征区分性与类别分离性。
2025-12-23 cs.LG