Visualizing Representational Dynamics with Multidimensional Scaling Alignment
Zuckerman Mind Brain Behavior Institute, Columbia University, New York, NY, USA 10027(美国纽约州纽约市哥伦比亚大学祖克曼心智脑行为研究所)
表征相似性分析(RSA)已被证明是一个有效的框架,表征脑活动概况和深层神经网络激活作为表征几何,通过计算成对的反应模式的距离作为一个表征相异性矩阵(RDM)。然而,如何正确地分析和可视化的代表性的几何动态的时间过程中,从刺激开始到偏移还没有得到很好的理解。在这项工作中,我们制定了管道,以了解与RDM电影和Procrustes-aligned多维标度(pMDS)的表征动力学,并将其应用于猴子IT皮层的神经记录。我们的研究结果表明,多维缩放对齐可以真正捕捉到动态的类别特定的表示空间与多种可视化的可能性,对象分类可能是分层的,多阶段的,和振荡(或循环)。
2019-07-28 cs.AI cs.LG cs.NE
Unsupervised Manifold Alignment with Joint Multidimensional Scaling
ETH Zürich(苏黎世联邦理工学院);SIB, Swiss Institute of Bioinformatics(瑞士生物信息学研究所)
我们介绍了联合多维尺度,一种新的方法,用于无监督流形对齐,它映射数据集从两个不同的域,没有任何已知的对应关系的数据实例之间的数据集,到一个共同的低维欧氏空间。我们的方法将多维标度(MDS)和Wasserstein Procrustes分析集成到联合优化问题中,以同时生成数据的等距嵌入并学习两个不同数据集的实例之间的对应关系,同时仅需要数据集内成对的差异作为输入。这种独特的特性使我们的方法适用于不访问输入特征的数据集,例如解决不精确的图匹配问题。我们提出了一个交替优化方案来解决这个问题,可以充分受益于MDS和Wasserstein Procrustes的优化技术。我们证明了我们的方法在几个应用程序中的有效性,包括两个数据集的联合可视化,无监督异构域自适应,图匹配和蛋白质结构对齐。我们的工作的实施可在https://github.com/BorgwardtLab/JointMDS上获得
2023-02-16 cs.LG stat.ML
Exact Recovery of Non-Random Missing Multidimensional Time Series via Temporal Isometric Delay-Embedding Transform
The School of Mathematics and Statistics, Xi’an Jiaotong University, Xi’an, Shaanxi, 710049, P. R. China(西安交通大学数学与统计学院)
本文提出LRTC-TIDT模型,通过时间等距延迟嵌入变换实现非随机缺失多维时间序列的精确恢复。
2025-12-11 cs.LG
Learning Isometric Embeddings of Road Networks using Multidimensional Scaling
Technical University of Munich(慕尼黑工业大学)
针对自动驾驶泛化难题,本文提出利用多维缩放技术从道路网络图表示中学习等距嵌入,以构建通用特征空间,支持运动规划并实现降维。
2025-04-24 cs.AI cs.ET cs.LG
Bayesian Hyperbolic Multidimensional Scaling
Johns Hopkins University(约翰斯·霍普金斯大学);University of Washington(华盛顿大学)
本文提出一种双曲流形上的贝叶斯多维标度方法,利用双曲空间表示树状层次结构,并通过病例对照似然近似将复杂度由O(n^2)降至O(n),在多类数据上验证了有效性。
2023-08-15 cs.LG stat.CO stat.ME
Confidence Sets for Multidimensional Scaling
University of California, San Diego(加州大学圣迭戈分校)
本文为经典多维缩放建立统计框架,推导嵌入的分布收敛性,提出bootstrap方法构建刚性变换下的均匀置信集,并验证其有效性及有限样本精度提升。
2025-10-25 cs.LG math.ST stat.ML
Multidimensional Scaling: Approximation and Complexity
MIT(麻省理工学院);Harvard University(哈佛大学);University of Waterloo(滑铁卢大学)
度量多维尺度(MDS)是一种经典的方法,用于生成高维数据的有意义(非线性)低维嵌入。MDS在统计、机器学习和图形绘制社区中有着悠久的历史。特别地,Kamada-Kawai力导向图绘制方法等同于MDS,并且是实践中将图嵌入到低维中的最流行的方法之一。尽管它无处不在,我们的理论理解MDS仍然有限,因为它的目标函数是高度非凸的。本文证明了极小化Kamada-Kawai目标是NP-难的,并给出了一个可证明的优化算法近似算法,特别是一个小直径图上的PTAS。我们补充这一结果与实验表明我们的贪婪近似算法和基于梯度的方法之间可能的连接。
2021-09-23 cs.CG cs.DS cs.LG
Bootstrapped Coordinate Search for Multidimensional Scaling
Department of Computer Science(计算机科学系);University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
在这项工作中,提出了一个统一的框架梯度自由多维标度(MDS)的基础上坐标搜索(CS)。这类算法是通用模式搜索(GPS)方法的一个实例,其避免了导数的显式计算,而是在嵌入空间的坐标步骤上搜索时评估目标函数。CSMDS框架的骨干元素是对应的概率矩阵,其对应于每个对应坐标被评估的可能性。我们提出了一个Bootstrapped的CSMDS(BS CSMDS)的实例,它提高了降低目标函数最多的方向的概率,同时也降低了所有其他坐标的相应概率。BS CSMDS设法避免不必要的功能评估,并导致比其他CSMDS替代方案显著的加速,同时还获得相同的出错率。合成和真实数据上的实验表明,BS CSMDS在各种实验设置下的性能始终优于其他CSMDS替代品。
2019-02-04 cs.LG stat.ML
Multidimensional Scaling, Sammon Mapping, and Isomap: Tutorial and Survey
University of Waterloo(滑铁卢大学)
多维尺度(MDS)是最早的基本流形学习方法之一。它可以分为几种方法,即,经典MDS、内核经典MDS、度量MDS和非度量MDS。Sammon映射和Isomap映射分别是度量MDS和核经典MDS的特例。在本教程和综述论文中,我们详细回顾了MDS,Sammon映射和Isomap的理论。我们解释所有提到的MDS类别。然后,解释Sammon映射、Isomap和内核Isomap。介绍了利用特征函数和核映射对MDS和Isomap进行样本外嵌入的方法。然后,介绍了Nystrom近似及其在地标MDS和地标Isomap中的使用,用于大数据嵌入。我们还提供了一些模拟说明嵌入这些方法。
2020-09-17 cs.CV cs.LG stat.ML
SQuadMDS: a lean Stochastic Quartet MDS improving global structure preservation in neighbor embedding like t-SNE and UMAP
MIT Media Lab(麻省理工学院媒体实验室);UCLouvain(鲁汶天主教大学);IREC(鲁汶天主教大学临床与实验研究所)
多维缩放是一种统计过程,旨在将高维数据嵌入到低维空间中;该过程通常用于数据可视化。常见的多维尺度算法往往具有较高的计算复杂性,使得它们不适用于大型数据集。这项工作介绍了一种随机的,力导向的方法,多维缩放的时间和空间复杂度为O(N),N个数据点。该方法可以与相邻嵌入家族的力定向布局(如t-SNE)相结合,以产生保留数据的全局和局部结构的嵌入。实验评估质量的嵌入产生的独立版本和其混合扩展定量和定性,表现出竞争力的结果优于国家的最先进的方法。代码可在https://github.com/PierreLambert3/SQuaD-MDS-and-FItSNE-hybrid上获得。
2022-02-24 cs.LG
Pattern Search Multidimensional Scaling
National Technical University of Athens(雅典国立技术大学);Columbia University in the City of New York(纽约市哥伦比亚大学)
我们提出了一个新的观点,非线性流形学习使用导数自由优化技术。具体来说,我们提出了一个扩展的经典多维缩放(MDS)的方法,而不是执行梯度下降,我们采样和评估可能的“移动”在一个球体的固定半径的嵌入空间中的每个点。一个固定点的收敛保证,可以通过制定所提出的算法作为通用模式搜索(GPS)框架的一个实例。在干净的和有噪声的合成数据集上的评估表明,模式搜索MDS可以准确地推断嵌入在高维空间中的流形的内在几何。此外,对真实数据的实验,即使在嘈杂的条件下,表明所提出的模式搜索MDS产生国家的最先进的结果。
2019-10-31 cs.LG stat.ML
A dual basis approach to multidimensional scaling
Tufts University(塔夫茨大学)
本文探索了经典多维缩放的对偶基方法,给出了对偶基向量的显式公式并刻画了本质矩阵的谱,建立了与度量近邻性问题的联系。
2024-07-30 cs.IT cs.LG math.IT
Neuc-MDS: Non-Euclidean Multidimensional Scaling Through Bilinear Forms
Rutgers University(罗格斯大学)
本文提出 Neuc-MDS,通过对称双线性形式利用负特征值扩展经典 MDS,以优化 STRESS 并处理非欧几里得输入,实验证明其优于多种线性和非线性降维方法。
2024-12-28 cs.LG stat.ML
Continuous Multidimensional Scaling
Indiana University(印第安纳大学);Johns Hopkins University(约翰斯·霍普金斯大学)
针对对象集规模增长时MDS的极限行为问题,提出连续MDS框架,推导两种$L^p$一致性结果,提出全新的近似Lipschitz嵌入方法并证明其嵌入结构可插值实现一致收敛。
2024-12-11 cs.LG stat.ML
GRE^2-MDCL: Graph Representation Embedding Enhanced via Multidimensional Contrastive Learning
针对现有图对比学习方法难兼顾全局局部结构、难平衡节点与图级表示的问题,提出以多头注意力GNN为核心的GRE2-MDCL模型,通过多维对比损失优化,在三个基准数据集上达SOTA性能。
2025-03-20 cs.AI cs.LG
DinTucker: Scaling up Gaussian process models on multidimensional arrays with billions of elements
Purdue University(普渡大学);IBM T. J. Watson Research Center(IBM T·J·沃森研究中心)
无限Tucker分解(InfTucker)和随机函数先验模型作为无限可交换阵列上的非参数贝叶斯模型,是比广泛使用的多线性分解方法(包括Tucker和PARAFAC分解)更强大的模型,(部分)由于它们能够建模阵列元素之间的非线性关系。尽管它们具有很好的预测性能和良好的理论基础,但由于训练时间过长,它们无法处理大量数据。为了克服这一限制,我们提出了分布式无限塔克(DINTUCKER),一个大规模的非线性张量分解算法的MAPREDUCE。在保持InfTucker的预测准确性的同时,它可以在海量数据上进行扩展。DINTUCKER基于一种新的分层贝叶斯模型,可以在子阵列上对InfTucker进行本地训练,并从所有本地训练结果中集成信息。我们使用分布式随机梯度下降,再加上变分推理,训练这个模型。我们将DINTUCKER应用于来自“Read the Web”项目(Carlson et al.,2010)和信息安全领域,并将其与最先进的大规模张量分解方法GigaTensor进行比较。在这两个数据集上,DINTUCKER以更少的计算时间实现了更高的预测精度。
2014-02-01 cs.DC cs.LG stat.ML
Understanding the Role of Functional Diversity in Weight-Ensembling with Ingredient Selection and Multidimensional Scaling
Harvard University(哈佛大学);Microsoft Research(微软研究院)
本文提出两种新的权重集成方法,结合可视化工具研究功能多样性对模型性能的影响,发现高多样性可增强权重集成,但仅靠多样性提升准确率有限,且位置不同的模型采样同样有助于改进。
2024-09-04 cs.LG
How can classical multidimensional scaling go wrong?
University of Michigan(密歇根大学);University of Texas - Dallas(德克萨斯大学达拉斯分校);Yale University(耶鲁大学)
给定一个描述数据集的成对相异性的矩阵$D$,一个常见的任务是将数据点嵌入到欧几里得空间中。经典的多维标度(cMDS)算法是一种广泛使用的方法。然而,缺乏对算法鲁棒性的理论分析和对非欧度量的性能的深入分析。本文基于$D$得到的矩阵的特征值,导出了$D$与cMDS返回的度量$D_{\text{cmds}}$之差的Frobenius范数的计算公式。这种误差分析使我们得出这样的结论,即当导出的矩阵具有显著数量的负特征值时,则$\|D-D_{\text{cmds}}\|_F$在最初减小之后,最终将随着我们增加维数而增加。因此,与直觉相反,嵌入的质量随着我们增加维度而降低。我们的经验验证,Frobenius规范增加,因为我们增加了各种非欧几里德度量的维度。我们还在几个基准数据集上表明,嵌入中的这种退化导致了简单(例如,1-最近邻)和复数(例如,多层神经网络)分类器随着嵌入维数的增加而减少。最后,我们的分析使我们得到一个新的高效可计算算法,该算法返回的矩阵$D_l$至少与$D_t$($\ell_2$距离中最接近的欧几里得度量)一样接近原始距离。虽然$D_l$不是度量的,但是当作为输入而不是$D$被给定给cMDS时,它根据经验产生当我们增加维度时到$D$的距离不增加的解决方案,并且分类准确度的降低小于cMDS解决方案。
2021-10-28 cs.CG cs.LG
Cost-Sensitive Label Embedding for Multi-Label Classification
National Taiwan University(台湾大学)
标签嵌入(LE)是一种重要的多标签分类算法,它联合地消化标签信息以获得更好的性能。不同的实际应用程序通过不同的成本函数来评估性能。目前的LE算法通常旨在优化一个特定的成本函数,但它们可能会遭受相对于其他成本函数的不良性能。在本文中,我们解决了性能问题,提出了一种新的成本敏感LE算法,考虑到成本函数的利益。提出的算法,成本敏感标签嵌入与多维缩放(CLEMS),近似的成本信息与嵌入向量的距离,通过使用经典的多维缩放方法的流形学习。CLEMS能够处理对称和非对称的成本函数,并有效地使成本敏感的决定,最近邻解码内嵌入的向量。我们得出的理论结果,证明如何CLEMS实现所需的成本敏感性。此外,大量的实验结果表明,CLEMS是显着优于广泛的现有LE算法和国家的最先进的成本敏感算法在不同的成本函数。
2017-08-05 cs.LG stat.ML
Scaling Laws for Embedding Dimension in Information Retrieval
Center for Intelligent Information Retrieval(智能信息检索中心);University of Massachusetts Amherst(马萨诸塞大学阿姆赫斯特分校)
本研究分析了嵌入维度与检索性能之间的缩放关系,发现性能随嵌入维度增加而改善,但存在边际效益递减,同时提出基于嵌入维度和模型规模的联合缩放规律。
2026-02-04 cs.IR cs.LG
MD-Syn: Synergistic drug combination prediction based on the multidimensional feature fusion method and attention mechanisms
School of Medicine, National Tsing Hua University(国立清华大学医学院);Institute of Bioinformatics and Structural Biology, National Tsing Hua University(国立清华大学生物信息与结构生物学研究所);Department of Life Science, National Tsing Hua University(国立清华大学生命科学系)
针对药物组合筛选实验成本高的问题,提出融合多维特征与多头注意力的MD-Syn框架,在5折交叉验证中AUROC达0.919,优于现有方法,还具备可解释性并提供网页工具。
2025-01-14 cs.LG q-bio.QM
On the Embedding Collapse when Scaling up Recommendation Models
Tencent Inc(腾讯公司)
本文识别出推荐模型扩展中的嵌入坍缩现象,揭示特征交互的双面效应,并提出多嵌入设计以增强嵌入多样性、缓解坍缩并提升模型可扩展性。
2024-06-06 cs.IR cs.LG
Learning Ideological Embeddings from Information Cascades
ISI Foundation(意大利科学与技术研究所基金会);ICAR-CNR(意大利国家研究委员会认知科学与技术研究所);Aarhus University(奥胡斯大学);Eurecat(西班牙加泰罗尼亚技术中心)
通过用户的意识形态倾向来模拟社交网络中的信息级联,可以帮助理解错误信息传播和确认偏见等现象,并设计减轻其毒性影响的技术。在本文中,我们提出了一个随机模型来学习每个用户在多维意识形态空间中的意识形态倾向,通过分析政治上突出的内容传播的方式。特别是,我们的模型假设,信息传播从一个用户到另一个用户,如果两个用户都感兴趣的主题和意识形态相互一致。为了推断我们的模型的参数,我们设计了一个基于梯度的优化过程,最大限度地提高所观察到的一组信息级联的可能性。我们在Twitter和Reddit上进行的真实政治讨论实验证实,我们的模型能够在多维意识形态空间中学习社交媒体用户的政治立场。
2021-09-28 cs.CY cs.LG cs.SI
Evaluating Autoencoders for Parametric and Invertible Multidimensional Projections
University of Konstanz(康斯坦茨大学)
本文评估了三种自编码器架构,探讨其在创建参数化和可逆多维投影中的性能,发现自定义损失函数能提升投影的平滑度和用户控制性。
2026-02-09 cs.LG
Scaling Embedding Layers in Language Models
Google(谷歌)
本文提出SCONE方法,通过扩展n-gram嵌入层并卸载至加速器外,在保持推理效率的同时提升语言模型性能,使10亿参数模型超越19亿参数基线。
2025-10-23 cs.CL cs.LG
Scaling Knowledge Graph Embedding Models
IBM Research Almaden(IBM阿尔马登研究中心);Instacart(Instacart公司)
开发用于训练链接预测任务的图神经网络(GNN)的可扩展解决方案是具有挑战性的,因为高数据依赖性需要高计算成本和巨大的内存占用。我们提出了一种新的方法,用于链接预测的知识图谱嵌入模型的缩放训练,以解决这些挑战。为此,我们提出了以下算法策略:自给自足的分区,基于约束的负采样,边缘小批量训练。分区策略和基于约束的负采样都避免了训练过程中的跨分区数据传输。在我们的实验评估中,我们表明,我们的基于GNN的知识图谱嵌入模型的缩放解决方案在基准数据集上实现了16倍的速度,同时保持了与标准指标上的非分布式方法相当的模型性能。
2022-01-08 cs.AI cs.LG
Scaling Embeddings Outperforms Scaling Experts in Language Models
Meituan LongCat Team(美团LongCat团队)
本研究提出通过嵌入式扩展而非专家扩展来提升语言模型的稀疏性,展示了LongCat-Flash-Lite在推理速度上的显著提升。
2026-02-11 cs.AI cs.CL cs.LG
Understanding High Dimensional Spaces through Visual Means Employing Multidimensional Projections
University College Cork(科克大学学院)
数据可视化有助于理解由多个变量(也称为特征)表示的数据,这些变量存储在大型矩阵中,其中个体存储在行中,变量值存储在列中。这些数据结构通常被称为多维空间。在本文中,我们说明了使用多维投影算法的视觉结果来理解和微调其数学框架的参数的方法。这些方法的一些常见数学共同点是拉普拉斯矩阵,欧几里得距离,余弦距离和统计方法,如Kullback-Leibler散度,用于拟合概率分布和降低维度。数据可视化领域的两个相关算法是t分布随机邻域嵌入(t-SNE)和最小二乘投影(LSP)。这些算法可用于理解多种数学函数,包括它们对数据集的影响。在这篇文章中,数学参数的基本技术,如主成分分析(PCA)背后的t-SNE和网格重建方法背后的LSP调整,以反映所提供的数学公式的属性。LSP和t-SNE过程的说明性方法支持的结果旨在启发学生理解这些方法背后的数学,以便将其应用于多种应用中的有效数据分析任务。
2022-07-12 cs.HC cs.LG
Density Estimation via Binless Multidimensional Integration
SISSA;Harvard University(哈佛大学);University of Trieste(特里斯特大学);ICTP(国际理论物理中心);Banca d’Italia(意大利银行)
本文提出BMTI方法,通过计算邻近数据点的log密度差并进行多维积分,实现非参数、鲁棒且数据高效的密度估计,适用于高维空间。
2026-05-14 cs.LG physics.chem-ph physics.data-an
Estimation of perceptual scales using ordinal embedding
University of Tübingen(图宾根大学)
在本文中,我们解决了测量和分析感觉的问题,一个人的经验的主观幅度。我们在三元组方法的背景下这样做:刺激的感觉是通过以下形式的相对判断来评估的:“刺激S_i更类似于刺激S_j还是刺激S_k?".我们建议使用顺序嵌入方法从机器学习估计的相对判断的尺度函数。我们回顾了两个相关的和众所周知的方法在心理物理学,这是部分适用于我们的设置:非度量多维标度(NMDS)和最大似然差分标度(MLDS)的方法。我们进行了大量的模拟,考虑到各种尺度函数,证明了序数嵌入方法的性能。我们表明,与现有的方法相比,我们的顺序嵌入方法允许,第一,获得合理的尺度函数相对较少的相对判断,第二,非单调的尺度函数的估计,第三,多维感知尺度。除了模拟,我们分析了数据从两个真正的心理物理学实验使用顺序嵌入方法。我们的研究结果表明,在一维,单调增加的感知尺度我们的顺序嵌入方法的工作以及MLDS,而在更高的维度,只有我们的顺序嵌入方法可以产生一个理想的缩放功能。为了使我们的方法广泛使用,我们提供了一个R-实现和一般的经验法则,如何使用序数嵌入的背景下,心理物理学。
2019-08-21 cs.CV cs.LG stat.ML
STaR: Knowledge Graph Embedding by Scaling, Translation and Rotation
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院)
双线性方法是知识图谱嵌入中的主流方法,其目的是学习知识图谱中实体和关系的低维表示,并完成缺失的环节。大多数现有的工作是找到关系之间的模式,并有效地建模,以完成这一任务。前人的工作主要发现了非对易性等6种重要的模式。尽管一些双线性方法成功地对这些模式进行了建模,但它们忽略了并发处理1对N、N对1和N对N关系(或复杂关系),这损害了它们的表达能力。为此,我们集成缩放,平移和旋转的组合,可以解决复杂的关系和模式,分别,缩放是投影的简化。因此,我们提出了由上述两部分组成的相应的双线性模型缩放平移和旋转(STaR)。此外,由于平移不能直接结合到双线性模型中,我们引入平移矩阵作为等价物。理论分析证明STaR能够同时对所有模式进行建模并处理复杂关系,实验证明了STaR在常用的链接预测基准测试上的有效性。
2022-02-15 cs.LG
In search of the most efficient and memory-saving visualization of high dimensional data
AGH University of Science and Technology(AGH科技大学)
大型多维数据集的交互式探索在各个科学领域中起着非常重要的作用。它不仅可以确定重要的结构特征和形式,如顶点群及其连接模式,而且可以从位置、距离、形状和连接密度等方面评估它们之间的相互关系。我们认为,多维数据的可视化是很好地近似的问题,二维嵌入的无向最近邻图。复杂网络的规模是当今计算机系统的主要挑战,并且仍然需要更有效的数据嵌入算法。现有的减少方法太慢,不允许交互式操作。我们表明,高质量的嵌入产生最小的时间和内存的复杂性。我们提出了非常有效的IVHD算法(CPU和GPU),并将它们与最新和最流行的降维方法进行比较。我们表明,内存和时间的要求是显着低于基本代码。在嵌入质量略有下降的代价下,IVHD以更低的时间预算很好地保留了数据的主要结构属性。我们还提出了一个元算法,允许使用任何无监督的数据嵌入方法在监督的方式。
2023-02-27 cs.HC cs.LG
HET: Scaling out Huge Embedding Model Training via Cache-enabled Distributed Framework
Peking University(北京大学);Tencent Inc.(腾讯公司)
嵌入模型是一种有效的高维数据学习范式。然而,嵌入模型的一个公开问题是,它们的表示(潜在因素)通常会导致较大的参数空间。我们观察到,现有的分布式训练框架面临着嵌入模型的可扩展性问题,因为从服务器更新和检索共享的嵌入参数通常占主导地位的训练周期。在本文中,我们提出了HET,一个新的系统框架,显着提高了巨大的嵌入模型训练的可扩展性。我们拥抱嵌入的倾斜流行度分布作为一个性能的机会,并利用它来解决嵌入缓存的通信瓶颈。为了确保整个缓存的一致性,我们将一个新的一致性模型到HET设计,它提供了细粒度的一致性保证,每嵌入的基础上。与以前只允许读操作过时的工作相比,HET还利用写操作的过时。对六个代表性任务的评估表明,HET实现了高达88%的嵌入式通信减少和高达20.68倍的性能加速。
2021-12-14 cs.DC cs.LG
CompoundE: Knowledge Graph Embedding with Translation, Rotation and Scaling Compound Operations
University of Southern California(南加州大学);National University of Singapore(新加坡国立大学)
平移、旋转和缩放是图像处理中常用的三种几何操作。此外,其中一些已成功地用于开发有效的知识图谱嵌入模型,如transE和RotatE。受协同作用的启发,我们提出了一个新的KGE模型,利用所有三个操作在这项工作中。由于平移、旋转和缩放操作被级联以形成复合模型,因此新模型被命名为CompoundE。通过在群论框架下对CompoundE进行投射,我们证明了相当多的基于评分函数的KGE模型是CompoundE的特例。CompoundE将简单的基于距离的关系扩展为头和/或尾实体上的依赖关系的复合操作。为了证明CompoundE的有效性,我们在三个流行的KG完成数据集上进行了实验。实验结果表明,化合物E始终达到最先进的性能。
2022-07-12 cs.AI cs.CL cs.LG
Concentration bounds on response-based vector embeddings of black-box generative models
本文研究了基于响应的生成模型向量嵌入的集中界,通过数据核视角空间嵌入方法,在适当正则条件下推导出样本向量嵌入的高概率集中界,并确定所需样本响应数量以实现目标精度的群体嵌入近似。
2026-06-27 cs.LG stat.ML
MoEMB: Scaling Universal Multimodal Embeddings with Efficient Mixture-of-Experts Models
University of Central Florida(中佛罗里达大学);Meta
针对通用多模态嵌入扩展难的问题,提出MoEMB,通过混合专家沿专家轴扩展编码器容量,以3B激活参数超越4倍参数的TTE方法,并首次系统研究自适应计算以提升效率。
2026-10-09 cs.AI cs.LG
Scaling Speech Enhancement in Unseen Environments with Noise Embeddings
University of Augsburg(奥格斯堡大学);Imperial College London(帝国理工学院)
我们解决的问题,语音增强推广到看不见的环境,通过执行两个操作。首先,我们单独从环境中嵌入一个额外的记录,并使用此嵌入来改变主增强子网络中的激活。其次,我们将训练时存在的噪声环境的数量扩展到16,784个不同的环境。实验结果表明,这两种操作减少了字错误率的预训练语音识别系统和提高增强质量,根据一些性能指标。具体来说,我们的最佳模型将字错误率从噪声语音的34.04%降低到增强语音的15.46%。增强的音频示例可以在https://speechenhancement.page.link/samples中找到。
2018-10-26 cs.LG cs.SD eess.AS
Robust conditional dimension reduction for dissimilarity data
Auburn University at Montgomery(奥本大学蒙哥马利分校);Virginia Commonwealth University(弗吉尼亚联邦大学)
针对相异度数据中的异常值问题,提出稳健条件多维缩放(rcMDS),用Fair M估计替代平方应力,并开发重加权条件SMACOF算法,实验验证其有效性。
2026-09-09 cs.LG math.OC stat.ME