Normalization of Input-output Shared Embeddings in Text Generation Models
University of California, Riverside(加州大学河滨分校)
基于神经网络的模型已经成为各种自然语言处理任务的最先进的模型,然而,网络中的输入和输出维度问题仍然没有完全解决,特别是在文本生成任务(例如,机器翻译、文本摘要)中,其中输入和输出都具有巨大的词汇量。因此,输入输出嵌入权值共享被引入并广泛采用,但仍有待改进。基于线性代数和统计理论,指出了现有输入输出权值共享嵌入方法的不足,提出了改进输入输出权值共享嵌入的方法,其中嵌入权值矩阵归一化方法的性能最好。这些方法几乎没有计算代价,可以与其他嵌入技术相结合,并在最先进的神经网络模型上显示出良好的效果。对于Transformer-big模型,与WMT'16 En-De数据集上的原始模型版本相比,归一化技术最多可以获得0.6的BLEU改进,并且在IWMT 14'数据集上获得类似的BLEU改进。对于DynamicConv模型,在WMT'16 En-De数据集上可以获得0.5 BLEU的改进,在IWMT' 14' De-En翻译任务上可以获得0.41 BLEU的改进。
2020-01-24 cs.CL cs.LG
Utilizing Character and Word Embeddings for Text Normalization with Sequence-to-Sequence Models
New York University Abu Dhabi(纽约大学阿布扎比分校)
文本规范化是许多NLP任务的重要支持技术。最近,基于神经网络的方法在这项任务中的表现优于成熟的模型。然而,在英语以外的语言中,在这方面的探索很少。注释数据的稀缺性和语言的复杂性都增加了问题的难度。为了解决这些挑战,我们使用了一个基于字符的注意力的序列到序列模型,除了它的自学字符嵌入,还使用了预先训练的词嵌入,这种方法还对子词信息进行了建模。这为神经模型提供了更多的语言信息,特别适合文本规范化,而无需大型并行语料库。我们表明,提供具有单词级特征的模型弥合了神经网络方法在标准阿拉伯语纠正共享任务数据集上实现最先进的F1分数的差距。
2018-09-05 cs.CL cs.LG stat.ML
Test Time Embedding Normalization for Popularity Bias Mitigation
POSTECH(浦项科技大学)
本文提出测试时嵌入归一化方法,在推理阶段控制嵌入幅度以缓解推荐系统中的流行度偏差,实验证明其显著优于现有方法,并揭示角度相似性区分偏好物品的机制。
2023-09-01 cs.IR cs.LG
Spectral Embeddings of Degree-$α$ Laplacians in Random Dot Product Graphs
University of Hong Kong(香港大学);University of Arizona(亚利桑那大学)
本文针对随机点积图,建立度-α拉普拉斯谱嵌入的行级中心极限定理,通过投影高斯贝叶斯误差诊断发现最优归一化方式取决于网络密度等因素,为谱聚类提供了统一分布视角。
2026-08-12 cs.LG stat.ML
FLARE: Task-agnostic embedding model evaluation through a normalization process
The Hong Kong University of Science and Technology(香港科学与技术大学)
FLARE通过归一化流方法直接从对数似然估计信息充分性,避免距离基密度估计,在高维空间中稳定评估嵌入模型,实验显示其在监督基准中达到Spearmanρ为0.90。
2026-04-19 cs.CL cs.LG
On the impact of activation and normalization in obtaining isometric embeddings at initialization
ETH Zurich(苏黎世联邦理工学院);MIT(麻省理工学院);INRIA-ENS-PSL Paris(法国国家信息与自动化研究所-巴黎高等师范学院-巴黎文理研究大学(巴黎))
本文研究深度神经网络初始化时倒数第二层 Gram 矩阵的退化问题,证明层归一化结合非线性激活能以指数速率将该矩阵偏置向单位矩阵,并利用 Hermite 展开式量化了该速率。
2023-11-17 cs.AI cs.LG stat.ML
NSEEN: Neural Semantic Embedding for Entity Normalization
Information Sciences Institute, University of Southern California(南加州大学信息科学研究所)
人类的大部分知识都以文本形式编码,可在科学出版物,书籍和网络中获得。鉴于这些资源的快速增长,我们需要自动化的方法来提取这些知识到机器可处理的结构,如知识图谱。这个过程中的一个重要任务是实体规范化,它包括将文本中的噪声实体提到映射到众所周知的参考集中的规范实体。然而,实体规范化是一个具有挑战性的问题;通常有许多文本形式的规范实体可能无法在参考集中捕获,并且文本中提到的实体可能包括许多语法变体或错误。这个问题在生物学等科学领域尤为严重。为了解决这个问题,我们已经开发了一个通用的,可扩展的解决方案的基础上,深连体神经网络模型嵌入的语义信息的实体,以及它们的语法变化。我们使用这些嵌入快速映射新的实体到大的参考集,并在经验上显示了我们的框架在挑战生物实体规范化数据集的有效性。
2019-06-29 cs.CL cs.DB cs.IR
PairNorm: Tackling Oversmoothing in GNNs
Carnegie Mellon University(卡内基梅隆大学);Pittsburgh, PA 15213, USA(美国宾夕法尼亚州匹兹堡市(15213))
图神经网络(GNNs)的性能随着层数的增加而逐渐下降。这种衰减部分归因于过度平滑,重复的图卷积最终使节点嵌入无法区分。我们仔细研究了两种不同的解释,旨在量化过度平滑。我们的主要贡献是PairNorm,这是一个新的规范化层,它基于对图卷积算子的仔细分析,可以防止所有节点嵌入变得过于相似。此外,PairNorm具有快速、易于实现的特点,不需要对网络架构进行任何更改,也不需要任何额外的参数,并且广泛适用于任何GNN。在真实世界图上的实验表明,PairNorm使更深的GCN、GAT和SGC模型对过度平滑更鲁棒,并显著提高了受益于更深GNN的新问题设置的性能。代码可在https://github.com/LingxiaoShawn/PairNorm上获得。
2020-02-13 cs.LG stat.ML
Spatial Pyramid Encoding with Convex Length Normalization for Text-Independent Speaker Verification
KAIST(韩国科学技术院);LG Electronics(LG电子)
在本文中,我们提出了一种新的池化方法称为空间金字塔编码(SPE)生成说话人嵌入文本无关的说话人确认。我们首先将深度残差网络(ResNet)的输出特征映射划分为越来越细的子区域,并通过可学习的字典编码层从每个子区域提取说话人嵌入。这些嵌入被连接以获得最终的说话者表示。SPE层不仅为可变长度的语音段生成固定维的说话人嵌入,而且还从多层次的时间块中聚合特征分布信息。此外,我们通过用环损失来增加损失函数来应用深度长度归一化。通过应用环损失,网络逐渐学会使用模型权重本身来规范化说话人嵌入,同时保持凸性,从而产生更鲁棒的说话人嵌入。在VoxCeleb1数据集上的实验表明,使用SPE层和基于环丢失的深度长度归一化的系统优于i向量和d向量基线。
2019-06-19 cs.CL cs.LG cs.SD
Batch Normalization Embeddings for Deep Domain Generalization
Google(谷歌(Google)公司)
领域泛化旨在训练机器学习模型在不同和不可见的领域中稳健地执行。最近的几种方法使用多个数据集来训练模型以提取域不变特征,希望推广到看不见的领域。相反,首先我们显式地训练域相关的表示,通过使用ad-hoc批量归一化层来收集独立域的统计数据。然后,我们建议使用这些统计数据映射域在一个共享的潜在空间,其中成员资格的域可以通过一个距离函数来衡量。在测试时,我们将未知域中的样本投影到同一空间中,并将其域的属性推断为已知域的线性组合。我们在训练和测试时应用相同的映射策略,学习潜在表示和强大但轻量级的集成模型。我们展示了在流行的领域泛化基准:PACS,Office-31和ESTA-加州理工学院的分类准确性显着增加,目前国家的最先进的技术。
2021-05-18 cs.CV cs.LG
Learning distributed representations with efficient SoftMax normalization
ISI Foundation(ISI基金会)
本文提出一种线性时间启发式近似方法计算SoftMax归一化常数,并设计出高效且与任务无关的嵌入学习算法,在保持或提升性能的同时显著降低计算时间。
2025-06-01 cs.CL cs.LG stat.ML
IsoBN: Fine-Tuning BERT with Isotropic Batch Normalization
University of Southern California(南加州大学)
微调预训练语言模型(PTLM),如BERT及其更好的变体RoBERTa,已经成为提高自然语言理解(NLU)任务性能的常见做法。表示学习的最新进展表明,各向同性(即,单位方差和不相关)嵌入可以显著提高下游任务的性能,具有更快的收敛和更好的泛化。然而,PTLM中预先训练的嵌入的各向同性相对未被探索。在本文中,我们通过直观的可视化分析了PTLM的预训练[CLS]嵌入的各向同性,并指出了两个主要问题:标准差的高方差和不同维度之间的高相关性。我们还提出了一种新的网络正则化方法,各向同性批量归一化(IsoBN)来解决这个问题,通过动态惩罚主导主成分来学习更多的各向同性表示。这种简单而有效的微调方法在七个NLU任务的平均值上产生约1.0的绝对增量。
2021-02-04 cs.CL cs.LG
Deep Normalization for Speaker Vectors
Tsinghua University(清华大学);Xi’an Jiaotong-Liverpool University(西交利物浦大学)
深度说话人嵌入在说话人识别任务中表现出了最先进的性能。然而,这种方法的一个潜在问题是,从深度嵌入模型导出的扬声器向量对于每个单独的扬声器往往是非高斯的,并且对于不同扬声器的分布是非均匀的。这些不规则的分布会严重影响说话人识别的性能,特别是对于流行的PLDA评分方法,它假设均匀高斯分布。在本文中,我们认为,深说话人向量需要深度归一化,并提出了一种基于新的判别归一化流(DNF)模型的深度归一化方法。我们使用广泛使用的SITW和CNCeleb语料库的实验证明了所提出的方法的有效性。在这些实验中,基于DNF的规范化提供了大量的性能增益,并且在域外测试中也显示出强大的泛化能力。
2020-11-02 cs.LG cs.SD eess.AS
In Defense of Cosine Similarity: Normalization Eliminates the Gauge Freedom
本文证明,当嵌入被约束到单位球面时,对角规范矩阵的歧义消失,余弦距离与欧氏距离单调等价,从而解决了余弦相似度任意性的问题。
2026-06-09 cs.LG
Scalable Approach for Normalizing E-commerce Text Attributes (SANTA)
Amazon(亚马逊)
在本文中,我们提出了SANTA,一个可扩展的框架,自动规范化电子商业属性值(例如“Win 10 Pro”)的一组固定的预定义的规范值(例如“Windows 10”)。属性规范化的早期工作集中在模糊字符串匹配(本文中也称为语法匹配)。在这项工作中,我们首先进行了广泛的研究,九个句法匹配算法,并建立“余弦”相似性导致最佳的结果,显示2.7%的改善,常用的Jaccard指数。接下来,我们认为,字符串相似性本身是不够的属性规范化,因为许多表面形式需要超越语法匹配(例如,“720 p”和“HD”是同义词)。虽然语义技术,如无监督嵌入(例如word 2 vec/fastText)在单词相似性任务中表现出良好的效果,但我们观察到它们在区分接近的规范形式方面表现不佳,因为这些接近的形式经常出现在类似的上下文中。我们建议使用具有三重损失的孪生网络来学习令牌嵌入。我们提出了一个嵌入式学习任务,利用原始属性值和产品名称以自我监督的方式学习这些嵌入。我们表明,使用我们提出的任务提供监督改进了基于语法和无监督嵌入的属性规范化技术。在一个包含50个属性的真实属性归一化数据集上的实验表明,使用我们提出的方法训练的嵌入比最佳字符串匹配提高了2.3%,比最佳无监督嵌入提高了19.3%。
2021-06-12 cs.CL cs.LG
A new embedding quality assessment method for manifold learning
National Disaster Reduction Center of China(国家减灾中心);Tsinghua University(清华大学);Institute of Applied Mathematics, AMSS, Chinese Academy of Sciences(中国科学院数学与系统科学研究院应用数学研究所)
流形学习是计算机科学领域的一个研究热点。当前流形学习方法的一个关键问题是,它们缺乏一个自然的量化指标来评估学习到的嵌入的质量,这极大地限制了它们在现实世界问题中的应用。提出了一种新的流形学习嵌入质量评价方法--归一化独立嵌入质量评价(NIEQA)。与目前仅限于等距嵌入的评估方法相比,NIEQA方法具有两个特点,即适用范围更广。首先,它是基于一个新的措施,可以有效地评估如何以及当地的邻域几何保持归一化,因此它可以应用于等距和归一化嵌入。第二,它可以提供地方和全球评价,以产生总体评估。因此,NIEQA可以作为流形学习的模型选择和评估任务的自然工具。在基准数据集上的实验结果验证了该方法的有效性。
2011-08-08 cs.CV cs.LG
Self-Attentive Multi-Layer Aggregation with Feature Recalibration and Normalization for End-to-End Speaker Verification System
Sogang University(西江大学)
说话人嵌入生成是端到端说话人确认系统的重要组成部分。在我们之前的论文中,我们报告了基于快捷连接的多层聚合提高了说话人嵌入的代表性。然而,在多层聚合中,模型参数的数量相对较大并且未指定的变化增加。因此,我们提出了一个自我关注的多层聚合与功能重新校准和规范化的端到端的说话人确认系统。为了减少模型参数的数量,将缩放通道宽度和层深度的ResNet用作基线。为了控制训练中的可变性,应用自注意机制来执行具有丢弃规则化和批量规范化的多层聚合。然后,使用全连接层和非线性激活函数将特征重新校准层应用于聚合特征。深度长度归一化也用于端到端训练过程中的重新校准特征。使用VoxCeleb1评估数据集的实验结果表明,所提出的方法的性能与最先进的模型相当(分别使用VoxCeleb1和VoxCeleb2训练数据集的错误率分别为4.95%和2.86%)。
2020-07-28 cs.LG cs.SD eess.AS
Correct Normalization Matters: Understanding the Effect of Normalization On Deep Neural Network Models For Click-Through Rate Prediction
Sina Weibo Corp(新浪微博公司)
归一化已经成为许多用于机器学习任务的深度神经网络中最基本的组件之一,而深度神经网络也已广泛用于CTR估计领域。在大多数提出的深度神经网络模型中,很少有模型利用归一化方法。虽然一些工作,如深度和交叉网络(DCN)和神经因子分解机(NFM)在结构的MLP部分使用批量归一化,但还没有深入研究归一化对DNN排名系统的影响。在本文中,我们进行了广泛使用的规范化模式的效果进行了系统的研究,通过应用各种规范化方法的DNN模型的特征嵌入和MLP部分。在三个真实数据集上进行了大量的实验,实验结果表明,正确的归一化显著提高了模型的性能。本文还提出了一种新的有效的基于LayerNorm的归一化方法--仅方差LayerNorm(VO-LN)。基于上述观察,还提出了一种归一化增强的DNN模型NormDNN。对于DNN模型的归一化在CTR估计中起作用的原因,我们发现归一化的方差起主要作用,并给出了解释。
2020-07-07 cs.LG stat.ML
Improved Stock Price Movement Classification Using News Articles Based on Embeddings and Label Smoothing
股票价格运动预测是金融学中一个具有挑战性的基本问题。虽然在现代行为金融学中,相关股票的股价往往会在新闻发布后通过投资者的反应和过度反应而发生变化,但如何通过定量模型来捕捉价格变动与新闻报道之间的关系是一个活跃的研究领域,现有模型已经取得了不同程度的成功。在本文中,我们建议通过结合深度学习的正则化和优化技术,使用新闻文章来改进股票价格走势分类。更具体地说,我们通过嵌入和双向递归神经网络来捕获新闻文章和股票之间的依赖关系,就像最近的模型一样。我们进一步结合了权重衰减,批量归一化,dropout和标签平滑,以提高训练模型的泛化能力。为了处理批量归一化验证精度的高波动,我们提出了双阶段训练来可靠地实现改进。我们在常用数据集上的实验结果显示出显着的改进,在测试集上实现了80.7%的平均准确率,比现有模型的绝对改进超过10.0%。我们的消融研究表明,批量归一化和标签平滑是最有效的,平均分别导致6.0%和3.4%的绝对改善。
2023-01-25 cs.AI cs.CL cs.LG
ClusterEA: Scalable Entity Alignment with Stochastic Training and Normalized Mini-batch Similarities
Zhejiang University(浙江大学);Aalborg University(奥尔堡大学)
实体对齐的目的是在不同的知识图谱中找到等价的实体。基于嵌入的方法近年来主导了EA任务。这些方法面临的问题来自嵌入向量的几何属性,包括hubness和隔离。为了解决这些几何问题,许多归一化方法已被采用的EA。然而,越来越大的规模的KG渲染EA模型很难采用规范化过程,从而限制了它们在现实世界中的应用。为了应对这一挑战,我们提出了ClusterEA,这是一个通用框架,能够通过利用具有高实体等效率的小批量标准化方法来扩展EA模型并增强其结果。QuantiterEA包含三个组件来对齐大规模KG之间的实体,包括随机训练,QuantiterSampler和SparseFusion。它首先以随机的方式为EA训练一个大规模的Siamese GNN,以产生实体嵌入。在此基础上,提出了一种新的用于高度重叠小批量采样的随机采样器策略。最后,QuarterEA结合了SparseFusion,它对局部和全局相似性进行归一化,然后融合所有相似性矩阵以获得最终的相似性矩阵。在EA基准测试上使用真实数据集进行的广泛实验提供了对所提出的框架的深入了解,并表明它能够在Hits@1方面超过最先进的可扩展EA框架多达8倍。
2022-06-06 cs.AI cs.CL cs.DB
Embedding Principle in Depth for the Loss Landscape Analysis of Deep Neural Networks
MOE-LSC, Shanghai Jiao Tong University(上海交通大学教育部科学工程计算重点实验室);CMA-Shanghai, Shanghai Artificial Intelligence Laboratory(上海人工智能实验室);Shanghai Center for Brain Science and Brain-Inspired Technology(上海脑科学与类脑研究中心)
该研究发现深度嵌入原理,即深层神经网络损失景观包含浅层所有临界点,通过临界提升算子映射临界点并保留输出,为深度网络易训练性、批量归一化加速等行为提供新解释,揭示损失景观深度层次结构。
2025-04-14 cs.LG
Adversarial Feature Augmentation and Normalization for Visual Recognition
University of Texas at Austin(德克萨斯大学奥斯汀分校);Microsoft Corporation(微软公司)
计算机视觉的最新进展利用对抗性数据增强来改善分类模型的泛化能力。在这里,我们提出了一种有效且高效的替代方案,提倡对中间特征嵌入进行对抗性增强,而不是依赖于计算成本高昂的像素级扰动。我们提出了对抗性特征增强和规范化(A-FAN),它(i)首先使用整合了灵活的扰动强度尺度的对抗性特征来增强视觉识别模型,(ii)然后从批量归一化中提取对抗性特征统计数据,并通过特征规范化将其重新注入到干净的特征中。我们使用具有代表性的骨干网络在各种视觉识别任务中验证了所提出的方法,包括用于分类的ResNets和EfficientNets,用于检测的Faster-RCNN和用于分割的Deeplab V3+。大量的实验表明,A-FAN在分类、检测和分割任务的各种数据集(如CIFAR-10、CIFAR-100、ImageNet、Pascal VOC 2007、Pascal VOC 2012、COCO 2017和Cityspaces)上的强基线上产生了一致的泛化改进。全面的消融研究和详细的分析还表明,向特定模块和分类/检测/分割主干层添加扰动会产生最佳性能。代码和预训练模型将在https://github.com/VITA-Group/CV_A-FAN上提供。
2021-03-22 cs.AI cs.CV cs.LG
Discrete Semantic States and Hamiltonian Dynamics in LLM Embedding Spaces
本研究通过哈密顿动力学分析LLM嵌入空间的结构,揭示了语义状态的离散性及潜在的量子力学联系。
2025-12-29 cs.AI cs.LG
Robust and fine-grained prosody control of end-to-end speech synthesis
Neosapience, Inc.(Neosapience公司)
我们提出了韵律嵌入情感和表达语音合成网络。所提出的方法在嵌入网络中引入时间结构,从而能够细粒度控制合成语音的说话风格。可以在语音侧或文本侧设计时间结构,从而在时间上导致不同的控制分辨率。韵律嵌入网络被插入到端到端的语音合成网络中,并且除了用于合成的目标语音之外,在没有任何其他监督的情况下进行训练。实验结果表明,韵律嵌入网络能够学习提取韵律特征。通过调整学习到的韵律特征,我们可以在帧级和音素级上改变合成语音的音高和幅度。我们还介绍了时间归一化的韵律嵌入,这表明对说话人的扰动在韵律传输任务具有更好的鲁棒性。
2019-02-18 cs.CL cs.LG cs.SD
Factor Decomposed Generative Adversarial Networks for Text-to-Image Synthesis
Fudan University(复旦大学)
关于文本到图像合成的现有工作通常将句子嵌入与噪声向量连接在一起,而句子嵌入和噪声向量是两个不同的因素,它们控制生成的不同方面。简单地将它们连接起来会使潜在因素纠缠在一起,阻碍生成模型。在本文中,我们尝试分解这两个因素,并提出了因素分解生成对抗网络~(FDGAN)。为了实现这一点,我们首先从噪声向量生成图像,然后在生成器和鉴别器的归一化层中应用句子嵌入。我们还设计了一个附加的范数层来对齐和融合文本图像特征。实验结果表明,噪声分解和句子嵌入能有效地消除文本到图像合成中的潜在因素,提高生成模型的效率。与基线相比,FDGAN可以获得更好的性能,而使用的参数较少。
2023-03-24 cs.LG cs.MM
Training-Time Batch Normalization Reshapes Local Partition Geometry in Piecewise-Affine Networks
AI for Good Istituto Italiano di Tecnologia(AI for Good 意大利技术研究院);DITEN University of Genoa(DITEN Genoa大学);State Key Laboratory of Novel Software Technology School of Intelligence Science and Technology(新型软件技术国家重点实验室 智能科学与技术学院);School of Artificial Intelligence Nanjing University(人工智能学院 南京大学);Department of Computer Science University of Verona(计算机科学系 Verona大学)
研究训练时批量归一化在分段仿射网络中通过切换超平面几何和诱导的仿射区域分区影响局部分区精度。
2026-11-17 cs.LG stat.ML
Kernel-Whitening: Overcome Dataset Bias with Isotropic Sentence Embedding
Fudan University(复旦大学);Shanghai Key Laboratory of Intelligent Information Processing(上海市智能信息处理重点实验室)
数据集偏差对模型泛化能力的影响引起了人们的广泛关注。目前主流的解决方案是设计一个额外的浅层模型来预先识别有偏见的实例。然而,这种两阶段方法增加了训练过程的计算复杂性,并且在减轻偏差的同时阻碍了有效的特征信息。为了解决这个问题,我们利用表示规范化方法,旨在解开编码的句子的特征之间的相关性。我们发现它也有希望通过提供各向同性的数据分布来消除偏差问题。我们进一步提出核白化,Nystrom核近似方法,以实现更彻底的非线性虚假相关的去偏。我们的框架是端到端的,微调的时间消耗类似。实验表明,Kernel-Whitening算法在保持分布内精度的同时,显著提高了分布外数据集上的BERT性能。
2022-10-14 cs.CL cs.LG
No More DeLuLu: Physics-Inspired Kernel Networks for Geometrically-Grounded Neural Computation
Taha Bouhsine(塔哈·布希内)
本文提出 yat-product 核操作,结合二次对齐与反平方接近性,通过几何化操作简化神经网络架构,实现统一的核学习、梯度稳定性和信息几何,展示了 NMN 在图像和语言任务中的有效性。
2026-02-22 cs.LG
SphereFace Revived: Unifying Hyperspherical Face Recognition
University of Cambridge(剑桥大学);Max Planck Institute for Intelligent Systems(马克斯·普朗克智能系统研究所);The Alan Turing Institute(阿兰·图灵研究所);Carnegie Mellon University(卡内基梅隆大学)
本文讨论了开集协议下的深度人脸识别问题,在适当选择的度量空间下,理想的人脸特征期望具有比最小类间距离更小的最大类内距离。为此,超球面人脸识别作为一个很有前途的研究方向,受到了越来越多的关注,并逐渐成为人脸识别研究的一个主要热点。作为超球面人脸识别领域最早的研究成果之一,SphereFace明确提出了学习具有大类间角间隔的人脸嵌入。然而,SphereFace仍然存在严重的训练不稳定性,限制了其在实际中的应用。为了解决这个问题,我们引入了一个统一的框架来理解超球面人脸识别中的大角度边缘。在此框架下,我们扩展了对SphereFace的研究,并提出了一种具有更好训练稳定性的改进变体-- SphereFace-R。具体来说,我们提出了两种新的方法来实现乘法余量,并研究了三种不同的特征归一化方案(无特征归一化,硬特征归一化和软特征归一化)下的SphereFace-R。并提出了“特色梯度分离”的实施策略,以稳定训练。在SphereFace-R上进行的大量实验表明,它始终优于最先进的方法或与之竞争。
2022-03-16 cs.AI cs.CV cs.LG
Pairwise Discriminative Neural PLDA for Speaker Verification
Indian Institute of Science(印度科学学院)
说话人验证的最新方法涉及提取判别嵌入,如x向量,然后使用概率线性判别分析(PLDA)生成模型后端。在本文中,我们提出了一个成对的神经判别模型的说话人验证的任务上的一对说话人嵌入,如x-向量/i-向量,并输出一个分数,可以被认为是一个缩放的对数似然比。我们构造了一个可微的代价函数,它近似于说话人确认损失,即最小检测代价。线性判别分析(LDA)、单位长度归一化和类内协方差归一化的预处理步骤都被建模为神经模型的层,并且说话人验证代价函数可以在训练期间通过这些层反向传播。我们还探索了正则化技术来防止过拟合,这是使用判别式后端模型进行验证任务的主要问题。实验在NIST SRE 2018开发和评估数据集上进行。我们观察到,在PLDA基线系统上,CMN 2条件下的平均相对改善为8%,VAST条件下的平均相对改善为30%。
2020-02-07 cs.LG cs.SD eess.AS
Attraction-Repulsion Swarming: A Generalized Framework of t-SNE via Force Normalization and Tunable Interactions
School of Mathematics, University of Minnesota(明尼苏达大学数学学院)
提出基于吸引-排斥群集(ARS)的数据可视化方法,通过力归一化和可调交互核改进 t-SNE,支持数据规模无关的时间步长和簇间距控制,并在 MNIST 和 Cifar-10 上验证有效性。
2024-11-15 cs.AI cs.LG cs.NA
Attention Sinks: A 'Catch, Tag, Release' Mechanism for Embeddings
University of Toronto(多伦多大学);Vector Institute(向量研究所)
本文系统揭示了LLM中注意力汇的“捕获、标记、释放”机制,证明其标记携带语义信息,并扩展至推理模型及查询-键归一化模型,为理论分析引入最小化问题。
2025-09-22 cs.AI cs.CL cs.LG
Multi-view Low-rank Preserving Embedding: A Novel Method for Multi-view Representation
Dalian University of Technology(大连理工大学);Dalian Maritime University(大连海事大学)
近年来,我们目睹了在多视图表示学习的兴趣激增,这是关注的问题,学习表示的多视图数据。当面对高度相关但彼此外观不同的多个视图时,大多数现有的多视图方法可能无法完全集成多视图信息。此外,来自多个视图的特征之间的相关性总是变化严重,这使得多视图表示具有挑战性。因此,如何从多视角信息中学习合适的嵌入仍然是一个开放的问题,但具有挑战性。为了解决这个问题,本文提出了一种新的多视图学习方法,称为多视图低秩保持嵌入(MvLPE)。该方法基于实例间的距离或相似度矩阵,通过最小化质心视图与各视图间的不一致项,将不同视图集成为一个质心视图,同时保持各视图样本间的低秩重构关系,更充分地利用多视图特征的兼容互补信息。与现有的附加参数方法不同,该方法可以自动为多视图信息融合中的每个视图分配合适的权重。然而,MvLPE不能直接求解,这使得所提出的MvLPE难以获得解析解。为此,我们基于平稳假设和归一化后处理来近似该解,以有效地获得最优解。此外,一个迭代的交替策略,以解决这个多视图表示问题。在六个基准数据集上的实验表明,该方法优于其同行,同时取得了非常有竞争力的性能。
2020-06-14 cs.CV cs.LG stat.ML