Similarity search generalisation in contrastive learning with InfoNCE loss
School of Mathematics, University of Bristol(布里斯托大学数学学院)
研究对比学习中InfoNCE损失用于相似性搜索的泛化,通过加托微分引入新连续性界,量化泛化性能,证明随着k增长,InfoNCE损失中k个负样本平均效应可使泛化误差稳定。
2026-07-13 cs.LG stat.ML
Batch-Softmax Contrastive Loss for Pairwise Sentence Scoring Tasks
HSE University(俄罗斯高等经济学院);Yandex;Qatar Computing Research Institute, HBKU(哈马德·本·哈利法大学卡塔尔计算研究所)
在计算机视觉中,使用对比度损失进行表示学习已经变得非常突出,并且现在在自然语言处理(NLP)中也受到关注。在这里,我们探索了在微调大规模预训练的Transformer模型时使用batch-softmax对比损失的想法,以学习更好的特定于任务的句子嵌入,用于成对句子评分任务。我们介绍和研究了一些变化的计算损失,以及在整个训练过程中,特别是,我们发现,数据洗牌可以是相当重要的。我们的实验结果显示,在许多数据集和成对句子评分任务(包括分类,排名和回归)上有相当大的改进。最后,我们提供了详细的分析和讨论,这应该是有用的研究人员旨在探索的对比损失在自然语言处理的效用。
2021-10-10 cs.AI cs.CL cs.IR
Improving Calibration in Deep Metric Learning With Cross-Example Softmax
Google Research(谷歌研究院)
现代图像检索系统越来越依赖于使用深度神经网络来学习嵌入空间,在嵌入空间中,距离对给定查询和图像之间的相关性进行编码。在这种情况下,现有的方法往往强调两个属性之一。基于三元组的方法捕获最高$k$相关性,其中所有最高$k$评分的文档被假定为与给定查询相关。成对对比模型捕获阈值相关性,其中所有评分高于某个阈值的文档被假定为相关。在本文中,我们提出了跨示例Softmax,它结合了顶部$k$和阈值相关性的属性。在每次迭代中,建议的损失鼓励所有查询更接近其匹配图像,而不是所有查询到所有非匹配图像。这导致了全局更校准的相似性度量,并使距离更可解释为相关性的绝对度量。我们进一步介绍了跨示例否定挖掘,其中每个对都与整个批次中最难的否定比较进行比较。经验上,我们在概念字幕和Flickr 30 k上的一系列实验表明,所提出的方法有效地提高了全局校准和检索性能。
2020-11-17 cs.LG
Simplicial Embeddings in Self-Supervised Learning and Downstream Classification
Mila(米拉人工智能研究所);Université de Montréal(蒙特利尔大学);National University of Singapore(新加坡国立大学)
单纯形嵌入(SEM)是通过自监督学习(SSL)学习的表示,其中表示被投影到$V$维度的$L$单纯形中,每个都使用softmax操作。该过程在预训练期间将表示条件化到受约束的空间上,并赋予组稀疏性的归纳偏差。对于下游分类,我们正式证明了SEM表示导致更好的泛化比未规范化的表示。此外,我们通过经验证明,使用SEM训练的SSL方法在自然图像数据集(如CIFAR-100和ImageNet)上的泛化能力有所提高。最后,当在下游分类任务中使用时,我们表明SEM特征表现出紧急语义一致性,其中小组学习特征明显预测语义相关类。
2022-09-30 cs.CV cs.LG
Demographic Predictability in 3D CT Foundation Embeddings
Rice University(莱斯大学);McGovern Medical School, UTHealth Houston(德克萨斯大学休斯顿健康科学中心麦戈文医学院);Johns Hopkins University School of Medicine(约翰霍普金斯大学医学院);University of Maryland School of Medicine(马里兰大学医学院)
本文利用NLST数据集评估多种分类器从3D CT基础模型嵌入中预测年龄、性别和种族的能力,发现年龄和性别高度可预测、种族较弱,提示需审查自监督医疗AI的隐私与公平性。
2024-11-28 cs.AI cs.CV cs.ET
Improving Long-Tailed Object Detection with Balanced Group Softmax and Metric Learning
Univeristy of the Cumberlands(坎伯兰大学)
本文通过改进平衡分组Softmax和度量学习,提升长尾目标检测性能,达到新的mAP指标。
2025-09-02 cs.AI cs.CV cs.LG
More Information Supervised Probabilistic Deep Face Embedding Learning
Guangzhou Huya Technology Co., Ltd(广州虎牙科技有限公司);University of Oxford(牛津大学)
基于间隔的比较损失的研究证明了惩罚人脸特征与其对应的类中心之间的距离的有效性。尽管他们的流行和出色的性能,他们没有明确鼓励通用嵌入学习的开集识别问题。本文从概率的角度分析了基于容限的softmax损失。从这个角度出发,我们提出了两个一般原则:1)单调递减和2)边际概率惩罚,用于设计新的边际损失函数。与使用单一比较度量进行优化的方法不同,我们提供了一个新的视角,将开集人脸识别视为一个信息传输问题。同时,该算法在保证更多干净信息的前提下,具有较好的泛化能力。提出了一种称为线性自动TS编码器(LASSE)的自动编码器架构来证实这一发现。在多个基准测试上的大量实验表明,LASSE有助于人脸嵌入获得更强的泛化能力,并在MegaFace测试中将开放训练数据集的单个模型性能提高到$99\%$以上。
2020-06-11 cs.CV cs.LG
Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding
Tokyo Institute of Technology(东京工业大学);Gunma University(群马大学);RIKEN AIP(理化学研究所先进智能项目中心)
在知识图谱嵌入中,softmax交叉熵与负采样损失函数之间的理论关系尚未得到研究。这使得很难公平地比较两个不同的损失函数的结果。我们试图通过使用Bregman散度来解决这个问题,以提供对softmax交叉熵和负采样损失函数的统一解释。在这种解释下,我们可以得出理论上的发现,以进行公平的比较。在FB 15 k-237和WN 18 RR数据集上的实验结果表明,理论研究结果在实际环境中是有效的。
2022-03-16 cs.CL cs.LG stat.ML
Prototype Memory for Large-scale Face Representation Learning
Speech Technology Center(语音技术中心);ITMO University(圣彼得堡国立信息技术机械与光学大学)
使用具有大量身份的数据集的人脸表示学习需要适当的训练方法。基于softmax的方法,目前最先进的人脸识别,在其通常的“全softmax”形式是不适合与数百万人的数据集。提出了几种基于“sampled softmax”方法的方法来消除这种限制。然而,这些方法具有一系列缺点。其中之一是“原型过时”的问题:很少采样的类的分类器权重(原型)接收太少的梯度,变得过时并与当前编码器状态分离,导致不正确的训练信号。这个问题在超大规模数据集中尤为严重。在本文中,我们提出了一种新的人脸表示学习模型,称为原型记忆,它解决了这个问题,并允许在任何大小的数据集上进行训练。原型内存由有限大小的内存模块组成,用于存储最近的类原型,并采用一组算法以适当的方式更新它。新的类原型是使用当前mini-batch中的范例嵌入动态生成的。这些原型被排队到内存中,并用于基于softmax分类的训练的分类器权重。为了防止过时并保持存储器与编码器的紧密联系,原型会定期更新,最旧的原型会被排出队列并处理掉。Prototype Memory在计算上是高效的,并且与数据集大小无关。它可以与各种损失函数、硬示例挖掘算法和编码器架构一起使用。我们证明了该模型的有效性,通过广泛的实验流行的人脸识别基准。
2022-02-03 cs.AI cs.CV cs.LG
OLÉ: Orthogonal Low-rank Embedding, A Plug and Play Geometric Loss for Deep Learning
Universidad de la República(共和国大学);Duke University(杜克大学)
使用顶部的softmax层和交叉熵损失训练的深度神经网络是图像分类的普遍工具。然而,这并不自然地强制学习的深度表示的类内相似性或类间边缘。为了同时实现这两个目标,文献中已经提出了不同的解决方案,例如成对或三重损失。然而,这样的解决方案承载了选择对或三元组的额外任务,以及对它们的许多组合进行计算和学习的额外计算负担。在本文中,我们提出了一个用于深度网络的即插即用损失项,该损失项以简单而优雅的几何方式显式地减少了类内方差并同时强制执行类间余量。对于每个类,深度特征被折叠到学习的线性子空间或它们的并集中,并且类间子空间被推到尽可能正交。我们提出的正交低秩嵌入(OLYST)不需要精心制作成对或三组样本进行训练,并且作为分类损失独立工作,这是同类深度度量学习框架中的第一个。由于不同类别的特征之间的间隔得到了改善,因此产生的深度网络更好地泛化,更具鉴别力,更鲁棒。我们证明了改进的分类性能,在一般的对象识别,插入到现有的现成的架构,建议的损失长期。特别是,我们展示了在小数据/模型场景中提出的损失的优势,并且我们在斯坦福STL-10基准测试中显着推进了最先进的技术。
2017-12-05 cs.CV cs.LG stat.ML
Learning distributed representations with efficient SoftMax normalization
ISI Foundation(ISI基金会)
本文提出一种线性时间启发式近似方法计算SoftMax归一化常数,并设计出高效且与任务无关的嵌入学习算法,在保持或提升性能的同时显著降低计算时间。
2025-06-01 cs.CL cs.LG stat.ML
Kernelized Bayesian Softmax for Text Generation
ByteDance AI Lab(字节跳动人工智能实验室)
用于文本生成的神经模型在解码阶段需要一个具有适当令牌嵌入的softmax层。大多数现有的方法采用单点嵌入每个令牌。然而,根据不同的上下文,一个词可能有多种含义,其中一些可能是不同的。在本文中,我们提出了KerBS,这是一种学习更好的文本生成嵌入的新方法。KerBS体现了两个优势:(a)它采用贝叶斯组合嵌入具有多个意义的单词;(b)它是自适应的单词的语义变化和鲁棒性罕见的句子上下文通过施加学习的内核捕捉嵌入空间中的单词(意义)的接近度。实证研究表明,KerBS显着提高了几个文本生成任务的性能。
2019-11-01 cs.CL cs.LG
Proxy Synthesis: Learning with Synthetic Classes for Deep Metric Learning
NAVER/LINE Vision;NAVER Clova Speech
深度度量学习的主要目的之一是构建一个嵌入空间,该嵌入空间在可见(训练)类和不可见(测试)类上都具有良好的泛化嵌入。大多数现有的工作都试图实现这一目标,使用不同类型的度量目标和硬样本挖掘策略与给定的训练数据。然而,仅使用训练数据的学习可能过拟合到可见的类,导致对不可见的类缺乏泛化能力。为了解决这个问题,我们提出了一个简单的正则化器,称为代理合成,它利用合成类在深度度量学习中进行更强的泛化。所提出的方法生成合成嵌入和代理,作为合成类工作,它们在计算基于代理的损失时模仿看不见的类。代理合成推导出一个嵌入空间,考虑到类关系和光滑的决策边界的鲁棒性上看不见的类。我们的方法适用于任何基于代理的损失,包括softmax及其变体。在四个著名的图像检索任务的基准上进行的大量实验表明,代理合成显着提高了基于代理的损失的性能,并实现了最先进的性能。
2021-03-29 cs.CV cs.IR cs.LG
Improving Explainability of Softmax Classifiers Using a Prototype-Based Joint Embedding Method
Brown University(布朗大学);Data Science Institute, Brown University(布朗大学数据科学研究所)
提出基于原型的联合嵌入方法,通过采样原型提供可理解的置信度并增强softmax分类器的可解释性,同时利用潜在空间距离改进分布外检测。
2024-07-16 cs.LG
Layout-Aware Representation Learning for Open-Set ID Fraud Discovery
WithPersona
本文提出面向布局的表示学习方法,用于开放式ID欺诈检测。通过上下文感知的SimMIM微调和复合损失的监督度量学习,改进DINOv3以适应文档领域。实验显示模型在加拿大布局上达到99.83%的分类准确率,并发现276个适应性物理欺诈案例。
2026-04-17 cs.AI cs.CV cs.LG
von Mises-Fisher Loss: An Exploration of Embedding Geometries for Supervised Learning
University of Colorado, Boulder(科罗拉多大学博尔德分校);Google Research(谷歌研究院)
最近的研究表明,利用softmax交叉熵的分类损失不仅对于固定集分类任务更优越,而且还优于专门为开放集任务开发的损失,包括少样本学习和检索。Softmax分类器已经使用不同的嵌入几何进行了研究-欧几里德,双曲和球形-并且已经声称一个或另一个的优越性,但它们没有系统地与仔细的对照进行比较。我们对各种固定集分类和图像检索任务的嵌入几何对softmax损失进行了实证调查。一个有趣的属性观察到的球形损失导致我们提出了一个概率分类的基础上的冯米塞斯-费舍尔分布,我们表明,它是竞争力与国家的最先进的方法,同时产生改进的开箱即用校准。我们要引导他们,引导他们。
2021-12-03 cs.CV cs.LG
To Copy, or not to Copy; That is a Critical Issue of the Output Softmax Layer in Neural Sequential Recommenders
University of Massachusetts(马萨诸塞大学)
本研究发现神经序列推荐器输出 softmax 层的单一隐藏状态与静态嵌入是处理重复项困难的根源,通过引入 softmax-CPR 替代架构使模型学会何时复制或排除输入项,在 12 个数据集上以同等模型规模显著提升了推荐性能。
2023-10-21 cs.AI cs.IR cs.LG
HASeparator: Hyperplane-Assisted Softmax
Democritus University of Thrace(色雷斯德谟克利特大学)
利用卷积神经网络(CNN)进行有效的特征学习是一个越来越重要的特性,因为计算机视觉的一些具有挑战性的任务往往需要级联方案和模态融合。特征学习的目标是能够提取嵌入的CNN模型,表现出不同类别之间的高区分度以及类内紧凑性。在本文中,介绍了一种新的方法,有分离器,它侧重于一个有效的超平面为基础的类的分离,而不是常见的类中心分离计划。因此,提出了一种创新的分离器,即超平面辅助Softmax分离器(HASeparator),其表现出优异的区分能力,如在流行的图像分类基准上评估的。
2020-08-08 cs.CV cs.LG
Improved Large-margin Softmax Loss for Speaker Diarisation
Cambridge University(剑桥大学)
说话人识别系统现在使用从瓶颈层中的语音段生成的嵌入,这需要对未看到的说话人具有区分性。众所周知,大间隔训练可以提高对未知数据的泛化能力,并且它在此类开集问题中的应用已经非常广泛。因此,本文介绍了一种通用的方法,没有任何近似的大余量softmax损失,以提高质量的扬声器嵌入diarisation。此外,当使用大余量softmax时,提出了一种新的简单的稳定训练的方法。最后,为了对抗重叠语音的影响,使用不同的训练裕度来减少重叠语音对创建区分性嵌入的负面影响。在AMI会议语料库上的实验表明,使用大余量softmax显著提高了说话人错误率(SER)。通过以统一的方式使用损耗的所有超参数,实现了进一步的改进,相对于基线,SER降低了24.6%。然而,通过训练具有不同裕度的重叠和单个说话者语音样本,实现了最佳结果,相对于基线,总体SER降低了29.5%。
2020-07-06 cs.CL cs.LG cs.SD
GroupReduce: Block-Wise Low-Rank Approximation for Neural Language Model Shrinking
University of California, Davis(加州大学戴维斯分校);Google Research(谷歌研究院)
模型压缩对于在资源有限的设备或需要实时响应的应用程序上服务大型深度神经网络至关重要。作为一个案例研究,最先进的神经语言模型通常由一个或多个递归层组成,这些递归层夹在用于表示输入令牌的嵌入层和用于生成输出令牌的softmax层之间。对于词汇量非常大的问题,嵌入和softmax矩阵可以占模型大小的一半以上。例如,bigLSTM模型在拥有约80万词汇的十亿字(OBW)数据集上实现了最先进的性能,其词嵌入和softmax矩阵使用超过6Gbit空间,并负责超过90%的模型参数。在本文中,我们提出了GroupReduce,神经语言模型的一种新的压缩方法,基于词汇分区(块)的低秩矩阵近似和令牌的固有频率分布(词的幂律分布)。实验结果表明,该方法的压缩性能明显优于传统的压缩方法,如低秩近似和修剪。在OBW数据集上,我们的方法对嵌入和softmax矩阵实现了6.6倍的压缩率,当与量化相结合时,我们的方法可以实现26倍的压缩率,这意味着整个模型的压缩系数为12.8倍,并且在困惑度方面几乎没有退化。
2018-06-18 cs.AI cs.CL cs.LG
Selective Rotary Position Embedding
ELLIS Institute Tübingen(图宾根埃利斯研究所);LIONS, EPFL(日内瓦理工学院LIONS实验室);University of Freiburg(弗赖堡大学);Max-Planck-Institute for Intelligent Systems(智能系统马克斯·普朗克研究所);Prior Labs(Prior实验室)
本文提出选择性RoPE,一种输入依赖的旋转嵌入机制,适用于线性和softmax变压器,通过任意角度旋转提升语言建模和复杂序列任务性能。
2026-06-24 cs.CL cs.LG
Von Mises-Fisher Loss for Training Sequence to Sequence Models with Continuous Outputs
Language Technologies Institute(语言技术研究所);Carnegie Mellon University(卡内基梅隆大学)
Softmax函数用于几乎所有现有序列到序列模型的最后一层,用于语言生成。然而,它通常是计算速度最慢的一层,这将词汇表大小限制为最常见类型的子集;并且它具有很大的内存占用。我们提出了一种通用的技术,用连续的嵌入层代替softmax层。我们的主要创新是一种新的概率损失,以及一种训练和推理过程,在该过程中,我们在预训练的词嵌入上生成概率分布,而不是通过softmax获得的词汇表上的多项分布。我们评估这类新的序列到序列模型的神经机器翻译任务上的连续输出。我们表明,我们的模型在训练时间上获得了高达2.5倍的速度提升,同时在翻译质量方面与最先进的模型不相上下。这些模型能够处理非常大的词汇量,而不会影响翻译质量。它们还产生比基于softmax的模型更有意义的错误,因为这些错误通常位于参考翻译的向量空间的子空间中。
2019-03-22 cs.CL cs.LG stat.ML
Breaking the Softmax Bottleneck for Sequential Recommender Systems with Dropout and Decoupling
Softmax瓶颈首先在语言建模中被确定为对基于Softmax的模型的表达能力的理论限制。作为最广泛使用的输出概率的方法之一,基于Softmax的模型已经得到了广泛的应用,包括基于会话的推荐系统(SBRS)。基于Softmax的模型由最终线性层顶部的Softmax函数组成。瓶颈已被证明是由于在最后的线性层秩不足,由于其与矩阵分解。在本文中,我们展示了SBRS中Softmax瓶颈的更多方面。与通常的看法相反,过拟合确实发生在最后的线性层,而它通常与复杂网络有关。此外,我们发现在会话序列和候选池之间共享项嵌入的常见技术会产生紧耦合,这也会导致瓶颈。我们提出了一个简单而有效的方法,辍学和解耦(D&D),以减轻这些问题。我们的实验表明,我们的方法显着提高了各种基于Softmax的SBRS算法的准确性。当与其他计算昂贵的方法,如MLP和MoS(Softmax的混合)相比,我们的方法与这些方法相当,有时甚至更好,同时保持与基于Softmax的模型相同的时间复杂度。
2021-10-11 cs.IR cs.LG
Attention with Trained Embeddings Provably Selects Important Tokens
Institute of Science and Technology Austria (ISTA)(奥地利科学与技术研究所)
本文研究了单层softmax注意力模型中梯度下降训练后的词元嵌入结构,证明其能按词频对齐输出向量并选择重要词元以最大化分类间隔,理论结果在IMDB和Yelp数据集上得到验证。
2025-06-25 cs.CL cs.LG stat.ML
Drug-Drug Interaction Prediction with Wasserstein Adversarial Autoencoder-based Knowledge Graph Embeddings
Fuzhou University(福州大学);Brown University(布朗大学)
药物之间的相互作用可能引发非预期不良事件。获取更丰富、更全面的药物相互作用(DDI)信息是公共卫生和药物开发的关键任务之一。最近,几种知识图谱嵌入方法在DDI领域受到越来越多的关注,因为它们能够将药物和相互作用投影到低维特征空间中以用于预测链接和分类三联体。然而,现有的方法只适用于一个均匀的随机模式来构建负样本。因此,这些样本通常过于简单,无法训练有效的模型。在本文中,我们提出了一个新的知识图谱嵌入框架,通过引入基于Wasserstein距离和Gumbel-Softmax松弛的对抗性自编码器(AAE),用于药物相互作用任务。在我们的框架中,自动编码器被用来生成高质量的阴性样本,自动编码器的隐藏向量被认为是一个合理的候选药物。之后,神经网络学习药物的嵌入和基于正负三联体的相互作用。同时,为了解决传统生成模型在离散表示上的梯度消失问题,利用Gumbel-Softmax松弛和Wasserstein距离对嵌入模型进行稳定的训练。我们经验评估我们的方法上的两个任务,链接预测和DDI分类。实验结果表明,我们的框架可以获得显着的改善,并明显优于竞争对手的基线。
2020-10-16 cs.CY cs.LG stat.ML
WEST: Word Encoded Sequence Transducers
Google Inc.(谷歌公司)
大词汇表模型中的大多数参数都用于嵌入层,将分类特征映射到向量,并用于softmax层的分类权重。这是存储器约束设备上训练应用(如联邦学习)和设备上推理应用(如自动语音识别(ASR))中的瓶颈。压缩嵌入层和softmax层的一种方法是用较小的子单元(如字符)替换较大的单元(如单词)。然而,与较大的单元模型相比,子单元模型的性能通常较差。我们提出了WEST,一种算法,用于编码分类功能和输出类的随机或域相关的子单元的序列,并证明这种转导可以导致显着的压缩,而不影响性能。WEST弥合了较大单元和子单元模型之间的差距,可以被解释为子单元特征上的MaxEnt模型,这可以是独立的兴趣。
2018-11-20 cs.CL cs.LG stat.ML
Deep Embedding Kernel
Institute of Analytics and Data Science, Kennesaw State University(肯尼索州立大学分析与数据科学研究所);Department of Information Technology, Kennesaw State University(肯尼索州立大学信息技术系)
在本文中,我们提出了一种新的监督学习方法,称为深度嵌入核(DEK)。DEK将深度学习和核方法的优点结合在一个统一的框架中。更具体地说,DEK是一个可学习的内核,由新设计的深度架构表示。与预定义的内核相比,该内核可以显式地训练以将数据映射到优化的高级特征空间,其中数据可能具有对应用有利的特征。与使用SoftMax或逻辑斯谛回归作为顶层的典型深度学习相比,DEK预计将更适用于新数据。实验结果表明,DEK在身份检测、分类、回归、降维和迁移学习等方面都优于典型的机器学习方法。
2018-04-16 cs.LG stat.ML
A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks
Google DeepMind(谷歌DeepMind)
本文提出用小型校正网络调整过时的缓存目标嵌入,以近似 softmax 并采样最新困难负样本,在稠密检索和检索增强问答中匹配最先进结果,同时将重新嵌入计算成本降低 4-80 倍。
2024-09-03 cs.LG
Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning
University of Toronto(多伦多大学);LG AI Research(LG人工智能研究院)
在线类增量持续学习(CL)研究从在线非平稳数据流中持续学习新类的问题,旨在适应新数据的同时减轻灾难性遗忘。虽然记忆回放已经显示出有希望的结果,但由常用的Softmax分类器引起的在线学习中的近因偏差仍然是一个未解决的挑战。虽然最近类均值(NCM)分类器在CL社区中被严重低估,但我们证明了它是Softmax分类器的简单而有效的替代品。它解决了近因偏差,并避免了新类的全连接层的结构变化。此外,我们观察到相当大的和一致的性能增益时,用NCM分类器替换Softmax分类器的几个国家的最先进的重放方法。为了更有效地利用NCM分类器,属于同一类的数据嵌入应该被聚类,并与具有不同类标签的数据嵌入很好地分离。为此,我们贡献了监督对比重放(SCR),它明确鼓励来自同一类的样本在嵌入空间中紧密聚类,同时在基于重放的训练过程中将不同类的样本进一步分开。总的来说,我们观察到,我们提出的SCR大大减少了灾难性遗忘,并在各种数据集上显著优于最先进的CL方法。
2021-09-15 cs.AI cs.CV cs.LG
Hamming OCR: A Locality Sensitive Hashing Neural Network for Scene Text Recognition
Ping An Property & Casualty Insurance(平安财产保险)
近年来,受Transformer的启发,基于自注意的场景文本识别方法取得了优异的性能。然而,我们发现,随着词典的增加,模型的规模迅速扩大。具体来说,softmax分类层和输出嵌入层的参数数量与词汇大小成正比。它阻碍了轻量级文本识别模型的发展,特别是适用于中文和多种语言。因此,我们提出了一个轻量级的场景文本识别模型命名为汉明OCR。在该模型中,提出了一种新的Hamming分类器,该分类器采用局部敏感哈希(LSH)算法对每个字符进行编码,以代替softmax回归,并直接使用生成的LSH码代替输出嵌入。我们也提出了一个简化的Transformer解码器,以减少参数的数量,通过去除前馈网络和使用跨层参数共享技术。与传统方法相比,分类层和嵌入层的参数个数与词汇量无关,在保证准确率的前提下,大大降低了存储量。实验结果表明,Hamming OCR在4个公共基准测试集和一个由SynthText合成的超过20,000个字符的中文文本数据集上取得了较好的效果。
2020-09-23 cs.AI cs.CV cs.LG
Selective Attention: Enhancing Transformer through Principled Context Control
University of Michigan(密歇根大学);University of California, Riverside(加州大学河滨分校)
本文提出选择性自注意力(SSA)层,通过有原则的温度缩放策略控制注意力稀疏性,缓解注意力稀释并抑制噪声令牌,仅增加不到0.5%参数即可在语言建模基准上取得一致提升。
2024-11-19 cs.CL cs.LG
Stolen Probability: A Structural Weakness of Neural Language Models
Northwestern University(西北大学);H. Lee Moffitt Cancer Center(H·李·莫菲特癌症中心);Allen Institute for AI(艾伦人工智能研究所)
神经网络语言模型(NNLM)通过将softmax函数应用于距离度量来生成概率分布,该距离度量通过在高维嵌入空间中取预测向量与所有词向量的点积来形成。点积距离度量形成NNLM的归纳偏差的一部分。虽然NNLM优化与此归纳偏见,我们表明,这导致在一个次优的嵌入空间,结构上的一些字在牺牲其他分配概率时,排序。我们目前的数值,理论和经验分析表明,在嵌入空间的凸包的内部的话有自己的概率壳上的话的概率有界。
2020-05-05 cs.LG stat.ML
Conformal Transformations for Symmetric Power Transformers
Stanford University(斯坦福大学);Manifest AI
针对对称幂Transformer循环状态容量有限导致长上下文性能下降的问题,提出共形对称幂Transformer,通过数据相关乘法门控和旋转嵌入动态管理容量,在LongCrawl64上实现稳健的长上下文性能。
2025-05-03 cs.AI cs.LG
Multi-Aspect Temporal Network Embedding: A Mixture of Hawkes Process View
Beihang University(北京航空航天大学);Beijing Advanced Innovation Center for Big Data and Brain Computing(大数据与脑计算北京高等创新中心);Beijing Key Laboratory of Emergency Support Simulation Technologies for City Operations(城市运行应急保障模拟技术北京市重点实验室)
近年来,网络嵌入引起了人们极大的研究兴趣。现有的工作已经采取的关键信息,以揭示网络结构的内在动力学的邻居形成,并建议编码的时间边缘形成序列,以捕捉邻居的历史影响。然而,在本文中,我们认为,边缘的形成可以归因于各种驱动因素,包括时间的影响,这是更好地称为多个方面。事实上,不同的节点方面可以驱动不同邻居的形成,从而产生与时间范围相关但超出时间范围的多方面嵌入。沿着这条脉络,我们提出了一个混合的基于Hawks的时态网络嵌入(MHNE)模型来捕捉方面驱动的邻域形成的网络。在MHNE中,我们将多方面嵌入编码到Hawkes过程的混合物中,以获得建模激发效应和潜在方面的优势。具体而言,使用图注意力机制来分配不同的权重以考虑历史事件的激励效应,同时插入Gumbel-Softmax以导出各个方面的分布。在8个不同的时间网络上进行的大量实验表明,与现有的方法相比,MHNE获得的多方面嵌入具有很好的性能。
2021-05-18 cs.LG
Improving Sample Efficiency with Normalized RBF Kernels
University of Hildesheim(希尔德斯海姆大学)
在深度学习模型中,用更少的数据学习更多变得越来越重要。本文探讨了如何训练具有归一化径向基函数(RBF)核的神经网络以获得更好的样本效率。此外,我们展示了这种输出层如何找到嵌入空间,其中类是紧凑的和良好分离的。为了实现这一点,我们提出了一个两阶段的方法来训练这些类型的神经网络分类任务。在CIFAR-10和CIFAR-100上的实验表明,与SoftMax输出层网络相比,采用归一化核作为输出层的网络具有更高的样本效率、更高的紧致度和更好的可分性。
2020-07-31 cs.LG stat.ML
Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders
Bosch Center for AI(博世人工智能中心);UC Berkeley(加州大学伯克利分校);University of Toronto(多伦多大学);University of Amsterdam(阿姆斯特丹大学)
广义零样本学习中的许多方法依赖于图像特征空间和类嵌入空间之间的跨模态映射。由于标记的图像是昂贵的,一个方向是通过生成图像或图像特征来增强数据集。然而,前者错过了细粒度的细节,而后者需要学习与类嵌入相关的映射。在这项工作中,我们采取功能生成更进一步,并提出了一个模型,其中共享的图像特征和类嵌入的潜在空间是学习特定模态对齐变分自编码器。这为我们留下了关于图像和潜在特征中的类别的所需判别信息,我们在此基础上训练softmax分类器。我们的方法的关键是,我们对齐从图像和边信息中学习到的分布,以构建包含与不可见类相关的基本多模态信息的潜在特征。我们在几个基准数据集,即CUB,SUN,AWA1和AWA2上评估了我们学习到的潜在特征,并在广义zero-shot和少样本学习上建立了一个新的最新技术水平。此外,我们在ImageNet上使用各种zero-shot分裂的结果表明,我们的潜在特征在大规模设置中泛化良好。
2019-04-05 cs.AI cs.CV cs.LG
Understanding and Improving Encoder Layer Fusion in Sequence-to-Sequence Learning
University of Macau(澳门大学);Tencent AI Lab(腾讯 AI 实验室);The University of Sydney(悉尼大学)
编码器层融合(EncoderFusion)是一种融合序列到序列(Seq 2Seq)模型的所有编码器层(而不是最上层)的技术,已被证明对各种NLP任务有效。然而,目前还不完全清楚为什么以及何时EncoderFusion应该工作。在本文中,我们的主要贡献是进一步理解EncoderFusion。许多先前的研究认为,EncoderFusion的成功来自于利用嵌入在较低编码器层中的表面和语法信息。与它们不同的是,我们发现编码器嵌入层比其他中间编码器层更重要。此外,最上面的解码器层在NLP任务中始终更加关注编码器嵌入层。基于这一观察,我们提出了一种简单的融合方法,SurfaceFusion,只融合softmax层的编码器嵌入层。实验结果表明,SurfaceFusion在几个NLP基准测试中的表现优于EncoderFusion,包括机器翻译、文本摘要和语法错误纠正。它在WMT 16罗马尼亚语-英语和WMT 14英语-法语翻译任务上获得了最先进的性能。广泛的分析表明,SurfaceFusion通过在相关源和目标嵌入之间建立更紧密的关系来学习更具表达力的双语词嵌入。源代码可以在https://github.com/SunbowLiu/SurfaceFusion上免费获得。
2021-03-18 cs.CL cs.LG
TIDE: Every Layer Knows the Token Beneath the Context
Apple(苹果公司)
TIDE通过引入EmbeddingMemory解决LLM中token身份单次注入导致的稀有词问题和上下文坍缩问题,提升多语言模型和下游任务性能。
2026-05-07 cs.AI cs.CL cs.LG
RACE Attention: A Strictly Linear-Time Attention Layer for Training on Outrageously Large Contexts
Department of Computer Science, Rice University(计算机科学系,里士大学)
RACE 注意力通过替代指数核为锐化角相似性,并利用高斯随机投影和软局部敏感哈希,实现线性时间复杂度的注意力层,适用于超长上下文训练,同时减少时间和内存消耗。
2026-04-18 cs.AI cs.LG
MuonIO: Principled Norm-Aware Descent for Embedding Tables and Language Model Heads
Purdue University(普渡大学)
MuonIO提出针对嵌入表和语言模型头的统一Muon风格更新,利用范数感知几何,在1B LLaMA预训练中减少50%优化器内存和约46%更新FLOPs,并提升验证困惑度。
2026-10-05 cs.AI cs.LG