Sparse Lifting of Dense Vectors: Unifying Word and Sentence Representations
The Chinese University of Hong Kong, Shenzhen(香港中文大学(深圳))
作为自动化自然语言处理的第一步,词语和句子的表示具有核心的重要性,并吸引了大量的研究关注。从早期的one-hot和bag-of-words表示到最近的分布式密集和稀疏表示,提出了不同的方法。尽管已经取得了成功的结果,这样的向量往往是由不可解释的组件,并面临在实际应用中的内存和计算需求的非平凡的挑战。在本文中,我们设计了一种新的表示模型,该模型将密集的词向量投影到更高维的空间中,并支持具有潜在可解释成分的词向量的高度稀疏和二进制表示,同时尽可能保持原始向量之间的成对内积。在计算上,我们的模型是放松作为一个对称的非负矩阵分解问题,承认一个快速而有效的解决方案。在一系列的实证评估中,该模型表现出一致的改进和高潜力的实际应用。
2019-11-05 cs.CL cs.LG
Learning Grid Cells as Vector Representation of Self-Position Coupled with Matrix Representation of Self-Motion
University of California, Los Angeles(加州大学洛杉矶分校);Hikvision Research Institute(海康威视研究院)
本文提出了一种网格单元的表示模型。在该模型中,智能体的2D自位置由高维向量表示,智能体的2D自运动或位移由变换向量的矩阵表示。向量的每个分量都是一个单位或一个单元。该模型由以下三个子模型组成。(1)向量矩阵乘法从当前位置到下一个位置的移动通过矩阵向量乘法来建模,即,通过将运动矩阵乘以当前位置的矢量来获得下一位置的矢量。(2)磁局域等距。两个相邻向量之间的角度等于两个对应位置之间的欧几里得距离乘以放大因子。(3)全局邻接核。两个向量之间的内积度量两个对应位置之间的邻接性,其由两个位置之间的欧几里得距离的核函数定义。我们的代表性模型有明确的代数和几何。该算法能够学习网格单元的六边形模式,具有误差修正、路径积分和路径规划等功能。
2019-05-25 cs.LG cs.NE stat.ML
Learning Library Cell Representations in Vector Space
NVIDIA(英伟达公司)
提出Lib2Vec自监督框架,通过自动规则性测试、从Liberty文件提取训练数据和注意力架构学习库单元向量表示,捕捉功能与电气相似性,并提升下游电路学习性能。
2025-03-28 cs.AR cs.LG
Representation Collapsing Problems in Vector Quantization
College of Design and Engineering(设计与工程学院);National University of Singapore(新加坡国立大学);Indian Institute of Technology Jodhpur(焦特布尔印度理工学院)
针对生成模型中向量量化表示坍缩问题(码本token或潜在嵌入因收敛到有限值子集失去判别能力),本研究通过合成与真实数据集明确坍缩类型、严重程度及触发条件(受限初始化、有限编码器容量),并提出潜在解决方案,是首个全面研究该问题的工作。
2024-11-25 cs.AI cs.LG
Analysis of Basic Emotions in Texts Based on BERT Vector Representation
Kognitivnie Sistemi(认知系统公司)
在下面的论文中,作者提出了一个GAN类型的模型,以及它在文本情感识别任务中发展的最重要阶段。特别是,我们提出了一种方法,用于生成一个人工标记的不完整数据的基础上的所有可能的情绪组合的合成数据集。
2021-01-31 cs.CL cs.LG
VecMol: Vector-Field Representations for 3D Molecule Generation
VecMol通过将分子建模为欧几里得空间中的连续向量场,避免显式图生成,实现了3D分子生成的新方法,实验验证其有效性。
2026-03-13 cs.LG stat.ML
Enriching Word Vectors with Subword Information
Facebook AI Research(Facebook人工智能研究院)
在大型未标记语料库上训练的连续单词表示对于许多自然语言处理任务都很有用。学习这种表示的流行模型通过为每个单词分配不同的向量来忽略单词的形态。这是一个限制,特别是对于词汇量大和有许多罕见单词的语言。在本文中,我们提出了一种新的方法的基础上skipgram模型,其中每个字表示为一袋字符$n$ -gram。矢量表示与每个字符$n$ -语法相关联;单词被表示为这些表示的和。我们的方法是快速的,允许在大型语料库上快速训练模型,并允许我们计算没有出现在训练数据中的单词的单词表示。我们评估我们的词表征九种不同的语言,无论是在词的相似性和类比任务。通过比较最近提出的形态字表示,我们表明,我们的矢量实现这些任务的最先进的性能。
2017-06-19 cs.CL cs.LG
Orthogonal Matrices for MBAT Vector Symbolic Architectures, and a "Soft" VSA Representation for JSON
Textician(Textician 公司)
向量符号体系结构(VSAs)提供了一种将复杂对象表示为单个固定长度向量的方法,以便相似的对象具有相似的向量表示。这些向量表示然后变得易于用于机器学习或最近邻搜索。我们回顾了以前提出的VSA方法,MBAT(矩阵绑定的加法项),它使用随机矩阵的乘法绑定相关的条款。然而,乘以这样的矩阵引入了可能损害性能的不稳定性。使随机矩阵成为正交矩阵可证明地解决了这个问题。对于更大规模的应用程序,我们看到了如何将MBAT向量表示应用于任何以JSON表示的数据。JSON在许多程序设计语言中用于表达复杂的数据,但其原生格式似乎非常不适合机器学习。将JSON表示为固定长度的向量,使其易于用于机器学习和最近邻搜索。创建这样的JSON向量还表明,VSA需要采用非交换的绑定操作。VSA现在已经准备好尝试全面的实际应用,包括医疗保健,制药和基因组学。保留字:MBAT(Matrix Binding of Additive Terms),VSA(Vector Symbolic Architecture),HDC(Hyperdimensional Computing),分布式表示,绑定,正交矩阵,递归连接,机器学习,搜索,JSON,VSA应用
2022-02-08 cs.AI cs.LG cs.NE
Fair Interpretable Learning via Correction Vectors
Johannes Gutenberg-Universität Mainz(美因茨约翰内斯·古腾堡大学)
神经网络体系结构已被广泛用于公平表示学习设置,其中的目标是学习一个新的表示为一个给定的向量,这是独立的敏感信息。在文献中已经提出了各种“表示去偏置”技术。然而,由于神经网络本质上是不透明的,这些方法很难理解,这限制了它们的实用性。我们提出了一个新的框架,公平的表示学习,这是围绕学习的“校正向量”,它具有相同的维数作为给定的数据向量。然后将校正简单地总结为原始特征,因此可以将其分析为对每个特征的显式惩罚或奖励。我们的实验表明,一个公平的表示学习问题,以这种方式约束不会影响性能。
2022-01-17 cs.LG stat.ML
DeCoAR 2.0: Deep Contextualized Acoustic Representations with Vector Quantization
Amazon AWS AI(亚马逊云计算服务人工智能部门)
最近在语音表示学习方面的成功使得利用未标记数据来训练语音识别模型成为可能。在语音表示学习中,大量未标记的数据以自监督的方式用于学习特征表示。然后,使用较少量的标记数据来使用新的特征表示训练下游ASR系统。基于我们以前的工作DeCoAR和其他语音表示学习的灵感,我们提出了DeCoAR 2.0,一个带有矢量量化的深度上下文化声学表示。我们介绍了几个修改的DeCoAR:第一,我们使用Transformers在编码模块,而不是LSTM;第二,我们引入了一个矢量量化层之间的编码器和重建模块;第三,我们提出了一个目标,结合重建损失与矢量量化的多样性损失训练语音表示。我们的实验表明,在不同的数据稀疏的情况下,其他语音表示一致的改进。在没有微调的情况下,使用DeCoAR 2.0功能在10小时LibriSpeech标记数据上训练的轻量级ASR模型优于使用滤波器组功能在完整的960小时数据集上训练的模型。
2020-12-11 cs.CL cs.LG eess.AS
Generating Table Vector Representations
高质量的Web表是丰富的信息源,可用于填充知识图谱(KG)。本文的重点是评估表到类的注释方法,这是表解释(TI)的子任务。我们提供了一个正式的定义表分类作为一个机器学习任务。我们提出了一个实验设置,我们评估5个根本不同的方法,以找到生成向量表表示的最佳方法。我们的研究结果表明,虽然迁移学习方法在表分类任务上取得了很高的F1分数,但专用表编码模型是一个很有前途的方向,因为它们似乎可以捕获更丰富的语义。
2021-10-28 cs.CL cs.LG
Disentangling Neuron Representations with Concept Vectors
Haute école spécialisée de Suisse occidentale(瑞士西部应用科学大学);University of Limerick(利默里克大学);The Sense Research and Innovation Center(The Sense研究与创新中心)
针对多语义神经元难以解释的问题,本文提出一种将其解耦为不同概念向量的方法,支持按用户指定粒度搜索,并验证所得方向具有连贯、可理解的特征。
2023-04-19 cs.CV cs.LG
dna2vec: Consistent vector representations of variable-length k-mers
长DNA序列的普遍表示之一是将其分成较短的k-mer组分。不幸的是,k-mer作为独热向量的直接向量编码容易受到维度灾难的影响。更糟糕的是,任何一对独热向量之间的距离都是等距的。当应用最新的机器学习算法来解决生物序列分析中的问题时,这尤其成问题。在本文中,我们提出了一种新的方法来训练分布式表示的可变长度的k-mer。我们的方法是基于流行的词嵌入模型word 2 vec,这是一个浅的两层神经网络训练。我们的实验提供了证据表明,dna 2 vec载体的总和类似于核苷酸连接。我们还证明了Needleman-Wunsch相似性得分与dna 2 vec向量的余弦相似性之间存在相关性。
2017-01-23 cs.CL cs.LG q-bio.QM
Learning V1 Simple Cells with Vector Representation of Local Content and Matrix Representation of Local Motion
Google Research(谷歌研究院)
本文提出了一个图像对的表示模型,如连续的视频帧,相关的局部像素位移,在希望该模型可以阐明初级视觉皮层(V1)的运动感知。该模型耦合了以下两个组件:(1)图像的局部内容的矢量表示和(2)由代理和3D场景中的对象之间的相对运动引起的局部像素位移的矩阵表示。当图像帧由于局部像素位移而经历变化时,将向量乘以表示局部位移的矩阵。因此,矢量表示是等变的,因为它根据局部位移而变化。实验结果表明,该模型可以学习正交相位的类Gabor滤波器对。学习过滤器的配置文件与Macaque V1中简单细胞的配置文件相匹配。此外,我们证明了该模型可以学习以监督或无监督的方式推断局部运动。用这样一个简单的模型,我们取得了竞争力的结果光流估计。
2022-04-06 cs.CV cs.LG cs.NE
Towards cross-lingual distributed representations without parallel text trained with adversarial autoencoders
The University of Edinburgh(爱丁堡大学)
当前学习不同语言之间兼容的文本的矢量表示的方法通常需要一定量的并行文本,在单词、句子或至少文档级别对齐。然而,我们假设,不同的自然语言共享足够的语义结构,原则上应该可以通过分析单词的单语分布来学习兼容的矢量表示。为了评估这一假设,我们提出了一个计划,映射词向量训练的源语言向量语义兼容的词向量训练的目标语言使用对抗自动编码器。我们提出了初步的定性结果,并讨论了这种技术的未来可能的发展,如跨语言的句子表示的应用。
2016-08-09 cs.CL cs.LG cs.NE
Estimator Vectors: OOV Word Embeddings based on Subword and Context Clue Estimates
George Mason University(乔治梅森大学)
使用神经网络模型如word2vec,已经成功地从未标记的语料库中提取了词的语义表示。这些表示通常是高质量的,并且训练在计算上是便宜的,这使得它们很受欢迎。然而,这些方法通常无法近似出词汇(OOV)的话,人类可以很容易地完成任务,使用词根和上下文线索。本文提出了一种联合学习高质量词表示、子词表示和上下文线索表示的神经网络模型。一起学习所有三种类型的表示增强了对每种表示的学习,从而通过相应的上下文线索和子词嵌入的组合来丰富词向量,以及对OOV词的强估计。我们的模型,称为估计向量(EV),学习强大的词嵌入,并与最先进的方法进行OOV估计的竞争。
2019-10-18 cs.CL cs.LG stat.ML
Distributed Vector Representations of Folksong Motifs
University of Hawaii at Manoa(夏威夷大学马诺阿分校);Technical University of Madrid(马德里理工大学)
本文提出了一种用于民歌主题学习的分布式矢量表示模型。一个具有负采样的word 2 vec的skip-gram版本用于表示高质量的嵌入。埃森民歌集的主题进行比较的基础上,他们的余弦相似。一种新的评价方法,用于测试的质量嵌入的旋律相似性任务的基础上,展示了如何向量空间可以表示复杂的上下文特征,以及它如何可以用于民歌变化的研究。
2019-03-20 cs.CL cs.IR cs.LG
Building Program Vector Representations for Deep Learning
Peking University(北京大学)
深度学习在人工智能的各个领域都取得了重大突破。深度学习的优势包括能够捕获高度复杂的特征,人类工程学的参与程度较低等。然而,由于纯反向传播无法有效地训练深度架构,因此实际上仍然不可能使用深度学习来分析程序。在这篇开创性的论文中,我们提出了构建程序向量表示的“编码标准”,这是用于程序分析的深度学习的前提。我们的表示学习方法直接使深度学习在这个新领域成为现实。我们从定性和定量两个方面评估学习的向量表示。我们的结论是,基于实验,编码标准是成功的,在建立程序表示。为了评估深度学习是否有利于程序分析,我们将表示输入深度神经网络,并在程序分类任务中实现比“浅层”方法更高的准确性,例如逻辑回归和支持向量机。这一结果证实了深度学习分析程序的可行性。它也提供了它在这一新领域取得成功的主要证据。我们相信,在不久的将来,深度学习将成为程序分析的杰出技术。
2014-09-11 cs.LG cs.NE cs.SE
Persistence B-Spline Grids: Stable Vector Representation of Persistence Diagrams Based on Data Fitting
Zhejiang University(浙江大学)
近几十年来,已经进行了许多尝试来集成机器学习(ML)和拓扑数据分析。将持久同源性应用于ML任务的一个突出问题是找到持久性图(PD)的矢量表示,持久性图是表示拓扑特征的汇总图。从数据拟合的角度出发,基于最小二乘B样条函数拟合的渐进迭代逼近技术,提出了一种稳定的矢量表示方法--持久性B样条网格(PBSG)。我们从理论上证明了PBSG方法对于定义在PD空间上的1-Wasserstein距离度量是稳定的。在合成数据集、随机生成的PD数据集、动力系统数据集和三维CAD模型上进行了测试,验证了该方法的有效性和高效性
2022-04-22 cs.CG cs.LG math.AT