Ordered and Binary Speaker Embedding
Tsinghua University(清华大学);Huawei Cloud(华为云);Beijing University of Posts and Telecommunications(北京邮电大学)
本文提出有序二值嵌入方法,通过嵌套dropout排序嵌入维度并用伯努利采样生成二值码,在VoxCeleb和CN-Celeb上验证了其在层次聚类、内存节省和快速检索方面的优势。
2023-05-25 cs.LG cs.SD eess.AS
Binary Speaker Embedding
Tsinghua National Laboratory for Information Science and Technology(清华信息科学与技术国家实验室);Research Institute of Information Technology (RIIT) of Tsinghua University(清华大学信息技术研究院)
流行的i-vector模型将说话人表示为低维连续向量(i-vectors),因此它是一种连续说话人嵌入方法。在本文中,我们研究了二进制说话人嵌入,它通过哈希函数将i向量转换为二进制向量(代码)。我们从局部敏感哈希(LSH)开始,这是一种简单的二进制化方法,其中二进制代码来自一组随机哈希函数。LSH的一个潜在问题是随机采样的哈希函数可能是次优的。因此,我们提出了一种改进的汉明远程学习方法,其中散列函数是通过可变大小的块训练来学习的,该训练将原始i向量的每个维度独立地投影到可变大小的二进制码。我们的实验表明,二进制说话人嵌入可以提供有竞争力的,甚至更好的结果在说话人验证和识别任务,而内存使用和计算成本显着降低。
2016-03-31 cs.LG cs.SD
Unsupervised Features Extraction for Binary Similarity Using Graph Embedding Neural Networks
University of Rome Sapienza(罗马第一大学)
在本文中,我们考虑的二进制相似性问题,包括在确定是否两个二进制函数是相似的,只考虑他们的编译形式。这个问题是众所周知的,是至关重要的,在几个应用场景中,如版权纠纷,恶意软件分析,漏洞检测等,在这个领域的工作,通过创建一个嵌入模型,映射到向量的二进制函数$\mathbb{R}^{n}$的当前国家的最先进的解决方案。这种嵌入模型捕获二进制文件之间的语法和语义相似性,即,类似的二元函数被映射到向量空间中接近的点。这种策略有许多优点,其中之一是可以预先计算几个二元函数的嵌入,然后将它们与简单的几何运算(例如,点积)。在[32]中,函数首先在由手动工程特征构成的注释控制流图(ACFG)中进行转换,然后使用深度神经网络架构将图嵌入到向量中。在本文中,我们提出并测试了几种方法来计算注释的控制流图,使用无监督的方法进行特征学习,而不会引起人类偏见。我们的方法受到了自然语言处理社区中使用的技术的启发(例如,我们使用word2vec来编码汇编指令)。我们表明,我们的方法确实是成功的,它导致更好的性能比以前的国家的最先进的解决方案。此外,我们报告的功能嵌入的定性分析。我们发现了一些有趣的情况,其中嵌入根据原始二元函数的语义进行聚类。
2018-11-13 cs.DC cs.LG
On the Role of Pre-trained Embeddings in Binary Code Analysis
Max Planck Institute for Solar System Research(马克斯·普朗克太阳系研究所)
本文批判性探索预训练嵌入在二进制代码分析中的作用,通过120万函数语料库在五个下游任务评估发现,足够标记数据时嵌入性能相似,无预训练端到端学习平均最佳,并得出嵌入与端到端学习的适用指导方针。
2025-02-12 cs.AI cs.LG
Fast Binary Embedding via Circulant Downsampled Matrix -- A Data-Independent Approach
Institute of Information Science, Academia Sinica(中央研究院信息科学研究所);National Taiwan University(台湾大学)
高维数据的二进制嵌入旨在产生低维二进制代码,同时保持区分能力。最先进的方法通常具有高计算和存储成本。我们提出了一个简单而快速的嵌入方案,首先将N维数据下采样为M维数据,然后将数据与MxM循环矩阵相乘。我们的方法需要O(N +M log M)的计算和O(N)的存储成本。我们证明了如果数据具有稀疏性,我们的方案可以很好地实现相似性保持。实验进一步表明,虽然我们的方法是成本效益和快速,它仍然达到了相当的性能在图像应用程序。
2016-01-24 cs.CV cs.IT cs.LG
On the representation and embedding of knowledge bases beyond binary relations
Beihang University(北京航空航天大学);University of Ottawa(渥太华大学)
到目前为止开发的知识库嵌入模型都是基于知识库中包含的关系是二进制的假设。为了训练和测试这些嵌入模型,将多重(或n元)关系数据转换为三元组(例如,在FB 15 K数据集中),并被解释为二元关系的实例。本文提出了一种包含多重关系的知识库的规范表示方法。我们发现,流行的FB 15 K数据集上的现有嵌入模型对应于次优建模框架,导致结构信息丢失。我们提倡一种新的建模框架,直接使用这种规范表示模型的多重关系。在此框架下,将已有的TransH模型推广到一个新的模型m-TransH.我们的实验表明,m-transH优于transH的一个很大的保证金,从而建立了一个新的国家的艺术。
2016-04-28 cs.AI cs.LG
SAFE: Self-Attentive Function Embeddings for Binary Similarity
University of Rome Sapienza(罗马大学);CINI, National Laboratory of Cyber Security(CINI国家网络安全实验室);Facebook AI Research(Facebook人工智能研究院)
二进制相似性问题在于通过仅考虑它们的编译形式来确定两个函数是否相似。二进制相似性的先进技术最近获得了发展势头,因为它们可以应用于几个领域,例如版权纠纷,恶意软件分析,漏洞检测等,从而产生直接的实际影响。当前的解决方案通过首先将函数的二进制代码转换为多维向量表示(嵌入)来比较函数,然后通过简单且有效的几何运算来比较向量。然而,嵌入通常使用手动特征提取从二进制代码导出,这可能无法考虑重要的函数特性,或者可能考虑对于二进制相似性问题不重要的特征。在本文中,我们提出了安全,一种新的架构的基础上,自我关注的神经网络的功能嵌入。SAFE直接对反汇编的二进制函数起作用,不需要手动特征提取,在计算上比现有解决方案更有效(即,它不会引起构建或操纵控制流图的计算开销),并且由于它在剥离的二进制文件和多个体系结构上工作,因此更通用。我们报告的结果,从定量和定性分析,显示如何安全提供了一个显着的性能改进,相对于以前的解决方案。此外,我们展示了我们的嵌入向量的集群是如何与实现算法的语义密切相关的,为进一步有趣的应用(例如基于语义的二进制函数搜索)铺平了道路。
2019-12-19 cs.CR cs.LG
Circulant Binary Embedding
Columbia University(哥伦比亚大学);Google Research(谷歌研究院);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
高维数据的二进制嵌入需要长代码来保持输入空间的区分能力。传统的二进制编码方法在这样的场景中通常遭受非常高的计算和存储成本。为了解决这个问题,我们提出了循环二进制嵌入(CBE),它通过用循环矩阵投影数据来生成二进制代码。循环结构使得能够使用快速傅立叶变换来加速计算。与使用非结构化矩阵的方法相比,所提出的方法将时间复杂度从$\mathcal{O}(d^2)$提高到$\mathcal{O}(d\log{d})$,并且将空间复杂度从$\mathcal{O}(d^2)$提高到$\mathcal{O}(d)$,其中$d$是输入维度。我们还提出了一种新的时频交替优化来学习数据依赖的循环投影,它可以交替地最小化原始域和傅立叶域中的目标。我们通过大量的实验表明,所提出的方法提供了更好的性能比国家的最先进的方法为固定的时间,并提供了更快的计算,没有性能下降为固定的比特数。
2014-05-13 cs.LG stat.ML
Faster Binary Embeddings for Preserving Euclidean Distances
Halıcıoğlu Data Science Institute(哈利奇奥格鲁数据科学学院);University of California San Diego(加利福尼亚大学圣迭戈分校)
我们提出了一个快速的,距离保持,二进制嵌入算法将高维数据集$\mathcal{T}\subseteq\mathbb{R}^n$转换成二进制序列的立方体$\{\pm 1\}^m$。当$\mathcal{T}$由良好分布的(即,非稀疏)向量,我们的嵌入方法将稳定的噪声整形量化方案应用于$A x$,其中$A\in\mathbb{R}^{m\times n}$是稀疏高斯随机矩阵。这与通常使用$x\mapsto \mathrm{sign}(Ax)$进行嵌入的大多数二进制嵌入方法形成对比。此外,我们表明,$\mathcal{T}$的元素之间的欧氏距离近似的$\ell_1$规范下的图像的$\{\pm 1\}^m$的快速线性变换。这再次与标准方法形成对比,在标准方法中使用汉明距离。我们的方法是快速和内存有效的,与时间复杂度$O(m)$和空间复杂度$O(m)$。此外,我们证明了该方法是准确的,其相关的误差是可比的连续值的约翰逊-林登施特劳斯嵌入加上量化误差,承认多项式衰减的嵌入维数$m$增加。因此,所需的二进制代码的长度,以达到所需的精度是相当小的,我们甚至可以进一步压缩,而不影响精度。为了说明我们的结果,我们在自然图像上测试了所提出的方法,并表明它具有很强的性能。
2021-03-10 cs.IT cs.LG math.IT
Memory and Computation-Efficient Kernel SVM via Binary Embedding and Ternary Model Coefficients
Hong Kong Baptist University(香港浸会大学);Department of Computer Science(计算机科学系);Hong Kong SAR, China(中国香港特别行政区)
核近似被广泛用于扩展核SVM训练和预测。然而,如果我们想将内核近似模型部署在内存有限的设备(如手机、智能手表和物联网设备)上,其内存和计算成本仍然太高。为了解决这一挑战,我们提出了一种新的内存和计算效率的核SVM模型,通过使用二进制嵌入和二进制模型系数。首先,我们提出了一种有效的方法来生成紧凑的二进制嵌入的数据,保持内核的相似性。其次,我们提出了一个简单但有效的算法来学习一个线性分类模型的三元系数,可以支持不同类型的损失函数和正则化。我们的算法可以实现更好的泛化精度比现有的作品学习二进制系数,因为我们允许系数是$-1$,$0$,或$1$在训练阶段,和系数$0$可以被删除在模型推断二进制分类。此外,我们提供了一个详细的分析,我们的算法的收敛性和我们的模型的推理复杂度。分析表明,该模型保证了收敛到局部最优,推理复杂度远低于其他竞争方法。在5个大型真实数据集上的实验结果表明,该方法能够以小于30KB的内存开销建立精确的非线性SVM模型。
2020-10-06 cs.LG
Learning State-Space Models of Dynamic Systems from Arbitrary Data using Joint Embedding Predictive Architectures
Department of Electrical and Computer Engineering(电气与计算机工程系)
本文提出一种利用联合嵌入预测架构和神经常微分方程从任意观测数据创建连续时间动态世界模型的新技术,通过强制收缩嵌入和Lipschitz常数的损失函数构建潜在状态空间,并在单摆图像数据上验证了有效性。
2025-08-14 cs.LG
Exact Distribution-Free Hypothesis Tests for the Regression Function of Binary Classification via Conditional Kernel Mean Embeddings
SZTAKI: Institute for Computer Science and Control(SZTAKI:计算机科学与控制研究所);Eötvös Loránd Research Network(厄特沃什·罗兰研究网络)
本文提出了两种基于条件核均值嵌入的二分类回归函数的统计假设检验方法。回归函数是分类中的基本对象,因为它决定了贝叶斯最优分类器和误分类概率。提出了一个基于回归的框架,并结合条件核均值映射的一致点估计,以构造分布自由的假设检验。这些测试以灵活的方式引入,使我们能够控制任何样本量的第一类错误的确切概率。我们还证明了这两种方法在弱统计假设下是一致的,即,第二类错误概率逐点收敛到零。
2021-06-07 cs.LG stat.ML
RegD: Hierarchical Embeddings via Dissimilarity between Arbitrary Euclidean Regions
The University of Manchester(曼彻斯特大学)
本文提出RegD,一种灵活的欧几里得框架,支持使用任意几何区域作为嵌入表示,通过区域间的深度不相似性实现超几何表达能力,展现优于现有方法的性能。
2026-04-13 cs.AI cs.LG
Knowledge Hypergraphs: Prediction Beyond Binary Relations
University of British Columbia(英属哥伦比亚大学);Element AI
知识图谱使用两个实体之间的关系存储事实。在这项工作中,我们解决的问题,链接预测在知识超图的关系被定义在任何数量的实体。虽然存在的技术(如具体化),将非二进制关系转化为二进制的,我们表明,目前基于嵌入的知识图完成的方法不工作,以及开箱即用的知识图谱通过这些技术获得。为了克服这一点,我们引入了HSimple和HypE,这两种基于嵌入的方法直接与知识超图一起工作。在这两个模型中,预测是关系嵌入、实体嵌入及其在关系中的对应位置的函数。我们还开发了超图预测的公共数据集,基准和基线,并通过实验表明,所提出的模型比基线更有效。
2020-07-15 cs.AI cs.LG stat.ML
Fast Fixed Dimension L2-Subspace Embeddings of Arbitrary Accuracy, With Application to L1 and L2 Tasks
RPI CS Department(伦斯勒理工学院计算机科学系)
我们给出了$A\in \mathbb{R}^{n x d}$到$B\in \mathbb{R}^{r x d}$的一个快速不经意的L2-嵌入,满足$(1-\varepsilon)\|A x\|_2^2 \le \|B x\|_2^2 <= (1+\varepsilon) \|Ax\|_2^2.$我们的嵌入维数$r$等于$d$,一个与失真$\varepsilon$无关的常数。我们使用任何L2嵌入$Π^T A$作为黑盒,并继承其运行时间和准确性,有效地将维度$r$与运行时间和准确性解耦,允许下游机器学习应用从低维度和高准确性中受益(在先前的嵌入中,更高的准确性意味着更高的维度)。我们将L2嵌入应用于回归,PCA和统计杠杆分数。我们也给出L1:1的应用。)一个不经意的L1-嵌入维数$d+O(d\ln^{1+η} d)$和失真$O((d\ln d)/\ln\ln d)$,与应用构造良好的条件基地; 2.)使用我们的L2嵌入快速近似L1-Lewis权重,以快速近似L2杠杆分数。
2019-09-27 cs.LG stat.ML
Recurrent Binary Embedding for GPU-Enabled Exhaustive Retrieval from Billion-Scale Semantic Vectors
Bing Ads of AI & Research Group, Microsoft Corp.(微软公司必应广告AI与研究组)
GPU硬件和深度学习的多个领域的快速发展为使用穷举搜索的十亿级信息检索提供了新的机会。基于语义学习的强大概念,本文提出了一种递归二进制嵌入(RBE)模型,该模型可以学习用于实时检索的紧凑表示。该模型具有独特的能力,通过逐步添加二进制残差向量来细化基本二进制向量,以满足所需的精度。改进的向量使得能够有效地实现逐位操作的穷举相似性计算,随后是本文还提出的近无损k-NN选择算法。所提出的算法被集成到一个端到端的多GPU系统中,该系统可以实时从超过10亿个候选项中检索数千个顶级项。RBE模型和检索系统进行了评估,从一个主要的付费搜索引擎的数据。当与最先进的二进制表示模型和语义嵌入的全精度模型进行比较时,RBE的表现明显优于前者,并填补了两者之间超过80%的AUC差距。与我们的生产检索系统相比,实验也表现出优越的性能。虽然本文的主要重点是基于特定类别的语义模型构建RBE,但推广到其他类型是很简单的,正如本文结尾的两个不同模型所示。
2018-02-18 cs.DC cs.IR cs.LG
Efficient Binary Embedding of Categorical Data using BinSketch
IIT Mandi(曼迪印度理工学院);Indraprastha Institute of Information Technology Delhi(德里因德拉普拉斯塔信息技术学院)
在这项工作中,我们提出了一个降维算法,又名。草图,用于分类数据集。我们提出的草图算法Cabin从高维分类向量构建低维二进制草图,我们的距离估计算法Cham仅从草图计算任何两个原始向量之间的汉明距离的近似值。Cham所需的草图的最小维度,以确保良好的估计理论上只取决于数据点的稀疏性-使其适用于许多涉及稀疏数据集的现实生活场景。我们对我们的方法进行了严格的理论分析,并在几个高维现实世界的数据集上进行了广泛的实验,其中包括一个超过一百万个维度的数据集。我们表明,与使用完整数据集和其他降维技术相比,Cabin和Cham二人组对于RMSE,所有对相似性和聚类等任务是一种非常快速和准确的方法。
2021-11-13 cs.LG
Getting deep recommenders fit: Bloom embeddings for sparse binary input/output networks
Telefónica Research(西班牙电信研究院)
结合了深度学习技术的推荐算法正变得越来越流行。由于来自推荐域的数据的结构(即,项目偏好的独热编码向量),这些算法倾向于具有支配其总体大小的大输入和输出维度。由于图形处理单元的存储器有限,这使得它们难以训练,并且难以在具有有限硬件的移动设备上部署。为了解决这些困难,我们提出了布卢姆嵌入,压缩技术,可应用于神经网络模型的输入和输出处理稀疏高维二进制编码的实例。Bloom嵌入在计算上是高效的,并且在高达1/5的压缩比下不会严重损害模型的准确性。在某些情况下,它们甚至比原来的精度有所提高,相对提高高达12%。我们在7个数据集上评估了Bloom嵌入,并将其与4种替代方法进行了比较,获得了良好的结果。我们还讨论了一些进一步的优势,布鲁姆嵌入,如“在飞行”的恒定时间操作,零或边际空间要求,训练时间加速,或事实上,他们不需要任何改变的核心模型架构或训练配置。
2017-06-13 cs.AI cs.IR cs.LG
BinBert: Binary Code Understanding with a Fine-tunable and Execution-aware Transformer
Sapienza University of Rome(罗马第一大学)
二进制代码分析的最近趋势促进了基于指令嵌入模型的神经解决方案的使用。指令嵌入模型是将汇编指令序列转换为嵌入向量的神经网络。如果嵌入网络经过训练,使得从代码到向量的转换部分地保留了语义,则网络有效地表示汇编代码模型。在本文中,我们提出了BinBert,一种新的汇编代码模型。BinBert构建在一个Transformer上,该transformer在一个包含汇编指令序列和符号执行信息的巨大数据集上进行了预训练。BinBert可以应用于汇编指令序列,并且它是可微调的,即它可以作为任务特定数据的神经架构的一部分进行重新训练。通过微调,BinBert学习如何将预训练获得的一般知识应用于特定任务。我们在一个多任务基准上评估了BinBert,该基准是我们专门设计来测试对汇编代码的理解的。基准测试由几个任务组成,其中一些来自文献,还有一些我们设计的新任务,以及内在和下游任务的混合。我们的研究结果表明,BinBert优于最先进的二进制指令嵌入模型,提高了二进制代码理解的标准。
2022-08-13 cs.CR cs.LG
Pretraining on Call Graphs: When Binary Analysis Tasks Profit From Context
Ludwig-Maximilians-Universität München(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Center for Digital Technology and Management(数字技术与管理中心)
本研究探究调用图对二进制分析任务的影响,发现结合过程间上下文可提升嵌入鲁棒性但未必泛化到下游任务,且对命名空间相关函数更有益。
2026-08-04 cs.CR cs.LG cs.SE
SimCLF: A Simple Contrastive Learning Framework for Function-level Binary Embeddings
Army Engineering University of PLA(中国人民解放军陆军工程大学);National Computer Network and Information Security Management Center(国家计算机网络与信息安全管理中心);Shanghai Jiao Tong University(上海交通大学);University Of Science & Technology Beijing(北京科技大学)
SimCLF提出无监督对比学习框架,直接处理反汇编函数,利用编译器优化和混淆生成增强数据,实现函数级二进制相似性检测,在准确性和少样本场景下超越现有方法。
2023-12-26 cs.AI cs.CR cs.LG
Bernoulli Embeddings for Graphs
Netflix Inc.(奈飞公司);IBM India Research Laboratory(IBM印度研究院)
正如语义哈希可以加速信息检索一样,二进制值嵌入可以显著减少图形数据检索的延迟。我们引入一个简单但有效的模型来学习图中节点的二进制向量。通过将嵌入想象为具有不同偏差的独立硬币翻转,可以将连续优化技术应用于近似的预期损失。以这种方式优化的嵌入在各种数据集的排名和预排名任务上始终优于谱图嵌入和各种学习的实值嵌入的量化。
2018-03-25 cs.AI cs.LG stat.ML
Exploring Embedding Methods in Binary Hyperdimensional Computing: A Case Study for Motor-Imagery based Brain-Computer Interfaces
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
大脑启发的超维(HD)计算的关键特性使其成为生物信号处理中节能和快速学习的主要候选者。然而,主要的挑战是制定嵌入方法,将生物信号测量映射到二进制HD空间。在本文中,我们探索各种这样的嵌入方法,并检查他们具有挑战性的应用程序的运动想象脑机接口(MI-BCI)从脑电图(EEG)记录。我们探索嵌入方法,包括随机投影,基于量化的温度计和格雷编码,以及使用端到端训练学习HD表示。所有这些方法的复杂度不同,目的是在二进制HD空间中表示EEG信号,例如具有10,000比特。这导致了一组HD学习和分类方法的开发,这些方法可以基于给定任务的准确性和/或计算复杂性要求来选择性地选择(或配置)。我们将它们与NVIDIA TX 2板上最先进的线性支持向量机(SVM)进行比较,使用4类BCI竞赛IV-2a数据集以及新的3类数据集。与SVM相比,在3类数据集上的结果表明,简单的温度计嵌入实现了中等的平均精度(79.56% vs. 82.67%),训练时间快26.8 $\times$,能量低22.3 $\times$;另一方面,在一个实施方案中,切换到使用已学习的HD表示的端到端训练消除了这些训练优势,同时将准确率提高到84.22%(比SVM高1.55%)。在4类数据集上观察到类似的趋势,其中SVM平均达到74.29%:温度计嵌入实现了89.9 $\times$更快的训练时间和58.7 $\times$更低的能…
2018-12-30 cs.LG eess.SP
A Progressive Transformer for Unifying Binary Code Embedding and Knowledge Transfer
Columbia University(哥伦比亚大学);Purdue University(普渡大学)
本文提出 ProTST,一种基于树状结构分层训练的渐进式 Transformer 师生范式,用于二进制代码嵌入与知识迁移,在七项二进制分析任务中平均验证分数显著优于传统及多模态两阶段框架。
2024-12-22 cs.LG cs.SE
Covariance Structure and Coordinate Heterogeneity Govern Binary Quantization of Contrastive Embeddings
Changsha University(长沙大学)
通过分析InfoNCE训练表示的协方差结构,揭示了协方差矩阵的非对角项和坐标异质性如何分别影响二值量化的排序保真度和设计选择,并推导出缩放律以指导系统设计。
2026-05-29 cs.DB cs.LG
NodeSig: Binary Node Embeddings via Random Walk Diffusion
Technical University of Denmark(丹麦技术大学);Paris-Saclay University(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院);Inria(法国国家信息与自动化研究所);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
图表示学习(GRL)已经成为网络分析的一个关键范式,具有大量的跨学科应用。随着网络规模的增加,大多数广泛使用的基于学习的图表示模型也面临着计算挑战。虽然最近有一种设计算法的努力,只处理可扩展性问题,但它们中的大多数在下游任务的准确性方面表现不佳。在本文中,我们的目标是研究平衡效率和准确性之间的权衡的模型。特别是,我们提出了NodeSig,一个可扩展的模型,计算二进制节点表示。NodeSig通过稳定的随机投影来利用随机游走扩散概率,从而有效地计算汉明空间中的嵌入。我们在各种网络上进行的广泛实验评估表明,与节点分类和链接预测任务的知名基线模型相比,该模型在准确性和效率之间实现了良好的平衡。
2022-10-11 cs.LG cs.SI stat.ML
PalmTree: Learning an Assembly Language Model for Instruction Embedding
University of California Riverside(加州大学河滨分校)
深度学习已经在众多的二进制分析任务中展示了其优势,包括函数边界检测,二进制代码搜索,函数原型推理,值集分析等。当将深度学习应用于二进制分析任务时,我们需要决定应该将什么输入输入到神经网络模型中。更具体地说,我们需要回答如何在固定长度向量中表示指令。自动学习指令表示的想法是有趣的,然而现有的计划未能捕捉拆卸的独特特性。这些方案忽略了复杂的指令内结构,主要依赖于控制流,其中上下文信息是嘈杂的,可以通过编译器优化的影响。在本文中,我们提出了预训练的汇编语言模型称为棕榈树生成通用指令嵌入进行自我监督训练的大规模未标记的二进制语料库。PalmTree利用三个预训练任务来捕获汇编语言的各种特征。这些训练任务克服了现有方案中存在的问题,从而有助于生成高质量的表示。我们进行内在和外在的评价,并比较棕榈树与其他指令嵌入方案。PalmTree具有最好的内在指标的性能,并优于其他指令嵌入方案的所有下游任务。
2021-09-14 cs.AI cs.LG cs.PL
GridPE: A Grid Cell-Inspired Unified Position Embedding for Arbitrary-Dimensional Spaces
New York University(纽约大学);Peking University(北京大学);Imperial College London(伦敦帝国学院);Tongji University(同济大学)
本文提出GridPE,一种受哺乳动物空间认知中六边形周期编码启发的新型位置嵌入框架,旨在解决高维时空任务中位置嵌入的理论保障问题,通过结合计算神经科学原理和调和分析,为任意维度空间提供统一的位置嵌入解决方案。
2026-06-03 cs.LG cs.NE
Distilled Non-Semantic Speech Embeddings with Binary Neural Networks for Low-Resource Devices
University of California Los Angeles(加利福尼亚大学洛杉矶分校);Eindhoven University of Technology(埃因霍温理工大学)
本文提出基于二值神经网络的 BRILLsson 模型,通过知识蒸馏从大规模 TRILLsson 模型学习非语义语音表示,以仅 2MB 大小和低于 8ms 延迟在多个基准任务上达到与大规模模型相当的性能。
2023-12-02 cs.LG cs.SD eess.AS
BLens: Contrastive Captioning of Binary Functions using Ensemble Embedding
Ludwig-Maximilians-Universität München(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Bundeswehr University Munich(慕尼黑联邦国防军大学)
提出BLens模型,通过集成多个二进制函数嵌入并结合对比学习与定制transformer生成函数名,显著提升了二进制逆向工程中跨项目泛化能力与函数名预测准确率。
2025-02-03 cs.CR cs.LG
Generative Binary Memory: Pseudo-Replay Class-Incremental Learning on Binarized Embeddings
Univ. Grenoble Alpes(格勒诺布尔大学);CEA(法国原子能和替代能源委员会);CEA, List(法国原子能和替代能源委员会 LIST);CEA, Leti(法国原子能和替代能源委员会 LETI)
本文提出 GBM 伪回放方法,利用 BMM 在二元潜在空间生成伪样本,并通过专用二值化器兼容常规 DNN 与 BNN,在多个 CIL 基准上提升准确率并显著降低内存。
2025-03-13 cs.CV cs.LG
Binary embeddings with structured hashed projections
Google(谷歌);NVIDIA(英伟达)
我们考虑构建二进制嵌入的哈希机制,涉及伪随机投影,然后是非线性(符号函数)映射。伪随机投影由矩阵描述,其中并非所有条目都是独立的随机变量,而是固定的“随机性预算”分布在矩阵上。这样的矩阵可以有效地存储在次二次或甚至线性空间中,减少随机性使用(即所需随机值的数量),并且经常导致计算速度加快。我们证明了几个理论结果表明,通过各种结构化矩阵的投影,然后通过非线性映射准确地保持输入高维向量之间的角距离。据我们所知,这些结果是第一个,使理论基础的使用一般结构矩阵的非线性设置。特别是,他们推广了以前的扩展的约翰逊-林登施特劳斯引理,并证明了该方法的可验证性,到目前为止,只有实证证实了一些特殊的结构矩阵。因此,我们表明,许多结构化矩阵可以作为一种有效的信息压缩机制。我们的研究结果更好地理解了某些深度架构,这些架构包含随机加权和未经训练的层,但在不同的学习任务中实现了高性能。我们实证验证了我们的理论研究结果,并通过结构化的散列投影的性能上的神经网络以及最近邻分类器的学习的依赖。
2016-07-01 cs.LG
Arbitrary Time Information Modeling via Polynomial Approximation for Temporal Knowledge Graph Embedding
School of Computer \& Communication Engineering University of Science
本文提出PTBox方法,通过多项式分解时间信息并结合盒嵌入表示实体,解决时序知识图谱中任意时间戳建模和推理模式不足的问题,实验验证其有效性。
2024-05-01 cs.AI cs.LG
Learn Dynamic-Aware State Embedding for Transfer Learning
University College London(伦敦大学学院)
迁移强化学习旨在通过利用从先前任务中获得的经验来提高解决看不见的新任务的样本效率。我们考虑的设置中,所有的任务(MDP)共享相同的环境动态的奖励功能。在这种情况下,MDP动态是一个很好的知识转移,这可以推断出均匀随机策略。然而,均匀随机策略产生的轨迹对策略改进没有帮助,严重影响了样本效率。相反,我们观察到,二进制MDP动态可以推断出任何政策,避免了需要统一的随机政策的轨迹。由于二进制MDP动态包含在所有任务上共享的状态结构,因此我们认为它适合传输。基于这一观察,我们引入了一种方法来推断二进制MDP动态在线,并在同一时间利用它来指导状态嵌入学习,然后转移到新的任务。我们将状态嵌入学习和策略学习分开。因此,学习状态嵌入是任务和策略不可知的,这使得它非常适合迁移学习。此外,为了便于探索的状态空间,我们提出了一种新的内在奖励的基础上推断的二进制MDP动态。我们的方法可以与无模型RL算法结合使用。我们在\algo{DQN}和\algo{A2C}的基础上给出了两个实例。大量实验结果表明,该方法在各种迁移学习任务中具有优势。
2021-01-06 cs.AI cs.LG
VEXIR2Vec: An Architecture-Neutral Embedding Framework for Binary Similarity
IIT Hyderabad(印度理工学院海得拉巴分校);UFMG(米纳斯吉拉斯联邦大学)
针对二进制相似性判定问题,提出基于架构无关中间表示VEX-IR的VexIR2Vec嵌入框架,通过窥孔归一化、知识图谱嵌入与孪生网络实现相似性评估,在多场景下性能显著优于基线,且具备高可扩展性与速度优势。
2024-07-09 cs.CR cs.LG cs.PL
Of-SemWat: High-payload text embedding for semantic watermarking of AI-generated images with arbitrary size
University of Siena(锡耶纳大学)
提出 Of-SemWat 高载荷图像文本水印方法,融合正交码、turbo 码、频域嵌入与感知掩蔽,可在任意尺寸 AI 图像中稳健嵌入语义描述并检测修复篡改。
2025-09-29 cs.AI cs.CR cs.CV
Global and local evaluation of link prediction tasks with neural embeddings
Medical University of Vienna(维也纳医科大学)
我们把我们的注意力集中在知识图谱的链接预测问题,这在这里被视为一个二元分类任务的神经嵌入的实体。通过比较、组合和扩展不同领域的基于图的数据的链接预测方法,形式化了一个统一的知识图谱神经嵌入质量评价基准方法.然后,该基准被用于实证研究在整个图中全局训练神经嵌入的潜力,而不是在特定关系中局部训练嵌入的通常方式。这种测试嵌入质量的新方法评估了二进制分类器在有限数据的情况下用于可扩展链接预测的性能。我们的评估管道是开源的,我们的目标是吸引社区更多地关注神经嵌入评估的透明度和可重复性这一重要问题。
2018-07-27 cs.AI cs.LG stat.ML
Parent-Guided Semantic Reward Model (PGSRM): Embedding-Based Reward Functions for Reinforcement Learning of Transformer Language Models
VECTOR Labs(VECTOR实验室)
PGSRM通过嵌入相似度生成语义奖励,为变换器语言模型强化学习提供无需人工标注的替代方案。
2025-12-07 cs.LG
Black is to Criminal as Caucasian is to Police: Detecting and Removing Multiclass Bias in Word Embeddings
Microsoft AI Development Acceleration Program(微软人工智能发展加速计划);Carnegie Mellon University(卡内基梅隆大学)
在线文本--跨越体裁、领域和风格--充斥着人类的刻板印象,以公开或微妙的方式表达。在这些文本上训练的词嵌入使这些刻板印象永久化并放大,并将偏见传播到使用词嵌入作为特征的机器学习模型。在这项工作中,我们提出了一种方法来消除种族和宗教等多类设置中的词嵌入,扩展了Bolukbasi等人的工作,2016)从二进制设置,如二进制性别。接下来,我们提出了一种新的方法来评估多类去偏置。我们证明了我们的多类去偏是强大的,并保持在标准的NLP任务的功效。
2019-07-02 cs.CL cs.LG stat.ML
Sequence Graph Transform (SGT): A Feature Embedding Function for Sequence Data Mining
Georgia Institute of Technology(佐治亚理工学院)
由于序列的非结构性,序列特征嵌入是一项具有挑战性的任务,即,任意长度的任意字符串。现有的方法在提取短期依赖关系方面是有效的,但通常遭受长期的计算问题。序列图变换(SGT),一个特征嵌入函数,可以提取不同数量的短期到长期的依赖关系,而不增加计算。SGT的属性分析证明解释下正常和均匀分布的假设。与现有方法(包括最先进的序列/字符串内核和LSTM)相比,SGT特征在序列聚类和分类方面具有更高的准确性和更低的计算量。
2021-10-05 cs.LG stat.ML
XFL: Naming Functions in Binaries with Extreme Multi-label Learning
Research Institute CODE, Bundeswehr University Munich(慕尼黑联邦国防军大学CODE研究院);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
逆向工程师受益于二进制文件中存在的标识符(如函数名),但通常这些标识符会在发布时被删除。训练一个机器学习模型来自动预测函数名是有希望的,但从根本上说是困难的:与自然语言中的单词不同,大多数函数名只出现一次。在本文中,我们通过引入极限函数标签(XFL)来解决这个问题,这是一种极端的多标签学习方法,可以为二进制函数选择合适的标签。XFL将函数名拆分为标记,将每个标记视为信息标签,类似于在自然语言中标记文本的问题。我们通过DEXTER将二进制代码的语义与标签联系起来,DEXTER是一种新颖的函数嵌入,它将基于静态分析的功能与来自调用图的局部上下文和来自整个二进制的全局上下文相结合。我们证明了XFL/DEXTER在Debian项目的10,047个二进制数据集上的函数标记方面优于最先进的技术,达到了83.5%的精度。我们还研究了XFL与文献中的替代二进制嵌入的组合,并表明DEXTER始终最适合这项任务。因此,我们证明了二元函数标记可以有效地在多标签学习方面进行措辞,并且二元函数嵌入受益于包括显式语义特征。
2022-12-12 cs.CR cs.LG cs.SE
Transfer Learning for Quantum Classifiers: An Information-Theoretic Generalization Analysis
University of Birmingham(伯明翰大学);King’s College London(伦敦国王学院)
在经典输入上操作的量子机器学习模型的关键组件是将输入映射到量子态的嵌入电路的设计。本文研究了一种迁移学习设置,其中经典到量子嵌入是由一个任意参数的量子线路进行的,该量子线路是基于来自源任务的数据进行预训练的。在运行时,基于来自感兴趣的目标任务的数据来优化嵌入的二进制量子分类器。平均超额风险,即,所得到的分类器的最优性间隙取决于源任务和目标任务的相似程度。我们引入了一个新的措施(dissimilarity)之间的二进制量子分类任务通过跟踪距离。上界的最优性差距的建议的任务(DIS)相似性度量,两个R $é$ nyi经典输入和量子嵌入源和目标任务之间的互信息项,以及量子嵌入和分类器的组合空间的复杂性的措施下的源任务。理论结果验证了一个简单的二元分类的例子。
2022-11-30 cs.IT cs.LG math.IT
Binarized Graph Neural Network
CAI, University of Technology, Sydney(悉尼科技大学CAI);University of Science and Technology of China(中国科学技术大学);University of Technology, Sydney(悉尼科技大学);University of New South Wales(新南威尔士大学)
最近,通过应用遵循邻域聚合方案的图神经网络(GNNs),在图分析中已经有了一些突破,其在许多任务中表现出出色的性能。然而,我们观察到,在现有的基于GNN的图嵌入方法中,网络的参数和节点的嵌入是用实值矩阵表示的,这可能会限制这些模型的效率和可扩展性。众所周知,二进制向量通常比实值向量具有更高的空间和时间效率。这促使我们开发一个二进制化的图神经网络,学习二进制网络参数的节点的二进制表示遵循基于GNN的范式。我们提出的方法可以无缝集成到现有的基于GNN的嵌入方法中,以二进制化模型参数并学习紧凑嵌入。大量的实验表明,所提出的二值化图神经网络,即BGN,是数量级更有效的时间和空间方面,同时匹配的最先进的性能。
2020-04-19 cs.LG stat.ML
Learning Joint Acoustic-Phonetic Word Embeddings
Voicea(Voicea公司)
大多数语音识别任务都涉及到跨两种模态映射单词:声学模态和拼写模态。在这项工作中,我们建议学习编码器,将表示单词的可变长度,声学或语音序列映射到共享潜在空间中的固定维向量中;这样两个单词向量之间的距离就表示两个单词听起来有多接近。我们没有直接学习词向量之间的距离,而是采用弱监督并对二元分类任务进行建模,以预测两个输入(每个模态之一)是否代表给定距离阈值的同一个词。我们探索了各种深度学习模型,双峰对比损失,以及挖掘困难的负面例子的技术,如自我标记的半监督技术。我们最好的模型实现了二进制分类任务的$F_1$得分为0.95。
2019-08-01 cs.CL cs.LG cs.SD