Search Efficient Binary Network Embedding
The University of Sydney(悉尼大学);Florida Atlantic University(佛罗里达大西洋大学);Australian Artificial Intelligence Institute(澳大利亚人工智能研究所);University of Technology Sydney(悉尼科技大学)
传统的网络嵌入主要关注于学习每个节点的连续向量表示,保留网络结构和/或节点内容信息,使得现成的机器学习算法可以容易地应用于向量格式的节点表示以进行网络分析。然而,学习的连续向量表示对于大规模相似性搜索是低效的,这通常涉及在连续向量空间中找到通过距离或相似性测量的最近邻居。在本文中,我们提出了一个搜索效率的二进制网络嵌入算法称为BinaryNE学习每个节点的二进制代码,通过同时建模节点上下文关系和节点属性关系,通过一个三层神经网络。BinaryNE通过基于随机梯度下降的在线学习算法学习二进制节点表示。学习的二进制编码不仅减少了表示每个节点的内存使用,而且还允许快速逐位比较,以支持比使用欧几里得距离或其他距离度量更快的节点相似性搜索。大量的实验和比较表明,BinaryNE不仅提供了超过25倍的搜索速度,但也提供了可比的或更好的搜索质量比传统的连续矢量为基础的网络嵌入方法。BinaryNE学习的二进制代码在节点分类和节点聚类任务上也具有竞争力。本文的源代码可在https://github.com/daokunzhang/BinaryNE上获得。
2022-12-29 cs.LG cs.SI
Learn Dynamic-Aware State Embedding for Transfer Learning
University College London(伦敦大学学院)
迁移强化学习旨在通过利用从先前任务中获得的经验来提高解决看不见的新任务的样本效率。我们考虑的设置中,所有的任务(MDP)共享相同的环境动态的奖励功能。在这种情况下,MDP动态是一个很好的知识转移,这可以推断出均匀随机策略。然而,均匀随机策略产生的轨迹对策略改进没有帮助,严重影响了样本效率。相反,我们观察到,二进制MDP动态可以推断出任何政策,避免了需要统一的随机政策的轨迹。由于二进制MDP动态包含在所有任务上共享的状态结构,因此我们认为它适合传输。基于这一观察,我们引入了一种方法来推断二进制MDP动态在线,并在同一时间利用它来指导状态嵌入学习,然后转移到新的任务。我们将状态嵌入学习和策略学习分开。因此,学习状态嵌入是任务和策略不可知的,这使得它非常适合迁移学习。此外,为了便于探索的状态空间,我们提出了一种新的内在奖励的基础上推断的二进制MDP动态。我们的方法可以与无模型RL算法结合使用。我们在\algo{DQN}和\algo{A2C}的基础上给出了两个实例。大量实验结果表明,该方法在各种迁移学习任务中具有优势。
2021-01-06 cs.AI cs.LG
Unsupervised Features Extraction for Binary Similarity Using Graph Embedding Neural Networks
University of Rome Sapienza(罗马第一大学)
在本文中,我们考虑的二进制相似性问题,包括在确定是否两个二进制函数是相似的,只考虑他们的编译形式。这个问题是众所周知的,是至关重要的,在几个应用场景中,如版权纠纷,恶意软件分析,漏洞检测等,在这个领域的工作,通过创建一个嵌入模型,映射到向量的二进制函数$\mathbb{R}^{n}$的当前国家的最先进的解决方案。这种嵌入模型捕获二进制文件之间的语法和语义相似性,即,类似的二元函数被映射到向量空间中接近的点。这种策略有许多优点,其中之一是可以预先计算几个二元函数的嵌入,然后将它们与简单的几何运算(例如,点积)。在[32]中,函数首先在由手动工程特征构成的注释控制流图(ACFG)中进行转换,然后使用深度神经网络架构将图嵌入到向量中。在本文中,我们提出并测试了几种方法来计算注释的控制流图,使用无监督的方法进行特征学习,而不会引起人类偏见。我们的方法受到了自然语言处理社区中使用的技术的启发(例如,我们使用word2vec来编码汇编指令)。我们表明,我们的方法确实是成功的,它导致更好的性能比以前的国家的最先进的解决方案。此外,我们报告的功能嵌入的定性分析。我们发现了一些有趣的情况,其中嵌入根据原始二元函数的语义进行聚类。
2018-11-13 cs.DC cs.LG
Bernoulli Embeddings for Graphs
Netflix Inc.(奈飞公司);IBM India Research Laboratory(IBM印度研究院)
正如语义哈希可以加速信息检索一样,二进制值嵌入可以显著减少图形数据检索的延迟。我们引入一个简单但有效的模型来学习图中节点的二进制向量。通过将嵌入想象为具有不同偏差的独立硬币翻转,可以将连续优化技术应用于近似的预期损失。以这种方式优化的嵌入在各种数据集的排名和预排名任务上始终优于谱图嵌入和各种学习的实值嵌入的量化。
2018-03-25 cs.AI cs.LG stat.ML
Memory and Computation-Efficient Kernel SVM via Binary Embedding and Ternary Model Coefficients
Hong Kong Baptist University(香港浸会大学);Department of Computer Science(计算机科学系);Hong Kong SAR, China(中国香港特别行政区)
核近似被广泛用于扩展核SVM训练和预测。然而,如果我们想将内核近似模型部署在内存有限的设备(如手机、智能手表和物联网设备)上,其内存和计算成本仍然太高。为了解决这一挑战,我们提出了一种新的内存和计算效率的核SVM模型,通过使用二进制嵌入和二进制模型系数。首先,我们提出了一种有效的方法来生成紧凑的二进制嵌入的数据,保持内核的相似性。其次,我们提出了一个简单但有效的算法来学习一个线性分类模型的三元系数,可以支持不同类型的损失函数和正则化。我们的算法可以实现更好的泛化精度比现有的作品学习二进制系数,因为我们允许系数是$-1$,$0$,或$1$在训练阶段,和系数$0$可以被删除在模型推断二进制分类。此外,我们提供了一个详细的分析,我们的算法的收敛性和我们的模型的推理复杂度。分析表明,该模型保证了收敛到局部最优,推理复杂度远低于其他竞争方法。在5个大型真实数据集上的实验结果表明,该方法能够以小于30KB的内存开销建立精确的非线性SVM模型。
2020-10-06 cs.LG
SAFE: Self-Attentive Function Embeddings for Binary Similarity
University of Rome Sapienza(罗马大学);CINI, National Laboratory of Cyber Security(CINI国家网络安全实验室);Facebook AI Research(Facebook人工智能研究院)
二进制相似性问题在于通过仅考虑它们的编译形式来确定两个函数是否相似。二进制相似性的先进技术最近获得了发展势头,因为它们可以应用于几个领域,例如版权纠纷,恶意软件分析,漏洞检测等,从而产生直接的实际影响。当前的解决方案通过首先将函数的二进制代码转换为多维向量表示(嵌入)来比较函数,然后通过简单且有效的几何运算来比较向量。然而,嵌入通常使用手动特征提取从二进制代码导出,这可能无法考虑重要的函数特性,或者可能考虑对于二进制相似性问题不重要的特征。在本文中,我们提出了安全,一种新的架构的基础上,自我关注的神经网络的功能嵌入。SAFE直接对反汇编的二进制函数起作用,不需要手动特征提取,在计算上比现有解决方案更有效(即,它不会引起构建或操纵控制流图的计算开销),并且由于它在剥离的二进制文件和多个体系结构上工作,因此更通用。我们报告的结果,从定量和定性分析,显示如何安全提供了一个显着的性能改进,相对于以前的解决方案。此外,我们展示了我们的嵌入向量的集群是如何与实现算法的语义密切相关的,为进一步有趣的应用(例如基于语义的二进制函数搜索)铺平了道路。
2019-12-19 cs.CR cs.LG
On Binary Embedding using Circulant Matrices
Google Research(谷歌研究院);Columbia University(哥伦比亚大学);Snapchat, Inc.(Snapchat公司)
二进制嵌入提供了有效和强大的方法来执行大规模数据的操作。然而,二进制嵌入通常需要长代码,以保持输入空间的区分能力。因此,二进制编码方法传统上在这种情况下遭受高计算和存储成本。为了解决这个问题,我们提出了循环二进制嵌入(CBE),它通过用循环矩阵投影数据来生成二进制代码。循环结构允许我们使用快速傅立叶变换算法来加速计算。为了从$d$维数据获得$k$位二进制码,这将时间复杂度从$O(dk)$提高到$O(d\log{d})$,并将空间复杂度从$O(dk)$提高到$O(d)$ .我们研究了两种设置,不同的方式,我们选择的循环矩阵的参数。在第一种方法中,参数是随机选择的,而在第二种方法中,参数是使用数据学习的。对于随机CBE,我们给出了一个理论分析,比较它与使用非结构化随机投影矩阵的二进制嵌入。这里的挑战是证明循环矩阵的条目中的依赖关系不会导致性能损失。在第二种设置中,我们设计了一种新的时频交替优化来学习数据相关的循环投影,它交替地最小化原始域和傅立叶域中的目标。在这两种设置中,我们通过大量的实验表明,CBE方法提供了更好的性能比最先进的方法,如果我们固定的运行时间,并提供了更快的计算与可忽略不计的性能下降,如果我们固定的嵌入位数。
2015-12-05 cs.DS cs.LG
Circulant Binary Embedding
Columbia University(哥伦比亚大学);Google Research(谷歌研究院);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
高维数据的二进制嵌入需要长代码来保持输入空间的区分能力。传统的二进制编码方法在这样的场景中通常遭受非常高的计算和存储成本。为了解决这个问题,我们提出了循环二进制嵌入(CBE),它通过用循环矩阵投影数据来生成二进制代码。循环结构使得能够使用快速傅立叶变换来加速计算。与使用非结构化矩阵的方法相比,所提出的方法将时间复杂度从$\mathcal{O}(d^2)$提高到$\mathcal{O}(d\log{d})$,并且将空间复杂度从$\mathcal{O}(d^2)$提高到$\mathcal{O}(d)$,其中$d$是输入维度。我们还提出了一种新的时频交替优化来学习数据依赖的循环投影,它可以交替地最小化原始域和傅立叶域中的目标。我们通过大量的实验表明,所提出的方法提供了更好的性能比国家的最先进的方法为固定的时间,并提供了更快的计算,没有性能下降为固定的比特数。
2014-05-13 cs.LG stat.ML
Fast Binary Embedding via Circulant Downsampled Matrix -- A Data-Independent Approach
Institute of Information Science, Academia Sinica(中央研究院信息科学研究所);National Taiwan University(台湾大学)
高维数据的二进制嵌入旨在产生低维二进制代码,同时保持区分能力。最先进的方法通常具有高计算和存储成本。我们提出了一个简单而快速的嵌入方案,首先将N维数据下采样为M维数据,然后将数据与MxM循环矩阵相乘。我们的方法需要O(N +M log M)的计算和O(N)的存储成本。我们证明了如果数据具有稀疏性,我们的方案可以很好地实现相似性保持。实验进一步表明,虽然我们的方法是成本效益和快速,它仍然达到了相当的性能在图像应用程序。
2016-01-24 cs.CV cs.IT cs.LG
Getting deep recommenders fit: Bloom embeddings for sparse binary input/output networks
Telefónica Research(西班牙电信研究院)
结合了深度学习技术的推荐算法正变得越来越流行。由于来自推荐域的数据的结构(即,项目偏好的独热编码向量),这些算法倾向于具有支配其总体大小的大输入和输出维度。由于图形处理单元的存储器有限,这使得它们难以训练,并且难以在具有有限硬件的移动设备上部署。为了解决这些困难,我们提出了布卢姆嵌入,压缩技术,可应用于神经网络模型的输入和输出处理稀疏高维二进制编码的实例。Bloom嵌入在计算上是高效的,并且在高达1/5的压缩比下不会严重损害模型的准确性。在某些情况下,它们甚至比原来的精度有所提高,相对提高高达12%。我们在7个数据集上评估了Bloom嵌入,并将其与4种替代方法进行了比较,获得了良好的结果。我们还讨论了一些进一步的优势,布鲁姆嵌入,如“在飞行”的恒定时间操作,零或边际空间要求,训练时间加速,或事实上,他们不需要任何改变的核心模型架构或训练配置。
2017-06-13 cs.AI cs.IR cs.LG
PalmTree: Learning an Assembly Language Model for Instruction Embedding
University of California Riverside(加州大学河滨分校)
深度学习已经在众多的二进制分析任务中展示了其优势,包括函数边界检测,二进制代码搜索,函数原型推理,值集分析等。当将深度学习应用于二进制分析任务时,我们需要决定应该将什么输入输入到神经网络模型中。更具体地说,我们需要回答如何在固定长度向量中表示指令。自动学习指令表示的想法是有趣的,然而现有的计划未能捕捉拆卸的独特特性。这些方案忽略了复杂的指令内结构,主要依赖于控制流,其中上下文信息是嘈杂的,可以通过编译器优化的影响。在本文中,我们提出了预训练的汇编语言模型称为棕榈树生成通用指令嵌入进行自我监督训练的大规模未标记的二进制语料库。PalmTree利用三个预训练任务来捕获汇编语言的各种特征。这些训练任务克服了现有方案中存在的问题,从而有助于生成高质量的表示。我们进行内在和外在的评价,并比较棕榈树与其他指令嵌入方案。PalmTree具有最好的内在指标的性能,并优于其他指令嵌入方案的所有下游任务。
2021-09-14 cs.AI cs.LG cs.PL
Faster Binary Embeddings for Preserving Euclidean Distances
Halıcıoğlu Data Science Institute(哈利奇奥格鲁数据科学学院);University of California San Diego(加利福尼亚大学圣迭戈分校)
我们提出了一个快速的,距离保持,二进制嵌入算法将高维数据集$\mathcal{T}\subseteq\mathbb{R}^n$转换成二进制序列的立方体$\{\pm 1\}^m$。当$\mathcal{T}$由良好分布的(即,非稀疏)向量,我们的嵌入方法将稳定的噪声整形量化方案应用于$A x$,其中$A\in\mathbb{R}^{m\times n}$是稀疏高斯随机矩阵。这与通常使用$x\mapsto \mathrm{sign}(Ax)$进行嵌入的大多数二进制嵌入方法形成对比。此外,我们表明,$\mathcal{T}$的元素之间的欧氏距离近似的$\ell_1$规范下的图像的$\{\pm 1\}^m$的快速线性变换。这再次与标准方法形成对比,在标准方法中使用汉明距离。我们的方法是快速和内存有效的,与时间复杂度$O(m)$和空间复杂度$O(m)$。此外,我们证明了该方法是准确的,其相关的误差是可比的连续值的约翰逊-林登施特劳斯嵌入加上量化误差,承认多项式衰减的嵌入维数$m$增加。因此,所需的二进制代码的长度,以达到所需的精度是相当小的,我们甚至可以进一步压缩,而不影响精度。为了说明我们的结果,我们在自然图像上测试了所提出的方法,并表明它具有很强的性能。
2021-03-10 cs.IT cs.LG math.IT
Near-Optimal Bounds for Binary Embeddings of Arbitrary Sets
Simons Institute(西蒙斯研究所);UC Berkeley(加州大学伯克利分校)
研究了单位球面的子集$K$嵌入到汉明立方体$\{-1,+1\}^m$中的问题。我们的特点失真和样本的复杂性$m$之间的权衡的高斯宽度$ω(K)$的集合。对于子空间和几个结构集,我们表明,高斯映射提供了最佳的权衡$m\sim δ^{-2}ω^2(K)$,特别是$δ$失真需要$m\approxδ^{-2}{d}$,其中$d$是子空间的维度。对于一般的集合,我们提供了清晰的特征,简化后减少到$m\approx{δ^{-4}}{ω^2(K)}$。我们提供了改进的结果,在彼此非常接近的地方嵌入的点,这是相关的局部敏感散列。我们还讨论了更快的二进制嵌入,其中一个利用快速约翰逊-林登施陶斯变换的基础上的初始草图过程。最后,我们列出几个数值观测和讨论开放的问题。
2015-12-14 cs.DS cs.LG math.FA
SimCLF: A Simple Contrastive Learning Framework for Function-level Binary Embeddings
Army Engineering University of PLA(中国人民解放军陆军工程大学);National Computer Network and Information Security Management Center(国家计算机网络与信息安全管理中心);Shanghai Jiao Tong University(上海交通大学);University Of Science & Technology Beijing(北京科技大学)
SimCLF提出无监督对比学习框架,直接处理反汇编函数,利用编译器优化和混淆生成增强数据,实现函数级二进制相似性检测,在准确性和少样本场景下超越现有方法。
2023-12-26 cs.AI cs.CR cs.LG
Exact Distribution-Free Hypothesis Tests for the Regression Function of Binary Classification via Conditional Kernel Mean Embeddings
SZTAKI: Institute for Computer Science and Control(SZTAKI:计算机科学与控制研究所);Eötvös Loránd Research Network(厄特沃什·罗兰研究网络)
本文提出了两种基于条件核均值嵌入的二分类回归函数的统计假设检验方法。回归函数是分类中的基本对象,因为它决定了贝叶斯最优分类器和误分类概率。提出了一个基于回归的框架,并结合条件核均值映射的一致点估计,以构造分布自由的假设检验。这些测试以灵活的方式引入,使我们能够控制任何样本量的第一类错误的确切概率。我们还证明了这两种方法在弱统计假设下是一致的,即,第二类错误概率逐点收敛到零。
2021-06-07 cs.LG stat.ML
Efficient Binary Embedding of Categorical Data using BinSketch
IIT Mandi(曼迪印度理工学院);Indraprastha Institute of Information Technology Delhi(德里因德拉普拉斯塔信息技术学院)
在这项工作中,我们提出了一个降维算法,又名。草图,用于分类数据集。我们提出的草图算法Cabin从高维分类向量构建低维二进制草图,我们的距离估计算法Cham仅从草图计算任何两个原始向量之间的汉明距离的近似值。Cham所需的草图的最小维度,以确保良好的估计理论上只取决于数据点的稀疏性-使其适用于许多涉及稀疏数据集的现实生活场景。我们对我们的方法进行了严格的理论分析,并在几个高维现实世界的数据集上进行了广泛的实验,其中包括一个超过一百万个维度的数据集。我们表明,与使用完整数据集和其他降维技术相比,Cabin和Cham二人组对于RMSE,所有对相似性和聚类等任务是一种非常快速和准确的方法。
2021-11-13 cs.LG
Global and local evaluation of link prediction tasks with neural embeddings
Medical University of Vienna(维也纳医科大学)
我们把我们的注意力集中在知识图谱的链接预测问题,这在这里被视为一个二元分类任务的神经嵌入的实体。通过比较、组合和扩展不同领域的基于图的数据的链接预测方法,形式化了一个统一的知识图谱神经嵌入质量评价基准方法.然后,该基准被用于实证研究在整个图中全局训练神经嵌入的潜力,而不是在特定关系中局部训练嵌入的通常方式。这种测试嵌入质量的新方法评估了二进制分类器在有限数据的情况下用于可扩展链接预测的性能。我们的评估管道是开源的,我们的目标是吸引社区更多地关注神经嵌入评估的透明度和可重复性这一重要问题。
2018-07-27 cs.AI cs.LG stat.ML
Recurrent Binary Embedding for GPU-Enabled Exhaustive Retrieval from Billion-Scale Semantic Vectors
Bing Ads of AI & Research Group, Microsoft Corp.(微软公司必应广告AI与研究组)
GPU硬件和深度学习的多个领域的快速发展为使用穷举搜索的十亿级信息检索提供了新的机会。基于语义学习的强大概念,本文提出了一种递归二进制嵌入(RBE)模型,该模型可以学习用于实时检索的紧凑表示。该模型具有独特的能力,通过逐步添加二进制残差向量来细化基本二进制向量,以满足所需的精度。改进的向量使得能够有效地实现逐位操作的穷举相似性计算,随后是本文还提出的近无损k-NN选择算法。所提出的算法被集成到一个端到端的多GPU系统中,该系统可以实时从超过10亿个候选项中检索数千个顶级项。RBE模型和检索系统进行了评估,从一个主要的付费搜索引擎的数据。当与最先进的二进制表示模型和语义嵌入的全精度模型进行比较时,RBE的表现明显优于前者,并填补了两者之间超过80%的AUC差距。与我们的生产检索系统相比,实验也表现出优越的性能。虽然本文的主要重点是基于特定类别的语义模型构建RBE,但推广到其他类型是很简单的,正如本文结尾的两个不同模型所示。
2018-02-18 cs.DC cs.IR cs.LG
BinBert: Binary Code Understanding with a Fine-tunable and Execution-aware Transformer
Sapienza University of Rome(罗马第一大学)
二进制代码分析的最近趋势促进了基于指令嵌入模型的神经解决方案的使用。指令嵌入模型是将汇编指令序列转换为嵌入向量的神经网络。如果嵌入网络经过训练,使得从代码到向量的转换部分地保留了语义,则网络有效地表示汇编代码模型。在本文中,我们提出了BinBert,一种新的汇编代码模型。BinBert构建在一个Transformer上,该transformer在一个包含汇编指令序列和符号执行信息的巨大数据集上进行了预训练。BinBert可以应用于汇编指令序列,并且它是可微调的,即它可以作为任务特定数据的神经架构的一部分进行重新训练。通过微调,BinBert学习如何将预训练获得的一般知识应用于特定任务。我们在一个多任务基准上评估了BinBert,该基准是我们专门设计来测试对汇编代码的理解的。基准测试由几个任务组成,其中一些来自文献,还有一些我们设计的新任务,以及内在和下游任务的混合。我们的研究结果表明,BinBert优于最先进的二进制指令嵌入模型,提高了二进制代码理解的标准。
2022-08-13 cs.CR cs.LG
Exploring Embedding Methods in Binary Hyperdimensional Computing: A Case Study for Motor-Imagery based Brain-Computer Interfaces
ETH Zurich(苏黎世联邦理工学院);EPFL(洛桑联邦理工学院)
大脑启发的超维(HD)计算的关键特性使其成为生物信号处理中节能和快速学习的主要候选者。然而,主要的挑战是制定嵌入方法,将生物信号测量映射到二进制HD空间。在本文中,我们探索各种这样的嵌入方法,并检查他们具有挑战性的应用程序的运动想象脑机接口(MI-BCI)从脑电图(EEG)记录。我们探索嵌入方法,包括随机投影,基于量化的温度计和格雷编码,以及使用端到端训练学习HD表示。所有这些方法的复杂度不同,目的是在二进制HD空间中表示EEG信号,例如具有10,000比特。这导致了一组HD学习和分类方法的开发,这些方法可以基于给定任务的准确性和/或计算复杂性要求来选择性地选择(或配置)。我们将它们与NVIDIA TX 2板上最先进的线性支持向量机(SVM)进行比较,使用4类BCI竞赛IV-2a数据集以及新的3类数据集。与SVM相比,在3类数据集上的结果表明,简单的温度计嵌入实现了中等的平均精度(79.56% vs. 82.67%),训练时间快26.8 $\times$,能量低22.3 $\times$;另一方面,在一个实施方案中,切换到使用已学习的HD表示的端到端训练消除了这些训练优势,同时将准确率提高到84.22%(比SVM高1.55%)。在4类数据集上观察到类似的趋势,其中SVM平均达到74.29%:温度计嵌入实现了89.9 $\times$更快的训练时间和58.7 $\times$更低的能…
2018-12-30 cs.LG eess.SP
A Progressive Transformer for Unifying Binary Code Embedding and Knowledge Transfer
Columbia University(哥伦比亚大学);Purdue University(普渡大学)
本文提出 ProTST,一种基于树状结构分层训练的渐进式 Transformer 师生范式,用于二进制代码嵌入与知识迁移,在七项二进制分析任务中平均验证分数显著优于传统及多模态两阶段框架。
2024-12-22 cs.LG cs.SE
Pretraining on Call Graphs: When Binary Analysis Tasks Profit From Context
Ludwig-Maximilians-Universität München(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Center for Digital Technology and Management(数字技术与管理中心)
本研究探究调用图对二进制分析任务的影响,发现结合过程间上下文可提升嵌入鲁棒性但未必泛化到下游任务,且对命名空间相关函数更有益。
2026-08-04 cs.CR cs.LG cs.SE
Covariance Structure and Coordinate Heterogeneity Govern Binary Quantization of Contrastive Embeddings
Changsha University(长沙大学)
通过分析InfoNCE训练表示的协方差结构,揭示了协方差矩阵的非对角项和坐标异质性如何分别影响二值量化的排序保真度和设计选择,并推导出缩放律以指导系统设计。
2026-05-29 cs.DB cs.LG
Sample Complexity Bounds for 1-bit Compressive Sensing and Binary Stable Embeddings with Generative Priors
National University of Singapore(新加坡国立大学);Indian Institute of Technology (IIT) Kanpur(印度理工学院坎普尔分校)
标准1比特压缩感知的目标是从二进制值测量中准确地恢复未知稀疏向量,每个测量指示向量的线性函数的符号。受压缩感知与生成模型的最新进展的启发,其中生成建模假设取代了通常的稀疏性假设,我们研究了1位压缩感知与生成模型的问题。我们首先考虑无噪声的1位测量,并提供样本复杂度界下近似恢复i.i.d.~高斯测量和Lipschitz连续生成先验,以及一个近匹配算法独立的下限。此外,我们证明了二进制$ε$ -稳定的嵌入属性,其特征在于重建测量误差和噪声的鲁棒性,也适用于1位压缩感知与Lipschitz连续生成模型,具有足够多的高斯测量。此外,我们将我们的研究结果应用到神经网络生成模型,并提供了一个概念验证的数值实验,证明了基于稀疏性的方法的显着改进。
2020-06-22 cs.IT cs.LG math.IT
NodeSig: Binary Node Embeddings via Random Walk Diffusion
Technical University of Denmark(丹麦技术大学);Paris-Saclay University(巴黎萨克雷大学);CentraleSupélec(中央理工-高等电力学院);Inria(法国国家信息与自动化研究所);Aristotle University of Thessaloniki(塞萨洛尼基亚里士多德大学)
图表示学习(GRL)已经成为网络分析的一个关键范式,具有大量的跨学科应用。随着网络规模的增加,大多数广泛使用的基于学习的图表示模型也面临着计算挑战。虽然最近有一种设计算法的努力,只处理可扩展性问题,但它们中的大多数在下游任务的准确性方面表现不佳。在本文中,我们的目标是研究平衡效率和准确性之间的权衡的模型。特别是,我们提出了NodeSig,一个可扩展的模型,计算二进制节点表示。NodeSig通过稳定的随机投影来利用随机游走扩散概率,从而有效地计算汉明空间中的嵌入。我们在各种网络上进行的广泛实验评估表明,与节点分类和链接预测任务的知名基线模型相比,该模型在准确性和效率之间实现了良好的平衡。
2022-10-11 cs.LG cs.SI stat.ML
Binary embeddings with structured hashed projections
Google(谷歌);NVIDIA(英伟达)
我们考虑构建二进制嵌入的哈希机制,涉及伪随机投影,然后是非线性(符号函数)映射。伪随机投影由矩阵描述,其中并非所有条目都是独立的随机变量,而是固定的“随机性预算”分布在矩阵上。这样的矩阵可以有效地存储在次二次或甚至线性空间中,减少随机性使用(即所需随机值的数量),并且经常导致计算速度加快。我们证明了几个理论结果表明,通过各种结构化矩阵的投影,然后通过非线性映射准确地保持输入高维向量之间的角距离。据我们所知,这些结果是第一个,使理论基础的使用一般结构矩阵的非线性设置。特别是,他们推广了以前的扩展的约翰逊-林登施特劳斯引理,并证明了该方法的可验证性,到目前为止,只有实证证实了一些特殊的结构矩阵。因此,我们表明,许多结构化矩阵可以作为一种有效的信息压缩机制。我们的研究结果更好地理解了某些深度架构,这些架构包含随机加权和未经训练的层,但在不同的学习任务中实现了高性能。我们实证验证了我们的理论研究结果,并通过结构化的散列投影的性能上的神经网络以及最近邻分类器的学习的依赖。
2016-07-01 cs.LG
BLens: Contrastive Captioning of Binary Functions using Ensemble Embedding
Ludwig-Maximilians-Universität München(慕尼黑大学);Munich Center for Machine Learning(慕尼黑机器学习中心);Bundeswehr University Munich(慕尼黑联邦国防军大学)
提出BLens模型,通过集成多个二进制函数嵌入并结合对比学习与定制transformer生成函数名,显著提升了二进制逆向工程中跨项目泛化能力与函数名预测准确率。
2025-02-03 cs.CR cs.LG
Bayesian Optimization over High-Dimensional Combinatorial Spaces via Dictionary-based Embeddings
Washington State University(华盛顿州立大学);Meta
我们考虑在高维组合空间上优化昂贵的黑盒函数的问题,这在许多科学,工程和ML应用中出现。我们使用贝叶斯优化(BO),并提出了一种新的代理建模方法,有效地处理大量的二进制和分类参数。关键思想是从输入空间(字典)中选择一些离散结构,并使用它们来定义高维组合结构的序数嵌入。这使得我们可以使用现有的高斯过程模型的连续空间。我们开发了一种基于二进制小波的原则性方法来构造二进制空间的字典,并提出了一种推广到范畴空间的随机构造方法。我们提供了理论依据,以支持基于词典的嵌入的有效性。我们的实验在不同的现实世界的基准证明了我们所提出的代理建模方法的有效性超过国家的最先进的BO方法。
2023-03-03 cs.LG stat.ML
Distilled Non-Semantic Speech Embeddings with Binary Neural Networks for Low-Resource Devices
University of California Los Angeles(加利福尼亚大学洛杉矶分校);Eindhoven University of Technology(埃因霍温理工大学)
本文提出基于二值神经网络的 BRILLsson 模型,通过知识蒸馏从大规模 TRILLsson 模型学习非语义语音表示,以仅 2MB 大小和低于 8ms 延迟在多个基准任务上达到与大规模模型相当的性能。
2023-12-02 cs.LG cs.SD eess.AS
Generative Binary Memory: Pseudo-Replay Class-Incremental Learning on Binarized Embeddings
Univ. Grenoble Alpes(格勒诺布尔大学);CEA(法国原子能和替代能源委员会);CEA, List(法国原子能和替代能源委员会 LIST);CEA, Leti(法国原子能和替代能源委员会 LETI)
本文提出 GBM 伪回放方法,利用 BMM 在二元潜在空间生成伪样本,并通过专用二值化器兼容常规 DNN 与 BNN,在多个 CIL 基准上提升准确率并显著降低内存。
2025-03-13 cs.CV cs.LG
Parent-Guided Semantic Reward Model (PGSRM): Embedding-Based Reward Functions for Reinforcement Learning of Transformer Language Models
VECTOR Labs(VECTOR实验室)
PGSRM通过嵌入相似度生成语义奖励,为变换器语言模型强化学习提供无需人工标注的替代方案。
2025-12-07 cs.LG
VEXIR2Vec: An Architecture-Neutral Embedding Framework for Binary Similarity
IIT Hyderabad(印度理工学院海得拉巴分校);UFMG(米纳斯吉拉斯联邦大学)
针对二进制相似性判定问题,提出基于架构无关中间表示VEX-IR的VexIR2Vec嵌入框架,通过窥孔归一化、知识图谱嵌入与孪生网络实现相似性评估,在多场景下性能显著优于基线,且具备高可扩展性与速度优势。
2024-07-09 cs.CR cs.LG cs.PL
Black is to Criminal as Caucasian is to Police: Detecting and Removing Multiclass Bias in Word Embeddings
Microsoft AI Development Acceleration Program(微软人工智能发展加速计划);Carnegie Mellon University(卡内基梅隆大学)
在线文本--跨越体裁、领域和风格--充斥着人类的刻板印象,以公开或微妙的方式表达。在这些文本上训练的词嵌入使这些刻板印象永久化并放大,并将偏见传播到使用词嵌入作为特征的机器学习模型。在这项工作中,我们提出了一种方法来消除种族和宗教等多类设置中的词嵌入,扩展了Bolukbasi等人的工作,2016)从二进制设置,如二进制性别。接下来,我们提出了一种新的方法来评估多类去偏置。我们证明了我们的多类去偏是强大的,并保持在标准的NLP任务的功效。
2019-07-02 cs.CL cs.LG stat.ML
XFL: Naming Functions in Binaries with Extreme Multi-label Learning
Research Institute CODE, Bundeswehr University Munich(慕尼黑联邦国防军大学CODE研究院);Royal Holloway, University of London(伦敦大学皇家霍洛威学院)
逆向工程师受益于二进制文件中存在的标识符(如函数名),但通常这些标识符会在发布时被删除。训练一个机器学习模型来自动预测函数名是有希望的,但从根本上说是困难的:与自然语言中的单词不同,大多数函数名只出现一次。在本文中,我们通过引入极限函数标签(XFL)来解决这个问题,这是一种极端的多标签学习方法,可以为二进制函数选择合适的标签。XFL将函数名拆分为标记,将每个标记视为信息标签,类似于在自然语言中标记文本的问题。我们通过DEXTER将二进制代码的语义与标签联系起来,DEXTER是一种新颖的函数嵌入,它将基于静态分析的功能与来自调用图的局部上下文和来自整个二进制的全局上下文相结合。我们证明了XFL/DEXTER在Debian项目的10,047个二进制数据集上的函数标记方面优于最先进的技术,达到了83.5%的精度。我们还研究了XFL与文献中的替代二进制嵌入的组合,并表明DEXTER始终最适合这项任务。因此,我们证明了二元函数标记可以有效地在多标签学习方面进行措辞,并且二元函数嵌入受益于包括显式语义特征。
2022-12-12 cs.CR cs.LG cs.SE
Binarized Graph Neural Network
CAI, University of Technology, Sydney(悉尼科技大学CAI);University of Science and Technology of China(中国科学技术大学);University of Technology, Sydney(悉尼科技大学);University of New South Wales(新南威尔士大学)
最近,通过应用遵循邻域聚合方案的图神经网络(GNNs),在图分析中已经有了一些突破,其在许多任务中表现出出色的性能。然而,我们观察到,在现有的基于GNN的图嵌入方法中,网络的参数和节点的嵌入是用实值矩阵表示的,这可能会限制这些模型的效率和可扩展性。众所周知,二进制向量通常比实值向量具有更高的空间和时间效率。这促使我们开发一个二进制化的图神经网络,学习二进制网络参数的节点的二进制表示遵循基于GNN的范式。我们提出的方法可以无缝集成到现有的基于GNN的嵌入方法中,以二进制化模型参数并学习紧凑嵌入。大量的实验表明,所提出的二值化图神经网络,即BGN,是数量级更有效的时间和空间方面,同时匹配的最先进的性能。
2020-04-19 cs.LG stat.ML
Transfer Learning for Quantum Classifiers: An Information-Theoretic Generalization Analysis
University of Birmingham(伯明翰大学);King’s College London(伦敦国王学院)
在经典输入上操作的量子机器学习模型的关键组件是将输入映射到量子态的嵌入电路的设计。本文研究了一种迁移学习设置,其中经典到量子嵌入是由一个任意参数的量子线路进行的,该量子线路是基于来自源任务的数据进行预训练的。在运行时,基于来自感兴趣的目标任务的数据来优化嵌入的二进制量子分类器。平均超额风险,即,所得到的分类器的最优性间隙取决于源任务和目标任务的相似程度。我们引入了一个新的措施(dissimilarity)之间的二进制量子分类任务通过跟踪距离。上界的最优性差距的建议的任务(DIS)相似性度量,两个R $é$ nyi经典输入和量子嵌入源和目标任务之间的互信息项,以及量子嵌入和分类器的组合空间的复杂性的措施下的源任务。理论结果验证了一个简单的二元分类的例子。
2022-11-30 cs.IT cs.LG math.IT
Learning Joint Acoustic-Phonetic Word Embeddings
Voicea(Voicea公司)
大多数语音识别任务都涉及到跨两种模态映射单词:声学模态和拼写模态。在这项工作中,我们建议学习编码器,将表示单词的可变长度,声学或语音序列映射到共享潜在空间中的固定维向量中;这样两个单词向量之间的距离就表示两个单词听起来有多接近。我们没有直接学习词向量之间的距离,而是采用弱监督并对二元分类任务进行建模,以预测两个输入(每个模态之一)是否代表给定距离阈值的同一个词。我们探索了各种深度学习模型,双峰对比损失,以及挖掘困难的负面例子的技术,如自我标记的半监督技术。我们最好的模型实现了二进制分类任务的$F_1$得分为0.95。
2019-08-01 cs.CL cs.LG cs.SD
MEKER: Memory Efficient Knowledge Embedding Representation for Link Prediction and Question Answering
Skolkovo Institute of Science and Technology(斯科尔科沃科技学院)
知识图谱(KG)是事实的符号结构化存储。KG嵌入包含用于NLP任务的简洁数据,这些任务需要关于真实世界的隐式信息。此外,在实际NLP分配中可能有用的KG的大小是巨大的,并且在其上创建嵌入具有内存成本问题。我们将KG表示为三阶二进制张量,并通过使用其特定数据的广义版本超越标准CP分解。标准CP-ALS算法的泛化允许在没有反向传播机制的情况下获得优化梯度。它减少了训练所需的内存,同时提供了计算优势。我们提出了一个MEKER,一个内存高效的KG嵌入模型,它产生SOTA的链接预测任务和KG为基础的问答相当的性能。
2022-05-24 cs.AI cs.CL cs.IR
Joint Learning of Sentence Embeddings for Relevance and Entailment
FEE CTU Prague(捷克理工大学布拉格分校电子工程学院)
我们认为,在信息检索的背景下,我们必须同时确定的相关性,以及程度的蕴涵为个别证据,以确定一个是/否的答案,一个二进制自然语言的问题,识别文本蕴涵的问题。我们比较了几种不同的神经网络的句子嵌入在决策的基础上不同的相关性的证据设置。我们提出了一个基本的模型来整合证据的蕴涵,表明联合训练的句子嵌入模型的相关性和蕴涵是可行的,即使没有明确的证据监督,并显示评估强基线的重要性。我们还展示了在我们的小数据集上进行不相关任务训练的文本理解模型的好处。我们的研究主要是由我们引入的一个新的开放数据集驱动的,该数据集由二进制问题和基于新闻的证据片段组成。我们还将所提出的相关蕴涵模型应用于对多项选择题测试答案进行排名的类似任务,在学校测试问题的初步数据集以及标准MCTest数据集上对其进行评估,在那里我们改进了神经模型。
2016-06-22 cs.CL cs.LG cs.NE
Embedding Ordinality to Binary Loss Function for Improving Solar Flare Forecasting
Georgia State University(佐治亚州立大学)
本研究提出一种将序数特征嵌入二元交叉熵损失的新方法,用于优化太阳耀斑预测,在±30°、±60°和±90°经度范围内分别提升CSS约7%、4%和3%,并扩展至近临边区域预测。
2024-08-21 astro-ph.IM astro-ph.SR cs.CV
Streaming Binary Sketching based on Subspace Tracking and Diagonal Uniformization
CEA(法国原子能和替代能源委员会);CNRS(法国国家科学研究中心)
在本文中,我们解决的问题,学习紧凑的相似性保持嵌入大量的高维数据流,以执行有效的相似性搜索。我们提出了一种新的在线方法来计算高维真实特征向量的二进制压缩表示(草图)。给定一个期望的代码长度$c$和高维输入数据点,我们的算法提供了一个$c$位的二进制代码,以保持从原始高维空间的点之间的距离。我们的算法既不需要存储整个数据集,也不需要存储块,因此它完全适应流媒体设置。它还提供低时间复杂度和收敛保证。我们证明了我们的二进制草图的质量,通过对真实数据的最近邻搜索任务在网上设置的实验。
2018-02-08 cs.LG
Salsa Fresca: Angular Embeddings and Pre-Training for ML Attacks on Learning With Errors
The Ohio State University(俄亥俄州立大学);Meta AI Research(元人工智能研究部);University of Chicago(芝加哥大学)
本研究针对现有机器学习攻击LWE问题存在的样本需求大、耗时长的问题,提出优化预处理、角度嵌入和模型预训练三种方法,大幅提升攻击效率,首次实现对n=1024维稀疏二进制密钥的ML攻击恢复。
2024-02-02 cs.CR cs.LG
UniASM: Binary Code Similarity Detection without Fine-tuning
Key Laboratory of Cyberspace Security, Ministry of Education(网络空间安全教育部重点实验室)
本文通过消融实验分析二进制代码嵌入性能因素,提出富语义函数表示技术和基于 UniLM 的 UniASM 模型,在跨编译器、跨优化级别、跨混淆及漏洞搜索任务上显著优于现有方法。
2025-02-20 cs.CR cs.LG cs.SE
Hamming Sentence Embeddings for Information Retrieval
在检索应用中,二进制哈希已知在存储器和速度方面提供显著的改进。我们研究的压缩句子嵌入使用神经编码器-解码器架构,这是通过最小化重建误差训练。而不是采用原来的实值嵌入,我们使用潜在的表示在汉明空间产生的编码器的相似性计算。在语义相似性任务的几个基准的定量实验中,我们表明,我们的压缩汉明嵌入产生了可比的性能未压缩的嵌入(Sent 2 Vec,InferSent,手套-BoW),在压缩比高达256:1。我们进一步证明了我们的模型强烈地去相关输入特征,并且压缩器在对维基百科句子进行预训练时泛化良好。我们在Github上发布了源代码和所有实验结果。
2019-08-15 cs.CL cs.IR cs.LG
ASSEMBLAGE-DEEPHISTORY: A Cross-Build Binary Dataset with Temporal Coverage
Syracuse University(Syracuse大学);Booz Allen Hamilton;Independent Researcher(独立研究员);CrowdStrike
本文提出ASSEMBLAGE-DEEPHISTORY数据集,整合了跨构建多样性、跨版本历史和CVE标签,为二进制分析提供统一框架,通过三个分析验证了其在LLM漏洞检测、版本聚类和二进制相似性分解中的价值。
2026-05-20 cs.CR cs.LG cs.SE
Pre-Training Representations of Binary Code Using Contrastive Learning
Department of Computer Science(计算机科学系);Vanderbilt University(范德比大学);National University of Singapore(新加坡国立大学);College of William & Mary(威廉与玛丽学院)
本文提出ContraBin,一种整合源代码、注释与二进制代码的对比学习预训练方法,通过三个组件提升二进制代码分析任务性能,并发现合成注释优于人工注释。
2025-09-26 cs.LG cs.SE
A Literature Study of Embeddings on Source Code
KTH Royal Institute of Technology(瑞典皇家理工学院)
自然语言处理在词嵌入技术(如word2vec)取得成功后有了巨大的进步。最近,同样的想法已经应用在源代码上,取得了令人鼓舞的结果。在这个调查中,我们的目标是收集和讨论词嵌入技术在程序和源代码中的使用。本调查中的文章是通过询问相关工作的作者并在Google Scholar上进行广泛搜索而收集的。每篇文章分为五类:1。标记的嵌入2.函数或方法的嵌入3.嵌入方法调用的序列或集合4.二进制代码的嵌入5.其他嵌入我们还提供了实验数据的链接,并展示了一些显着的可视化代码嵌入。总之,词嵌入已经成功地应用于不同粒度的源代码。通过访问无数的开源存储库,我们看到了未来在源代码上应用其他数据驱动的自然语言处理技术的巨大潜力。
2019-04-05 cs.LG cs.PL cs.SE
Positional LSH: Binary Block Matrix Approximation for Attention with Linear Biases
Blavatnik School of Computer Science and AI(Blavatnik计算机科学与人工智能学院)
本文研究了通过局部敏感哈希(LSH)视角下的带有位置偏置的注意机制,证明了ALiBi偏置矩阵是连续块对角二进制掩码的期望,并展示了其在高概率下对块大小的谱范数和最大范数近似保证。
2026-05-10 cs.DS cs.LG
Text Classification for Task-based Source Code Related Questions
有一个关键的需求是为开发人员的小任务自动生成代码。像StackOverflow这样的网站提供了一种简单的方法,通过提供小片段的解决方案,为开发人员想要编码的任何任务问题提供完整的答案。自然语言处理,特别是语音识别系统在解决和处理这些任务方面非常有帮助。在本文中,我们开发了一个双重深度学习模型:Seq2Seq和一个二元分类器,它接受意图(自然语言)和Python中的代码片段。我们在Seq2Seq模型中训练意图和代码话语,其中我们决定比较来自编码器的隐藏层嵌入用于表示意图的效果,并且类似地,使用解码器的隐藏层嵌入用于代码序列。然后,我们结合这两个嵌入,然后训练一个简单的二进制神经网络分类器模型,用于预测如果意图是正确回答的预测代码序列从seq2seq模型。我们发现,隐藏状态层的嵌入执行略好于常规的标准嵌入从构造的词汇表。除了StaQC数据库(由简单的基于任务代码片段的对组成)之外,我们还在CoNaLa数据集上进行了测试。我们根据经验确定,与使用seq2seq模型中的隐藏状态上下文向量相比,在Python中为代码片段使用额外的预训练嵌入较少基于上下文。
2021-10-31 cs.CL cs.LG cs.SE
Encoder Embedding for General Graph and Node Classification
University of Delaware(特拉华大学)
本文将图编码器嵌入从二值图扩展到加权图、距离矩阵和核矩阵等通用图模型,证明其满足大数定律与中心极限定理,并在逐类别上具有渐近正态性,从而支持基于判别分析的最优节点分类。
2024-10-22 cs.LG cs.SI stat.ML
Identifier-Free Code Embedding Models for Scalable Search
The MITRE Corporation(MITRE公司)
本文提出无标识码的代码嵌入模型,用于在二进制反向工程中实现双向关联,通过对比学习优化模型性能,优于现有方法并能泛化到未显式训练的任务。
2026-10-16 cs.CR cs.LG cs.SE
Forecasting Binary Economic Events in Modern Mercantilism: Traditional methodologies coupled with PCA and K-means Quantitative Analysis of Qualitative Sentimental Data
本文研究现代重商主义下的二元经济事件预测,通过对新闻文章的768维SBERT语义嵌入应用PCA提取正交潜在因子,构建了可扩展的数据驱动框架,有效提升了分类性能与预测准确率。
2025-08-12 cs.LG econ.GN q-fin.EC