Similarity-based Label Inference Attack against Training and Inference of Split Learning
Beijing University of Posts and Telecommunications(北京邮电大学);Pengcheng Laboratory(鹏城实验室)
本文揭示了分割学习交换的中间结果会泄漏私有标签,基于梯度与特征相似性设计三种标签推断攻击,在训练和推理阶段实现接近100%攻击准确率,并能有效抵抗多种最先进防御机制。
2024-03-22 cs.AI cs.CR cs.LG
User-friendly Comparison of Similarity Algorithms on Wikidata
Information Sciences Institute, University of Southern California(南加州大学信息科学学院)
虽然两个概念词之间的相似性已经被评估和研究了几十年,但很少有人关注可以计算非常大的知识图谱(如Wikidata)中节点相似性的算法。为了方便维基数据上相似性算法的调查和头对头比较,我们提出了一个用户友好的界面,允许灵活计算维基数据中Qnodes之间的相似性。目前,相似性接口支持四种算法,基于:图嵌入(transE,ComplEx),文本嵌入(BERT)和基于类的相似性。我们展示了语义相似,相关和完全无关的实体对的代表性例子的算法的行为。为了支持需要高效相似性计算的预期应用程序,如实体链接和推荐,我们还提供了一个REST API,可以为维基数据中的任何Qnode计算最相似的邻居。
2021-08-11 cs.AI
A game theory for foundation models shows new paths to rational cooperation through similarity inference
本文提出针对基础模型智能体的嵌入贝叶斯智能体理论模型,通过嵌入均衡机制实现相似性推理,破解经典博弈论预测的社会困境中相互背叛问题,达成稳定合作。
2026-08-05 cs.AI
Rethinking Code Similarity for Automated Algorithm Design with LLMs
City University of Hong Kong(香港城市大学)
BehaveSim通过分析问题解决行为轨迹,提升LLM-AAD性能并促进算法分析。
2026-03-03 cs.AI
Leveraging KV Similarity for Online Structured Pruning in LLMs
Sungkyunkwan University(成均馆大学)
本文提出Token Filtering方法,利用键值相似性实现在线结构剪枝,提升LLMs推理效率与稳定性。
2025-12-08 cs.AI cs.CL
A Comparison of Document Similarity Algorithms
Penn State University at Abington(宾州州立大学阿宾顿分校)
本文旨在考察并比较统计、神经网络和语料库/知识库这三类文档相似度算法,通过一系列基准数据集和评估测试,确定各领域中最有效的算法,以推动自然语言处理领域的发展。
2023-04-03 cs.AI cs.CL
Meta-Embeddings for Natural Language Inference and Semantic Similarity tasks
单词表示是几乎所有高级自然语言处理(NLP)应用程序(如文本挖掘,问答和文本摘要等)的核心组件。在过去的二十年中,人们进行了大量的研究,以提出一个单一的模型来解决所有主要的NLP任务。目前的主要问题是,不同的NLP任务有太多的选择。因此,对于NLP从业者来说,选择正确的模型本身就成了一个挑战。因此,结合多个预训练的词嵌入并形成Meta嵌入已成为改进处理NLP任务的可行方法。Meta嵌入学习是从给定的一组预先训练的输入词嵌入中产生单个词嵌入的过程。在本文中,我们建议使用来自少数最先进(SOTA)模型的Meta Embedding来有效地处理主流NLP任务,如分类,语义相关性和文本相似性。我们比较了集成和动态变量,以确定一个有效的方法。所获得的结果表明,即使是最好的国家的最先进的模型可以更好。从而向我们展示了元嵌入可以通过利用几个单独表示的力量来用于几个NLP任务。
2020-12-01 cs.AI cs.CL cs.IR
RIDE: Reference-Anchored Inference-Time Diffusion Editing for Scaffold Hopping
The Ohio State University(俄亥俄州立大学)
RIDE是一种参考锚定的推理时扩散编辑框架,通过恢复参考噪声轨迹并选择最优段进行编辑,实现骨架跃迁,在保持高三维相似度的同时降低二维相似度,平均改进11.7%和7.3%。
2026-09-29 cs.AI cs.LG
rMuscle: Robotic Muscle Memory for Efficient Vision-Language-Action Model Inference
Institute of Parallel and Distributed Systems, Shanghai Jiao Tong University(上海交通大学并行与分布式系统研究所)
针对VLA模型推理延迟问题,提出受肌肉记忆启发的rMuscle框架,利用跨执行相似性通过双阶段缓存减少计算和权重访问,在多种任务上实现1.29-1.42倍加速且保持成功率。
2026-10-22 cs.AI cs.RO
Survey of Genetic and Differential Evolutionary Algorithm Approaches to Search Documents Based On Semantic Similarity
School of EECS, College of Engineering and Mines, University of North Dakota(电子工程与科学学院,工程与采矿学院,北达科塔大学)
本综述探讨了在海量数据中基于语义相似性搜索文档的挑战,重点总结了遗传算法与差分进化算法等进化计算方法在该领域的最新进展。
2025-07-15 cs.AI cs.NE
Reshaping the Forward-Forward Algorithm with a Similarity-Based Objective
University of Auckland(奥克兰大学);Imperial College London(伦敦帝国理工学院)
本研究将Forward-Forward算法与相似性学习整合,提出FAUST方法,消除推理时多次正向传播,在多个数据集上显著提升准确率,接近反向传播性能。
2025-08-29 cs.AI cs.LG
Sparse online relative similarity learning
Huazhong University of Science and Technology(华中科技大学);Institute for Infocomm Research, A*STAR(新加坡科技研究局资讯通信研究院);Wuhan University(武汉大学)
对于许多数据采掘和机器学习任务,相似性度量的质量是其性能的关键。为了从数据集中自动找到一个好的相似性度量,度量学习和相似性学习被提出并得到了广泛的研究。度量学习将学习一个基于半正定矩阵的马氏距离来度量目标之间的距离,而相似性学习则是直接学习一个没有PSD约束的相似性函数,使其更具吸引力。由于在线学习比离线学习具有更好的可扩展性,现有的相似性学习算法大多是在线相似性学习方法。然而,大多数现有的在线相似性学习算法学习的是具有d 2参数的全矩阵,其中d是实例的维数。由于其高存储器和计算复杂性,这对于高维任务显然是低效的。为了解决这个问题,本文引入了几种稀疏在线相对相似度(Sparse Online Relative Similarity,SORS)学习算法,在学习过程中学习稀疏模型,从而显著降低了内存和计算开销。我们从理论上分析了所提出的算法,并在一些现实世界的高维数据集上进行了评估。令人鼓舞的实证结果表明,我们的方法在效率和功效方面的优势。
2021-04-15 cs.AI cs.LG
Semantic Similarity Computing for Scientific Academic Conferences fused with domain features
Beijing University of Posts and Telecommunications(北京邮电大学)
针对目前通用的语义文本相似度计算方法难以利用科技学术会议数据的语义信息的问题,提出一种融合领域特征的科技学术会议语义相似度计算算法。首先,通过实体识别和关键词提取得到会议的领域特征信息,并作为特征和会议信息输入到BERT网络中。采用Siamese网络结构解决了BERT的各向异性问题。将网络的输出进行池化和归一化,最后使用余弦相似度计算两个会话之间的相似度。实验结果表明,SBFD算法在不同的数据集上都取得了较好的效果,Spearman相关系数与对比算法相比有一定的提高。
2022-03-21 cs.AI cs.IR
Towards a Measure of Algorithm Similarity
针对算法差异判定不可计算且概念模糊的问题,提出EMOC框架将算法实现嵌入特征空间,并构建PACD数据集,验证了其在算法聚类、近似重复检测及LLM生成程序多样性量化等下游任务中的有效性。
2025-10-31 cs.AI cs.CL cs.IT
Evolutionary Algorithms Approach For Search Based On Semantic Document Similarity
University of North Dakota(北达科他大学);College of Engineering and Mines(工程与矿业学院);School of EECS(电气与计算机科学学院)
本研究利用通用句子编码器表示文本语义,结合遗传算法和差分进化算法进行文档搜索,实验证明进化算法在Top N检索中优于传统排序方法。
2025-02-20 cs.AI cs.LG cs.NE
SERE: Similarity-based Expert Re-routing for Efficient Batch Decoding in MoE Models
Taobao & Tmall Group of Alibaba(淘宝与天猫集团);Shenzhen Graduate School, Peking University(北京大学深圳研究生院)
SERE通过基于相似性的专家重新路由方法,提升MoE模型在批量解码中的效率,实现2倍速度提升并减少质量损失。
2026-02-07 cs.AI cs.LG
Towards Fast and Energy-Efficient Binarized Neural Network Inference on FPGA
Iluvatar CoreX(天数智芯);University of California San Diego(加州大学圣地亚哥分校)
二值化神经网络(Binarized Neural Network,BNN)通过使用单个比特(-1/+1)作为网络参数和中间表示,消除了传统CNN中的位宽冗余,大大降低了片外数据传输和存储开销。然而,BNN推理仍然存在大量的计算冗余。通过分析图像的局部属性和学习的BNN内核权重,我们观察到平均$\sim$ 78%的输入相似性和$\sim$ 59%的权重内核之间的权重相似性,我们提出的度量在常见的网络架构。因此,确实存在冗余,可以利用这些冗余来进一步减少片上计算量。受观察的启发,在本文中,我们提出了两种类型的快速和节能的BNN推理架构。我们还提供了分析和见解,以便为不同的数据集和网络模型选择更好的策略。通过重用先前计算的结果,可以跳过用于数据缓冲器访问和计算的许多周期。通过实验,我们证明了80%的计算和40%的缓冲区访问可以跳过利用BNN相似性。因此,我们的设计可以实现减少17%的总功耗,减少54%的片上功耗和2.4 $\times$的最大加速比,与基线相比,没有应用我们的重用技术。我们的设计还显示了1.9 $\times$更多的面积效率相比,国家的最先进的BNN推理设计。我们相信,我们在FPGA上部署BNN将为在移动设备上运行深度学习模型带来光明的未来。
2018-10-04 cs.AI cs.AR cs.CV
Escaping the Curse of Dimensionality in Similarity Learning: Efficient Frank-Wolfe Algorithm and Generalization Bounds
Google Inc.(谷歌公司);Information Sciences Institute, University of Southern California(南加州大学信息科学研究所);INRIA(法国国家信息与自动化研究所)
相似性和度量学习提供了一种从弱监督数据中构建特定于任务的相似性的原则性方法。然而,这些方法受到维数灾难的影响:随着特征数量的增加,预计泛化能力较差,并且由于高计算和内存成本,训练变得难以处理。在本文中,我们提出了一种相似性学习方法,可以有效地处理高维稀疏数据。这是通过稀疏秩一矩阵的凸组合的相似性函数的参数化,连同使用一个贪婪的近似弗兰克-沃尔夫算法,提供了一种有效的方法来控制的数量的活动功能。我们表明,该算法的收敛速度,以及它的时间和内存的复杂性,是独立的数据维数。我们进一步提供了一个理论上的理由,我们的建模选择,通过分析的泛化误差,这取决于解决方案的稀疏性,而不是功能的数量。我们在具有多达一百万个特征的数据集上的实验证明了我们的方法具有很好的泛化能力,尽管它具有高维性,并且与几种竞争方法相比具有优越性。
2019-09-09 cs.AI cs.LG stat.ML
Towards Similarity Graphs Constructed by Deep Reinforcement Learning
Yandex;Lomonosov Moscow State University(罗蒙诺索夫莫斯科国立大学);National Research University Higher School of Economics(高等经济研究大学)
相似图是最近邻搜索(NNS)问题的一个活跃的研究方向。新的相似图构造算法不断被理论家和实践者提出和分析。然而,现有的构造算法大多基于算法,并且没有显式地最大化目标性能度量,即,搜索召回。因此,目前还不清楚相似图的性能是否已经稳定,或者可以用更有理论基础的方法来构建更有效的图。在本文中,我们介绍了一个新的原则算法,邻接矩阵优化的基础上,显式地最大化搜索效率。也就是说,我们提出了一个概率模型的相似性图定义的边缘概率,并显示如何学习这些概率从数据作为一个强化学习任务。实验结果表明,该方法可以用于改进现有的相似度图,在相同的距离计算次数下获得更高的召回率。此外,我们分析了学习的图,并揭示了负责更有效的搜索的结构特性。
2020-02-13 cs.AI cs.LG stat.ML