Learning Semantic Vector Representations of Source Code via a Siamese Neural Network
Iowa State University(爱荷华州立大学);Rensselaer Polytechnic Institute(伦斯勒理工学院);Massachusetts Institute of Technology(麻省理工学院);IBM
丰富的开源代码,加上深度学习在自然语言处理方面的最新进展,已经产生了机器学习在源代码中的有前途的新应用。在这项工作中,我们探索使用暹罗循环神经网络模型的Python源代码创建向量捕捉代码的语义。我们通过识别代码解决的编程竞赛问题来评估嵌入的质量。我们的模型显着优于一袋令牌嵌入,提供了有前途的结果,以改善代码嵌入,可用于未来的软件工程任务。
2019-04-26 cs.LG cs.PL cs.SE
Towards Cover Song Detection with Siamese Convolutional Neural Networks
Bose Corporation(博士公司)
根据定义,翻唱歌曲是以前录制的商业发行歌曲的新表演或录音。它可能是由原来的艺术家自己或完全不同的艺术家,可以从原来的不可预测的方式,包括关键,安排,仪器,音色和更多的变化。在这项工作中,我们提出了一种新的方法来学习音频表示的任务,封面歌曲检测。我们在数万首翻唱歌曲的音频片段上训练了一个神经架构,并在一个固定的集合上测试了它。我们在小批量上获得了65%的平均精度@1,比随机猜测好10倍。我们的研究结果表明,暹罗网络配置接近封面歌曲识别问题的承诺。
2020-05-20 cs.LG cs.SD eess.AS
Unsupervised Learning of Rydberg Atom Array Phase Diagram with Siamese Neural Networks
Perimeter Institute for Theoretical Physics(圆周理论物理研究所)
我们介绍了一种基于Siamese神经网络(SNN)的无监督机器学习方法来检测相位边界。将该方法应用于Ising型系统和里德伯原子阵列的蒙特卡罗模拟。在这两种情况下,SNN揭示了与先前研究一致的相边界。利用前馈神经网络的力量,无监督学习和在不知道其存在的情况下学习多个相的能力的结合,为探索新的和未知的物质相提供了强大的方法。
2022-05-19 cond-mat.quant-gas cs.LG physics.comp-ph
Siamese Neural Networks for Wireless Positioning and Channel Charting
Cornell University(康奈尔大学);Aalto University(阿尔托大学);University of Maryland(马里兰大学)
最近已经提出了神经网络用于无线系统中的用户设备(UE)的定位和信道制图。这两种方法都处理在多天线基站处获取的信道状态信息(CSI),以便学习将CSI映射到位置信息的函数。使用深度神经网络的基于CSI的定位需要包含CSI和相关联的位置信息两者的数据集。信道制图(CC)仅需要CSI信息来提取相对位置信息。由于CC建立在降维的基础上,因此可以使用自动编码器来实现。在本文中,我们提出了一个统一的架构的基础上,暹罗网络,可用于监督UE定位和无监督信道制图。此外,我们的框架支持半监督定位,在训练过程中只有一小部分位置信息可用。我们使用模拟来证明,暹罗网络实现类似或更好的性能比现有的定位和CC方法与一个单一的,统一的神经网络架构。
2019-09-29 cs.IT cs.LG eess.SP
Improve Document Embedding for Text Categorization Through Deep Siamese Neural Network
Data Science Institute, University of Virginia(弗吉尼亚大学数据科学研究所)
由于互联网上的数据量不断增加,找到一个高信息量,低维的文本表示是有效的自然语言处理任务,包括文本分类的主要挑战之一。这种表示应该捕获文本的语义信息,同时保留它们的相关性级别用于文档分类。该方法将具有相似主题的文档映射到向量空间表示中的相似空间。为了获得大文本的表示,我们提出了利用深连体神经网络。为了在分布式表示中嵌入主题中的文档相关性,我们使用连体神经网络来共同学习文档表示。我们的连体网络由两个多层感知器的子网络组成。我们检查我们的表示为文本分类任务的BBC新闻数据集。结果表明,所提出的表示优于传统的和国家的最先进的表示在文本分类任务在这个数据集上。
2020-05-31 cs.CL cs.IR cs.LG
Supervised Training of Siamese Spiking Neural Networks with Earth Mover's Distance
AGH University of Science and Technology(AGH科技大学)
本研究将高度通用的连体神经网络模型应用于事件数据域。我们引入了一个监督训练框架,用于优化具有脉冲神经网络(SNN)的脉冲序列之间的地球移动器距离(EMD)。我们训练这个模型的MNIST数据集的图像转换成尖峰域与新的转换方案。通过测量不同数据集编码类型的分类器性能来评估输入图像的连体嵌入的质量。该模型实现了与现有基于SNN的方法相似的性能(F1得分高达0.9386),同时仅使用约15%的隐藏层神经元对每个示例进行分类。此外,没有使用稀疏神经代码的模型比稀疏模型慢45%。这些特性使得该模型适用于低能耗和低预测延迟的应用。
2022-05-27 cs.LG cs.NE
Scribe Verification in Chinese manuscripts using Siamese, Triplet, and Vision Transformer Neural Networks
本文研究了用于中文手稿笔迹验证的深度学习模型,通过对比学习方法自动判断两个手稿片段是否由同一笔迹者书写,实验表明改进的Siamese模型在准确率和ROC曲线下面积上表现优异。
2026-03-14 cs.LG eess.IV
A Siamese Neural Network with Modified Distance Loss For Transfer Learning in Speech Emotion Recognition
Texas A&M University(德州农工大学)
情感自动识别在人机交互过程和物联网技术设计中具有重要作用。然而,情感识别系统中的一个常见问题在于缺乏可靠的标签。通过对感兴趣的样本之间的成对差异进行建模,Siamese网络可以帮助减轻这一挑战,因为它需要比传统深度学习方法更少的样本。本文提出了一种距离损失法,通过对同、差类对之间的相关距离进行优化,将其应用于暹罗网络的微调。我们的系统使用来自源数据的样本来预训练所提出的暹罗神经网络的权重,该权重基于目标数据进行微调。我们提出了一个情感识别任务,使用语音,因为它是最普遍和最常用的生物行为信号之一。我们的目标数据来自RAVDESS数据集,而CREMA-D和eNTERFACE'05分别用作源数据。我们的研究结果表明,提出的距离损失是能够大大有利于暹罗网络的微调过程。此外,源数据的选择对暹罗网络的性能有更大的影响相比,冻结层的数量。这些建议的巨大潜力,应用暹罗网络和成对的差异建模领域的迁移学习自动情感识别。
2020-06-04 cs.CV cs.LG
Multi-Task Siamese Neural Network for Improving Replay Attack Detection
Uber AI(优步人工智能);RWTH Aachen University(亚琛工业大学)
自动说话人验证系统容易受到音频重放攻击,这些攻击通过重放授权说话人的录音来绕过安全性。基于残差神经网络(ResNet)构建的重放攻击检测(RA)检测系统在公共基准ASVspoof 2019物理访问挑战中取得了惊人的结果。由于大多数团队使用微调的特征提取管道和模型架构,因此此类系统的通用性仍然值得怀疑。在这项工作中,我们分析了多任务学习(MTL)设置中的判别特征学习对RA检测系统的泛化能力和判别能力的影响。我们使用一个流行的ResNet架构作为我们的基线,并将其与MTL使用暹罗神经网络(SNN)优化的相同架构进行比较。可以表明,SNN以相对26.8%的等误差率(EER)优于基线。我们进一步增强了模型的体系结构,并证明具有额外重建损失的SNN可以再次显着提高相对13.8%的EER。
2020-02-16 cs.LG cs.SD eess.AS
Siamese SIREN: Audio Compression with Implicit Neural Representations
ETH Zurich(苏黎世联邦理工学院)
本文提出Siamese SIREN,一种基于SIREN架构的隐式神经表示方法,用于音频压缩,以更少的网络参数实现更高的音频重建保真度。
2023-06-22 cs.AI cs.LG cs.SD
Path-aware Siamese Graph Neural Network for Link Prediction
Zhejiang Lab(之江实验室)
在本文中,我们提出了一个路径感知的连体图神经网络(PSG)的链接预测任务。首先,PSG捕获节点和给定的两个节点的边缘特征,即k-邻域的结构信息和节点的中继路径信息。此外,提出了一种新的多任务GNN框架与自监督对比学习的区别的积极的链接和消极的链接,而内容和行为的节点可以同时捕获。我们评估所提出的算法PSG上的两个链接属性预测数据集,ogbl-ddi和ogbl-collab。PSG在提交前在ogbl-ddi上获得了前1名的性能,在ogbl-collab上获得了前3名的性能。实验结果验证了我们提出的PSG的优越性
2022-11-17 cs.AI cs.LG
STELLAR: Siamese Multi-Headed Attention Neural Networks for Overcoming Temporal Variations and Device Heterogeneity with Indoor Localization
Micron Semiconductor Products(美光半导体产品公司);Colorado State University(科罗拉多州立大学)
针对室内定位中设备异构性和时间变化的痛点,提出基于孪生多头注意力神经网络的免重训练对比学习框架STELLAR,在两类场景下精度均显著优于现有方法。
2023-12-16 cs.LG
Siamese Neural Encoders for Long-Term Indoor Localization with Mobile Devices
Colorado State University(科罗拉多州立大学)
基于指纹的室内定位是用于增强室内场所内的人和资产的定位和跟踪的新兴应用领域。无处不在的WiFi信号与具有计算能力的智能手机的出色配对将彻底改变室内定位领域。然而,从独立维护的WiFi接入点观察到的信号特性随时间变化很大。此外,在初始部署阶段可见的一些WiFi接入点可能会随着时间的推移而被替换或移除。这些因素通常在室内定位框架中被忽略,并导致部署后(数周和数月)的定位精度逐渐和灾难性的下降。为了克服这些挑战,我们提出了一个基于Siamese神经编码器的框架,与该领域的最先进技术相比,随着时间的推移,定位精度的下降降低了40%,而不需要任何再培训。
2021-11-28 cs.AI cs.LG
Discovering Symmetry Invariants and Conserved Quantities by Interpreting Siamese Neural Networks
Perimeter Institute for Theoretical Physics(圆周理论物理研究所);University of Waterloo(滑铁卢大学)
在本文中,我们介绍了可解释的暹罗神经网络(SNN)的相似性检测的理论物理领域。更准确地说,我们将SNN应用于狭义相对论中的事件、电磁场的变换以及中心势中粒子的运动。在这些示例中,SNN学习识别属于相同事件、场配置或运动轨迹的数据点。事实证明,在学习哪些数据点属于同一事件或场配置的过程中,这些SNN也学习了相关的对称不变量和守恒量。这些SNN是高度可解释的,这使我们能够揭示对称不变量和守恒量没有先验知识。
2020-08-25 cond-mat.dis-nn cs.LG physics.comp-ph
Siamese-NAS: Using Trained Samples Efficiently to Find Lightweight Neural Architecture by Prior Knowledge
National Central University(中央大学);National Yang Ming Chiao Tung University(阳明交通大学)
在过去的十年中,许多卷积神经网络的架构都是手工设计的,如Vgg 16,ResNet,DenseNet等,它们都在不同的任务上达到了最先进的水平。但是,它仍然依赖于人类的直觉和经验,并且还需要花费大量的时间进行试错。Neural Architecture Search(NAS)就是针对这个问题而提出的。在最近的工作中,神经预测器在很少的训练架构作为训练样本的情况下得到了显着改进。然而,采样效率已经相当可观。在本文中,我们提出的连体预测的启发,过去的作品预测为基础的NAS。它是用建议的估计码构造的,估计码是关于训练过程的先验知识。拟议的连体预测得到显着的好处,从这个想法。这个想法使它超过了NASBench-201上当前的SOTA预测器。为了探讨估计代码的影响,我们分析了它和准确性之间的关系。我们还提出了轻量级CNN架构的搜索空间Tiny-NanoBench。这个精心设计的搜索空间比NASBench-201更容易找到更好的体系结构,而且FLOP更少。总之,所提出的Siamese-Predictor是基于预测器的NAS。它达到了SOTA水平,特别是在计算预算有限的情况下。它应用于提出的Tiny-NanoBench可以只使用几个训练样本来找到极其轻量级的CNN架构。
2022-10-02 cs.CV cs.LG
Learning Subgroup Relations Using Siamese Graph Neural Networks
Ramat Gan Academic College(拉马特甘学术学院)
该研究针对计算群论中判断有限群子群关系的基本问题,提出用连体图神经网络,结合有限群的凯莱图表示与代数特征来学习子群关系,实验证明此方法有效,在独立测试集上准确率达95.9% 。
2026-09-09 cs.LG math.GR
Full-Reference Speech Quality Estimation with Attentional Siamese Neural Networks
Technische Universität Berlin(柏林工业大学);Deutsches Forschungszentrum für Künstliche Intelligenz (DFKI)(德国人工智能研究中心)
在本文中,我们提出了一个具有深度学习方法的全参考语音质量预测模型。该模型通过共享两个信号的权重作为输入的连体递归卷积网络来确定参考信号和退化信号的特征表示。然后使用所得到的特征将信号与注意力机制对齐,并最终组合以估计整体语音质量。所提出的网络架构代表了一个简单的解决方案的时间对齐问题,发生的语音信号通过语音IP网传输,并显示了干净的参考信号可以被纳入语音质量模型,是基于端到端的训练神经网络。
2021-05-03 cs.AI cs.LG cs.SD
Content-Based Landmark Retrieval Combining Global and Local Features using Siamese Neural Networks
Technische Universität Berlin(柏林工业大学)
在这项工作中,我们提出了一个地标检索,利用全球和本地功能的方法。一个连体网络用于全局特征提取和度量学习,这给出了一个初始排名的地标搜索。我们利用从暹罗体系结构中提取的特征图作为局部描述符,然后使用局部描述符之间的余弦相似度进一步细化搜索结果。我们对用于评估的Google Landmark数据集进行了更深入的分析,并增加了数据集以处理各种类内方差。此外,我们进行了几个实验来比较迁移学习和度量学习的效果,以及使用其他局部描述符的实验。我们表明,使用本地功能的重新排名可以改善搜索结果。我们相信,建议使用余弦相似性的本地特征提取是一个简单的方法,可以扩展到许多其他检索任务。
2022-08-03 cs.CV cs.IR cs.LG
Explainable Image Similarity: Integrating Siamese Networks and Grad-CAM
University of Piraeus(比雷埃夫斯大学);University of Patras(帕特雷大学);Harokopio University of Athens(哈罗科皮奥大学)
本文提出集成孪生网络与Grad-CAM的可解释图像相似性框架,提供相似性分数及事实与反事实视觉解释,以增强系统可解释性、可信度和用户接受度。
2023-10-14 cs.AI cs.CV cs.LG
Fisher Discriminant Triplet and Contrastive Losses for Training Siamese Networks
University of Waterloo(滑铁卢大学);Kimia Lab(Kimia实验室)
Siamese神经网络对于特征提取和度量学习都是一个非常强大的体系结构。它通常由几个共享权重的网络组成。暹罗概念是拓扑不可知的,可以使用任何神经网络作为其骨干。用于训练这些网络的两种最流行的损失函数是三元组和对比损失函数。在本文中,我们提出了两个新的损失函数,分别命名为Fisher判别三元组(FDT)和Fisher判别对比(FDC)。前者使用锚-邻-远三元组,而后者使用锚-邻和锚-远样本对。FDT和FDC损失函数是基于Fisher判别分析(FDA)的统计公式设计的,这是一种线性子空间学习方法。我们在MNIST和两个具有挑战性的公开可用的组织病理学数据集上的实验表明了所提出的损失函数的有效性。
2020-04-05 cs.CV cs.LG stat.ML
Siamese Graph Neural Networks for Data Integration
IBM Research – Zurich(IBM苏黎世研究院);University of Trento(特伦托大学)
数据集成已经被广泛研究了几十年,并从不同的角度进行了探讨。然而,这个领域仍然主要是规则驱动的,缺乏通用的自动化。机器学习,特别是深度学习的最新发展为数据集成问题的更通用和更有效的解决方案开辟了道路。在这项工作中,我们提出了一个通用的方法来建模和集成实体的结构化数据,如关系数据库,以及非结构化的来源,如自由文本的新闻文章。我们的方法旨在明确建模和利用实体之间的关系,从而使用所有可用的信息,并保留尽可能多的上下文。这是通过结合siamese和图神经网络来实现的,以在连接的实体之间传播信息并支持高可扩展性。我们评估了我们的方法在整合业务实体数据的任务,我们证明,它优于标准的基于规则的系统,以及其他深度学习方法,不使用基于图形的表示。
2020-01-17 cs.DB cs.LG
(ASNA) An Attention-based Siamese-Difference Neural Network with Surrogate Ranking Loss function for Perceptual Image Quality Assessment
McMaster University(麦克马斯特大学);Sharif University of Technology(谢里夫理工大学)
最近,深度卷积神经网络(DCNN)利用对抗训练框架进行图像复原和增强,显著提高了处理后图像的清晰度。令人惊讶的是,尽管这些DCNN在视觉上比其他方法产生更清晰的图像,但当采用流行的措施来评估它们时,它们可能会得到较低的质量分数。因此,有必要制定一个定量指标来反映他们的表现,这是很好地与图像的感知质量对齐。著名的定量指标,如峰值信噪比(PSNR),结构相似性指数测度(SSIM)和感知指数(PI)与图像的平均意见评分(MOS)没有很好的相关性,特别是对于用对抗性损失函数训练的神经网络。本文提出了一种卷积神经网络,它是对传统的连体网络结构的扩展,称为连体差分神经网络。我们已经配备了这种架构的空间和通道的注意力机制,以提高我们的方法的性能。最后,我们采用了一个辅助损失函数来训练我们的模型。建议的附加成本函数替代排名损失,以增加斯皮尔曼的排名相关系数,而它是可微的神经网络参数。我们的方法在\textbf{\textit{NTIRE 2021 Perceptual Image Quality Assessment}} Challenge中取得了优异的性能。我们所提出的方法的实现是公开的。
2021-05-06 cs.CV cs.LG eess.IV
Siamese Neural Networks for EEG-based Brain-computer Interfaces
Concordia Institute for Information Systems Engineering (CIISE)(康考迪亚信息系统工程研究所);Concordia University(康考迪亚大学)
由于人脑同时处理多模态信号及其对外部世界事件的实时反馈的不可思议的能力,在人脑和计算机之间建立通信桥梁的兴趣激增,这被称为脑机接口(BCI)。为此,通过脑电图(EEG)监测脑电活动已成为BCI系统的首选。为了发现不同心理任务的脑信号的潜在和具体特征,基于统计和数据驱动的技术开发了相当多的研究工作。然而,在实际和商业BCI系统的发展的一个主要瓶颈是他们的有限的性能时,分类的心理任务的数量增加。在这项工作中,我们提出了一个新的EEG处理和特征提取范式的基础上,暹罗神经网络,它可以方便地合并和扩大多类问题。Siamese网络的思想是训练一个基于对比损失函数的双输入神经网络,它提供了验证两个输入EEG试验是否来自同一类的能力。在这项工作中,一个连体架构,这是基于卷积神经网络(CNN)开发的,并提供了一个二进制输出的两个输入的相似性,结合OVR和OVO技术,以扩大多类问题。该架构的有效性进行了评估的4类运动图像(MI)数据集从BCI竞争IV-2a和结果表明一个有前途的性能相比,其同行。
2020-02-03 cs.LG eess.SP
Siamese Neural Networks for Class Activity Detection
TAL Education Group(好未来教育集团);Michigan State University(密歇根州立大学)
课堂活动检测(CAD)旨在准确识别教室中的说话人角色(教师或学生)。CAD解决方案可帮助教师获得有关教学指导的即时反馈。然而,CAD是非常具有挑战性的,因为(1)课堂对话包含教师和学生之间的许多会话话轮转换重叠;(2)CAD模型需要针对不同的教师和学生进行足够好的推广;以及(3)课堂录音可能非常嘈杂且质量低。在这项工作中,我们通过构建一个连体神经框架来自动识别课堂录音中的教师和学生话语来解决上述挑战。该模型在现实世界的教育数据集上进行了评估。结果表明:(1)我们的方法在在线和离线课堂环境的预测任务上都是优越的;(2)我们的框架对新教师表现出鲁棒性和泛化能力(即,教师从不出现在培训数据中)。
2020-05-15 cs.LG cs.SD eess.AS
Prosodic-Enhanced Siamese Convolutional Neural Networks for Cross-Device Text-Independent Speaker Verification
West Virginia University(西弗吉尼亚大学)
本文提出了一种新的跨设备文本无关说话人确认架构。大多数用于说话人验证任务的最先进的深度架构都考虑Mel频率倒谱系数。相比之下,我们提出的Siamese卷积神经网络架构使用Mel频率谱图系数来受益于相邻谱时间特征的依赖性。此外,虽然频谱-时间特征已被证明是非常可靠的说话人确认模型,他们只代表说话人的声音的短期声学水平特性的一些方面。然而,人类的声音包括几个语言层次,如声学,词汇,韵律和语音,可以利用在说话人确认模型。为了弥补频谱-时间特征中的这些固有缺点,我们建议通过部署多层感知器网络来增强所提出的Siamese卷积神经网络架构,以结合韵律,抖动和闪烁特征。所提出的端到端验证架构同时执行特征提取和验证。与传统的信号处理方法和深度算法相比,该架构在跨设备说话人确认方面有了显著的改进。
2018-07-31 cs.CV cs.LG cs.SD
Few-shot Learning in Emotion Recognition of Spontaneous Speech Using a Siamese Neural Network with Adaptive Sample Pair Formation
Texas A&M University(德克萨斯A&M大学)
基于语音的机器学习(ML)被认为是一种很有前途的解决方案,可用于跟踪现实生活中的韵律和频谱模式,这些模式表明情绪变化,为人们的认知和精神状态提供了一个有价值的窗口。然而,流动研究中标记数据的稀缺阻碍了ML模型的可靠训练,ML模型通常依赖于“数据饥渴”的基于分布的学习。本文利用大量的带有标记的情感语音数据,提出了一种少样本学习方法,从少量的带有标记的样本中自动识别自发语音中的情感。少样本学习是通过一个连体神经网络的度量学习方法来实现的,连体神经网络对样本之间的相对距离进行建模,而不是依赖于学习每种情绪的相应分布的绝对模式。结果表明,所提出的度量学习的可行性,在识别情感的自发语音在四个数据集,即使有少量的标记样本。与常用的自适应方法(包括网络微调和对抗性学习)相比,它们进一步证明了所提出的度量学习的优越性能。这项工作的结果提供了一个基础,在自发的语音有助于心理健康退化的现实生活中的评估人类情感的动态跟踪。
2021-09-07 cs.LG
Retrieval of Family Members Using Siamese Neural Network
University of Science and Technology of China(中国科学技术大学)
野外家庭成员检索的目的是在数据集中找到与该主题相关的家庭成员,这对于寻找走失儿童和分析亲属关系具有重要意义。然而,由于所收集的数据在年龄、性别、姿势和照明方面的多样性,这项任务总是具有挑战性。为了解决这个问题,我们提出了我们的解决方案与深连体神经网络。我们的解决方案可以分为两个部分:相似度计算和排名。在训练过程中,暹罗网络首先以两幅候选图像作为输入,产生两个特征向量。然后,计算两个向量之间的相似性与几个全连接层。而在推理过程中,我们尝试了另一种相似度计算方法,通过丢弃后面的几个全连接层,直接计算两个特征向量的余弦相似度。在相似度计算之后,我们使用排序算法合并具有相同身份的相似度得分,并根据它们的相似度输出有序列表。为了获得进一步的改进,我们尝试了不同的骨干,训练方法和相似度计算方法的组合。最后,我们提交了最佳组合作为我们的解决方案,我们的团队(ustc-nelslip)在RFIW 2020挑战赛的第三赛道上获得了良好的成绩,获得了亚军,这验证了我们的方法的有效性。我们的代码可在:https://github.com/gniknoil/FG2020-kinship
2020-05-30 cs.CV cs.LG
Siamese recurrent networks learn first-order logic reasoning and exhibit zero-shot compositional generalization
University of Amsterdam(阿姆斯特丹大学)
神经网络可以学习逻辑吗?我们用当前的方法来处理这个经典问题,并证明了递归神经网络可以学习识别表达式之间的一阶逻辑蕴涵关系。我们在一阶谓词逻辑中定义了一种人工语言,生成了一个大型的样本“数据集”,并使用自动定理证明器来推断这些句子的随机对之间的关系。我们描述了一个暹罗神经架构训练预测的逻辑关系,并与递归和递归网络的实验。Siamese递归网络在蕴涵识别任务中取得了惊人的成功,在新句子(由已知单词组成)上达到了近乎完美的性能,甚至优于递归网络。我们报告了一系列的实验,以测试的能力的模型进行组合泛化。特别是,我们研究他们如何处理看不见的长度的句子,和句子包含看不见的话。我们发现,设置使用LSTM和GRU在这些测试中获得高分,表现出一种形式的组合。
2019-06-01 cs.AI cs.CL cs.LG
Optimisation of a Siamese Neural Network for Real-Time Energy Efficient Object Tracking
AGH University of Science and Technology(AGH科技大学)
在本文中,视觉目标跟踪的优化研究,使用暹罗神经网络的嵌入式视觉系统。假设该解决方案将实时的【形】操作,优选地用于高分辨率视频流,具有最低可能的能量消耗。为了满足这些要求,技术,如减少计算精度和修剪被认为是。Brevitas是一种专用于FPGA实现的神经网络优化和量化工具。许多训练场景都进行了不同程度的优化测试-从16位整数均匀量化到三进制和二进制网络。接下来,这些优化对跟踪性能的影响进行了评估。与原始网络相比,可以将卷积滤波器的大小减少多达10倍。所获得的结果表明,使用量化可以显着降低所提出的网络的内存和计算复杂性,同时仍然能够精确跟踪,从而允许使用它在嵌入式视觉系统。此外,权重的量化通过减少过拟合对网络训练产生积极影响。
2020-07-01 cs.CV cs.LG eess.IV
CovidExpert: A Triplet Siamese Neural Network framework for the detection of COVID-19
Shahjalal University of Science and Technology(沙赫贾拉勒科技大学)
感染COVID-19的患者可能会出现肺炎样症状以及可能损害肺部的呼吸系统问题。根据医学图像,可以使用各种机器学习方法来准确地识别和预测冠状病毒疾病。大多数已发表的机器学习方法可能需要大量的超参数调整,并且不适合小数据集。少样本学习算法通过利用相对小的数据集中的数据,旨在减少对大数据集的需求。这启发我们开发了一个少样本学习模型,用于早期检测COVID-19,以减少这种危险疾病的后效应。所提出的架构结合了少样本学习与预训练的卷积神经网络的集合,从CT扫描图像中提取特征向量进行相似性学习。提出的三重连体网络作为少样本学习模型,将CT扫描图像分为正常、COVID-19和社区获得性肺炎。建议的模型达到了98.719%的总体准确性,99.36%的特异性,98.72%的灵敏度,和ROC评分为99.9%,只有200 CT扫描每个类别的训练数据。
2023-02-17 cs.CV cs.LG
Verification system based on long-range iris and Graph Siamese Neural Networks
Vicomtech Foundation(Vicomtech基金会);Public University of Navarre(纳瓦拉公立大学);Netherlands Forensic Institute(荷兰法医学研究所)
生物识别系统代表了用户身份验证和验证等任务的有效解决方案,因为它们能够高精度地分析身体和行为特征。然而,特别是当使用物理生物识别技术时,如虹膜识别,它们需要特定的硬件,如视网膜扫描仪,传感器或高清摄像头来实现相关结果。同时,它们要求用户非常接近相机以提取高分辨率信息。出于这个原因,在这项工作中,我们提出了一种新的方法,使用远程(LR)距离图像实现虹膜验证系统。更具体地说,我们提出了一种新的方法,将LR虹膜图像转换成图形,然后使用图连体神经网络(GSNN)来预测两个图是否属于同一个人。在这项研究中,我们不仅描述了这种方法,而且还评估了如何将这些图像的光谱分量用于改进图形提取和最终分类任务。结果表明,这种方法的适用性,鼓励社区探索生物识别系统中的图形应用。
2022-07-28 cs.CV cs.LG
Self-Supervised Single-Image Deconvolution with Siamese Neural Networks
Institute of Computer Science, University of Tartu(塔尔图大学计算机科学研究所);Revvity Inc.(Revvity公司);Wellcome Sanger Institute(威康桑格研究所)
针对自监督盲点去卷积中大卷积核训练困难的问题,本文引入快速傅里叶变换卷积和孪生不变性损失,提升三维显微去卷积训练速度并取得优于现有方法的性能。
2023-08-18 cs.CV cs.LG eess.IV
Data-efficient Online Classification with Siamese Networks and Active Learning
KIOS Research and Innovation Center of Excellence(KIOS卓越研究与创新中心);University of Cyprus(塞浦路斯大学)
如今,在许多应用领域中,例如在关键基础设施系统、金融和银行、安全和犯罪以及网络分析中,越来越多的数据量正在以流的方式变得可用。为了满足这一新的需求,需要在线构建预测模型,其中学习是动态进行的。在线学习提出了重要的挑战,影响在线分类系统的部署,以现实生活中的问题。在本文中,我们研究学习有限的标记,非平稳和不平衡的数据在线分类。我们提出了一种学习方法,协同结合暹罗神经网络和主动学习。该方法使用多滑动窗口的方法来存储数据,并保持单独的和平衡的队列为每个类。我们的研究表明,该方法对数据非平稳性和不平衡性具有鲁棒性,并且在学习速度和性能方面显着优于基线和最先进的算法。重要的是,即使到达实例的标签只有1%可用,它也是有效的。
2020-10-04 cs.LG stat.ML
Nonstationary data stream classification with online active learning and siamese neural networks
KIOS Research and Innovation Center of Excellence(KIOS卓越研究与创新中心);University of Cyprus(塞浦路斯大学)
近年来,我们目睹了越来越多的信息在各种应用领域中以流的方式变得可用。因此,出现了对在线学习方法的需求,该在线学习方法在运行中训练预测模型。然而,一系列公开的挑战阻碍了它们在实践中的部署。这些是,在数据逐个实时到达时学习,从具有有限地面真实信息的数据中学习,从非平稳数据中学习,以及从严重不平衡的数据中学习,同时占用有限的内存用于数据存储。我们提出了ActiSiamese算法,它通过结合在线主动学习,siamese网络和多队列存储器来解决这些挑战。它开发了一种新的基于密度的主动学习策略,该策略考虑潜在(而不是输入)空间中的相似性。我们进行了广泛的研究,比较了不同的主动学习预算和策略的作用,有/没有记忆的性能,有/没有集成的性能,在合成和真实世界的数据集,在不同的数据非平稳特性和类不平衡水平。ActiSiamese优于基线和最先进的算法,并且在严重不平衡的情况下有效,即使只有一小部分到达实例的标签可用。我们向社区公开发布我们的代码。
2022-10-03 cs.LG
Siamese based Neural Network for Offline Writer Identification on word level data
Indian Institute of Technology Guwahati(印度理工学院古瓦哈提分校)
手写体识别是文档理解和分析的理想属性之一。它关注的是区分作者的文件写作风格和特点。文本图像的多样性,特别是具有不同笔迹的图像,使得在数据很少的情况下学习好特征的过程变得困难。在本文中,我们提出了一种新的方案,以确定作者的文件的基础上输入的文字图像。我们的方法是文本无关的,不施加任何限制的输入图像的大小进行检查。首先,我们检测笔迹中的关键成分,并使用尺度不变特征变换(SIFT)提取它们周围的区域。这些补丁旨在捕获可能对单个作者唯一的单个书写特征(包括异体字、字符或字符组合)。然后,这些特征通过深度卷积神经网络(CNN),其中通过使用Siamese网络应用相似性学习的概念来学习权重。Siamese网络通过映射不同对输入图像之间的相似性来增强CNN的区分能力。使用稀疏PCA对提取的SIFT关键点在不同尺度上学习的特征进行编码,稀疏PCA的每个分量被分配一个显著性分数,该分数表示其在有效区分不同作者方面的显著性水平。最后,将与每个SIFT关键点相对应的加权稀疏PCA组合以获得每个作者的最终分类得分。该算法在两个公共数据库(即IAM和CVL)上进行了评估,并与其他基于深度学习的算法相比,能够取得令人满意的结果。
2022-11-17 cs.CV cs.LG
Siamese Residual Neural Network for Musical Shape Evaluation in Piano Performance Assessment
University of Strathclyde(斯特拉斯克莱德大学);Robert Gordon University(罗伯特戈登大学)
本文提出轻量级孪生残差神经网络(S-ResNN)将音乐形态评估视为分类问题,通过构建包含4116首乐曲的新数据集,验证了该方法在精确率、召回率和F1分数上显著优于多种基准方法。
2024-01-04 cs.LG cs.MM cs.SD
VISHIEN-MAAT: Scrollytelling visualization design for explaining Siamese Neural Network concept to non-technical users
Zhejiang University(浙江大学);Thammasat University(法政大学)
本研究提出一种基于scrollytelling的新型可视化设计,用于向非技术用户解释Siamese Neural Network概念,实验证明其比传统材料更能提升用户对机器学习概念的理解与知识获取。
2023-04-04 cs.HC cs.LG
An Analysis of Embedding Layers and Similarity Scores using Siamese Neural Networks
Columbia University(哥伦比亚大学)
本研究分析了OpenAI、PaLM和BERT等模型的embedding算法在医疗数据上的相似度得分,通过引入Siamese Neural Networks增强模型,并比较了各算法的准确度与碳排放量。
2023-12-31 cs.CL cs.LG
Impact of Data Breadth and Depth on Performance of Siamese Neural Network Model: Experiments with Three Keystroke Dynamic Datasets
Clarkson University(克拉克森大学);University of Virginia(弗吉尼亚大学);Georgia Tech(佐治亚理工学院);College of Computing, Georgia Tech(佐治亚理工学院计算学院)
本研究通过三个公开击键数据集实验,探究数据广度与深度对孪生神经网络性能的影响,发现增加广度可提升模型捕捉受试者间差异的能力,深度影响则依数据集类型而异,为行为生物识别模型训练和身份验证系统设计提供参考。
2025-01-10 cs.CV cs.LG stat.ML
Siamese Neural Network with Joint Bayesian Model Structure for Speaker Verification
National Institute of Information and Communications Technology(国立信息与通信技术研究所);Research Center for Information Technology Innovation, Academic Sinica(中央研究院资讯科技创新研究中心)
生成概率模型广泛应用于说话人确认。然而,生成模型缺乏区分特征选择能力。作为一种假设检验,SV可以被视为一个二元分类任务,它可以被设计为一个具有判别训练的暹罗神经网络(Siamese neural network,SiamNN)。然而,在大多数SiamNN的判别训练中,仅考虑了样本对距离的分布,而忽略了样本联合分布中的额外判别信息。在本文中,我们提出了一种新的SiamNN考虑联合分布的样本。首先基于基于联合贝叶斯(JB)的生成模型制定样本的联合分布,然后设计具有密集层的SiamNN来近似JB模型中使用的因子化仿射变换。通过用JB模型的学习模型参数初始化SiamNN,我们进一步用成对样本训练模型参数作为SV的二元判别任务。我们进行SV实验的数据语料库的扬声器在野外(SITW)和VoxCeleb。实验结果表明,我们提出的模型提高了性能,与最先进的SV模型相比,有很大的利润。
2021-04-07 cs.LG cs.SD eess.AS
Are You Convinced? Choosing the More Convincing Evidence with a Siamese Network
IBM Research(IBM研究院)
随着论点检测的进步,我们建议更多地关注识别更有说服力的论点这一具有挑战性的任务。能够以有益的方式与人类进行响应和互动的机器已经变得无处不在。我们现在期待他们与我们讨论我们世界上更微妙的问题,他们应该用有效的论点来武装自己。但是,是什么让一个论点更有说服力呢?什么能说服你?在本文中,我们提出了一个新的数据集,IBM-EviConv,对证据标记的说服力,旨在比现有的替代品更具挑战性。我们还提出了一个连体神经网络架构,表现出优于几个基线上的先前令人信服的数据集和我们自己的。最后,我们提供了我们的实验结果的见解和各种争论的价值,我们的方法是能够检测。
2019-07-23 cs.CL cs.LG stat.ML
A Bidirectional Siamese Recurrent Neural Network for Accurate Gait Recognition Using Body Landmarks
United International University(联合国际大学);Edinburgh Napier University(爱丁堡龙比亚大学);BRAC University(BRAC大学)
本文提出结合 Mediapipe 关键点、Procrustes 对齐与 Siamese biGRU-dualStack 的步态识别方法,并在四个跨视角数据集上验证其高准确率。
2024-12-05 cs.AI cs.CV cs.LG
CPMetric: Deep Siamese Networks for Learning Distances Between Structured Preferences
University of Padova(帕多瓦大学);Tulane University(杜兰大学);IBM Research(IBM研究院);IHMC(人类与机器认知研究所)
偏好是机器和人类决策的核心。在计算机科学和其他学科中,用偏好表示、学习和推理都是一个重要的研究领域。当使用偏好时,有必要理解和计算对象集之间的距离,例如,用户的偏好和要推荐的对象的描述。我们提出了CPDist,一种新的神经网络,以解决学习测量结构化偏好表示之间的距离的问题。我们使用流行的CP网络形式主义来表示偏好,然后利用深度神经网络来学习最近提出的一个度量函数,该函数在计算上很难直接计算。CPDist是一种基于深度连体网络的新型度量学习方法,它学习由紧凑偏好表示引起的偏序之间的Kendal Tau距离。我们发现,CPDist是能够学习的距离函数具有高精度和优于现有的近似算法的回归和分类任务,使用更少的计算时间。即使与解空间的维度相比,CPDist只使用少量样本进行训练,性能仍然很好,这表明网络泛化能力很好。
2019-06-20 cs.AI cs.LG stat.ML
SiamNAS: Siamese Surrogate Model for Dominance Relation Prediction in Multi-objective Neural Architecture Search
University of Nottingham(诺丁汉大学);University of Surrey(Surrey大学);Nanyang Technological University(南洋理工大学)
SiamNAS提出用Siamese网络集成代理模型预测架构间支配关系,以92%准确率替代拥挤距离计算,在NAS-Bench-201上以0.01 GPU天找到CIFAR-10最优和ImageNet次优架构,显著降低多目标NAS计算成本。
2025-06-03 cs.AI cs.CV cs.LG
Estimating Demand Flexibility Using Siamese LSTM Neural Networks
Tsinghua University(清华大学);University of Washington(华盛顿大学)
在现代电力系统中,有机会通过动态价格激励消费者来探索需求灵活性。在本文中,我们量化需求的灵活性,使用一个有效的工具,称为时变弹性,其值可能会发生变化,这取决于价格和决策动态。该工具对于评估需求响应潜力和系统可靠性特别有用。近年来的实证研究表明,在研究需求弹性时,出现了一些反常的现象,如价格上涨后的延迟反应和弹性消失等。现有的方法无法捕捉这些复杂的功能,因为他们严重依赖于一些预定义的(往往过于简化)回归表达式。相反,本文提出了一种无模型的方法来自动和准确地获得最佳的估计模式。我们进一步开发了一个两阶段的估计过程与连体长短期记忆(LSTM)网络。在这里,一个LSTM网络对价格响应进行编码,而另一个网络估计随时间变化的弹性。在案例研究中,所提出的框架和模型进行了验证,以实现更高的整体估计精度和更好的描述各种异常特征相比,国家的最先进的方法。
2021-09-03 cs.LG cs.SY eess.SY
Dataset Condensation with Differentiable Siamese Augmentation
The University of Edinburgh(爱丁堡大学)
在许多机器学习问题中,大规模数据集已经成为训练最先进的深度网络的事实标准,但代价是沉重的计算负载。在本文中,我们专注于将大型训练集压缩成明显较小的合成集,这些合成集可用于从头开始训练深度神经网络,同时性能下降最小。从最近的训练集合成方法的启发,我们提出了微分暹罗增强,使有效地使用数据增强,以合成更多的信息合成图像,从而实现更好的性能时,训练网络与增强。在多个图像分类基准数据集上的实验表明,该方法在CIFAR10和CIFAR100数据集上取得了7%的改进,比现有方法有很大的提高.我们表明,只有不到1%的数据,我们的方法达到99.6%,94.9%,88.5%,71.5%的相对性能MNIST,时尚MNIST,SVHN,CIFAR10分别。我们还探索了我们的方法在持续学习和神经结构搜索中的应用,并显示出令人鼓舞的结果。
2021-06-10 cs.CV cs.LG
SiameseDuo++: Active Learning from Data Streams with Dual Augmented Siamese Networks
KIOS Research and Innovation Center of Excellence, University of Cyprus(塞浦路斯大学KIOS卓越研究与创新中心);Department of Electrical and Computer Engineering, University of Cyprus(塞浦路斯大学电气与计算机工程系)
本文提出SiameseDuo++方法,通过潜在空间中的双重增强孪生网络与主动学习策略,在有限内存和标注预算下实现高效数据流学习,实验证明其优于现有方法。
2025-04-06 cs.LG
Improving Siamese Networks for One Shot Learning using Kernel Based Activation functions
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
缺乏大量的训练数据一直是机器学习中解决许多问题的制约因素,这使得One Shot Learning成为机器学习中最有趣的想法之一。它旨在从一个或仅几个训练样本中学习有关对象类别的信息。在深度学习中,这个学习过程通常是通过适当的目标函数(即损失函数)和嵌入提取(即架构)来完成的。在本文中,我们讨论了基于度量的深度学习架构,用于一次性学习,如Siamese神经网络,并提出了一种使用Kafnets(用于神经网络的基于内核的非参数激活函数)通过学习具有相对较少的epoch数的适当嵌入来提高其准确性的方法。使用内核激活函数,我们能够获得强有力的结果,在嵌入结构、收敛损失和准确性方面超过了基于ReLU的深度学习模型。
2019-10-22 cs.CV cs.LG
Siamese x-vector reconstruction for domain adapted speaker recognition
IBM Research AI(IBM研究院人工智能部门)
随着语音激活应用的兴起,对说话人识别的需求正在迅速增加。x向量是一种基于深度神经网络(DNN)的嵌入方法,当适当的端到端训练不可行时,它被认为是最先进的。然而,当记录条件(噪声、采样率等)在x向量训练数据和目标数据之间或者在登记和测试数据之间是不匹配的。我们介绍了Siamese x向量重建(SVR)域自适应。我们使用精益辅助Siamese DNN从较低质量的对应物中重建较高质量信号的嵌入。我们评估我们的方法在几个不匹配的情况下,并证明了显着的改善基线。
2020-07-28 cs.LG cs.SD eess.AS
From One Attack Domain to Another: Contrastive Transfer Learning with Siamese Networks for APT Detection
New York University, NYUAD, Division of Science.(纽约大学、NYUAD科学学院)
本文提出基于Siamese网络和对比学习的混合迁移框架,通过注意力自编码器和SHAP特征选择提升APT检测的跨域泛化能力与可解释性。
2025-11-25 cs.AI cs.CR cs.LG
Predicting Brain Degeneration with a Multimodal Siamese Neural Network
LaRochelle University(拉罗谢尔大学);Bordeaux University(波尔多大学);Poitiers University(普瓦捷大学)
为了研究神经退行性疾病,对志愿者患者进行了纵向研究。在几个月到几年的时间里,他们定期进行医疗访问,从不同的方式获取数据,如生物样本,认知测试,结构和功能成像。这些变量是异质的,但它们都取决于患者的健康状况,这意味着所有模态之间可能存在未知的关系。一些信息可能是特定于某些模式的,其他信息可能是补充性的,而其他信息可能是多余的。有些数据也可能丢失。在这项工作中,我们提出了一个多模态学习的神经网络架构,能够使用两个时间点的成像和临床数据来预测神经退行性疾病的演变,并对缺失值具有鲁棒性。我们的多模态网络在57个受试者的测试集上实现了92.5%的准确率和0.978的AUC得分。我们还显示了多模态架构的优越性,与仅使用临床模态的模型相比,测试集受试者的临床测量中缺失值高达37.5%。
2020-11-02 cs.CV cs.LG eess.IV
Hybrid Style Siamese Network: Incorporating style loss in complementary apparels retrieval
随着图像检索技术的不断发展,图像检索已经成为时尚电子商务生态系统中不可或缺的一部分。除了视觉相似项的检索外,视觉相容项或互补项的检索也是视觉相似项检索的一个重要方面,普通的连体网络在互补项检索中表现得很好。但它不能识别低层次的风格特征,使项目在人类的眼睛兼容。这些低层次的风格特征在很大程度上被神经风格迁移中使用的技术所捕获。本文提出了一种机制,利用这些方法在这个检索任务,并通过一个混合连体网络加上混合损失捕获低层次的风格特征。实验结果表明,该方法优于传统的连体网络检索任务的互补项目。
2020-06-09 cs.CV cs.LG cs.MM
Fully Convolutional Siamese Networks for Change Detection
ONERA(法国航空航天研究院)
本文提出了三个完全卷积神经网络架构,使用一对配准图像进行变化检测。最值得注意的是,我们提出了完全卷积网络的两个连体扩展,它们使用关于当前问题的算法,以在我们使用RGB和多光谱图像对两个开放变化检测数据集进行的测试中获得最佳结果。我们表明,我们的系统能够从头开始学习使用注释的变化检测图像。我们的架构比以前提出的方法实现了更好的性能,同时比相关系统快至少500倍。这项工作是朝着有效处理哥白尼或大地卫星等大规模地球观测系统的数据迈出的一步。
2018-10-19 cs.CV cs.LG
A Classification-Based Approach to Semi-Supervised Clustering with Pairwise Constraints
Jagiellonian University(雅盖隆大学);Instituto de Telecomunicações(电信研究所);Instituto Superior Técnico(高等技术学院);Universidade de Lisboa(里斯本大学)
在本文中,我们介绍了一个神经网络框架的半监督聚类(SSC)与成对(必须链接或不能链接)的限制。与现有方法相比,我们将SSC分解为两个更简单的分类任务/阶段:第一阶段使用一对连体神经网络将未标记的点对标记为必须链接或不能链接;第二阶段使用第一阶段在基于监督神经网络的聚类方法中产生的完全成对标记的数据集。所提出的方法S3 C2(用于聚类的半监督连体分类器)的动机是观察到二元分类(例如分配成对关系)通常比部分监督的多类聚类更容易。另一方面,基于分类,我们的方法只解决了定义明确的分类问题,而不是不太明确的聚类任务。在各种数据集上的实验表明了该方法的高性能。
2020-01-18 cs.LG stat.ML