Matching Text and Audio Embeddings: Exploring Transfer-learning Strategies for Language-based Audio Retrieval
Huawei Technologies（华为技术有限公司）；Universitat Pompeu Fabra（庞培法布拉大学）
我们对用于跨模态（文本到音频）检索的大规模预训练深度学习模型进行了分析。我们使用这些模型在度量学习框架中提取的嵌入来连接匹配的音频和文本对。浅层神经网络将嵌入映射到一个共同的维度。我们的系统，这是我们提交的DCASE挑战赛2022年的基于存储的音频检索任务的扩展，采用了RoBERTa基础模型作为文本嵌入提取器。预训练的PANN模型提取音频嵌入。为了提高我们模型的泛化能力，我们研究了从在线平台Freesound收集的音频和相关噪声文本的预训练如何提高我们方法的性能。此外，我们的消融研究表明，正确选择的损失函数和微调预训练模型是必不可少的训练竞争检索系统。
2022-10-06 cs.CL cs.IR cs.LG
Few-Shot Classification of Skin Lesions from Dermoscopic Images by Meta-Learning Representative Embeddings
Sri Sivasubramaniya Nadar College of Engineering（斯里西瓦苏布拉马尼亚·纳达尔工程学院）
用于诊断罕见和新型疾病的注释图像和地面实况非常罕见。考虑到受影响的患者人群数量较少且注释图像的临床专业知识有限，预计这将占上风。此外，皮肤病变和其他疾病分类数据集中频繁出现的长尾类分布导致传统的训练方法由于有偏见的类先验而导致泛化能力差。少样本学习和一般的元学习旨在通过在低数据状态下表现良好来克服这些问题。本文主要研究改进皮肤镜图像分类的元学习方法。具体来说，我们提出了一种基于元训练集的基线监督方法，该方法允许网络学习图像的高度代表性和可概括性的特征嵌入，这些特征嵌入很容易转移到新的少样本学习任务中。我们遵循文献中的一些先前的工作，这些工作证明了具有代表性的特征嵌入可以比复杂的Meta学习算法更有效。我们从经验上证明了所提出的元训练方法对皮肤镜图像学习嵌入的有效性，并表明即使是在这些表示上训练的简单线性分类器也足以胜过一些常用的元学习方法。
2022-10-30 cs.AI cs.CV cs.LG
Neural i-vectors
University of Eastern Finland（东芬兰大学）；NEC Corporation（日本电气股份有限公司）
在最近的说话人验证评估中，深度说话人嵌入已被证明优于其生成对应物i向量。为了结合高性能和生成解释的优点，我们连续研究了深度嵌入提取器和i向量提取器的使用。为了将深度嵌入提取器与i向量提取器捆绑在一起，我们采用了受高斯混合模型（GMM）启发的聚合层来嵌入提取器网络。包含GMM类层允许区分训练的网络用作i向量提取器的足够统计数据的提供者，以提取我们称为神经i向量的内容。我们将深度嵌入与野生扬声器（SITW）和说话人识别评估（SRE）2018和2019数据集上的拟议神经i向量进行了比较。在SITW的核心-核心条件下，我们的深度嵌入获得了与最先进的性能相当的性能。神经i向量的性能比深度嵌入差约50%，但另一方面，明显优于文献中报道的先前i向量方法。
2020-04-18 cs.LG eess.AS
A Comparative Re-Assessment of Feature Extractors for Deep Speaker Embeddings
University of Eastern Finland（东芬兰大学）；CNRS（法国国家科学研究中心）；Inria（法国国家信息与自动化研究所）
现代自动说话人验证在很大程度上依赖于在梅尔频率倒谱系数（MFCC）特征上训练的深度神经网络（DNN）。虽然有基于相位，韵律和长期时间操作的替代特征提取方法，但它们尚未被基于DNN的方法广泛研究。我们的目标是通过对VoxCeleb和SITW数据集上的14个特征提取器进行广泛的重新评估来填补这一空白。我们的研究结果表明，配备频谱质心，群延迟函数和综合噪声抑制等技术的功能为深层说话人嵌入提取提供了有前途的替代方案。实验结果表明，等错误率（EER）相对于基线降低了16.3%（VoxCeleb）和25.1%（SITW）。
2020-07-30 cs.LG cs.SD eess.AS
Adversarial Deep Network Embedding for Cross-network Node Classification
The Hong Kong Polytechnic University（香港理工大学）；University of Electronic Science and Technology of China（电子科技大学）
本文研究了跨网络节点分类问题，即利用源网络中丰富的标记节点来帮助目标网络中未标记节点进行分类。现有的领域自适应算法普遍未能对网络结构信息进行建模，现有的网络嵌入模型主要针对单网络应用。因此，它们都不能直接应用于解决跨网络节点分类问题。这促使我们提出一种对抗性跨网络深度网络嵌入（ACDNE）模型，将对抗性领域自适应与深度网络嵌入相结合，以学习网络不变的节点表示，同时也可以很好地保留网络结构信息。在ACDNE中，深度网络嵌入模块利用两个特征提取器来联合保持节点之间的属性亲和性和拓扑邻近性。此外，一个节点分类器被纳入节点表示标签歧视。此外，对抗领域自适应技术，使节点表示网络不变。大量的实验结果表明，所提出的ACDNE模型在跨网络节点分类方面达到了最先进的性能。
2020-02-18 cs.LG cs.SI
Clustering and novel class recognition: evaluating bioacoustic deep learning feature extractors
Tilburg University（蒂尔堡大学）；Naturalis Biodiversity Center（自然is生物多样性中心）
本文通过聚类和kNN分类分析15个生物声学模型的特征提取器生成的嵌入，以评估模型在训练类别之外的适应性与泛化潜力。
2025-04-09 cs.LG
TCNL: Transparent and Controllable Network Learning Via Embedding Human-Guided Concepts
Beijing University of Posts and Telecommunications（北京邮电大学）
解释深度学习模型对于理解人工智能系统、提高安全性和评估公平性至关重要。为了更好地理解和控制CNN模型，已经提出了许多用于可解释性的方法。然而，这些作品中的大多数对于人类的理解来说不太直观，并且对CNN模型的人类控制不足。我们提出了一种新的方法，透明和可控的网络学习（TCNL），以克服这些挑战。为了提高分类的可解释性，TCNL通过对人类直觉的科学研究，为特定的分类任务定义了一些概念，并将概念信息融入到CNN模型中。在TCNL中，浅层特征提取器首先获得初步特征。然后在浅层特征提取器之后建立多个概念特征提取器来学习高维概念表示。鼓励概念特征提取器对与预定义概念相关的信息进行编码。我们还构建了概念映射器，以直观的方式可视化概念提取器提取的特征。TCNL提供了一种可推广的方法来实现可解释性。研究人员可以定义与某些分类任务相对应的概念，并鼓励模型编码特定的概念信息，这在一定程度上提高了CNN模型的可解释性和可控性。我们实验的数据集（包含概念集）也将发布（https：//github.com/bupt-ai-cz/TCNL）。
2022-11-22 cs.AI cs.LG
You Only Need a Good Embeddings Extractor to Fix Spurious Correlations
Meta AI
训练数据中的虚假相关性通常会导致鲁棒性问题，因为模型会将其用作捷径。例如，当预测一个对象是否是一头牛时，模型可能会学习依赖于它的绿色背景，所以它在沙质背景上的牛上表现不佳。用于衡量缓解此问题的方法的最新技术水平的标准数据集是水鸟。最好的方法（Group Distributionally Robust Optimization - GroupDRO）目前达到了89%的最差组准确率，而原始图像上从头开始的标准训练只能达到72%。GroupDRO要求以端到端的方式使用子组标签训练模型。在本文中，我们证明了我们可以在不使用训练集中任何子组信息的情况下，通过简单地使用来自大型预训练视觉模型提取器的嵌入并在其上训练线性分类器来实现高达90%的准确率。通过在广泛的预训练模型和预训练数据集上的实验，我们证明了预训练模型的容量和预训练数据集的大小很重要。我们的实验表明，与高容量卷积神经网络相比，高容量视觉Transformer的性能更好，并且更大的预训练数据集导致虚假相关数据集上更好的最差组准确度。
2022-12-12 cs.CV cs.LG
The Phonexia VoxCeleb Speaker Recognition Challenge 2021 System Description
Phonexia s.r.o（Phonexia有限公司）
我们描述了Phonexia提交的VoxCeleb Speaker Recognition Challenge 2021（VoxSRC-21）的无监督说话人验证轨道。我们的解决方案与IDLab为VoxSRC-20提交的获奖作品非常相似。嵌入提取器使用动量对比学习自举，输入增强作为唯一的监督来源。随后进行多次聚类迭代，以分配伪说话人标签，然后用于监督嵌入提取器训练。最后，通过对五个不同嵌入提取器的zt归一化余弦分数进行平均来进行分数融合。我们还简要描述了不成功的解决方案，涉及i向量而不是DNN嵌入和PLDA而不是余弦评分。
2021-09-08 cs.LG cs.SD eess.AS
Privacy-Preserving Collaborative Learning through Feature Extraction
NYU Tandon School of Engineering（纽约大学坦登工程学院）
我们提出了一个框架，其中多个实体合作建立一个机器学习模型，同时保护他们的数据的隐私。该方法利用来自共享/每个实体特征提取器的特征嵌入，将数据转换为实体之间合作的特征空间。我们提出了两种具体的方法，并将它们与基线方法进行比较。在共享特征提取器（SFE）学习中，实体使用共享特征提取器来计算样本的特征嵌入。在局部训练特征提取器（LTFE）学习中，每个实体使用单独的特征提取器，并且使用来自所有实体的级联特征来训练模型。作为基线，在协同训练的特征提取器（CTFE）学习中，实体通过共享原始数据来训练模型。安全多方算法被用于训练模型，而不会以纯文本形式泄露数据或特征。我们调查SFE，LTFE和CTFE之间的权衡性能，隐私泄漏（使用现成的成员推断攻击），和计算成本。LTFE提供了最多的隐私，其次是SFE，然后是CTFE。SFE的计算成本最低，CTFE和LTFE的相对速度取决于网络架构。CTFE和LTFE提供最佳精度。我们使用MNIST，合成数据集，和信用卡欺诈检测数据集进行评估。
2022-12-13 cs.CR cs.LG
Unleashing the Unused Potential of I-Vectors Enabled by GPU Acceleration
NEC Corporation（日本电气股份有限公司）；University of Eastern Finland（东芬兰大学）
说话人嵌入是连续值向量表示，允许使用简单的几何运算轻松比较说话人的声音。其中，i-vector和x-vector已经成为说话人嵌入的主流方法。在本文中，我们说明了使用现代计算平台来利用GPU加速的好处来提取i向量。特别是，与实时的相比，我们在帧后验计算中实现了3000倍的加速，并且与Kaldi工具包的CPU基线相比，在训练i向量提取器中实现了25倍的加速。这种显著的加速允许探索迄今为止不可能的想法。特别是，我们表明，它是有益的，以更新通用背景模型（UBM）和重新计算帧对齐，同时训练的i向量提取器。此外，我们能够比以前更严格地研究i-vector提取器的不同变体。在这个过程中，我们揭示了Kaldi的i向量提取器的一些未记录的细节，并表明它优于标准制定的利润率为1至2%时，测试与VoxCeleb扬声器验证协议。我们所有的发现都是通过对随机开始的多个运行的结果进行总体平均来断言的。
2019-06-20 cs.LG cs.SD eess.AS
DT-SV: A Transformer-based Time-domain Approach for Speaker Verification
Ping An Technology (Shenzhen) Co., Ltd.（平安科技（深圳）有限公司）
说话人确认的目的是确定测试语音中说话人的身份是否与参考语音相同。在过去的几年里，使用深度神经网络为SV系统提取说话人嵌入已经成为主流。近年来，不同的注意机制和Transformer网络在SV领域得到了广泛的研究。然而，直接在SV中使用原始的Transformer可能会在输出特征上产生帧级信息浪费，这可能会导致说话人嵌入容量和区分度的限制。因此，我们提出了一种方法来获得话语级说话人嵌入通过Transformer架构，使用一种新的损失函数命名为分流损失集成不同的Transformer层的特征信息。其中，分流损失旨在将帧级特征聚合到话语级表示中，并且可以方便地集成到Transformer中。此外，我们还介绍了一种可学习的mel-fbank能量特征提取器，称为时域特征提取器，它比标准mel-fbank提取器更精确，更有效地计算mel-fbank特征。结合分流损失和时域特征提取器，提出了一种新的基于变换器的时域SV模型（DT-SV），具有更快的训练速度和更高的精度。实验结果表明，我们提出的模型可以实现更好的性能与其他模型相比。
2022-05-26 cs.LG cs.SD eess.AS
HTMformer: Hybrid Time and Multivariate Transformer for Time Series Forecasting
Northwestern Polytechnical University（北华理工大学）；MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University（人工智能教育部重点实验室，上海交通大学AI研究院）；Ningbo Institute of Digital Twin, Eastern Institute of Technology（宁波数字孪生研究所，东部技术研究所）；Ningbo Key Laboratory of Spatial Intelligence and Digital Derivative（宁波空间智能与数字衍生关键实验室）
HTMformer通过混合时间与多变量嵌入提升时间序列预测的准确性和效率
2025-12-15 cs.AI cs.LG
GlideNet: Global, Local and Intrinsic based Dense Embedding NETwork for Multi-category Attributes Prediction
The Pennsylvania State University（宾夕法尼亚州立大学）；Scale AI（Scale AI公司）
将属性（如颜色、形状、状态、动作）附加到对象类别是一个重要的计算机视觉问题。属性预测最近取得了令人兴奋的进展，并且通常被公式化为多标签分类问题。然而，仍然存在重大挑战：1）预测多个类别上的不同属性，2）建模属性-类别依赖性，3）捕获全局和局部场景上下文，以及4）预测具有低像素数的对象的属性。为了解决这些问题，我们提出了一种新的多类别属性预测深度架构GlideNet，它包含三个不同的特征提取器。全局特征提取器识别场景中存在哪些对象，而局部特征提取器则专注于感兴趣对象周围的区域。同时，内在特征提取器使用标准卷积的扩展（称为Informed Convolution）来检索低像素数对象的特征。GlideNet使用二进制掩码的门控机制及其自学的类别嵌入来组合密集嵌入。总体上，全局-局部-内在块理解场景的全局上下文，同时关注感兴趣的局部对象的特性。最后，使用组合的特征，解释器预测属性，并且输出的长度由类别确定，从而去除不必要的属性。GlideNet可以在两个最近的具有挑战性的数据集上取得令人信服的结果- VAW和CAR -用于大规模属性预测。例如，它在平均召回率（mR）度量方面获得了超过5%的增益。GlideNet的优势在预测低像素对象的属性以及需要全局上下文理解的属性时尤为明显。最后，我们证明了GlideNet在训练饥饿的现实世界场景中表现出色。
2022-03-14 cs.CV cs.LG
Learning to Warm-Start Bayesian Hyperparameter Optimization
Pohang University of Science and Technology（浦项科技大学）；AITRICS
超参数优化旨在找到机器学习模型的最佳超参数配置，该配置在验证数据集上提供最佳性能。人工搜索通常会导致陷入局部超参数配置，并且严重依赖于人类的直觉和经验。手动搜索的一个简单替代方案是在超参数空间上进行随机/网格搜索，为了找到最佳配置，仍然需要对验证错误进行广泛的评估。作为黑盒函数的全局优化方法的贝叶斯优化现在流行于超参数优化，因为与随机/网格搜索相比，它大大减少了所需的验证误差评估的数量。贝叶斯优化通常在没有任何先验知识的情况下从随机初始化中找到最佳超参数配置。这促使我们让贝叶斯优化从在类似数据集上成功的配置开始，这能够显着减少评估的数量。在本文中，我们提出了深度度量学习来学习数据集上的元特征，以便通过相关元特征之间的欧氏距离有效地测量它们之间的相似性。为此，我们引入了一个由深度特征和元特征提取器组成的Siamese网络，其中深度特征提取器提供数据集中每个实例的语义表示，元特征提取器聚合一组深度特征以在数据集上编码单个表示。然后，我们学习的元特征用于选择与新数据集相似的几个数据集，以便采用相似数据集中的超参数作为初始化来热启动贝叶斯超参数优化。
2018-10-31 cs.LG stat.ML
Pre-trained Forecasting Models: Strong Zero-Shot Feature Extractors for Time Series Classification
NXAI GmbH（NXAI公司）；ELLIS Unit, LIT AI Lab, Institute for Machine Learning, JKU Linz（ELLIS单位、LIT AI实验室、机器学习研究所）；Interdisciplinary Transformation University Austria（跨学科转型大学奥地利）
最近对时间序列基础模型的研究主要集中在预测上，因此不清楚它们的学习表示的可推广性。在这项研究中，我们研究了冻结的预训练预测模型是否可以提供有效的分类表示。为此，我们比较了不同的表示提取策略，并介绍了两个模型无关的嵌入增强。我们的实验表明，最好的预测模型实现的分类准确度与专门为分类而预先训练的最先进的模型相匹配，甚至超过。此外，我们观察到预测和分类性能之间的正相关性。这些发现挑战了特定任务的预训练是必要的假设，并建议学习预测可能提供了一个强大的路径构建通用的时间序列基础模型。
2025-10-30 cs.LG
Design Rule Checking with a CNN Based Feature Extractor
North Carolina State University（北卡罗来纳州立大学）
在先进的节点技术中，设计规则检查（DRC）变得越来越复杂。非常希望有一个可以在布局期间使用的快速交互式DRC引擎。在这项工作中，我们建立了这种发动机的可行性证明。该模型由一个卷积神经网络（CNN）训练，以检测DRC违规。该模型是用从一组$50$ SRAM设计中获得的人工数据训练的。这次演示的重点是metal 1规则。使用这种解决方案，我们可以检测多个DRC违规比布尔检查器快32倍，准确度高达92。所提出的解决方案可以很容易地扩展到一个完整的规则集。
2020-12-21 cs.LG
Improving Multi-Scale Aggregation Using Feature Pyramid Module for Robust Speaker Verification of Variable-Duration Utterances
KAIST（韩国科学技术院）
目前，最广泛使用的说话人验证方法是深度说话人嵌入学习。在这种方法中，我们通过池化从说话人特征提取器的最后一层提取的单尺度特征来获得说话人嵌入向量。多尺度聚合（MSA），它利用多尺度的特征提取器的不同层的功能，最近被引入，并显示出优越的性能为可变持续时间的话语。为了提高对任意时长语音的鲁棒性，本文通过引入特征金字塔模块对MSA进行了改进。该模块通过自上而下的路径和横向连接增强了多个层的特征的说话人区分信息。我们提取说话人嵌入使用的增强功能，包含丰富的说话人信息与不同的时间尺度。在VoxCeleb数据集上的实验表明，该模块以较少的参数改进了以往的MSA方法。它还实现了更好的性能比国家的最先进的方法为短和长的话语。
2020-08-06 cs.CL cs.LG cs.SD
Routing Without Embeddings: Fast And Interpretable Routing With Regular Expressions
Rice University（莱斯大学）
本文提出REGEXROUTE，利用稀疏自编码器发现可解释的正则表达式特征，替代神经编码实现快速可解释的LLM路由，在四个基准上达到与强基线相当的准确率。
2026-09-29 cs.LG
TimeNet: Pre-trained deep recurrent neural network for time series classification
TCS Research（TCS研究院）
受深度卷积神经网络作为图像通用特征提取器的巨大成功的启发，我们提出了TimeNet：一种深度循环神经网络（RNN），以无监督的方式在不同的时间序列上训练，使用序列到序列（seq2seq）模型从时间序列中提取特征。TimeNet不依赖于问题域的数据，而是试图通过同时从多个域提取时间序列来概括跨域的时间序列表示。一旦经过训练，TimeNet可以用作时间序列的通用现成特征提取器。由预先训练的时间网给出的表示或嵌入被发现对时间序列分类（TSC）有用。对于来自UCR TSC Archive的几个公开可用的数据集和来自车辆的工业远程信息处理传感器数据，我们观察到通过TimeNet嵌入学习的分类器与（i）通过特定于域的RNN给出的嵌入学习的分类器以及（ii）基于动态时间规整的最近邻分类器相比，性能明显更好。
2017-06-23 cs.LG
Investigation of Different Calibration Methods for Deep Speaker Embedding based Verification Systems
ITMO University（ITMO大学）；STC-innovations Ltd.（STC-innovations有限公司）
深度说话人嵌入提取器已经成为说话人验证领域的新的最先进的系统。然而，这种系统的验证分数校准的问题往往仍然是焦点。一个不相关的分数校准导致严重的问题，特别是在未知的声学条件的情况下，即使我们使用一个强大的扬声器验证系统在无阈值的指标。本文对几种分数校准方法进行了研究：基于逻辑回归模型的经典方法;最近提出的幅度估计网络MagnetO，其使用来自训练的深度说话人提取器的池化层的激活，以及基于单独的尺度和偏移预测神经网络的这种方法的推广。本研究的另一个重点是估计分数归一化对系统校准性能的影响。所得结果表明，有没有严重的问题，如果在域开发数据用于校准调谐。否则，在良好的校准性能和无阈值的系统质量之间的权衡出现。在大多数情况下，使用自适应s-范数有助于稳定分数分布并提高系统性能。同时，一些实验表明，新的方法在几个数据集上的分数稳定有其局限性。
2022-03-28 cs.LG cs.SD eess.AS
DIRECT: Deep Discriminative Embedding for Clustering of LIGO Data
Northwestern University（西北大学）；University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Center for Interdisciplinary Exploration and Research in Astrophysics（天体物理学跨学科探索与研究中心）
本文利用深度神经网络在估计非线性函数方面的强大能力，提出了一种判别嵌入函数，作为聚类任务的特征提取器。经过训练的嵌入函数将知识从标记的一组形态上不同的图像（称为类）的域转移到一个新的域，在该域中可以潜在地隔离和识别新的类。我们在本文中的目标应用是重力间谍项目，这是一个努力来表征瞬态，非高斯噪声存在于数据中的高级激光干涉仪引力波天文台，或LIGO。积累大量标记的噪声特征集并识别新的噪声类别可以更好地理解它们的起源，这使得它们可以从数据和/或检测器中去除。
2018-05-07 cs.LG stat.ML
Learning Meta Word Embeddings by Unsupervised Weighted Concatenation of Source Embeddings
University of Liverpool（利物浦大学）；Amazon（亚马逊）
给定使用不同算法和词汇资源学习的多个源词嵌入，Meta词嵌入学习方法试图学习更准确和覆盖范围更广的词嵌入。先前关于元嵌入的工作一再发现，源嵌入的简单向量级联是一个有竞争力的基线。然而，目前还不清楚为什么以及何时简单的向量拼接可以产生准确的元嵌入。我们表明，加权级联可以看作是每个源嵌入和元嵌入之间的频谱匹配操作，最大限度地减少成对内积损失。在此理论分析之后，我们提出了两种\emph{unsupervised}方法来学习从给定的源嵌入集合创建元嵌入的最佳级联权重。在多个基准数据集上的实验结果表明，所提出的加权级联元嵌入方法优于先前提出的元嵌入学习方法。
2022-04-26 cs.AI cs.CL cs.LG
GTrans: Spatiotemporal Autoregressive Transformer with Graph Embeddings for Nowcasting Extreme Events
Indiana University Bloomington（印第安纳大学伯明顿分校）；University of Virginia（弗吉尼亚大学）
时空时间序列临近预报应该保持时间和空间动态，因为从模型生成的新序列尊重历史的协方差关系。传统的特征提取器是用深度卷积神经网络（CNN）构建的。然而，CNN模型对于可以用高维数组形成数据的类似图像的应用具有限制。相反，在社交网络、道路交通、物理和化学性质预测中的应用，其中数据特征可以用图的节点和边来组织。Transformer架构是一种新兴的预测模型方法，由于注意力机制的设计，带来了高精度和高效率。本文提出了一种时空模型，即GTrans，它将数据特征转换为图嵌入，并使用Transformer模型预测时间动态。根据我们的实验，我们证明了GTrans可以模拟空间和时间动态，并对数据集的极端事件进行临近预报。此外，在所有的实验中，GTrans可以实现最高的F1和F2分数在二进制类预测测试比基线模型。
2022-01-18 cs.AI cs.LG
Angular-Based Word Meta-Embedding Learning
University of Liverpool（利物浦大学）
近年来，将词嵌入集成以改进分布式词表示在自然语言处理任务中已经显示出良好的成功。这些方法要么对一组向量进行直接的数学运算，要么使用无监督学习来找到一个低维的表示。这项工作比较了针对不同损失训练的元嵌入，即考虑重建嵌入和目标之间的角距离的损失函数和考虑基于向量长度的归一化距离的损失函数。我们认为，元嵌入更好地在无监督学习中平等地对待系综集，因为在元嵌入之前，上游任务的每个嵌入的各自质量是未知的。我们发现，考虑到这一点的归一化方法，如余弦和KL发散目标，在\textit{defacto}单词相似性和相关性数据集上，优于在标准$\ell_1$和$\ell_2$损失上训练的元嵌入，并发现它优于现有的元学习策略。
2018-08-13 cs.CL cs.LG stat.ML
Gaussian meta-embeddings for efficient scoring of a heavy-tailed PLDA model
Nuance Communications（Nuance通信公司）；Brno University of Technology（布尔诺理工大学）；University of Nottingham（诺丁汉大学）；Omilia Conversational Intelligence（Omilia对话智能公司）
机器学习中的嵌入是复杂输入模式的低维表示，具有简单几何运算（如欧几里得距离和点积）可用于分类和比较任务的特性。所提出的元嵌入是存在于更一般的内积空间中的特殊嵌入。它们被设计成将不确定性传播到说话人识别和类似应用中的最终输出。熟悉的高斯PLDA模型（GPLDA）可以被重新公式化为高斯元嵌入（GME）的提取器，使得似然比分数由高斯似然函数之间的希尔伯特空间内积给出。GPLDA模型提取的GME具有固定的精度，不会传播不确定性。我们发现，一个推广到重尾PLDA给GME变量精度，传播不确定性。在NIST SRE 2010和2016上的实验表明，该方法应用于没有长度归一化的i向量比GPLDA应用于长度归一化的i向量的准确率高出20%。
2018-02-27 cs.CL cs.LG stat.ML
Learning Geometric Word Meta-Embeddings
Microsoft India（微软印度）
我们提出了一个几何框架学习元嵌入的话从不同的嵌入源。我们的框架将嵌入转换为一个共同的潜在空间，例如，简单的平均不同的嵌入（一个给定的词）是更顺从的。所提出的潜在空间产生于两个特定的几何变换-正交旋转和马氏度量缩放。几个词相似度和词类比基准的实证结果说明了所提出的框架的有效性。
2020-04-20 cs.CL cs.LG stat.ML
Joint Embedding of Meta-Path and Meta-Graph for Heterogeneous Information Networks
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Cornell University（康奈尔大学）；The University of Hong Kong（香港大学）；Facebook（脸书）
元图是目前异构信息网络相似性搜索最有效的工具，元图是一组元路径的组合，它捕捉了复杂的结构信息。然而，目前基于元图的相关性计算只考虑了复杂的结构信息，而忽略了其嵌入的元路径信息。为了解决这个问题，我们提出了基于MEta-GrAph的网络嵌入模型，分别称为MEGA和MEGA++。MEGA模型同时使用从元图及其嵌入的节点之间的元路径导出的归一化相关性或相似性度量，然后利用张量分解方法执行节点嵌入。MEGA++进一步利用耦合张量矩阵分解方法获得节点的联合嵌入，同时考虑了元图所有Meta信息的隐藏关系，在两个真实数据集上的大量实验表明MEGA和MEGA++比现有方法更有效.
2018-09-11 cs.LG cs.SI stat.ML
A Survey on Word Meta-Embedding Learning
University of Liverpool（利物浦大学）；Amazon（亚马逊）
元嵌入（ME）学习是一种新兴的方法，其试图在给定现有（源）词嵌入作为唯一输入的情况下学习更准确的词嵌入。由于ME学习能够以紧凑的方式整合来自多个源嵌入的语义，并且具有卓越的性能，因此ME学习在NLP从业者中很受欢迎。据我们所知，目前还没有关于ME学习的系统调查，本文试图填补这一需求。我们根据多个因素对ME学习方法进行分类，例如它们是否（a）在静态或上下文嵌入上操作，（b）以无监督的方式训练或（c）针对特定任务/域进行微调。此外，我们还讨论了现有ME学习方法的局限性，并强调了未来潜在的研究方向。
2022-04-25 cs.AI cs.CL cs.LG
Meta-Embeddings for Natural Language Inference and Semantic Similarity tasks
单词表示是几乎所有高级自然语言处理（NLP）应用程序（如文本挖掘，问答和文本摘要等）的核心组件。在过去的二十年中，人们进行了大量的研究，以提出一个单一的模型来解决所有主要的NLP任务。目前的主要问题是，不同的NLP任务有太多的选择。因此，对于NLP从业者来说，选择正确的模型本身就成了一个挑战。因此，结合多个预训练的词嵌入并形成Meta嵌入已成为改进处理NLP任务的可行方法。Meta嵌入学习是从给定的一组预先训练的输入词嵌入中产生单个词嵌入的过程。在本文中，我们建议使用来自少数最先进（SOTA）模型的Meta Embedding来有效地处理主流NLP任务，如分类，语义相关性和文本相似性。我们比较了集成和动态变量，以确定一个有效的方法。所获得的结果表明，即使是最好的国家的最先进的模型可以更好。从而向我们展示了元嵌入可以通过利用几个单独表示的力量来用于几个NLP任务。
2020-12-01 cs.AI cs.CL cs.IR
Think Globally, Embed Locally --- Locally Linear Meta-embedding of Words
The University of Liverpool（利物浦大学）；Japan Advanced Institute of Science and Technology（日本先进科学技术大学）；National Institute of Informatics（日本国立信息学研究所）；Japan Science and Technology Agency, ERATO, Kawarabayashi Large Graph Project（日本科学技术振兴机构 ERATO 河原林大型图项目）
分布式词嵌入在许多自然语言处理（NLP）任务中表现出优越的性能。然而，它们的表现在不同的任务中有很大差异，这意味着通过这些方法学习的词嵌入捕捉了词汇语义的互补方面。因此，我们认为，重要的是要结合现有的词嵌入，以产生更准确和完整的\emph{meta-embeddings}的话。为此，我们提出了一种无监督的局部线性元嵌入学习方法，该方法将预训练的词嵌入作为输入，并产生更准确的Meta嵌入。与先前提出的元嵌入学习方法不同，该方法学习词汇表中所有单词的全局投影，我们提出的方法对单个源词嵌入的局部邻域的差异敏感。此外，我们表明，矢量拼接，以前提出的高度竞争力的基线方法集成词嵌入，可以作为一个特殊的情况下，所提出的方法。在语义相似度、词类比、关系分类和短文本分类任务上的实验结果表明，我们的元嵌入在几个基准数据集上的性能明显优于现有方法，为元嵌入建立了一个新的艺术状态。
2017-09-19 cs.CL cs.LG cs.NE
Meta-Graph Based HIN Spectral Embedding: Methods, Analyses, and Insights
University of Illinois, Urbana Champaign（伊利诺伊大学厄巴纳-香槟分校）
在这项工作中，我们建议研究不同的元图的效用，以及如何同时利用多个元图以无监督的方式进行HIN嵌入。基于对同构网络，特别是谱图理论的大量研究，本文首先对多个异构网络上不同元图的谱和嵌入质量进行了系统的实证研究，提出了一种有效的元图评价方法.它还有助于我们获得有价值的洞察高阶组织的HIN，并指出了一个实用的方法来选择有用的嵌入维。此外，我们探讨了通过数学几何推理组合多个元图来捕获HIN中的多维语义的挑战，并得出了具有$\ell_{2,1}$ -损失的自编码器的嵌入压缩方法，该方法以端到端的无监督方式找到信息量最大的元图和嵌入。最后，实证分析提出了一个统一的工作流程，以缩小我们的元图评估和组合方法之间的差距。据我们所知，这是第一个研究工作，提供丰富的理论和实证分析的效用元图及其组合，特别是关于HIN嵌入。与各种最先进的基于神经网络的嵌入方法在多个真实世界的HIN上进行了广泛的实验比较，证明了我们的框架在寻找有用的元图和生成高质量的HIN嵌入方面的有效性和效率。
2019-09-29 cs.LG cs.SI
FAME: Feature-Based Adversarial Meta-Embeddings for Robust Input Representations
Bosch Center for Artificial Intelligence（博世人工智能中心）；Saarland University（萨尔大学）
组合几个嵌入通常会提高下游任务的性能，因为不同的嵌入编码不同的信息。已经表明，即使使用来自Transformers的嵌入的模型仍然受益于包含标准词嵌入。然而，不同类型和维度的嵌入的组合具有挑战性。作为基于注意力的元嵌入的替代方案，我们提出了基于特征的对抗性元嵌入（FAME），其注意力函数由反映单词特定属性（如形状和频率）的特征指导，并表明这有利于处理基于子词的嵌入。此外，FAME使用对抗训练来优化不同大小的嵌入到同一空间的映射。我们证明，FAME有效地跨语言和领域的序列标签和句子分类，特别是在低资源设置。FAME为27种语言的词性标注、各种NER设置和不同领域的问题分类提供了新的技术水平。
2021-10-29 cs.CL cs.LG
Meta-Embedding as Auxiliary Task Regularization
University of Liverpool（利物浦大学）
词嵌入已被证明受益于对多个词嵌入源进行采样，通常使用词向量集上的直接数学运算来执行。最近，自监督学习已被用于寻找低维表示，其大小类似于集合中的单个词嵌入。然而，这些方法不使用通常仅用于评估目的的可用手动标记的数据集。我们建议重建一个整体的词嵌入作为一个辅助任务，regularises一个主要的任务，而这两个任务共享学习元嵌入层。我们进行内在评估（6个单词相似度数据集和3个类比数据集）和外在评估（4个下游任务）。对于内在任务评估，监督来自各种标记的单词相似性数据集。我们的实验结果表明，与自监督学习方法相比，所有单词相似度数据集的性能都有所提高，Spearman相关性平均增加了$11.33$。具体而言，该方法显示出最好的性能在4的6个字相似性数据集时，使用余弦重建损失和Brier的字相似性损失。此外，在序列标注和句子元嵌入中进行词元嵌入重构时也进行了改进，用于句子分类。
2020-01-24 cs.CL cs.LG
Med2Meta: Learning Representations of Medical Concepts with Meta-Embeddings
University of Illinois at Chicago（伊利诺伊大学芝加哥分校）；Amazon（亚马逊）；Northwestern University（西北大学）
最近，医学概念的分布式表示已被用于支持下游临床任务。电子健康记录（EHR）捕捉患者医院遭遇的不同方面，并通过学习强大的医疗概念嵌入来作为增强临床决策的丰富来源。然而，相同的医学概念可以以不同的模态记录（例如，临床记录、实验室结果）-每个都捕获该模态特有的显著信息-并且整体表示要求来自所有信息源的相关特征集合。我们假设从异构数据类型中学习的表示将导致各种临床信息学和预测建模任务的性能增强。为此，我们提出的方法利用元嵌入，从学习的嵌入聚合的嵌入。首先，每个医学概念的模态特定嵌入是用图自编码器学习的。然后，所有嵌入的集合被建模为元嵌入学习问题，以通过联合重建来合并它们的相关和互补信息。我们的模型在定量和定性临床评价方面的实证结果表明，与最先进的嵌入模型相比，我们的模型有所改进，从而验证了我们的假设。
2020-01-04 cs.CL cs.LG
Multi-stream Convolutional Neural Network with Frequency Selection for Robust Speaker Verification
Key Laboratory of Technology in Rural Water Management of Zhejiang Province（浙江省农村水利技术重点实验室）；College of Electric Engineering（电气工程学院）；Zhejiang University of Water Resources and Electric Power（水利与电力学院）
针对传统单流说话人验证系统采用全频特征的局限，提出带频率选择的多流CNN框架，通过分多子带并行处理与融合增强鲁棒性，在VoxCeleb上minDCF相对提升20.53%。
2025-08-31 cs.LG cs.SD eess.AS
Metaphor Detection using Deep Contextualized Word Embeddings
University Of Delhi（德里大学）；National Informatics Center（国家信息中心）
隐喻普遍存在于自然语言中，其检测在语言理解、情感分析等自然语言处理任务中起着至关重要的作用。现有的隐喻检测方法大多依赖于复杂的、手工制作的和微调的特征管道，这极大地限制了它们的适用性。在这项工作中，我们提出了一个端到端的方法组成的深上下文的词嵌入，双向LSTM和多头注意力机制，以解决自动隐喻检测的任务。我们的方法，不像许多其他现有的方法，只需要原始文本序列作为输入功能来检测一个短语的隐喻性。我们分别在两个基准数据集TroFi和MOH-X上比较了我们的方法与现有基线的性能。实验评估证实了我们的方法的有效性。
2020-09-26 cs.CL cs.LG
