Learning to Compute Word Embeddings On the Fly
ElementAI（元素人工智能公司）；MILA（蒙特利尔学习算法研究所）；Université de Montréal（蒙特利尔大学）；Jagiellonian University（雅盖隆大学）；DeepMind（深度思维公司）；Facebook AI Research（脸书人工智能研究院）
自然语言中的词遵循齐普夫分布，即一些词是频繁的，但大多数是罕见的。学习这种分布的“长尾”中的单词的表示需要大量的数据。直接在终端任务上训练的稀有单词的表示通常很差，需要我们在外部数据上预训练嵌入，或者将所有稀有单词视为具有唯一表示的词汇表外单词。我们提供了一种方法，用于从少量辅助数据中动态预测稀有词的嵌入，并为下游任务训练端到端的网络。我们表明，这改善了基线的结果，其中嵌入是在阅读理解，识别文本蕴涵和语言建模的最终任务上训练的。
2018-03-07 cs.CL cs.LG
Entity Embeddings of Categorical Variables
Neokami Inc.（Neokami公司）
我们将函数逼近问题中的分类变量映射到欧氏空间中，欧氏空间是分类变量的实体嵌入。在标准监督训练过程中，通过神经网络学习映射。与one-hot编码相比，实体嵌入不仅减少了内存使用，加快了神经网络的速度，更重要的是，通过在嵌入空间中映射彼此接近的相似值，它揭示了分类变量的内在属性。我们在最近的Kaggle竞赛中成功地应用了它，并且能够以相对简单的功能达到第三名。本文进一步证明了实体嵌入有助于神经网络在数据稀疏和统计未知时更好地泛化。因此，它对于具有大量高基数特征的数据集特别有用，而其他方法往往会过拟合。我们还证明了从训练的神经网络获得的嵌入在用作输入特征时大大提高了所有测试的机器学习方法的性能。由于实体嵌入定义了分类变量的距离度量，因此它可以用于可视化分类数据和数据聚类。
2016-04-22 cs.LG
Activity2Vec: Learning ADL Embeddings from Sensor Data with a Sequence-to-Sequence Model
Washington State University（华盛顿州立大学）
识别日常生活活动（ADL）在分析人类健康和行为方面起着至关重要的作用。家庭、智能手机和智能手表中植入的传感器的广泛使用产生了反映人类行为的大数据集的集合。为了获得基于这些数据的机器学习模型，研究人员开发了多种特征提取方法。在这项研究中，我们研究了一种自动提取通用和有意义的特征的方法，这些特征适用于类似的基于时间序列的学习任务，如活动识别和跌倒检测。我们建议创建一个序列到序列（seq2seq）模型来执行此特征学习。除了避免特征工程之外，seq2seq模型学习到的有意义的特征还可以用于半监督学习。我们在从可穿戴和环境传感器收集的数据集上评估了这两个好处。
2019-07-12 cs.LG
On the Embeddings of Variables in Recurrent Neural Networks for Source Code
HSE University（高等经济大学）
源代码处理在很大程度上依赖于自然语言处理（NLP）中广泛使用的方法，但涉及需要考虑以实现更高质量的细节。这种特殊性的一个例子是，变量的语义不仅由其名称定义，还由变量出现的上下文定义。在这项工作中，我们开发了动态嵌入，一个经常性的机制，调整学习的变量的语义时，它获得更多的信息，变量在程序中的作用。我们表明，使用所提出的动态嵌入显着提高了递归神经网络的性能，在代码完成和错误修复任务。
2021-04-27 cs.CL cs.LG cs.SE
Centroid-based deep metric learning for speaker recognition
University of Toronto（多伦多大学）；Vector Institute（向量研究所）；St Michaels Hospital（圣迈克尔医院）；Surgical Safety Technologies Inc（手术安全技术公司）；Hospital for Sick Children（病童医院）
说话人嵌入模型利用神经网络将话语映射到空间，其中距离反映说话人之间的相似性，这推动了说话人识别任务的最新进展。然而，在识别训练集中的说话人和未见过的说话人之间仍然存在显着的性能差距。后一种情况对应于少样本学习任务，其中训练模型在看不见的类上进行评估。在这里，我们使用原型网络损失（PNL）优化了说话人嵌入模型，这是一种用于Few-Shot图像分类任务的最先进方法。由此产生的嵌入模型优于国家的最先进的三重损失为基础的模型在说话人验证和识别任务，为可见和不可见的扬声器。
2019-02-06 cs.LG cs.SD eess.AS
Unsupervised Embedding Learning for Human Activity Recognition Using Wearable Sensor Data
University of Texas at Arlington（德克萨斯大学阿灵顿分校）
针对可穿戴传感器人类活动数据大多无标签的问题，提出一种无监督嵌入学习方法，将活动映射到相似活动邻近的嵌入空间以辅助聚类，在三个基准数据集上验证了其相比直接无监督方法更优的活动识别分类性能。
2023-07-21 cs.HC cs.LG eess.SP
A Latent Variable Model Approach to PMI-based Word Embeddings
Princeton University（普林斯顿大学）
语义词嵌入通过向量表示词的意义，并通过多种方法创建。许多算法在共现统计上使用非线性运算，并手动调整超参数和重新加权方法。本文提出了一种新的生成模型--动态版本的对数线性主题模型的~ \citet{mnih2007three}。方法的新颖性是使用之前计算封闭形式的表达式进行单词统计。这为PMI、word 2 vec和GloVe等非线性模型以及一些超参数选择提供了理论依据。这也有助于解释为什么低维语义嵌入包含线性代数结构，允许解决词的类比，如~ \citet{mikolov2013efficient}和许多后续论文所示。实验支持生成模型的假设，其中最重要的是，潜在的词向量是相当均匀地分散在空间中。
2019-06-19 cs.CL cs.LG stat.ML
Variable Length Embeddings
Runway（Runway公司）；University of California, Berkeley（加州大学伯克利分校）；Harvard University（哈佛大学）
本文提出一种新颖的深度学习架构Variable Length Embeddings (VLEs)，通过自回归模型生成任意数量token的潜在表示，在图像重建与分解任务中，以不到十分之一的参数取得与最先进VAE相当的效果。
2023-05-17 cs.CV cs.LG
MTHetGNN: A Heterogeneous Graph Embedding Framework for Multivariate Time Series Forecasting
Chongqing University（重庆大学）；Zhejiang University（浙江大学）
多变量时间序列预测通过分析历史时间序列来预测未来趋势，可以有效地帮助决策。MTS中变量之间的复杂关系，包括静态、动态、可预测和潜在的关系，使得挖掘MTS的更多特征成为可能。复杂关系的建模不仅是刻画潜在依赖和建模时态依赖的必要条件，也给MTS预测任务带来了巨大的挑战。然而，现有的方法主要集中在建模MTS变量之间的某些关系。在本文中，我们提出了一种新的端到端深度学习模型，称为通过异构图神经网络进行多变量时间序列预测（MTHetGNN）。为了刻画变量之间的复杂关系，MTHetGNN设计了关系嵌入模块，将每个变量看作一个图节点，每种边表示一种特定的静态或动态关系。同时，时间嵌入模块引入时间序列的特征提取，其中涉及卷积神经网络（CNN）滤波器与不同的感知尺度。最后，采用异构图嵌入模块来处理两个模块生成的复杂结构信息。来自现实世界的三个基准数据集被用来评估所提出的MTHetGNN。综合实验表明，MTHetGNN在MTS预测任务中取得了较好的效果。
2021-12-15 cs.LG stat.ML
Training Keyword Spotters with Limited and Synthesized Speech Data
Google Research（谷歌研究院）
随着低功耗语音设备的兴起，快速生成用于识别任意关键字集的模型的需求不断增长。与许多机器学习任务一样，模型创建过程中最具挑战性的部分之一是获得足够数量的训练数据。在本文中，我们探讨了合成语音数据在训练约400k参数的小型口语术语检测模型中的有效性。我们不是直接在音频或低级别特征（如MFCC）上训练这些模型，而是使用经过训练的预训练语音嵌入模型来提取关键字识别模型的有用特征。使用这种语音嵌入，我们表明，一个模型，检测10个关键字时，只训练合成语音相当于一个模型训练超过500个真实的例子。我们还表明，没有我们的语音嵌入的模型需要在超过4000个真实示例上进行训练才能达到相同的准确度。
2020-01-31 cs.LG cs.SD eess.AS
On the Effects of Irrelevant Variables in Treatment Effect Estimation with Deep Disentanglement
Örebro University（厄勒布鲁大学）
针对观察数据中处理效应估计时无关变量处理不足导致预测误差的问题，提出基于深度嵌入与自编码器的显式解耦方法，通过重建目标和正交化隔离无关变量，提升了无关变量识别与处理效应预测的精确度。
2024-08-26 cs.LG stat.ML
Embedding Java Classes with code2vec: Improvements from Variable Obfuscation
University of Waikato（怀卡托大学）
在软件工程的关键领域（如代码安全性）中，自动源代码分析可以从机器学习（ML）中受益。然而，许多标准ML方法需要数据的数字表示，并且不能直接应用于源代码。因此，为了启用ML，我们需要将源代码嵌入到数字特征向量中，同时尽可能保持代码的语义。code2vec是最近发布的一种嵌入方法，它使用方法名称预测的代理任务将Java方法映射到特征向量。然而，code2vec的实验表明，它学会了依赖变量名进行预测，这使得它很容易被错别字或对抗攻击所欺骗。此外，它只能嵌入单个Java方法，而不能嵌入整个方法集合，例如典型Java类中存在的方法，这使得难以在类级别执行预测（例如，用于识别恶意Java类）。这两个缺点都在本文提出的研究中得到解决。我们研究了在code2vec模型的训练过程中混淆变量名称的效果，以迫使它依赖于代码的结构而不是特定的名称，并考虑了一种通过聚合方法嵌入集来创建类级嵌入的简单方法。我们的研究结果，获得了一个具有挑战性的新的集合的源代码分类问题，表明混淆变量名称产生一个嵌入模型，既不受变量命名，更准确地反映代码语义。共享数据集、模型和代码，以便对源代码进行进一步的ML研究。
2020-04-06 cs.LG cs.PL cs.SE
Joint Learning of Sentence Embeddings for Relevance and Entailment
FEE CTU Prague（捷克理工大学布拉格分校电子工程学院）
我们认为，在信息检索的背景下，我们必须同时确定的相关性，以及程度的蕴涵为个别证据，以确定一个是/否的答案，一个二进制自然语言的问题，识别文本蕴涵的问题。我们比较了几种不同的神经网络的句子嵌入在决策的基础上不同的相关性的证据设置。我们提出了一个基本的模型来整合证据的蕴涵，表明联合训练的句子嵌入模型的相关性和蕴涵是可行的，即使没有明确的证据监督，并显示评估强基线的重要性。我们还展示了在我们的小数据集上进行不相关任务训练的文本理解模型的好处。我们的研究主要是由我们引入的一个新的开放数据集驱动的，该数据集由二进制问题和基于新闻的证据片段组成。我们还将所提出的相关蕴涵模型应用于对多项选择题测试答案进行排名的类似任务，在学校测试问题的初步数据集以及标准MCTest数据集上对其进行评估，在那里我们改进了神经模型。
2016-06-22 cs.CL cs.LG cs.NE
CAVIAR: Categorical-Variable Embeddings for Accurate and Robust Inference
Cornell University（康奈尔大学）；Singapore Management University（新加坡管理大学）
针对高维稀疏分类变量在因果推断中违反Donsker条件、传统方法效果不佳的问题，提出CAVIAR嵌入方法，通过降维实现稳定鲁棒估计，并在服装销售数据集上验证了其效用。
2024-04-11 cs.LG econ.EM
Effect of Word Embedding Variable Parameters on Arabic Sentiment Analysis Performance
Gazi University（加齐大学）；Southern Technical University（南方技术大学）
诸如Twitter、Facebook等社交媒体已经导致产生越来越多的包含用户意见的评论。情感分析研究处理这些评论，以提取意见是积极的或消极的。阿拉伯语是一种丰富的形态语言;因此，英语情感分析的经典技术不能用于阿拉伯语。词嵌入技术可以被认为是解决阿拉伯语词法问题的成功方法之一。基于词嵌入的阿拉伯语情感分析已经有很多研究，但还没有针对可变参数的研究。本研究将讨论使用DBOW和DMPV架构进行阿拉伯语情感分析的三个参数（窗口大小、向量维数和负样本）。以前的作品的大型语料库，用于学习单词表示和提取特征。四个二进制分类器（逻辑回归，决策树，支持向量机和朴素贝叶斯）被用来检测情感。分类器的性能基于精度，召回率和F1分数进行评估。
2021-01-08 cs.CL cs.LG
U-vectors: Generating clusterable speaker embedding from unlabeled data
Bangladesh University of Business & Technology（孟加拉国商业与技术大学）；King Abdulaziz University（阿卜杜勒阿齐兹国王大学）；University of Asia Pacific（亚太大学）；University of Aizu（会津大学）
说话人识别是根据说话人的语音来识别说话人。大多数说话人识别系统都是建立在两个阶段上的，第一阶段从语音中提取低维相关嵌入，第二阶段执行分类任务。说话人识别系统的鲁棒性主要取决于语音嵌入的提取过程，语音嵌入主要是在大规模数据集上进行预训练的。由于嵌入系统是预先训练的，说话人识别模型的性能很大程度上取决于领域自适应策略，如果使用不充分的数据进行训练，则可能会降低。本文介绍了一种处理未标记数据的说话人识别策略，该策略从较小的固定大小的语音帧中生成可聚类的嵌入向量。无监督训练策略涉及一个假设，即一个小的语音段应该包括一个单一的扬声器。根据这样的信念，成对的约束构造与噪声增强策略，用于训练AutoEmbedder架构，生成扬声器嵌入。在不依赖于域自适应策略的情况下，该过程无监督地产生可聚类的说话人嵌入，称为无监督向量（u-向量）。评估的结论是在两个流行的说话人识别数据集的英语，TIMIT和LibriSpeech。此外，孟加拉语数据集包括说明域转移的多样性说话人识别系统。最后，我们得出结论，所提出的方法实现了令人满意的性能，使用成对的架构。
2021-10-22 cs.AI cs.LG cs.SD
Probabilistic Embeddings for Frozen Vision-Language Models: Uncertainty Quantification with Gaussian Process Latent Variable Models
Computer Vision Group, Friedrich Schiller University Jena（计算机视觉组，费迪里奇·施勒尔大学耶纳）
本文提出GroVE，一种基于高斯过程潜变量模型的事后方法，从冻结的视觉-语言模型中学习不确定性感知的概率嵌入，在跨模态检索、视觉问答和主动学习等任务上实现了最先进的不确定性校准。
2025-07-04 cs.CV cs.LG
On the Role of Pre-trained Embeddings in Binary Code Analysis
Max Planck Institute for Solar System Research（马克斯·普朗克太阳系研究所）
本文批判性探索预训练嵌入在二进制代码分析中的作用，通过120万函数语料库在五个下游任务评估发现，足够标记数据时嵌入性能相似，无预训练端到端学习平均最佳，并得出嵌入与端到端学习的适用指导方针。
2025-02-12 cs.AI cs.LG
Denoising with a Joint-Embedding Predictive Architecture
Meituan（美团）；Institute of Software, Chinese Academy of Sciences（中国科学院软件研究所）
本文提出D-JEPA，将联合嵌入预测架构与扩散损失或流匹配损失结合用于生成建模，在ImageNet条件生成上以更少训练轮数超越以往模型，并适用于视频和音频等连续数据建模。
2025-02-04 cs.CV cs.LG
The Traveling Observer Model: Multi-task Learning Through Spatial Variable Embeddings
Cognizant AI Labs（高知特人工智能实验室）；UT Austin（德克萨斯大学奥斯汀分校）
本文将一个通用的预测系统构建为一个观察者在一个连续的空间中移动，在某些位置测量值，并在其他位置预测值。观察者对任何特定的任务都是完全不可知的;它只关心测量位置和它们的值。这种观点导致了一个机器学习框架，在这个框架中，看似不相关的任务可以通过将它们的输入和输出变量嵌入到一个共享空间中来解决。开发的框架中，这些变量嵌入学习共同与内部模型参数的实现。在实验中，该方法被证明可以（1）恢复变量在空间和时间中的直观位置，（2）利用具有完全不相交的输入和输出空间的相关数据集的重复性，以及（3）利用看似无关的任务的重复性，优于特定任务的单任务模型和多任务学习替代方案。结果表明，即使是看似无关的任务也可能源于类似的潜在过程，旅行观察者模型可以利用这一事实做出更好的预测。
2021-03-22 cs.AI cs.LG cs.NE
CrossLinear: Plug-and-Play Cross-Correlation Embedding for Time Series Forecasting with Exogenous Variables
University of Science and Technology of China（中国科学技术大学）；Deqing Alpha Innovation Institute（德清阿尔法创新院）
提出CrossLinear模型，通过即插即用的互相关嵌入模块捕获变量间时间不变的直接依赖以避免过拟合，结合分块处理与全局线性头，在12个数据集上实现了卓越的短期与长期预测性能。
2025-05-29 cs.AI cs.LG
MURAL: An Unsupervised Random Forest-Based Embedding for Electronic Health Record Data
Yale University（耶鲁大学）；Univ. de Montréal（蒙特利尔大学）；Mila；Glasgow Royal Infirmary（格拉斯哥皇家医院）；Otago Med. Sch.（奥塔哥医学院）；Christchurch Hospital（基督城医院）
嵌入或可视化临床患者数据的主要挑战是变量类型的异质性，包括连续实验室值，分类诊断代码以及缺失或不完整的数据。特别地，在EHR数据中，一些变量是{ \em非随机缺失（MNAR）}但故意不收集的，因此是信息源。例如，实验室测试可能被认为是必要的，对某些病人的基础上怀疑诊断，但不为其他人。在这里，我们提出了MURAL森林--一种无监督的随机森林，用于表示具有不同变量类型的数据（例如，分类的，连续的，MNAR）。MURAL森林由一组决策树组成，其中节点分裂变量是随机选择的，因此所有其他变量的边际熵通过分裂最小化。这使我们能够以与连续变量一致的方式划分MNAR变量和离散变量。最终目标是使用这些患者之间的平均树距离来学习患者的MURAL嵌入。这些距离可以被馈送到非线性降维方法，如PHATE，以导出可可视化的嵌入。虽然这种方法在连续值数据集（如单细胞RNA测序）中无处不在，但它们尚未广泛用于混合变量数据。我们展示了我们的方法在一个人工和两个临床数据集上的使用。我们表明，使用我们的方法，我们可以可视化和分类数据比竞争对手的方法更准确。最后，我们表明，MURAL也可以用来比较队列的患者通过最近提出的树切片Wasserstein距离。
2021-11-19 cs.AI cs.LG
A Generative Model for Accelerated Inverse Modelling Using a Novel Embedding for Continuous Variables
Faculty of Georesources and Materials Engineering, RWTH Aachen University（亚琛工业大学地质资源与材料工程学院）
针对材料科学中逆建模找目标性能对应微观结构的不适定问题，提出基于浮点数二进制表示的新型连续变量嵌入策略，用于生成模型，无需归一化即可精细调控生成的微观结构，加速材料设计。
2024-05-21 cond-mat.mtrl-sci cs.LG
Addressing Dynamic and Sparse Qualitative Data: A Hilbert Space Embedding of Categorical Variables
Samuel Curtis Johnson Graduate School of Management（塞缪尔·柯蒂斯·约翰逊管理研究生院）；Cornell University（康奈尔大学）；Lee Kong Chian School of Business（李光前商学院）；Singapore Management University（新加坡管理大学）
针对动态复杂定性数据用于因果估计时存在的数据稀疏、估计有偏的问题，提出基于贝尔空间和RKHS的分类变量希尔伯特空间嵌入框架，结合迁移学习与核技巧优化估计，经仿真和电商场景真实研究验证性能更优。
2023-08-22 cs.LG
Discriminative Embeddings of Latent Variable Models for Structured Data
Georgia Institute of Technology（佐治亚理工学院）
核分类器和回归器设计的结构化数据，如序列，树和图形，显着推进了一些跨学科领域，如计算生物学和药物设计。通常，预先为数据类型设计核，其利用结构的统计或利用概率生成模型，然后经由凸优化基于核学习判别分类器。然而，这种优雅的两阶段方法也限制了核方法扩展到数百万个数据点，并利用判别信息来学习特征表示。我们提出，structure2vec，一个有效的和可扩展的结构化数据表示方法的基础上嵌入潜变量模型到特征空间的想法，并学习这样的特征空间使用判别信息。有趣的是，structure2vec通过执行一系列函数映射来提取特征，其方式类似于图形模型推理过程，例如平均场和置信传播。在涉及数百万个数据点的应用程序中，我们发现structure2vec的运行速度快2倍，生成的模型小$10,000$倍，同时实现了最先进的预测性能。
2020-01-11 cs.LG
HOME: High-Order Mixed-Moment-based Embedding for Representation Learning
Rensselaer Polytechnic Institute（伦斯勒理工学院）
潜在空间中嵌入的不同元素之间的最小冗余是表示学习捕获内在信息结构的基本要求或主要偏好。当前的自监督学习方法最小化成对协方差矩阵以减少特征冗余并产生有希望的结果。然而，多个变量的这种表示特征可能包含两个以上特征变量之间的冗余，这些冗余不能通过成对正则化来最小化。在这里，我们提出了高阶混合基于矩的嵌入（HOME）策略，以减少任何一组特征变量之间的冗余，这是我们最好的知识，在这种情况下，利用高阶统计/信息的第一次尝试。多元互信息最小当且仅当多元相互独立，这给出了多元混合矩因子分解的必要条件。基于这些统计和信息理论的原则，我们的一般HOME框架的自我监督表示学习。我们的初始实验表明，三阶HOME方案形式的简单版本已经显著优于当前的二阶基线方法（即，Barlow Twins）的线性评价表征特征。
2022-07-15 cs.AI cs.CV cs.LG
Generative AI Enhanced Financial Risk Management Information Retrieval
TD Bank（道明银行）；Model Development Innovation, Risk Management（风险管理模型开发创新部）
本文提出RiskData数据集和RiskEmbed嵌入模型，通过微调sentence BERT提升金融风险管理场景下的检索准确性，实验表明其显著优于通用及金融嵌入模型，并已开源以支持更精准高效的风险管理AI方案。
2025-04-10 cs.LG q-fin.RM
CONE: Embeddings for Complex Numerical Data Preserving Unit and Variable Semantics
Florida State University（佛罗里达州立大学）；University of South Florida（佛罗里达州立大学）
CONE通过复合嵌入方法提升复杂数值数据的语义编码，实现跨领域高精度数值推理。
2026-03-05 cs.AI cs.DB cs.IR
Geometric deep learning for computational mechanics Part II: Graph embedding for interpretable multiscale plasticity
Columbia University（哥伦比亚大学）
经典塑性模型的历史依赖行为往往是由根据唯象规律演化的内变量驱动的。解释这些内部变量如何代表变形历史的困难，缺乏对这些内部变量的直接测量以进行校准和验证，以及这些现象学定律的物理基础薄弱，长期以来一直被批评为创建现实模型的障碍。在这项工作中，几何机器学习图形数据（例如有限元解）被用来作为一种手段，建立非线性降维技术和塑性模型之间的连接。基于图形的几何学习编码允许将丰富的时间历史数据嵌入到低维欧氏空间中，以便可以在嵌入的特征空间中预测塑性变形的演变。然后，相应的解码器可以将这些低维内部变量转换回加权图，以便可以观察和分析塑性变形的主导拓扑特征。
2022-07-30 cond-mat.dis-nn cs.LG
Employing Sentence Space Embedding for Classification of Data Stream from Fake News Domain
Department of Systems；Computer Networks, Faculty of Information；Communication Technology, Wroc aw University of Science
本文首次提出利用句空间嵌入将文本编码为离散数字信号，并借助图像分类卷积深度网络进行虚假新闻数据流分类，在Fakeddit数据集上验证了其泛化能力与时间效率。
2025-11-10 cs.CL cs.LG
Learning to forecast diagnostic parameters using pre-trained weather embedding
Excarta（Excarta公司）
本文提出一种两阶段方法：先训练自编码器将预报变量嵌入潜在空间，再冻结编码器训练下游模型预测诊断变量，从而在不重新训练整个DDWP模型的情况下低成本扩展新诊断变量，并保持与专用模型相当的精度。
2023-12-01 cs.LG
Rethinking travel behavior modeling representations through embeddings
Technical University of Denmark（丹麦技术大学）
本文介绍了出行行为嵌入的概念，这是一种重新表示离散变量的方法，这些离散变量通常用于出行需求建模，例如模式、出行目的、教育水平、家庭类型或职业。这个重新表示过程实质上是将这些变量映射到一个称为\emph{embedding space}的潜在空间中。这样做的好处是，这样的空间允许比分类变量中使用的典型变换（例如，虚拟编码，对比编码，主成分分析）更丰富的细微差别。虽然在出行需求建模中使用潜在变量表示本身并不新鲜，但这里提出的想法带来了几个创新：它是一个完全数据驱动的算法;它是信息丰富和一致的，因为潜在空间可以基于不同类别之间的距离进行可视化和解释;它保留了系数的可解释性，尽管基于神经网络原理;并且它是可移植的，因为从一个数据集学习的嵌入可以被重用于其他数据集，只要旅行行为在数据集之间保持一致。这个想法受到了自然语言处理技术的强烈启发，即word 2 vec算法。这种算法是最近的发展，如在自动翻译或下一个词预测。我们的方法证明使用模型选择模型，并显示改进高达60%的初始可能性，和高达20%的可能性，相应的传统模型（即使用虚拟变量）在样本外的评估。我们提供了一个新的Python包，称为PyTre（PYthon TRavel Embeddings），其他人可以直接使用它来复制我们的结果或改进他们自己的模型。我们的实验本身是基于一个开放的数据集（瑞士地铁）。
2019-08-31 cs.CL cs.LG econ.EM
Audio-Based Activities of Daily Living (ADL) Recognition with Large-Scale Acoustic Embeddings from Online Videos
The University of Texas at Austin（德克萨斯大学奥斯汀分校）
多年来，活动感测和识别已被证明在从可持续性和人机交互到医疗保健的广泛应用中发挥着关键的促进作用。虽然许多识别任务传统上采用惯性传感器，但基于声学的方法提供了捕获丰富上下文信息的好处，这在区分复杂活动时可能很有用。鉴于深度学习技术的出现和利用新的大规模多媒体数据集，本文重新审视了训练基于音频的分类器的机会，而无需注释音频数据的繁重和耗时的任务。我们提出了一个基于音频的活动识别框架，该框架利用了来自公共在线视频声音剪辑的数百万个嵌入特征。基于过采样和深度学习方法的组合，我们的框架不需要进一步的特征处理或离群值过滤。我们在日常生活活动（ADL）的背景下评估了我们的方法，通过识别14名参与者在自己家中的15项日常活动，在前1和前3分类方面分别实现了64.2%和83.6%的平均受试者内准确度。本文还考察了单个类的表现，以进一步研究活动的共现特性和框架的鲁棒性。
2018-11-18 cs.HC cs.LG cs.SD
IndexNet: Timestamp and Variable-Aware Modeling for Time Series Forecasting
Shanghai Academy of AI for Science（上海人工智能科学研究院）；Fudan University（复旦大学）；Tsinghua Shenzhen International Graduate School（清华大学深圳国际研究生院）；Northeastern University（东北大学）
针对现有多变量时间序列预测方法忽略索引类描述信息的问题，提出融合时间戳与通道嵌入的MLP框架IndexNet，在12个数据集上性能比肩主流基线，兼具通用性与可解释性。
2025-10-02 cs.AI cs.LG
End-to-End Diarization for Variable Number of Speakers with Local-Global Networks and Discriminative Speaker Embeddings
Google（谷歌）
我们提出了一个端到端的深度网络模型，它可以从单通道音频记录中执行会议日志化。与传统的基于聚类的日记化方法不同，端到端日记化模型具有处理说话人重叠和实现直接处理区分训练的优点。该系统的目的是处理未知数量的扬声器会议，使用可变数量的置换不变的交叉熵为基础的损失函数。我们引入了几个似乎有助于日志化性能的组件，包括局部卷积网络，然后是全局自注意模块，使用说话人辨识组件的多任务迁移学习，以及使用第二阶段改进模型的顺序方法。这些都是基于LibriSpeech和LibriTTS数据集的模拟会议数据进行训练和验证的;最终评估是使用LibriCSS完成的，其中包括通过扬声器回放使用真实声学记录的模拟会议。所提出的模型比以前提出的端到端的日记模型在这些数据上的表现更好。
2021-05-05 cs.LG cs.SD eess.AS
Topo-GS: Continuous Volumetric Embedding of High-Dimensional Data via Topological Gaussian Splatting
Universidade Federal do ABC (UFABC)（巴西圣安德烈大学）
本文提出Topo-GS方法，利用拓扑感知策略将高维数据转换为连续体积分表示，通过局部几何约束优化，保持局部拓扑保真度，同时显式表现投影扭曲。
2026-05-16 cs.CV cs.GR cs.LG
