Crime Event Embedding with Unsupervised Feature Selection
Georgia Institute of Technology(佐治亚理工学院)
我们提出了一种新的事件嵌入算法的犯罪数据,可以共同捕捉时间,位置和复杂的自由文本组件的每个事件。嵌入是通过正则化的限制玻尔兹曼机(RBM),我们引入了一种新的方式来规范施加$\ell_1$惩罚RBM的观测变量的条件分布。这种正则化的选择执行特征选择,并且它还导致有效的计算,因为梯度可以以闭合形式计算。特征选择迫使嵌入基于最重要的关键字,这捕获了常见的操作方式(M。O.)的犯罪系列通过对大规模犯罪数据集的数值实验,我们证明了我们的正则化RBM可以实现更好的事件嵌入,并且所选特征具有高度的人类理解可解释性。
2018-11-04 cs.LG stat.ML
Neuro-Symbolic Embedding for Short and Effective Feature Selection via Autoregressive Generation
University of Kansas(堪萨斯大学)
提出基于神经符号视角的特征选择生成框架,通过编码器-解码器-评估器学习范式和多梯度搜索算法,在连续嵌入空间中高效搜索并重建特征ID标记,以识别短而有效且泛化的特征子集。
2024-12-18 cs.LG
Learn Before Represent: Bridging Generative and Contrastive Learning for Domain-Specific LLM Embeddings
Zhejiang University(浙江大学);Peking University(北京大学)
本文提出LBR框架,通过生成学习和对比学习结合,在垂直领域中提升LLM嵌入的准确性和鲁棒性。
2026-01-16 cs.AI cs.IR
Neural Speech Embeddings for Speech Synthesis Based on Deep Generative Networks
Korea University(高丽大学)
本文介绍脑到语音技术,并系统分析执行语音时的神经特征与神经语音嵌入,探讨其在基于深度生成模型的语音合成中的关键作用。
2024-02-27 cs.AI cs.SD eess.AS
CommunityGAN: Community Detection with Generative Adversarial Nets
Shanghai Jiao Tong University(上海交通大学)
社区发现是指发现具有相似属性或功能的顶点组,从而理解网络数据的任务。随着最近深度学习的发展,图表示学习技术也被用于社区发现。然而,社区只能通过应用基于学习的顶点嵌入的聚类算法来推断。K-means和Gaussian Mixture Model等常用的聚类算法不能产生大量的重叠社区,这在现实网络中是非常普遍的。在本文中,我们提出了CommunityGAN,一个新的社区发现框架,共同解决重叠的社区发现和图表示学习。首先,与传统的图表示学习算法的嵌入不同,其中向量条目值没有特定的含义,CommunityGAN的嵌入指示顶点对社区的成员关系强度。其次,采用专门设计的生成对抗网络(GAN)来优化这种嵌入。通过模体级生成器和搜索引擎之间的极大极小竞争,两者可以交替迭代地提高性能,最终输出更好的社区结构。对合成数据和现实任务的广泛实验表明,CommunityGAN在最先进的方法上实现了显著的社区发现性能增益。
2019-12-16 cs.AI cs.SI
Embedding Feature Selection for Large-scale Hierarchical Classification
George Mason University(乔治梅森大学)
大规模层次分类(HC)涉及由数千个类和数百万个训练实例组成的数据集,这些数据集具有高维特征,这带来了一些大数据挑战。特征选择是解决大规模HC问题的一种有效策略。它加快了训练过程,减少了预测时间,并通过压缩学习模型权重向量的总大小来最大限度地减少内存需求。大多数研究也表明,特征选择是称职的,并成功地提高分类精度,通过删除不相关的功能。在这项工作中,我们研究了各种基于过滤器的特征选择方法降维,以解决大规模HC问题。我们对具有不同特征,类别和实例分布的文本和图像数据集进行的实验评估显示,在大规模数据集上的速度提高了3倍,存储学习模型的权重向量的内存需求减少了45%,而分类精度没有任何显着损失(某些数据集的改进)。源代码:https://cs.gmu.edu/~mlbio/featureselection.
2017-06-06 cs.LG stat.ML
UME-R1: Exploring Reasoning-Driven Generative Multimodal Embeddings
School of Informatics, Xiamen University, China(厦门大学信息学院);WeChat AI, Tencent Inc, China(腾讯公司微信AI部门);Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan (Xiamen University), Ministry of Culture and Tourism, China(福建省和台湾非物质文化遗产数字化保护与智能处理重点实验室);Shanghai Artificial Intelligence Laboratory, China(上海人工智能实验室)
UME-R1通过生成嵌入和强化学习提升多模态嵌入性能,实现判别与生成嵌入的互补,展现生成嵌入在推理和下游任务中的优势。
2026-03-01 cs.AI cs.LG
Downstream Task-Oriented Generative Model Selections on Synthetic Data Training for Fraud Detection Models
J.P. Morgan AI Research(摩根大通人工智能研究院);Department of Statistics and Data Science(统计与数据科学系);Dept of Statistics, UC Davis(加州大学戴维斯分校统计系)
本文研究欺诈检测模型训练中的下游任务导向生成模型选择问题,发现在严格可解释性约束下基于贝叶斯网络的生成模型优于神经网络模型,为从业者用合成数据替换真实数据提供实用指导。
2024-01-01 cs.AI cs.LG
Understanding Generative AI Content with Embedding Models
Pacific Northwest National Laboratory(太平洋西北国家实验室);Rutgers University(罗格斯大学);University of Washington(华盛顿大学)
本文利用嵌入模型和主成分分析等降维技术,揭示基础模型嵌入中的内在异质性,并证明真实样本与AI生成样本具有可分离性。
2025-02-22 cs.AI cs.LG
Concentration bounds on response-based vector embeddings of black-box generative models
本文研究了基于响应的生成模型向量嵌入的集中界,通过数据核视角空间嵌入方法,在适当正则条件下推导出样本向量嵌入的高概率集中界,并确定所需样本响应数量以实现目标精度的群体嵌入近似。
2026-06-27 cs.LG stat.ML
How to Turn Your Knowledge Graph Embeddings into Generative Models
University of Edinburgh(爱丁堡大学);University of Bari(巴里大学);TU Graz(格拉茨工业大学)
本文将CP、RESCAL等知识图谱嵌入模型重新解释为可边缘化的电路,并通过非负激活或输出平方将其转化为生成模型,在保持链接预测性能的同时实现精确MLE学习、高效采样和逻辑约束满足。
2024-01-16 cs.AI cs.LG
LOCUS: Low-Dimensional Model Embeddings for Efficient Model Exploration, Comparison, and Selection
Carnegie Mellon University(卡内基梅隆大学)
LOCUS通过低维嵌入高效实现模型探索、比较和选择,减少查询样本需求并提升模型相似性判断能力。
2026-01-28 cs.AI cs.LG
Learning Generative Selection for Best-of-N
通过强化学习,小模型可获得强大的生成选择能力,从而在推理任务中超越基线方法并接近大模型性能。
2026-02-02 cs.AI cs.CL cs.LG
Image Embedding for Denoising Generative Models
University of Bologna(博洛尼亚大学)
去噪扩散模型在生成式建模领域越来越受欢迎,原因有几个,包括简单稳定的训练,优秀的生成质量和坚实的概率基础。在这篇文章中,我们解决的问题{ \em嵌入}的潜在空间的图像去噪扩散模型,即找到一个合适的“噪声”的图像,其去噪的结果在原始图像。我们特别关注去噪扩散隐式模型,由于其反向扩散过程的确定性。作为我们的调查的一个副作用,我们获得了更深入的了解扩散模型的潜在空间的结构,打开有趣的视角,其探索,语义轨迹的定义,和编辑目的的编码的操纵/调节。我们的研究强调了一个特别有趣的属性,这也是这类生成模型的特征,是潜在表示与实现反向扩散过程的网络的独立性。换句话说,一个共同的种子传递到不同的网络(每个网络都在同一个数据集上训练),最终会产生相同的图像。
2022-12-30 cs.AI cs.CV cs.LG
Manifold Decoders: A Framework for Generative Modeling from Nonlinear Embeddings
Department of Computer & Information Science & Engineering, University of Florida(计算机与信息科学与工程系,佛罗里达大学)
本文提出流形解码器框架,为经典非线性降维方法构建神经解码器以实现双向映射,并集成扩散生成过程;实验表明其重建质量不及自编码器,流形约束扩散样本质量差,揭示NLDR方法在生成建模中的固有局限。
2025-10-15 cs.LG
Likelihood Estimation for Generative Adversarial Networks
Johannes Kepler University of Linz(林茨约翰内斯·开普勒大学)
我们提出了一种简单的方法来评估生成对抗网络(GANs)中生成图像的质量。该方法可以应用于任何类型的GAN,而不会干扰学习过程或影响学习目标。其中心思想是定义一个与生成图像的质量相关的似然函数。特别是,我们从真实图像的嵌入(隐藏的激活)的分布中导出高斯似然函数,并基于此,定义两个简单的度量,来衡量生成图像的嵌入是来自真实图像的嵌入的分布的可能性。这为生成的图像产生了一个简单的适应度度量,适用于所有种类的GANs。CIFAR-10上的实证结果表明,所提出的措施和所产生的图像的感知质量之间有很强的相关性。
2017-07-24 cs.AI cs.LG
A Unified Framework for Generative Data Augmentation: A Comprehensive Survey
本论文全面综述了生成式数据增强(GDA)领域,提出了统一框架以系统分析模型选择、数据选择等关键方面,揭示了缺乏通用基准等研究空白,并指出了未来的重要研究方向。
2024-04-21 cs.AI cs.LG
Generative Locally Linear Embedding
University of Waterloo(滑铁卢大学)
局部线性嵌入(LLE)是一种非线性谱降维和流形学习方法。它有两个主要步骤,分别是输入空间和嵌入空间中的点的线性重构和线性嵌入。在这项工作中,我们提出了两个新的生成版本的LLE,命名为生成LLE(GLLE),其线性重建步骤是随机的,而不是确定性的。GLLE假设每个数据点都是由其线性重建权重作为潜在因素引起的。所提出的GLLE算法可以随机生成各种LLE嵌入,而所有生成的嵌入都与原始LLE嵌入相关。我们提出了两个随机线性重建版本,一个使用期望最大化,另一个通过优化从衍生分布直接采样。建议GLLE方法是密切相关的变分推断,因子分析,概率主成分分析和启发。我们的模拟结果表明,所提出的GLLE方法有效地展开和生成子流形的数据。
2021-04-04 cs.CV cs.LG stat.ML
Deep Generative Neural Embeddings for High Dimensional Data Visualization
Siemens Medical Solutions USA(美国西门子医疗系统公司)
我们提出了一种可视化技术,利用神经网络嵌入和生成网络重建原始数据。该方法允许通过其非参数结构独立操作各个图像嵌入,比传统的自动编码器方法提供更大的灵活性。我们已经评估了这种技术在数据可视化中的有效性,并将其与t-SNE和VAE方法进行了比较。此外,我们还通过ImageNet数据集上的可视化展示了我们方法的可扩展性。我们的技术在人在环训练中具有潜在的应用,因为它允许独立编辑嵌入位置而不影响优化过程。
2023-01-25 cs.CV cs.HC cs.LG
Evaluation of Embedding-Based and Generative Methods for LLM-Driven Document Classification: Opportunities and Challenges
本文比较了基于嵌入和生成模型在地学技术文档分类中的表现,发现增强的生成视觉-语言模型在零样本准确率上表现更优,但监督微调对训练数据不平衡敏感。
2026-04-05 cs.AI cs.CL cs.CV
Generative Representational Instruction Tuning
Contextual AI(康泰克斯人工智能公司);The University of Hong Kong(香港大学);Microsoft Corporation(微软公司)
本文提出生成式表示指令微调(GRIT),通过指令区分任务训练大型语言模型同时处理生成与嵌入任务,在多项基准上达到先进水平并无性能损失地统一两类任务,显著加速检索增强生成。
2025-03-03 cs.AI cs.CL cs.LG
Federated Generative Learning with Foundation Models
ETH Zurich(苏黎世联邦理工学院);USTC(中国科学技术大学);BAAI(北京智源人工智能研究院)
提出联邦生成式学习框架,客户端发送定制文本嵌入,服务器用基础生成模型合成数据,提升通信效率、隐私与性能,在ImageNet100上单轮通信即超越FedAvg 200轮表现。
2024-05-31 cs.AI cs.LG
Embedding-reparameterization procedure for manifold-valued latent variables in generative models
Neural Networks and Deep Learning Lab(神经网络与深度学习实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
变分自动编码器(VAE)的传统先验是高斯分布。最近的工作表明,先验分布的选择影响VAE模型的学习能力。本文提出了一种在VAE模型中引入任意流形变量的通用方法(嵌入-重新参数化过程,简称ER)。我们比较我们的技术与传统的VAE的玩具基准问题。这是正在进行的工作。
2018-12-06 cs.LG stat.ML
Premise Selection for Theorem Proving by Deep Graph Embedding
University of Michigan, Ann Arbor(密歇根大学安娜堡分校)
我们提出了一种基于深度学习的方法来解决前提选择问题:选择与证明给定猜想相关的数学陈述。我们表示一个高阶逻辑公式作为一个图形,是不变的变量重命名,但仍然完全保留语法和语义信息。然后,我们通过一种新的嵌入方法,保留边排序的信息,将图嵌入到一个向量中。我们的方法在HolStep数据集上实现了最先进的结果,将分类准确率从83%提高到90.3%。
2017-09-28 cs.AI cs.LG cs.LO
Leveraging Complementary Embeddings for Replay Selection in Continual Learning with Small Buffers
本文提出MERS方法,通过结合监督和自监督嵌入的图方法改进重放缓冲区选择,提升持续学习性能,尤其在低内存环境下表现优异。
2026-09-17 cs.LG
Generative networks as inverse problems with Scattering transforms
École normale supérieure(巴黎高等师范学院);Collège de France(法兰西公学院);PSL Research University(PSL研究大学);Paris, France(75005巴黎,法国)
生成对抗网络(GANs)和变分自动编码器(VAE)从高斯白噪声中生成令人印象深刻的图像,但底层数学还没有得到很好的理解。我们通过反转固定嵌入算子来计算深度卷积网络生成器。因此,它们不需要使用解码器或编码器进行优化。嵌入是Lipschitz连续的变形,使发电机转换输入白噪声向量之间的线性插值到输出图像之间的变形。这种嵌入是用小波散射变换计算的。数值实验表明,所得的散射发生器具有与GANs或VAE相似的特性,而无需学习判别网络或编码器。
2018-05-17 cs.AI cs.LG stat.ML
Generative Topic Embedding: a Continuous Representation of Documents (Extended Version with Proofs)
National University of Singapore(新加坡国立大学);Tsinghua University(清华大学)
词嵌入通过在一个小的上下文窗口中利用词的局部搭配模式将词映射到一个低维的连续嵌入空间中。另一方面,主题建模通过利用同一文档中的全局词语搭配模式,将文档映射到低维主题空间。这两种模式是互补的。在本文中,我们提出了一个生成式的主题嵌入模型,结合这两种类型的模式。在我们的模型中,主题由嵌入向量表示,并在文档之间共享。每个单词出现的概率受其本地上下文和主题的影响。变分推理方法产生的主题嵌入以及主题混合比例为每个文档。它们共同表示低维连续空间中的文档。在两个文档分类任务中,我们的方法比现有的八种方法性能更好,功能更少。此外,我们用一个例子说明,我们的方法可以生成连贯的主题,即使是基于一个文档。
2016-08-08 cs.AI cs.CL cs.IR
Exploring Fine-tuned Generative Models for Keyphrase Selection: A Case Study for Russian
University of Tyumen(塔戈茨克大学);Novosibirsk State University(新西伯利亚国立大学)
本文研究俄语文科学文本的关键词选择,微调并比较 ruT5、ruGPT、mT5、mBART,发现 mBART 在领域内显著优于三种抽取基线,跨领域亦有潜力。
2024-09-18 cs.AI cs.CL cs.LG
GET: Generative Embedding Translation for Medical Image Segmentation
Texas A&M University(德克萨斯农工大学);Alfa Laval(阿法拉伐)
该研究提出GET框架,基于Stable Diffusion VAE的冻结潜在空间实现医学图像分割,在多数据集上优于各类基线,参数更少且域偏移下性能提升显著。
2026-08-25 cs.CV cs.LG eess.IV
A Generative Model for Accelerated Inverse Modelling Using a Novel Embedding for Continuous Variables
Faculty of Georesources and Materials Engineering, RWTH Aachen University(亚琛工业大学地质资源与材料工程学院)
针对材料科学中逆建模找目标性能对应微观结构的不适定问题,提出基于浮点数二进制表示的新型连续变量嵌入策略,用于生成模型,无需归一化即可精细调控生成的微观结构,加速材料设计。
2024-05-21 cond-mat.mtrl-sci cs.LG
Mixture-Greedy for Online Generative Model Selection: Is UCB Necessary in Diversity-Aware Multi-Armed Bandits?
Department of Computer Science and Engineering, Chinese University of Hong Kong(计算机科学与工程系,香港中文大学)
在生成模型选择中,混合贪婪策略无需UCB探索奖励即可实现更快收敛和更高样本效率,挑战了传统多臂老虎机中UCB的必要性。
2026-10-12 cs.AI cs.CV cs.LG
REGEN: Learning Compact Video Embedding with (Re-)Generative Decoder
Adobe Research(奥多比研究院);Northeastern University(东北大学)
REGEN提出用编码器-生成器框架替代传统编码器-解码器,以DiT从紧凑潜在空间合成缺失细节,实现高达32倍时间压缩比,并验证其在文本到视频生成中的高效性与鲁棒性。
2025-03-11 cs.AI cs.CV cs.LG
Generative Model Selection Using a Scalable and Size-Independent Complex Network Classifier
Sharif University of Technology(谢里夫理工大学)
真实网络表现出非平凡的拓扑特征,如重尾度分布、高聚类性和小世界性。研究人员已经开发了几种生成模型,用于合成结构上与真实网络相似的人工网络。一个重要的研究问题是确定最适合目标网络的生成模型。在本文中,我们研究这个问题,我们的目标是选择能够生成类似于给定网络实例的图的模型。通过生成具有七个优秀生成模型的合成网络,我们利用机器学习方法开发了用于模型选择的决策树。我们提出的方法,这是命名为“复杂网络的生成模型选择”(GMSCN),优于现有的方法在准确性,可扩展性和大小无关性。
2014-02-01 cs.LG cs.SI physics.soc-ph
Breaking the Illusion: Consensus-Based Generative Mitigation of Adversarial Illusions in Multi-Modal Embeddings
Lund University(隆德大学);Google DeepMind(谷歌DeepMind)
本文提出一种任务无关的缓解机制,利用生成模型恢复多模态嵌入的自然对齐,通过生成采样策略和共识聚合方案提升防御效果,实验显示其显著降低对抗性幻觉攻击成功率。
2026-04-21 cs.LG
T-FREE: Subword Tokenizer-Free Generative LLMs via Sparse Representations for Memory-Efficient Embeddings
Aleph Alpha;Technical University Darmstadt(达姆施塔特工业大学);Hessian Center for Artificial Intelligence (hessian.AI)(黑森人工智能中心);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心)
本文提出 T-FREE,利用字符三元组稀疏激活直接嵌入单词,无需参考语料库,可将嵌入与输出头层参数削减逾 85%,并提升跨语言迁移性能。
2025-01-07 cs.AI cs.CL cs.LG
A Multi-Armed Bandit Approach to Online Selection and Evaluation of Generative Models
The Chinese University of Hong Kong(香港中文大学)
本文提出将生成模型在线评估与选择建模为多臂老虎机问题,基于Fréchet距离和Inception Score设计FD-UCB与IS-UCB算法,并证明遗憾界,实现样本高效地选择最优深度生成模型。
2025-03-11 cs.LG
Pre-Training Meta-Rule Selection Policy for Visual Generative Abductive Learning
Zhejiang University(浙江大学);Nanjing University(南京大学)
本文针对视觉生成溯因学习中逻辑溯因成本高的问题,提出对 AbdGen 的元规则选择策略进行预训练,通过纯符号数据学习选择模型以剪枝候选空间,并发现该策略可纠正未见过的符号基错误,从而显著提升学习效率。
2025-03-09 cs.AI cs.CV cs.LG
Autonomous Data Selection with Zero-shot Generative Classifiers for Mathematical Texts
Tsinghua University(清华大学);Shanghai Qi Zhi Institute(上海启智研究院)
本文提出AutoDS方法,利用基础语言模型自身作为零样本生成式分类器自动筛选高质量数学文本,在持续预训练中显著提升数学推理性能并实现约两倍的token效率提升。
2025-07-22 cs.AI cs.CL cs.LG
Imitation from Observations with Trajectory-Level Generative Embeddings
University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
TGE通过轨迹级生成嵌入解决离线模仿学习中专家数据稀缺的问题,利用时序扩散模型构建平滑奖励,提升离线数据与专家行为间的学习信号。
2026-02-01 cs.LG
Inferring from Logits: Exploring Best Practices for Decoding-Free Generative Candidate Selection
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Rensselaer Polytechnic Institute(伦斯勒理工学院)
本文系统评估了多种免解码候选选择方法在多项选择QA和临床决策等任务中结合不同基础语言模型的表现,为未来模型设计提供了实验依据和见解。
2025-01-28 cs.AI cs.CL cs.LG
Generative Quantum Data Embeddings for Supervised Learning
Department of Statistics and Data Science, Yonsei University, Seoul 03722, Republic of Korea(统计与数据科学系,延世大学,首尔03722,韩国);Department of Applied Statistics, Yonsei University, Seoul 03722, Republic of Korea(应用统计学系,延世大学,首尔03722,韩国);Department of Quantum Information, Yonsei University, Seoul 03722, Republic of Korea(量子信息系,延世大学,首尔03722,韩国)
提出一种基于能量的生成学习框架,通过保真度替代目标优化嵌入结构和参数,提升分类性能,并利用Wasserstein距离解释性能饱和现象。
2026-05-29 cs.LG quant-ph
A Generative Word Embedding Model and its Low Rank Positive Semidefinite Solution
Joint NTU-UBC Research Centre of Excellence in Active Living for the Elderly (LILY)(南洋理工大学-不列颠哥伦比亚大学活跃老年生活卓越联合研究中心(LILY));Nanyang Technological University(南洋理工大学);Tsinghua University(清华大学)
现有的大多数词嵌入方法可以分为神经嵌入模型和基于矩阵分解(MF)的方法。然而,一些模型是不透明的概率解释,和MF为基础的方法,通常使用奇异值分解(SVD)解决,可能会导致语料库信息的损失。此外,期望将诸如主题、情感或写作风格的全局潜在因素并入到词嵌入模型中。由于生成模型提供了一个原则性的方式来纳入潜在的因素,我们提出了一个生成的词嵌入模型,这是很容易解释,并可以作为更复杂的潜在因素模型的基础。模型推理归结为一个低秩加权半正定逼近问题。其优化方法是通过对子矩阵进行特征分解,然后进行在线分块回归,这是可扩展的,避免了SVD中的信息丢失。在7个常见的基准数据集上的实验中,我们的向量与word2vec竞争,并且优于其他基于MF的方法。
2015-08-16 cs.CL cs.LG stat.ML
Factor Decomposed Generative Adversarial Networks for Text-to-Image Synthesis
Fudan University(复旦大学)
关于文本到图像合成的现有工作通常将句子嵌入与噪声向量连接在一起,而句子嵌入和噪声向量是两个不同的因素,它们控制生成的不同方面。简单地将它们连接起来会使潜在因素纠缠在一起,阻碍生成模型。在本文中,我们尝试分解这两个因素,并提出了因素分解生成对抗网络~(FDGAN)。为了实现这一点,我们首先从噪声向量生成图像,然后在生成器和鉴别器的归一化层中应用句子嵌入。我们还设计了一个附加的范数层来对齐和融合文本图像特征。实验结果表明,噪声分解和句子嵌入能有效地消除文本到图像合成中的潜在因素,提高生成模型的效率。与基线相比,FDGAN可以获得更好的性能,而使用的参数较少。
2023-03-24 cs.LG cs.MM
HSTU-BLaIR: Lightweight Contrastive Text Embedding for Generative Recommender
Ming Hsieh Department of Electrical and Computer Engineering(电气与计算机工程系)
提出HSTU-BLaIR混合框架,将轻量级对比文本嵌入模型BLaIR与HSTU生成式推荐器结合,在电商数据集上以更少参数超越OpenAI嵌入增强变体,验证了对比文本嵌入在高效推荐中的有效性。
2025-06-19 cs.IR cs.LG
Generative Pretrained Embedding and Hierarchical Irregular Time Series Representation for Daily Living Activity Recognition
IP Paris(巴黎理工学院);ENSTA(法国国立高等先进技术学院);Inria(法国国家信息与自动化研究所);IMT Atlantique(大西洋电信学院);Lab-STICC(信息、信号与智能系统研究实验室)
本文提出一种受GPT启发的分层架构,结合Transformer Decoder预训练嵌入与小时级时间嵌入,用于智能家居日常生活活动识别,在分类精度上超越SOTA ELMo基准。
2024-12-27 cs.LG
Mitigating Semantic Collapse in Generative Personalization with Test-Time Embedding Adjustment
本文提出通过测试时嵌入调整缓解生成个性化中的语义坍塌问题,通过调整预训练嵌入的幅度和方向来提升文本-图像对齐性能。
2026-02-25 cs.GR cs.LG
MEGAN: A Generative Adversarial Network for Multi-View Network Embedding
The Pennsylvania State University(宾夕法尼亚州立大学)
来自许多真实世界应用的数据可以自然地由多视图网络表示,其中不同的视图编码不同类型的关系(例如,友谊,共同的音乐爱好等)。真实世界中的个体或实体之间。迫切需要一种方法来获得低维,信息保持和典型的非线性嵌入这样的多视图网络。然而,大多数关于多视图学习的工作都集中在缺乏网络结构的数据上,而大多数关于网络嵌入的工作主要集中在单视图网络上。在此背景下,我们考虑多视图网络表示学习问题,即,多视点网络的低维信息保持嵌入的构造问题。具体来说,我们研究了一种新的生成对抗网络(GAN)框架,用于多视图网络嵌入,即ME GAN,旨在保留来自各个网络视图的信息,同时考虑不同视图之间的连接性(因此互补性和相关性)。我们在两个真实世界的多视图数据集上的实验结果表明,使用MEGAN获得的嵌入优于节点分类,链接预测和可视化任务的最先进的方法。
2019-08-20 cs.LG cs.SI
Learning Analogy-Preserving Sentence Embeddings for Answer Selection
Technische Universität Darmstadt(达姆施塔特工业大学)
答案选择旨在从一组可能正确的答案中识别给定问题的正确答案。与以前的作品,通常集中在一个问题和它的答案之间的语义相似性,我们的假设是,问答对往往是在类比关系。使用类比推理作为我们的用例,我们提出了一个框架和一个神经网络架构,用于学习专用的句子嵌入,保留语义空间中的类比属性。我们评估了所提出的方法在基准数据集的答案选择,并证明我们的句子嵌入确实捕捉类比属性比传统的嵌入,类比为基础的问答优于可比的相似性为基础的技术。
2019-10-11 cs.CL cs.LG
A Test of Relative Similarity For Model Selection in Generative Models
KU Leuven(鲁汶大学);CentraleSupélec(巴黎中央理工-高等电力学院);Inria Saclay(法国国家信息与自动化研究所萨克莱分院);Université Paris-Saclay(巴黎萨克雷大学);Google Deepmind(谷歌DeepMind);University College London(伦敦大学学院)
概率生成模型为表示数据提供了一个强大的框架,避免了判别方法通常需要的手动注释的费用。然而,在这种生成设置中的模型选择可能具有挑战性,特别是当不容易获得可能性时。为了解决这个问题,我们引入了一个相对相似性的统计测试,用于确定两个模型中哪一个生成的样本更接近真实世界的参考数据集。我们使用参考数据集和每个模型数据集之间的最大平均差异(MMD)的差异作为我们的检验统计量,并基于每个参考模型对之间的MMD的联合渐近分布推导出一个强大的低方差检验。在深度生成模型的实验中,包括变分自动编码器和生成矩匹配网络,测试提供了一个有意义的模型性能排名,作为参数和训练设置的函数。
2016-02-15 cs.LG stat.ML
Semantic CSI Feedback for Beam Selection: When Task-Aware Embeddings from Sparse Pilots Outperform Full-Bandwidth Reconstruction
Ericsson Research(爱立信研究院)
本文提出语义CSI反馈方法,用稀疏导频的紧凑嵌入替代全带宽重构,在波束选择任务上超越CsiNet,验证了“传输意图而非信号”的语义通信原则。
2026-09-22 cs.AI cs.LG eess.SP
PI-VEGAN: Physics Informed Variational Embedding Generative Adversarial Networks for Stochastic Differential Equations
Yantai University(烟台大学)
该研究提出新型物理信息神经网络PI-VEGAN,结合自动微分与变分编码器,通过编码器、生成器、判别器交替更新,可有效求解随机微分方程的正、逆及混合问题,相比PI-WGAN具备更优的稳定性与准确性。
2023-07-21 cs.LG
Penalized Generative Variable Selection
Yale School of Public Health(耶鲁公共卫生学院);The Hong Kong Polytechnic University(香港理工大学)
本文提出在条件Wasserstein生成对抗网络中使用Group Lasso惩罚进行变量选择,并将其扩展到删失生存数据分析,建立了变量选择的收敛速率并提升了分布估计效率。
2024-02-26 cs.LG stat.ME stat.ML
BourGAN: Generative Networks with Metric Embeddings
Columbia University(哥伦比亚大学)
本文讨论了生成对抗网络(GANs)的模式崩溃。我们把模式看作是度量空间中数据分布的几何结构。在这种几何透镜下,我们将数据集的子样本从任意度量空间嵌入到l2空间中,同时保持它们的成对距离分布。该度量嵌入不仅自动确定潜在空间的维度,还使我们能够构建高斯混合来绘制潜在空间随机向量。我们使用高斯混合模型与目标函数的简单增强相结合来训练GANs。我们的方法的每一个主要步骤都得到了理论分析的支持,我们对真实和合成数据的实验证实,生成器能够产生分布在大多数模式上的样本,同时避免不需要的样本,在许多指标上优于最近的几个GAN变体,并提供新的功能。
2018-12-03 cs.LG stat.ML
Denoising-Aware Inversion: Revealing Privacy Risks in Noise-Protected Text Embeddings
Monash University(莫纳什大学);The University of Queensland(昆士兰大学);Northeastern University(东北大学)
本文针对受噪声保护的文本嵌入,提出感知去噪的反演方法DAEI,突破双重噪声陷阱,在反演性能上大幅优于基线,挑战了高斯扰动可防嵌入隐私泄露的假设。
2026-08-20 cs.AI cs.CR cs.LG