SimVAE: Simulator-Assisted Training forInterpretable Generative Models
MIT-IBM Watson AI Lab(MIT-IBM沃森人工智能实验室);IBM Research(IBM研究院)
本文提出了一种模拟器辅助训练方法(SimVAE)的变分自动编码器(VAE),导致一个解开和解释的潜在空间。训练SimVAE是一个两步过程,首先训练深度生成器网络(解码器)以近似模拟器。在此步骤中,模拟器充当数据源或教师网络。然后训练推理网络(编码器)来反转解码器。因此,在完成训练时,编码器表示近似倒置的模拟器。通过解耦编码器和解码器的训练,我们绕过了训练生成模型(如VAE和生成对抗网络(GANs))时出现的一些困难。我们展示了我们的方法在各种领域的应用,如电路设计,图形去渲染和其他自然科学问题,涉及通过仿真推理。
2019-11-19 cs.LG stat.ML
REGEN: Learning Compact Video Embedding with (Re-)Generative Decoder
Adobe Research(奥多比研究院);Northeastern University(东北大学)
REGEN提出用编码器-生成器框架替代传统编码器-解码器,以DiT从紧凑潜在空间合成缺失细节,实现高达32倍时间压缩比,并验证其在文本到视频生成中的高效性与鲁棒性。
2025-03-11 cs.AI cs.CV cs.LG
Geometry-Preserving Encoder/Decoder in Latent Generative Models
Department of Mathematics, The Ohio State University(俄亥俄州立大学数学系);Department of Mathematics, University of Minnesota(明尼苏达大学数学系);Zu Chongzhi Center for Mathematics and Computational Sciences, Duke Kunshan University(杜克-昆山大学仲长奇中心)
本文提出一种新型几何保持编码器/解码器框架,通过保留数据分布的几何结构,在潜在扩散模型中实现更高效的训练和更快的收敛。
2026-06-17 cs.LG cs.NA math.NA
Land-then-transport: A Flow Matching-Based Generative Decoder for Wireless Image Transmission
School of Electrical Engineering and Computer Science (EECS), KTH Royal Institute of Technology(电气工程与计算机科学系(EECS),皇家理工学院);College of Information and Communication Engineering, Sungkyunkwan University(信息与通信工程学院,成均馆大学)
本文提出了一种基于流匹配的生成解码器,通过整合物理无线信道到连续时间概率流中,实现低延迟的无线图像解码,适用于多种信道类型。
2026-01-12 cs.LG eess.IV
Markov Chain Decoders Overcome the Heavy-Tail Limitations of Lipschitz Generative Models
Université Paris Saclay, Lab. MICS, CentraleSupélec, Gif-sur-Yvette, France(巴黎萨克雷大学,MICS实验室,CentraleSupélec,法国吉夫昂耶vette);Università di Torino, Torino, Italy(都灵大学,意大利都灵)
针对Lipschitz生成模型无法生成重尾分布的问题,提出用基于马尔可夫链的Phase-Type分布替换高斯解码器,显著降低了尾部误差和极端分位数误差。
2026-06-03 cs.AI cs.LG stat.ML
Concentration bounds on response-based vector embeddings of black-box generative models
本文研究了基于响应的生成模型向量嵌入的集中界,通过数据核视角空间嵌入方法,在适当正则条件下推导出样本向量嵌入的高概率集中界,并确定所需样本响应数量以实现目标精度的群体嵌入近似。
2026-06-27 cs.LG stat.ML
Supervising the Decoder of Variational Autoencoders to Improve Scientific Utility
Beijing University of Posts and Telecommunications(北京邮电大学);Duke University(杜克大学);Stanford University(斯坦福大学);Weill Cornell Medical College(威尔康奈尔医学院)
概率生成模型对于科学建模是有吸引力的,因为它们的推断参数可以用于生成假设和设计实验。这要求学习模型提供输入数据的准确表示,并产生一个潜在空间,有效地预测与科学问题相关的结果。监督变分自动编码器(SVAE)以前曾用于此目的,其中精心设计的解码器可以用作可解释的生成模型,而监督目标确保预测的潜在表示。不幸的是,监督目标迫使编码器学习生成后验分布的有偏近似,这使得生成参数在用于科学模型时不可靠。这个问题一直未被检测到,因为通常用于评估模型性能的重建损失不会检测编码器中的偏差。我们解决这个以前未报告的问题,通过开发一个二阶监督框架(SOS-VAE),影响解码器,以诱导预测的潜在表示。这确保了相关联的编码器保持可靠的生成解释。我们扩展了这种技术,允许用户权衡生成参数中的一些偏差,以提高预测性能,作为SVAE和我们新的SOS-VAE之间的中间选项。我们还使用这种方法来解决缺失数据的问题,经常出现在结合多个科学实验的记录。我们使用合成数据和电生理记录来证明这些发展的有效性,重点是我们的学习表示如何用于设计科学实验。
2022-07-08 cs.LG stat.AP stat.ML
Embedding-reparameterization procedure for manifold-valued latent variables in generative models
Neural Networks and Deep Learning Lab(神经网络与深度学习实验室);Moscow Institute of Physics and Technology(莫斯科物理技术学院)
变分自动编码器(VAE)的传统先验是高斯分布。最近的工作表明,先验分布的选择影响VAE模型的学习能力。本文提出了一种在VAE模型中引入任意流形变量的通用方法(嵌入-重新参数化过程,简称ER)。我们比较我们的技术与传统的VAE的玩具基准问题。这是正在进行的工作。
2018-12-06 cs.LG stat.ML
Deep Generative Neural Embeddings for High Dimensional Data Visualization
Siemens Medical Solutions USA(美国西门子医疗系统公司)
我们提出了一种可视化技术,利用神经网络嵌入和生成网络重建原始数据。该方法允许通过其非参数结构独立操作各个图像嵌入,比传统的自动编码器方法提供更大的灵活性。我们已经评估了这种技术在数据可视化中的有效性,并将其与t-SNE和VAE方法进行了比较。此外,我们还通过ImageNet数据集上的可视化展示了我们方法的可扩展性。我们的技术在人在环训练中具有潜在的应用,因为它允许独立编辑嵌入位置而不影响优化过程。
2023-01-25 cs.CV cs.HC cs.LG
Generative Augmentation for EEG Motor Imagery Classification: A Class-Conditional VAE with Cycle-Consistent Decoder Refinement
Naqi Logix(纳奇逻辑公司);Inria Center at Univ. Bordeaux / LaBRI(波尔多大学/LaBRI研究所的Inria中心);LITIS, INSA Rouen-Normandy(鲁昂-诺曼底高等电子与电工技术工程师学校的LITIS实验室)
研究生成模型能否提供合成MI-EEG试验提高下游分类器准确性,训练带集成潜在分类器的CVAE,在两种评估协议下通过四个分类管道测试,发现合成EEG可提高MDM点估计,增益小且依赖分类器。
2026-07-28 cs.CV cs.LG
Factor Decomposed Generative Adversarial Networks for Text-to-Image Synthesis
Fudan University(复旦大学)
关于文本到图像合成的现有工作通常将句子嵌入与噪声向量连接在一起,而句子嵌入和噪声向量是两个不同的因素,它们控制生成的不同方面。简单地将它们连接起来会使潜在因素纠缠在一起,阻碍生成模型。在本文中,我们尝试分解这两个因素,并提出了因素分解生成对抗网络~(FDGAN)。为了实现这一点,我们首先从噪声向量生成图像,然后在生成器和鉴别器的归一化层中应用句子嵌入。我们还设计了一个附加的范数层来对齐和融合文本图像特征。实验结果表明,噪声分解和句子嵌入能有效地消除文本到图像合成中的潜在因素,提高生成模型的效率。与基线相比,FDGAN可以获得更好的性能,而使用的参数较少。
2023-03-24 cs.LG cs.MM
Novelty Detection via Non-Adversarial Generative Network
East China Normal University(华东师范大学);XMU(厦门大学)
单类新颖性检测是确定查询示例是否不同于训练样本(目标类)的过程。大多数先前的策略试图通过使用生成对抗网络(GANs)方法来学习目标样本的真实特征。然而,GANs的训练过程仍然具有挑战性,存在模式坍塌和梯度消失等不稳定问题。本文采用非对抗生成网络,提出了一种新的解码器-编码器框架,用于新颖性检测任务,而不是经典的编码器-解码器风格。在非对抗框架下,潜在空间和图像重建空间都得到了联合优化,从而实现了更稳定的训练过程,具有超快的收敛速度和更低的训练损失。在推理过程中,受cycleGAN的启发,我们设计了一种新的测试方案来进行图像重建,这是训练序列的反向方式。实验表明,我们的模型具有明显的优势,比尖端的新奇检测器,并实现了最先进的结果在数据集上。
2020-02-03 cs.CV cs.LG
GET: Generative Embedding Translation for Medical Image Segmentation
Texas A&M University(德克萨斯农工大学);Alfa Laval(阿法拉伐)
该研究提出GET框架,基于Stable Diffusion VAE的冻结潜在空间实现医学图像分割,在多数据集上优于各类基线,参数更少且域偏移下性能提升显著。
2026-08-25 cs.CV cs.LG eess.IV
MEGAN: A Generative Adversarial Network for Multi-View Network Embedding
The Pennsylvania State University(宾夕法尼亚州立大学)
来自许多真实世界应用的数据可以自然地由多视图网络表示,其中不同的视图编码不同类型的关系(例如,友谊,共同的音乐爱好等)。真实世界中的个体或实体之间。迫切需要一种方法来获得低维,信息保持和典型的非线性嵌入这样的多视图网络。然而,大多数关于多视图学习的工作都集中在缺乏网络结构的数据上,而大多数关于网络嵌入的工作主要集中在单视图网络上。在此背景下,我们考虑多视图网络表示学习问题,即,多视点网络的低维信息保持嵌入的构造问题。具体来说,我们研究了一种新的生成对抗网络(GAN)框架,用于多视图网络嵌入,即ME GAN,旨在保留来自各个网络视图的信息,同时考虑不同视图之间的连接性(因此互补性和相关性)。我们在两个真实世界的多视图数据集上的实验结果表明,使用MEGAN获得的嵌入优于节点分类,链接预测和可视化任务的最先进的方法。
2019-08-20 cs.LG cs.SI
Improved Variational Autoencoders for Text Modeling using Dilated Convolutions
Carnegie Mellon University(卡内基梅隆大学)
最近关于文本的生成建模的工作已经发现,结合LSTM解码器的变分自动编码器(VAE)比更简单的LSTM语言模型表现更差(Bowman等人,2015年)。到目前为止,这个负面结果还不太清楚,但这归因于LSTM解码器忽略来自编码器的条件信息的倾向。在本文中,我们实验了一种新型的解码器VAE:一个扩大的CNN。通过改变解码器的膨胀架构,我们控制有效的上下文从以前生成的单词。在实验中,我们发现,有一个权衡的上下文容量的解码器和编码信息的使用量。我们证明,使用正确的解码器,VAE可以超越LSTM语言模型。我们在两个数据集上展示了困惑增益,代表了使用VAE进行文本生成建模的第一个积极的实验结果。此外,我们对VAE(使用我们的新解码架构)用于半监督和无监督标记任务进行了深入研究,证明了在几个强基线上的收益。
2017-06-18 cs.CL cs.LG cs.NE
BourGAN: Generative Networks with Metric Embeddings
Columbia University(哥伦比亚大学)
本文讨论了生成对抗网络(GANs)的模式崩溃。我们把模式看作是度量空间中数据分布的几何结构。在这种几何透镜下,我们将数据集的子样本从任意度量空间嵌入到l2空间中,同时保持它们的成对距离分布。该度量嵌入不仅自动确定潜在空间的维度,还使我们能够构建高斯混合来绘制潜在空间随机向量。我们使用高斯混合模型与目标函数的简单增强相结合来训练GANs。我们的方法的每一个主要步骤都得到了理论分析的支持,我们对真实和合成数据的实验证实,生成器能够产生分布在大多数模式上的样本,同时避免不需要的样本,在许多指标上优于最近的几个GAN变体,并提供新的功能。
2018-12-03 cs.LG stat.ML
A Comprehensive Study of Decoder-Only LLMs for Text-to-Image Generation
University of Maryland(马里兰大学);NVIDIA(英伟达)
本研究针对现有文生图模型文本编码器过时的问题,构建标准化流程测试仅解码器LLMs作为文本编码器的效果,发现全层层归一化平均嵌入可提升复杂提示对齐度,多数LLMs性能优于T5基线。
2025-06-09 cs.AI cs.CL cs.CV
Turbo-Sim: a generalised generative model with a physical latent space
University of Geneva(日内瓦大学)
我们提出涡轮西姆,一个广义的自动编码器框架,来自原则的信息论,可以用作生成模型。通过最大化编码器和解码器的输入和输出之间的互信息,我们能够重新发现通常在对抗自编码器和生成对抗网络以及各种更复杂的相关模型中发现的损失项。我们的通用框架使这些模型在数学上是可解释的,并通过单独设置每个损失项的权重来允许新模型的多样性。该框架还独立于编码器和解码器的固有架构,从而为整个网络的构建块留下了广泛的选择。我们将Turbo-Sim应用于对撞机物理生成问题:几个粒子的性质从理论空间的转换,碰撞后,到观察空间,在实验中检测后。
2021-12-21 cs.LG hep-ex stat.ML
Image Embedding for Denoising Generative Models
University of Bologna(博洛尼亚大学)
去噪扩散模型在生成式建模领域越来越受欢迎,原因有几个,包括简单稳定的训练,优秀的生成质量和坚实的概率基础。在这篇文章中,我们解决的问题{ \em嵌入}的潜在空间的图像去噪扩散模型,即找到一个合适的“噪声”的图像,其去噪的结果在原始图像。我们特别关注去噪扩散隐式模型,由于其反向扩散过程的确定性。作为我们的调查的一个副作用,我们获得了更深入的了解扩散模型的潜在空间的结构,打开有趣的视角,其探索,语义轨迹的定义,和编辑目的的编码的操纵/调节。我们的研究强调了一个特别有趣的属性,这也是这类生成模型的特征,是潜在表示与实现反向扩散过程的网络的独立性。换句话说,一个共同的种子传递到不同的网络(每个网络都在同一个数据集上训练),最终会产生相同的图像。
2022-12-30 cs.AI cs.CV cs.LG
A Deep Generative Model of Speech Complex Spectrograms
RIKEN Center for Advanced Intelligence Project (AIP)(理化学研究所先进智能项目中心);Kyoto University(京都大学)
提出了一种基于深度生成模型的短时傅里叶变换幅度谱和相位谱联合建模方法。我们假设幅度遵循高斯分布,相位遵循冯米塞斯分布。为了改善时频域中相位值的一致性,我们还将冯米塞斯分布应用于相位导数,即,群延迟和瞬时频率。基于这些假设,我们探索并比较了几种用于训练模型的损失函数组合。基于变分自编码器框架,我们的模型由三个卷积神经网络组成,分别作为编码器、幅度解码器和相位解码器。除了潜在变量,我们还建议条件的相位估计的估计幅度。评估的时域语音重建任务,我们的模型可以生成语音具有高感知质量和高清晰度。
2019-03-08 cs.LG cs.SD eess.AS
Efficient Fréchet Distributional Decoder Alignment for Latent Generative Models
University of Toronto(多伦多大学);Université de Montréal(蒙特利尔大学);Vijil(维吉尔公司)
该研究针对潜在生成模型的解码器训练-生成不匹配问题,提出FDDA方法,冻结生成器并直接优化解码器,可显著降低gFDr⁶和训练时间,提升生成模型性能。
2026-10-14 cs.CV cs.LG
Is Generation Required for Data-Efficient Perception?
研究生成式与非生成式方法实现组合泛化的程度,通过理论刻画归纳偏差,表明生成范式可能更易实现组合泛化,实验发现生成式方法泛化性更好。
2026-07-07 cs.CV cs.LG
Understanding Transformer Encoder-Decoder Representations through Bernoulli Dropout
School of Electrical and Computer Engineering(电气与计算机工程学院);Georgia Institute of Technology(佐治亚理工学院)
本研究通过伯努利丢弃方法探索Transformer编码器-解码器表示,分析稀疏性对模型性能的影响,并在翻译任务中验证了稀疏性阈值对性能的决定性作用。
2026-01-24 cs.LG
Multi-Decoder Attention Model with Embedding Glimpse for Solving Vehicle Routing Problems
Nanyang Technological University(南洋理工大学);Shandong University(山东大学);National University of Singapore(新加坡国立大学)
我们提出了一种新的深度强化学习方法来学习车辆路径问题的构造算法。具体而言,我们提出了一种多解码器注意力模型(MDAM)来训练多个不同的策略,与现有的只训练一个策略的方法相比,有效地增加了找到好的解决方案的机会.设计了一种自定义的束搜索策略,充分利用MDAM的多样性。此外,我们提出了一个嵌入Glimpse层在MDAM的基础上的递归性质的建设,它可以通过提供更多的信息嵌入,提高每个政策的质量。在六个不同的路由问题上的广泛实验表明,我们的方法显着优于最先进的基于深度学习的模型。
2020-12-19 cs.AI cs.LG
Riemannian generative decoder
University of Copenhagen(哥本哈根大学);Technical University of Denmark(丹麦技术大学)
本文提出黎曼生成解码器,无需编码器即可在任意黎曼流形上学习潜变量,简化约束并提升质量,在三个案例中验证了其几何一致性与可解释性。
2025-10-14 cs.LG q-bio.QM stat.ML
EdgeNet : Encoder-decoder generative Network for Auction Design in E-commerce Online Advertising
Alibaba Group(阿里巴巴集团);NWPU(西北工业大学)
EdgeNet提出一种编码器-解码器生成网络,打破GSP范式,利用Transformer编码器和自回归解码器提升数据效率与拍卖经济性,改善用户体验和平台收入。
2023-05-09 cs.AI cs.IR cs.LG
GenEDA: Towards Generative Netlist Functional Reasoning via Cross-Modal Circuit Encoder-Decoder Alignment
Hong Kong University of Science and Technology(香港理工大学)
GenEDA通过跨模态对齐电路编码器与LLM解码器,构建首个生成式网表基础模型,实现从低级网表反向生成规范和RTL代码等新任务,显著提升GPT和DeepSeek等模型性能。
2025-08-06 cs.AR cs.LG
Is Weight Tying Still Beneficial for Decoder-Only LLMs in Private Settings Under DP-SGD?
American University of Beirut(贝鲁特美国大学)
本研究探讨DP-SGD下权重共享对仅解码器LLM的影响,发现未共享嵌入在效用和内存效率上均优于权重共享,为隐私保护训练提供了更优的架构选择。
2026-10-01 cs.LG
Rethinking Decoders for Transformer-based Semantic Segmentation: A Compression Perspective
School of Artificial Intelligence(人工智能学院);Beijing University of Posts and Telecommunications(北京邮电大学)
本文从压缩视角重新解释Transformer语义分割解码器,提出白盒注意力解码器DEPICT,在ADE20K上优于Segmenter且更轻量鲁棒。
2025-10-09 cs.CV cs.LG
Compressed Concatenation of Small Embedding Models
University of Passau(巴伐利亚大学)
针对小型嵌入模型性能不足的问题,提出级联多个小模型并结合MRL损失训练的轻量解码器降维的方法,在MTEB子集上以48倍压缩比恢复89%性能,且级联更多模型可提升压缩鲁棒性。
2025-10-06 cs.LG
Truly unsupervised acoustic word embeddings using weak top-down constraints in encoder-decoder models
Stellenbosch University(斯泰伦博斯大学)
我们调查的无监督模型,可以映射一个可变的持续时间的语音段到一个固定的维度表示。在未标记语音是唯一可用资源的设置中,这种声学词嵌入可以形成“零资源”语音搜索、发现和索引系统的基础。大多数现有的无监督嵌入方法仍然使用一些监督,如单词或音素边界。在这里,我们提出了编码器-解码器对应自动编码器(EncDec-CAE),它不是真正的单词段,而是使用自动发现的段:一个无监督的术语发现系统发现相同的未知类型的单词对,并训练EncDec-CAE以重建一个单词作为输入。我们将其与标准的编码器-解码器自动编码器(AE),具有潜在嵌入先验的变分AE和下采样进行比较。EncDec-CAE在两种语言的单词识别任务中的平均精度比其最接近的竞争对手高出24%。
2019-04-15 cs.CL cs.LG cs.SD
Variational Auto-Decoder: A Method for Neural Generative Modeling from Incomplete Data
Carnegie Mellon University(卡内基梅隆大学)
从部分数据(缺失数据)中学习生成模型是机器学习研究的一个具有挑战性的领域。我们研究了自动编码变分贝叶斯(AEVB)算法的具体实现,在本文中命名为变分自动解码器(VAD)。VAD是一个通用的框架,它使用变分贝叶斯和马尔可夫链蒙特卡罗(MCMC)方法从部分数据中学习生成模型。VAD和可变自动编码器(VAE)之间的主要区别是编码器组件,因为VAD没有编码器组件。使用一个建议的有效的推理方法从多变量高斯近似后验,VAD模型允许通过简单的梯度上升,而不是MCMC采样从概率解码器进行推理。该技术降低了推理计算成本,允许在潜在空间推理期间使用更复杂的优化技术(由于VAD潜在空间中的高自由度,其被示出为至关重要的),并且保持框架易于实现。通过对多个数据集和不同缺失率的大量实验,我们表明编码器不能有效地边缘化由估算缺失值引起的输入波动。本文研究了多模态数据集,这是VAD模型的一个特殊影响领域。
2021-01-03 cs.AI cs.LG stat.ML
Sign Rank Limitations for Inner Product Graph Decoders
University of Chicago(芝加哥大学)
针对内积图解码器在图重建等任务中表征能力有限的问题,本文首次从理论层面阐释该普遍现象,并提出不脱离内积框架的简单改进方案以规避局限。
2024-05-18 cs.LG
PolymerGPT: Multi-property Optimization with a Decoder-Based GPT Model for Generative Polymer Design
Texas A&M University(得克萨斯农工大学);University of Pittsburgh(匹兹堡大学);Virginia Tech(弗吉尼亚理工大学);University of North Carolina Greensboro(北卡罗来纳大学格林斯伯勒分校);Old Dominion University(奥多明尼昂大学)
PolymerGPT是一款基于解码器的GPT模型,可将多达37种聚合物属性融入生成过程,经实验验证其在多属性优化的聚合物生成任务中表现优异。
2026-08-04 cond-mat.mtrl-sci cs.AI cs.CE
Learning Implicit Fields for Generative Shape Modeling
Simon Fraser University(西蒙弗雷泽大学)
我们提倡使用隐式字段的学习生成模型的形状,并引入一个隐式字段解码器,称为IM-NET,形状生成,旨在提高视觉质量的生成的形状。隐式字段为3D空间中的每个点分配一个值,以便可以将形状提取为等值面。IM-NET被训练成通过二元分类器来执行此分配。具体地说,它获取一个点坐标,以及一个对形状进行编码的特征向量,并输出一个指示该点是否在形状之外的值。通过用我们的隐式解码器替换传统解码器进行表示学习(通过IM-AE)和形状生成(通过IM-GAN),我们展示了生成形状建模,插值和单视图3D重建等任务的优异结果,特别是在视觉质量方面。代码和补充材料可在https://github.com/czq142857/implicit-decoder上获得。
2019-09-16 cs.CV cs.GR cs.LG
Enhancing Authorship Attribution through Embedding Fusion: A Novel Approach with Masked and Encoder-Decoder Language Models
University at Buffalo, The State University of New York(纽约州立大学布法罗分校)
针对AI生成与人类撰写文本的区分需求,提出基于多预训练语言模型嵌入融合的作者归属识别框架,在五类大模型生成的平衡数据集上实现超96%的分类准确率与0.93以上的MCC,验证了方法的有效性与鲁棒性。
2024-11-01 cs.CL cs.LG
UME-R1: Exploring Reasoning-Driven Generative Multimodal Embeddings
School of Informatics, Xiamen University, China(厦门大学信息学院);WeChat AI, Tencent Inc, China(腾讯公司微信AI部门);Key Laboratory of Digital Protection and Intelligent Processing of Intangible Cultural Heritage of Fujian and Taiwan (Xiamen University), Ministry of Culture and Tourism, China(福建省和台湾非物质文化遗产数字化保护与智能处理重点实验室);Shanghai Artificial Intelligence Laboratory, China(上海人工智能实验室)
UME-R1通过生成嵌入和强化学习提升多模态嵌入性能,实现判别与生成嵌入的互补,展现生成嵌入在推理和下游任务中的优势。
2026-03-01 cs.AI cs.LG
Non-Autoregressive Neural Machine Translation with Enhanced Decoder Input
University of Science and Technology of China(中国科学技术大学);Microsoft Research Asia(微软亚洲研究院);Microsoft Research(微软研究院);Peking University(北京大学)
非自回归翻译(NAT)模型,从解码器的输入中去除了对先前目标令牌的依赖,实现了显著的推理加速,但与自回归翻译(AT)模型相比,其精度较差。以前的工作表明,解码器的输入的质量是重要的,在很大程度上影响模型的准确性。在本文中,我们提出了两种方法来增强解码器的输入,以改善NAT模型。第一种方法直接利用由传统SMT方法生成的短语表来将源令牌转换为目标令牌,然后将其作为输入馈送到解码器中。第二种方法通过词级对齐和词级对手学习将源端词嵌入转换为目标端词嵌入,然后将转换后的词嵌入作为输入输入送入解码器。实验结果表明,我们的方法在WMT 14英语-德语任务上的$5.11$ BLEU得分和WMT 16英语-罗马尼亚语任务上的$4.72$ BLEU得分上大大优于NAT基线~ \citep{gu2017non}。
2018-12-23 cs.CL cs.LG
Additional Shared Decoder on Siamese Multi-view Encoders for Learning Acoustic Word Embeddings
KAIST(韩国科学技术院)
声学词嵌入-任意长度词的固定维向量表示-在逐例查询口语词检测中引起了越来越多的兴趣。最近,基于文本标签的正字法部分地反映了单词发音之间的语音相似性的事实,已经引入了联合学习声学和文本嵌入的多视图方法。这表明,它是可能的,通过设计的目标,以文本标签以及词段学习判别嵌入。在本文中,我们提出了一种网络架构,扩展了多视图的方法相结合的暹罗多视图编码器与共享的解码器网络,以最大限度地提高嵌入空间中的声学和文本嵌入之间的关系的效果。在多视图三元组丢失和解码丢失的情况下进行区分训练,我们提出的方法在WSJ数据集的声学单词区分任务上取得了更好的性能,平均精度相对提高了11.1%。我们还提出了跨视图字歧视和字级语音识别任务的实验结果。
2019-10-01 cs.IR cs.LG cs.SD
Hierarchical Token Prepending: Enhancing Information Flow in Decoder-based LLM Embeddings
Carnegie Mellon University(卡内基梅隆大学);University of Oxford(牛津大学);Snap Inc(Snap公司)
针对解码器大语言模型因果注意力阻碍反向信息流、现有单令牌前置方法过度压缩长文档信息的问题,提出HTP方法,通过层级块摘要令牌前置与均值池化,在多类嵌入基准上取得稳定性能提升。
2025-11-18 cs.CL cs.LG
Just Least Squares: Binary Compressive Sampling with Low Generative Intrinsic Dimension
Wuhan University(武汉大学)
在本文中,我们考虑恢复$n$维信号从$m$二进制测量被噪声和符号翻转损坏的假设下,目标信号具有低生成本征维数,即,目标信号可以通过$L$发生器$G: \mathbb{R}^k\rightarrow\mathbb{R}^{n}, k\ll n$近似地产生。虽然二进制测量模型是高度非线性的,我们提出了一个最小二乘解码器,并证明,直到一个恒定的$c$,具有很高的概率,最小二乘解码器实现了尖锐的估计误差$\mathcal{O} (\sqrt{\frac{k\log (Ln)}{m}})$,只要$m\geq \mathcal{O}( k\log (Ln))$。大量的数值模拟和国家的最先进的方法的比较表明,最小二乘解码器是强大的噪声和符号翻转,我们的理论所示。通过构建具有适当选择的深度和宽度的ReLU网络,我们验证了(近似)深度生成先验,这是独立的兴趣。
2021-11-29 cs.LG eess.SP stat.ML
Decoding Molecular Graph Embeddings with Reinforcement Learning
Google Research(谷歌研究院)
我们提出了RL-VAE,一个图到图的变分自动编码器,它使用强化学习从潜在嵌入中解码分子图。先前已经描述了用于图到图自动编码的方法,但是这些方法需要复杂的解码器,这增加了训练和评估的复杂性(例如需要并行编码器和解码器或非平凡图匹配)。在这里,我们重新设计了一个简单的图形生成器,使有效的解码和生成分子图。
2019-06-04 cs.LG stat.ML
SITS-DECO: A Generative Decoder Is All You Need For Multitask Satellite Image Time Series Modelling
LGND AI;Tolbi
本文提出SITS-DECO,一种基于GPT风格仅解码器架构的生成式卫星图像时间序列模型,通过统一序列框架实现多任务作物分类,无需任务适配,并在PASTIS-R上超越更大模型,验证了密集时间序列建模的关键作用。
2025-10-21 cs.AI cs.CV cs.LG
Small Lesion Segmentation in Brain MRIs with Subpixel Embedding
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Chung-Ang University(中央大学)
我们提出了一种方法来分割MRI扫描的人的大脑缺血性中风病变和正常组织。我们提出了一个标准的编码器-解码器形式的神经网络架构,其中预测由空间扩展嵌入网络指导。我们的嵌入式网络学习可以解析大脑中详细结构的特征,而不需要高分辨率的训练图像,这些图像通常是不可用的,而且获取成本很高。或者,编码器-解码器通过跨越和最大池化来学习全局结构。我们的嵌入网络通过在编码器阶段引导解码器丢失空间下采样的细粒度细节来补充编码器-解码器架构。与以前的作品不同,我们的解码器以2倍的输入分辨率输出,其中输入分辨率中的单个像素由我们输出中的四个相邻子像素预测。为了获得原始尺度下的输出,我们提出了一种可学习的下采样器(与手工制作的下采样器相反,例如双线性),它结合了子像素预测。我们的方法将基线架构提高了约11.7%,并在ATLAS公共基准数据集上达到了最先进的水平,并且比最佳竞争方法具有更小的内存占用和更快的运行时间。我们的源代码可以在https://github.com/alexklwong/subpixel-embedding-segmentation上找到。
2021-09-18 cs.AI cs.CV cs.LG
Do We Need an Encoder-Decoder to Model Dynamical Systems on Networks?
Jilin University(吉林大学);Deakin University(迪肯大学)
本文指出网络动力学建模中顶点嵌入会导致错误的长期行为,提出无嵌入的加性向量场参数化模型,能可靠恢复不同网络拓扑上的动力学。
2023-05-20 cs.AI cs.LG
Generative Locally Linear Embedding
University of Waterloo(滑铁卢大学)
局部线性嵌入(LLE)是一种非线性谱降维和流形学习方法。它有两个主要步骤,分别是输入空间和嵌入空间中的点的线性重构和线性嵌入。在这项工作中,我们提出了两个新的生成版本的LLE,命名为生成LLE(GLLE),其线性重建步骤是随机的,而不是确定性的。GLLE假设每个数据点都是由其线性重建权重作为潜在因素引起的。所提出的GLLE算法可以随机生成各种LLE嵌入,而所有生成的嵌入都与原始LLE嵌入相关。我们提出了两个随机线性重建版本,一个使用期望最大化,另一个通过优化从衍生分布直接采样。建议GLLE方法是密切相关的变分推断,因子分析,概率主成分分析和启发。我们的模拟结果表明,所提出的GLLE方法有效地展开和生成子流形的数据。
2021-04-04 cs.CV cs.LG stat.ML
MeshGPT: Generating Triangle Meshes with Decoder-Only Transformers
Technical University of Munich(慕尼黑工业大学);Politecnico di Torino(都灵理工大学);AUDI AG(奥迪股份公司)
MeshGPT 采用 Decoder-Only Transformer 自回归生成紧凑的三角形网格,通过图卷积学习量化嵌入词汇表,显著提升形状覆盖率并降低 FID 分数。
2023-11-27 cs.CV cs.LG
A Hybrid Approach Between Adversarial Generative Networks and Actor-Critic Policy Gradient for Low Rate High-Resolution Image Compression
Imperial College London(帝国理工学院)
图像压缩是在不降低图像质量的情况下减少图像字节大小的基本方法。通常使用经典算法,但最近深度学习已成功应用。在这项工作中,提出了一种用于图像压缩的深度超分辨率工作流程,将低分辨率JPEG图像映射到高分辨率。流水线由两个部分组成:首先,编码器-解码器神经网络学习如何将下采样的JPEG图像转换为高分辨率。其次,生成对抗网络(GANs)和强化学习Actor-Critic(A3 C)损失之间的组合推动编码器-解码器间接最大化高峰值信噪比(PSNR)。虽然PSNR是一个完全可微分的指标,但这项工作为通过编码器-解码器网络和强化学习策略梯度方法之间的端到端方法最大化非微分指标的新解决方案打开了大门。
2019-06-13 cs.LG eess.IV stat.ML
A Generative Model for Accelerated Inverse Modelling Using a Novel Embedding for Continuous Variables
Faculty of Georesources and Materials Engineering, RWTH Aachen University(亚琛工业大学地质资源与材料工程学院)
针对材料科学中逆建模找目标性能对应微观结构的不适定问题,提出基于浮点数二进制表示的新型连续变量嵌入策略,用于生成模型,无需归一化即可精细调控生成的微观结构,加速材料设计。
2024-05-21 cond-mat.mtrl-sci cs.LG
NeVAE: A Deep Generative Model for Molecular Graphs
IIT Kharagpur(印度理工学院克勒格布尔分校);Max Planck Institute for Software Systems(马克斯·普朗克软件系统研究所);Universitat Pompeu Fabra(庞培法布拉大学)
深度生成模型因其学习图像、文本和音频的平滑潜在表示的能力而受到称赞,然后可以用来生成新的、合理的数据。然而,当前的生成模型无法与分子图一起工作,因为它们的独特特征-它们的底层结构不是欧几里得或网格状的,它们在节点标签的置换下保持同构,并且它们具有不同数量的节点和边。在本文中,我们首先提出了一种新的变分自编码器的分子图,其编码器和解码器是专门设计的,以考虑到上述性质,通过几个技术创新。此外,与现有技术相比,我们的解码器能够提供其生成的分子的原子的空间坐标。然后,我们开发了一种基于梯度的算法来优化我们模型的解码器,以便它学习生成最大化某些感兴趣的属性的分子,并且给定感兴趣的分子,它能够优化其原子的空间构型以获得更大的稳定性。实验表明,我们的变分自编码器可以发现合理的,多样的和新的分子比几个国家的最先进的模型更有效。此外,对于几个感兴趣的性质,我们的优化解码器能够识别具有比基于贝叶斯优化和强化学习的几种现有技术方法识别的性质值高121%的性质值的分子
2019-09-06 cs.LG physics.soc-ph stat.ML
Generative Quantum Data Embeddings for Supervised Learning
Department of Statistics and Data Science, Yonsei University, Seoul 03722, Republic of Korea(统计与数据科学系,延世大学,首尔03722,韩国);Department of Applied Statistics, Yonsei University, Seoul 03722, Republic of Korea(应用统计学系,延世大学,首尔03722,韩国);Department of Quantum Information, Yonsei University, Seoul 03722, Republic of Korea(量子信息系,延世大学,首尔03722,韩国)
提出一种基于能量的生成学习框架,通过保真度替代目标优化嵌入结构和参数,提升分类性能,并利用Wasserstein距离解释性能饱和现象。
2026-05-29 cs.LG quant-ph
Conditional Image Generation with PixelCNN Decoders
Google DeepMind(谷歌DeepMind)
这项工作探索了基于PixelCNN架构的新图像密度模型的条件图像生成。该模型可以以任何向量为条件,包括描述性标签或标记,或由其他网络创建的潜在嵌入。当以ImageNet数据库中的类标签为条件时,该模型能够生成代表不同动物,物体,景观和结构的多样化,逼真的场景。当以卷积网络产生的嵌入为条件时,给定一张看不见的人脸图像,它会生成同一个人的各种新肖像,这些肖像具有不同的面部表情、姿势和照明条件。我们还表明,条件PixelCNN可以作为一个强大的解码器在图像自动编码器。此外,所提出的模型中的门控卷积层提高了PixelCNN的对数似然性,以匹配ImageNet上PixelRNN的最新性能,同时大大降低了计算成本。
2016-06-18 cs.CV cs.LG
Classification As Decoder: Trading Flexibility For Control In Neural Dialogue
Curai
生成式seq 2seq对话系统被训练来预测已经发生的对话中的下一个单词。他们可以从大型未标记的对话数据集中学习,深入了解对话上下文,并生成各种各样的响应。这种灵活性以控制为代价。训练数据中不需要的响应将在推理时由模型再现,并且较长的代通常没有意义。我们训练一个分类器从预定义的完整响应列表中进行选择,而不是一次生成一个单词的响应。分类器在(会话上下文,响应类)对上进行训练,其中每个响应类是一组可互换的噪声标记响应。在推理时,我们生成与预测的响应类相关联的样例响应。专家可以随着时间的推移编辑和改进这些样本响应,而无需重新训练分类器或使旧的训练数据无效。对775次看不见的医生/患者对话的人类评估表明,这种权衡改善了反应。在相同的对话背景下,只有12%的区别性方法的反应比医生的反应更差,而生成模型的这一比例为18%。在没有对响应类别进行任何手动标记的情况下训练的判别模型实现了与生成模型相同的性能。
2019-10-17 cs.CL cs.LG
A Stochastic Decoder for Neural Machine Translation
Amazon Research(亚马逊研究院);University of Amsterdam(阿姆斯特丹大学);University of Melbourne(墨尔本大学)
翻译的过程是模棱两可的,因为对于一个给定的句子通常有许多有效的翻译。这就导致了平行语料库中的显著差异,然而,大多数当前的机器翻译模型并没有考虑这种差异,而是将问题视为确定性过程。为此,我们提出了一个机器翻译的深层生成模型,该模型包含一系列潜在变量,以考虑并行语料库中的局部词汇和句法变化。我们提供了对用于训练深度生成模型的变分推断中遇到的陷阱的深入分析。在几种不同语言对上的实验表明,该模型在强基线上持续改进。
2018-05-28 cs.CL cs.LG stat.ML