Language-Switching Triggers Take a Latent Detour Through Language Models
Inria Paris(巴黎研究所);Sorbonne Université(索邦大学)
本文通过电路分析揭示了一个8B参数自回归语言模型中语言切换后门攻击的内部机制,该攻击由三个拉丁词触发,将英语输出重定向为法语,并发现触发信号通过正交于语言身份方向的潜在空间传播,最终由最后一层MLP转换为法语logits。
2026-05-25 cs.CL
LaDA: Latent Dialogue Action For Zero-shot Cross-lingual Neural Network Language Modeling
Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出潜在对话动作层LaDA,通过在解码阶段引入潜在变量优化跨语言口语理解策略,显著提升远距离语言在零样本和少样本自适应下的意图检测与槽位填充性能。
2023-08-05 cs.CL
TextLDM: Language Modeling with Continuous Latent Diffusion
Joy Future Academy(京东探索研究院);HIT(Harbin Institute of Technology);HKUST(GZ)(Hong Kong University of Science and Technology (Guangzhou))
TextLDM将视觉潜在扩散框架应用于文本生成,通过Representation Alignment提升文本表示质量,在OpenWebText2上训练后优于现有扩散语言模型,匹配GPT-2性能。
2026-05-08 cs.CL
Latent Distance Guided Alignment Training for Large Language Models
Sichuan University(四川大学)
针对现有大语言模型对齐方法依赖大量高成本人工标注的问题,提出LD-Align方法,通过自编码式重构生成潜在空间,以样本对的潜在空间距离引导DPO对齐训练,无需外部标注即可实现显著对齐效果。
2024-04-13 cs.CL
AURORA-LM: Autoencoding Unified Representation for Continuous-Latent Diffusion Language Modeling
Nanjing University(南京大学);Nanyang Technological University(南洋理工大学);Imperial College London(伦敦帝国学院)
AURORA-LM是一种分离文本表示构建与分布建模的连续潜在扩散语言模型,通过特定技术优化后,在OpenWebText自由生成和XSum摘要任务中性能优于同类模型。
2026-11-05 cs.CL
Latent Tree Language Model
NTIS – New Technologies for the Information Society(NTIS——新信息技术学会);University of West Bohemia(西波希米亚大学)
在本文中,我们介绍了潜在树语言模型(LTLM),一种新的语言建模方法,编码的语法和语义的一个给定的句子作为一个树的词的角色。学习阶段根据吉布斯采样通过移动节点迭代地更新树。我们介绍了两个算法来推断一个给定的句子的树。第一种方法是基于Gibbs抽样。它是快速的,但不能保证找到最可能的树。第二种方法是基于动态规划的。它比较慢,但保证找到最可能的树。我们提供了这两种算法的比较。我们通过线性插值将LTLM与4-gram Modified Kneser-Ney语言模型结合起来。我们的实验与英语和捷克语语料库显示显着的困惑减少(高达46%的英语和49%的捷克语)相比,独立的4克修改Kneser-Ney语言模型。
2016-09-05 cs.CL
Language as a Latent Variable for Reasoning Optimization
Zhejiang University(浙江大学)
研究探讨语言作为潜在变量对推理性能的影响,提出polyGRPO框架通过多语言数据优化模型,提升推理准确率和跨任务泛化能力。
2026-04-23 cs.CL
Reasoning Beyond Language: A Comprehensive Survey on Latent Chain-of-Thought Reasoning
Department of Computing, The Hong Kong Polytechnic University(计算机系,香港理工大学);Ningbo Digital Twin Institute, Eastern Institute of Technology(宁波数字孪生研究院,东部技术研究所)
本文综述潜在思维链推理这一新兴LLM推理范式,建立系统分类,分析其方法、设计原则、应用与挑战,为该领域发展提供结构化基础。
2026-09-01 cs.CL
Improving Entity Linking by Modeling Latent Relations between Mentions
University of Edinburgh(爱丁堡大学);University of Amsterdam(阿姆斯特丹大学)
实体链接涉及将命名实体的文本提及与知识库中相应的条目对齐。实体链接系统经常利用文档中的文本提及之间的关系(例如,共同引用)以决定链接决定是否兼容。与以前的方法不同,这些方法依赖于监督系统或统计学来预测这些关系,我们将关系视为神经实体链接模型中的潜在变量。我们在没有任何监督的情况下诱导关系,同时以端到端的方式优化实体链接系统。我们的多关系模型在标准基准测试(AIDA-CoNLL)中获得了最好的报告分数,并且大大优于其关系不可知版本。它的训练也收敛得更快,这表明注入的结构偏差有助于解释训练数据中的错误。
2018-04-27 cs.CL
LlaMaVAE: Guiding Large Language Model Generation via Continuous Latent Sentence Spaces
University of Manchester(曼彻斯特大学);Idiap Research Institute(Idiap 研究院)
LlaMaVAE结合VAE与sentenceT5、LlaMA,通过连续潜在空间和Invertible CVAE引导,提升LLM生成控制,超越Optimus。
2023-12-20 cs.CL
Neural Latent Relational Analysis to Capture Lexical Semantic Relations in a Vector Space
The University of Tokyo(东京大学);RIKEN Center for Advanced Intelligence Project(理化学研究所先进智能项目中心)
在向量空间中捕捉词的语义关系有助于许多自然语言处理任务。一种很有前途的方法利用词汇句法模式作为词对的特征。在本文中,我们提出了一种新的模型,这种模式为基础的方法,神经潜在关系分析(NLRA)。NLRA可以概括词对的共现和词汇句法模式,并获得不共现的词对的嵌入。这克服了以前的模式为基础的模型中遇到的关键数据稀疏问题。我们在测量关系相似性上的实验结果表明,NLRA优于以前的基于模式的模型。此外,当与向量偏移模型相结合时,NLRA实现了与利用附加语义关系数据的最新模型相当的性能。
2018-09-10 cs.CL
When Steering Fails in Latent Reasoning: A Latent-to-Language Transition Gap
HKUSTGZ(香港科技大学(广州));SEU(东南大学)
本研究揭示潜在推理中激活引导效果弱于显式CoT的现象,提出“潜在到语言转换差距”假设,并通过实验验证,为未来潜在引导方法设计指明关键方向。
2026-09-21 cs.AI cs.CL
Do Large Language Models Perform Latent Multi-Hop Reasoning without Exploiting Shortcuts?
Google DeepMind(谷歌DeepMind);UCL(伦敦大学学院);Google Research(谷歌研究);Tel Aviv University(特拉维夫大学)
研究LLMs在不利用捷径时进行潜在多跳推理的能力,构建无捷径数据集SOCRATES,发现其推理能力因查询类型而异,且潜在与显式推理间存在显著差距。
2025-05-31 cs.CL
PILOT: Planning via Internalized Latent Optimization Trajectories for Large Language Models
Zhejiang University(浙江大学);Shanghai AI Laboratory(上海人工智能实验室)
PILOT通过内部化潜在优化轨迹,帮助大语言模型克服长周期任务中的推理不稳定问题,实验显示其在数学和编码基准测试中性能优于基线模型。
2026-04-14 cs.CL
Speaker-Oriented Latent Structures for Dialogue-Based Relation Extraction
基于对话的关系抽取(DiaRE)旨在从对话中的非结构化话语中提取结构信息。现有的关系抽取模型在这样的会话环境下可能不能令人满意,这是由于涉及多个说话者的话语中的纠缠逻辑和信息稀疏问题。为此,我们引入SOLS,一种新的模型,它可以明确地诱导面向说话人的潜在结构,以获得更好的DiaRE。具体来说,我们学习潜在的结构,以捕捉话语边界以外的令牌之间的关系,减轻纠缠的逻辑问题。在学习过程中,我们的特定于说话人的正则化方法逐步突出与说话人相关的关键线索,并删除不相关的线索,从而缓解信息稀疏问题。在三个公开数据集上的实验证明了该方法的有效性。
2021-10-30 cs.CL
Language-Specific Latent Process Hinders Cross-Lingual Performance
The University of Melbourne(墨尔本大学);MBZUAI(马克斯·普朗克人工智能研究所);Google(谷歌)
本研究通过测量表示相似性和logit透镜分析,发现LLMs跨语言性能不佳源于依赖语言特定表示,并提出引导小模型潜在处理至共享语义空间以提升多语言推理性能。
2025-09-26 cs.CL
Language Modeling with Latent Situations
Massachusetts Institute of Technology(麻省理工学院)
语言模型(LM)经常产生不一致的输出:它们引用的事件和实体状态与其输入中描述的世界状态不兼容。我们介绍SituationSupervision,一个家庭的方法,提高一致性LM训练他们构建和条件上明确表示的实体及其状态。SituationSupervision有两个组成部分:一个辅助的情况建模任务,训练模型在上下文中预测状态表示,和一个潜在的状态推理过程,这些状态从部分注释的训练数据。情境监督可以应用于微调(通过监督LM在其隐藏表示中编码状态变量)和提示(通过诱导LM将实体状态的文本描述与输出文本交织)。在这两种情况下,SituationSupervision只需要少量的状态注释就可以产生重大的一致性改进(在4-11%之间),这表明标准LM可以被样本有效地训练,不仅可以对语言进行建模,还可以对它所描述的情况进行建模。
2022-12-20 cs.CL
Inducing Constituency Trees through Neural Machine Translation
New York University(纽约大学)
潜在树学习(LTL)方法学习仅使用来自下游任务的间接监督来解析句子。潜在树学习的最新进展使得通过使用语言建模或自动编码目标进行训练来恢复中等高质量的树结构成为可能。在这项工作中,我们探讨的假设,解码在机器翻译,作为一个有条件的语言建模任务,将产生更好的树结构,因为它提供了一个类似的训练信号的语言建模,但更多的语义信号。我们调整了两个现有的潜在树语言模型-PRPN和ON-LSTM-用于翻译。我们发现,他们确实恢复了F1分数比WSJ测试集上语言建模中看到的更好的树,同时保持了强大的翻译质量。我们观察到,翻译是一个更好的目标比语言建模诱导树,标志着第一次成功的潜在树学习使用机器翻译目标。此外,我们的研究结果表明,虽然翻译提供了更好的信号诱导树比语言建模,翻译模型可以表现良好,而不利用潜在的树结构。
2019-09-22 cs.CL
Unsupervised Discovery of Gendered Language through Latent-Variable Modeling
University of Maryland, College Park(马里兰大学帕克分校);Johns Hopkins University(约翰斯·霍普金斯大学);Microsoft Research(微软研究院);University of Cambridge(剑桥大学);University of Copenhagen(哥本哈根大学)
研究语言性别化的方式一直是社会语言学感兴趣的领域。例如,研究探讨了电影中男性和女性角色的讲话以及用于描述男性和女性政治家的语言。在本文中,我们的目的不仅仅是定性地研究这一现象,而是量化的程度,用于描述男性和女性的语言是不同的,而且,在积极或消极的方式不同。为此,我们引入了一个生成的潜变量模型,共同代表形容词(或动词)的选择,其情绪,给出了一个头部(或依赖)名词的自然性别。我们发现,男性和女性名词的描述之间存在显着差异,这些差异与常见的性别刻板印象一致:用于描述女性的积极形容词比用于描述男性的形容词更经常与她们的身体相关。
2019-06-11 cs.CL
Time Travel Engine: A Shared Latent Chronological Manifold Enables Historical Navigation in Large Language Models
Peking University(北京大学);Zhejiang University(浙江大学)
时间旅行引擎通过共享的潜在时间流形,使大型语言模型能够导航历史,揭示语言模型中时间进程的连续几何结构。
2026-01-10 cs.CL
Bridging the Language Gap: Synthetic Voice Diversity via Latent Mixup for Equitable Speech Recognition
University of California Los Angeles, Department of Statistics(加州大学洛杉矶分校统计学系)
本文提出了一种通过潜在混合提升合成语音多样性的方法,以改善低资源语言的语音识别性能。
2025-11-25 cs.CL
Semantic Relation Classification via Bidirectional LSTM Networks with Entity-aware Attention using Latent Entity Typing
Hanyang University(汉阳大学)
对句子中实体对之间的语义关系进行分类是自然语言处理的一项重要任务。大多数以前的关系分类模型依赖于由NLP工具获得的高级词汇和句法特征,如WordNet,依赖解析器,词性(POS)标记器和命名实体识别器(NER)。此外,基于注意力机制的最新神经模型没有充分利用实体的信息,而实体的信息可能是关系分类的最关键特征。为了解决这些问题,我们提出了一种新的端到端的递归神经模型,它结合了一个实体感知的注意力机制与潜在的实体类型(LET)的方法。我们的模型不仅有效地利用了实体及其潜在类型作为特征,而且通过可视化应用于我们的模型和LET结果的注意力机制,使其更具可解释性。在SemEval-2010 Task 8(最流行的关系分类任务之一)上的实验结果表明,我们的模型在没有任何高级特征的情况下优于现有的最先进的模型。
2019-01-23 cs.CL
Cultural Value Alignment Via Latent Activation Steering in Large Language Models
University of Copenhagen(哥本哈根大学)
提出一种基于场景行为探测和潜在激活引导的框架,用于评估和干预LLMs的文化价值,发现文化价值以耦合结构编码,限制了精确对齐。
2026-05-25 cs.CL
Latent Diffusion for Language Generation
Cornell University(康奈尔大学)
针对扩散模型在离散语言领域应用受限的问题,提出结合编码器-解码器语言自编码器与潜在空间连续扩散模型的语言生成方法,在多类生成任务上效果优于过往扩散语言模型。
2023-11-07 cs.CL cs.LG
Latent Positional Information is in the Self-Attention Variance of Transformer Language Models Without Positional Embeddings
Carnegie Mellon University(卡内基梅隆大学);Princeton University(普林斯顿大学)
本文证明无位置嵌入的Transformer语言模型通过自注意力方差收缩编码位置信息,该效应在预训练后依然存在,为放弃位置嵌入以提升预训练效率提供了依据。
2023-05-23 cs.CL
Latent Preference Coding: Aligning Large Language Models via Discrete Latent Codes
Antiquus S. Hippocampus, Natalia Cerebro & Amelie P. Amygdale Department of Computer Science Cranberry-Lemon University Pittsburgh, PA 15213, USA(计算机科学系, Cranberry-Lemon 大学);Ji Q. Ren & Yevgeny LeNet Department of Computational Neuroscience University of the Witwatersrand Joburg, South Africa(计算神经科学系, 威特沃特斯兰大学)
本文提出潜在偏好编码(LPC),用离散潜在码建模人类偏好中的隐式因素及其组合,无需预定义奖励函数即可与多种离线对齐算法集成,并在多个基准上一致提升 DPO、SimPO 和 IPO 的对齐性能与鲁棒性。
2025-05-08 cs.CL
SPOT: Span-level Pause-of-Thought for Efficient and Interpretable Latent Reasoning in Large Language Models
School of New Media and Communication, Tianjin University(新媒体与传播学院,天津大学);School of Computer Science and Engineering, Beihang University(计算机科学与工程学院,北航大学)
SPOT通过压缩显式推理步骤为紧凑的潜在暂停token,提升大语言模型的推理效率和可解释性。
2026-03-06 cs.CL
Large Language Models Share Representations of Latent Grammatical Concepts Across Typologically Diverse Languages
Northeastern University(东北大学);TU Clausthal(图鲁克劳斯塔尔大学);EPFL(苏黎世联邦理工学院);Technion – IIT(技术学院 – 以色列理工学院)
本研究通过稀疏自编码器和因果干预,发现大型语言模型在多种语言间共享形态句法概念的表示,并能精确控制行为,表明跨语言抽象能力可稳健形成。
2025-05-23 cs.CL
Language Model Pre-Training with Sparse Latent Typing
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon Alexa(亚马逊Alexa);US Army Research Laboratory(美国陆军研究实验室)
现代大规模预训练语言模型(PLM)在广泛的下游任务上取得了巨大的成功。然而,大多数LM预训练目标只关注文本重构,而没有寻求学习句子的潜在可解释表示。在本文中,我们设法推动语言模型,以获得更深入的理解句子,提出了一个新的预训练目标,稀疏潜在类型,使模型稀疏提取不同的潜在类型的关键字级别。实验结果表明,我们的模型能够学习可解释的潜在类型类别在一个自我监督的方式,而不使用任何外部知识。此外,用这样的目标预训练的语言模型还显著改善了在监督和Few-Shot设置中与信息抽取相关的下游任务。我们的代码可在https://github.com/renll/SparseLT上公开获取。
2022-10-26 cs.AI cs.CL
Language as a Latent Variable: Discrete Generative Models for Sentence Compression
University of Oxford(牛津大学);Google Deepmind(谷歌DeepMind)
在这项工作中,我们探讨了深生成模型的文本中,一个文件的潜在表示本身是从离散的语言模型分布。我们制定了一个变分自动编码器在这个模型中的推理,并将其应用到压缩句子的任务。在该应用中,生成模型首先从背景语言模型中提取潜在概要语句,然后随后根据该潜在概要提取观察语句。在我们的经验评估中,我们表明,当在大量的监督数据上训练时,抽象和提取压缩的生成公式都可以产生最先进的结果。此外,我们还探索了半监督压缩场景,在这些场景中,我们证明了在对一小部分监督数据进行训练的同时,可以实现与先前提出的监督模型相竞争的性能。
2016-10-14 cs.AI cs.CL
Mean BERTs make erratic language teachers: the effectiveness of latent bootstrapping in low-resource settings
University of Oslo(奥斯陆大学)
本文研究潜在自举法在低资源语言模型预训练中的有效性,基于BabyLM共享任务实验表明,利用上下文化嵌入的自监督方式在有限资源下可获取语言知识。
2023-10-30 cs.CL cs.LG
Hierarchical Latent Prediction for Language Models
University of Texas at Austin(得克萨斯大学奥斯汀分校);Microsoft Research(微软研究院)
该研究针对语言模型下一个token预测的误差累积问题,提出分层隐式预测方法,在编码、多步推理基准及推测解码上验证了其有效性。
2026-08-07 cs.AI cs.CL
DiLaDiff: Distilled Latent-Augmented Diffusion for Language Modeling
NVIDIA(英伟达)
提出DiLaDiff,通过连续潜在空间、潜在扩散模型和一致性蒸馏解决扩散语言模型在解码令牌相关性上的不足,提升采样质量和推理速度。
2026-05-22 cs.AI cs.CL cs.LG
The Transfer Neurons Hypothesis: An Underlying Mechanism for Language Latent Space Transitions in Multilingual LLMs
Japan Advanced Institute of Science and Technology(日本先进科学技术大学);RIKEN(理化学研究所)
本文提出并验证迁移神经元假说,揭示MLP中特定神经元在多语言LLM里负责语言特定潜在空间与共享语义空间之间的表示迁移,并证明其对多语言推理的关键作用。
2025-09-21 cs.AI cs.CL cs.LG
LatentExplainer: Explaining Latent Representations in Deep Generative Models with Multimodal Large Language Models
Emory University(埃默里大学);University College London(伦敦大学学院)
LatentExplainer通过多模态大语言模型为深度生成模型的潜在变量生成语义解释,提升模型可解释性。
2025-12-18 cs.CL cs.CV cs.LG
Language Detoxification with Attribute-Discriminative Latent Space
KAIST(韩国科学技术院)
本文提出属性判别语言模型(ADLM),通过将Transformer语言模型的潜在空间投影到属性判别空间,以最小内存和计算开销实现文本去毒化,并在去毒化语言生成和对话生成任务上显著优于基线方法。
2023-07-05 cs.AI cs.CL
Shared Latent Space by Both Languages in Non-Autoregressive Neural Machine Translation
Handong Global University(韩东全球大学)
针对非自回归机器翻译的多模态问题及辅助后验模型缺陷,本文提出跨语言共享潜在空间的双重重构分层潜在变量方法,显著提升翻译质量。
2024-09-09 cs.CL cs.LG
A Tutorial on Deep Latent Variable Models of Natural Language
Harvard University(哈佛大学)
最近有很多令人兴奋的工作,将潜在变量模型和深度学习的互补优势结合起来。潜变量建模可以通过条件独立属性轻松地显式指定模型约束,而深度学习可以使用强大的函数逼近器来参数化这些条件似然。虽然这些“深层潜变量”模型为许多现实世界的现象建模提供了丰富、灵活的框架,但存在困难:条件似然的深层参数化通常使后验推理变得棘手,而潜变量目标通常通过引入不可微点使反向传播复杂化。本教程通过变分推理的镜头深入探讨了这些问题。
2019-08-05 cs.CL cs.LG stat.ML
LatentRAG: Latent Reasoning and Retrieval for Efficient Agentic RAG
University of Amsterdam(阿姆斯特丹大学)
LatentRAG通过将推理与检索从离散语言空间转移到连续潜在空间,提升代理RAG的效率,实验表明其在七种基准数据集上性能与显式方法相当,推理延迟降低约90%。
2026-10-27 cs.CL cs.LG
SentenceMIM: A Latent Variable Language Model
University of Toronto(多伦多大学);Vector Institute(向量研究所);Google Research(谷歌研究院)
SentenceMIM是用于语言数据的概率自动编码器,用互信息机(MIM)学习训练以提供可变长度语言观察的固定长度表示(即,类似于VAE)。以前尝试学习VAE语言数据面临的挑战,由于后崩溃。MIM学习鼓励观察和潜在变量之间的高互信息,并且对后验崩溃具有鲁棒性。因此,它学习信息表示,其维度可以比现有语言VAE高一个数量级。重要的是,SentenceMIM损失没有超参数,简化了优化。我们在多个数据集上比较了VAE和AE的VanceMIM。SentenceMIM产生与AE相当的出色重建,具有与VAE相当的丰富结构化潜在空间。结构化的潜在表征表现为不同长度的句子之间的插值。我们通过利用经过训练的模型进行问答和迁移学习来展示sentenceMIM的多功能性,无需微调,性能优于具有类似架构的VAE和AE。
2021-04-21 cs.CL cs.LG stat.ML
Lingua Franca or Probing Artifact? Rethinking Latent Language in Multilingual LLMs
EPFL(洛桑联邦理工学院)
该研究探究多语言大语言模型中不同潜在语言探测的差异,发现两类探测结果分歧,提示需谨慎解读潜在语言识别,其揭示多语言处理的不同方面而非单一内部通用语。
2026-09-02 cs.AI cs.CL cs.LG
LOPA: Enhancing Spoken Language Assessment via Latent Ordinal Prototype Alignment
National Taiwan Normal University(国立台湾师范大学)
提出LOPA正则化器,在潜在空间施加序数几何先验,结合SALR自适应提取Whisper编码器多层表示,以0.361 RMSE媲美十亿参数系统,无需LLM微调。
2026-07-01 cs.CL cs.MM
Beyond English-Centric LLMs: What Language Do Multilingual Language Models Think in?
Kyoto University(京都大学);National Institute of Informatics(信息学研究所);The University of Tokyo(东京大学)
本研究揭示非英语中心LLM(如Swallow和LLM-jp)具有日语和英语双潜在语言,并随层变化,加深了对多语言模型内部语言动态的理解。
2024-08-20 cs.AI cs.CL
Linguistic Versus Latent Relations for Modeling Coherent Flow in Paragraphs
Carnegie Mellon University(卡内基梅隆大学)
生成诸如段落的长的连贯文本需要对句子之间的不同级别的关系(例如,时态,共指)。我们把句子之间的这种逻辑联系称为(段落)流。为了产生连贯的文本流,我们探讨了段落中两种形式的插入关系:一种是人类创造的语言关系,形成一种结构(例如,话语树)和另一个是来自从句子本身学习的潜在表征的关系。我们提出的两种模型将每种形式的关系纳入文档级语言模型:前者是一个监督模型,共同学习语言模型以及话语关系预测,后者是一个无监督模型,由递归神经网络(RNN)分层条件的潜在信息。我们提出的模型与两种形式的关系优于基线部分条件段落生成任务。我们的代码和数据是公开的。
2019-08-30 cs.AI cs.CL
Language steering in latent space to mitigate unintended code-switching
Skolkovo Institute of Science and Technology(斯克罗夫诺伊科学与技术研究所);Voronezh State University(沃罗涅日州立大学)
本文提出了一种轻量级的推理时间方法,通过主成分分析在平行翻译中识别语言方向,引导令牌嵌入沿这些轴控制语言身份,有效缓解代码切换并保持语义,计算开销小且仅需少量平行数据。
2026-10-20 cs.CL cs.LG
Latent Concept Disentanglement in Transformer-based Language Models
Purdue University(普渡大学);University of Southern California(南加州大学);Google(谷歌)
本研究通过机制可解释性实验,证明Transformer模型在上下文学习中能解耦并利用潜在概念,包括离散概念的逐步组合和数值概念的低维几何表示。
2025-09-26 cs.AI cs.CL cs.LG
Stop-Think-AutoRegress: Language Modeling with Latent Diffusion Planning
Department of Computer Science, Cornell University(计算机科学系,康奈尔大学)
STAR-LDM通过引入思考阶段的潜在扩散规划,实现了更高效的全局规划和生成,显著提升了语言理解和叙事连贯性任务的表现。
2026-02-24 cs.CL cs.LG
Multimodal Latent Language Modeling with Next-Token Diffusion
Microsoft Research(微软研究院);Tsinghua University(清华大学)
针对多模态生成需统一处理离散与连续数据的问题,本研究提出LatentLM,结合VAE、下一词元扩散及σ-VAE,在图像生成、多模态大模型集成、语音合成等任务上实现更优性能与可扩展性。
2024-12-11 cs.CL cs.CV cs.LG
Dynamic Semantic Compression for Efficient Latent-Space Inference in Large Language Models
Beijing University of Posts and Telecommunications(北京邮电大学)
提出DSEI框架,通过动态语义自编码器将LLM推理从词元级转为潜在空间片段级,在Wanjuan数据集上困惑度降低48%,推理速度提升2.5倍,内存开销降低90%。
2026-09-15 cs.AI cs.CL
MELD: Mel-Spectrogram-Based Speech Language Modeling with Discrete Latent Variables
University of Edinburgh(爱丁堡大学);Google DeepMind(谷歌DeepMind);Meta Superintelligence Labs(Meta超智能实验室)
提出一种在梅尔频谱上联合优化编码器和语音语言模型的离散潜变量模型,在零样本文本转语音和语音转文本任务上优于基于编解码器和其他梅尔频谱基线,并缓解了自回归建模中的长时间静音和单词遗漏问题。
2026-09-02 cs.CL eess.AS
The Interlingua Hypothesis: LLMs Translate via a Latent Task-agnostic Feature Space
Boston University(波士顿大学);Technische Universität Clausthal(克劳斯塔尔工业大学)
该研究提出语际假设,即LLMs通过潜在任务无关特征空间翻译,通过BLEU分数、模型组件因果性及单语言微调三条证据支持,为LLMs翻译机制提供新理解。
2026-09-02 cs.AI cs.CL
Adaptive Elicitation of Latent Information Using Natural Language
Columbia University(哥伦比亚大学)
本文提出一种自适应引示框架,利用元学习语言模型模拟未来观察以量化不确定性,从而在自然语言环境中策略性地选择最具信息量的查询,减少潜在实体不确定性,并在多个任务中优于基线。
2025-07-09 cs.AI cs.CL cs.LG
Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space
Microsoft Research(微软研究院)
当训练有效时,变分自编码器(VAE)可以是一个强大的生成模型和一个有效的自然语言的表示学习框架。在本文中,我们提出了第一个大规模的语言VAE模型,Optimus。首先在大型文本语料库上预训练句子的通用潜在嵌入空间,然后针对各种语言生成和理解任务进行微调。与GPT-2相比,Optimus能够使用潜在向量从抽象级别进行引导语言生成。与BERT相比,Optimus具有平滑的潜在空间结构,可以更好地概括低资源的语言理解任务。在广泛的语言任务上的大量实验结果证明了Optimus的有效性。它在VAE语言建模基准上达到了新的最先进水平。我们希望我们第一个预训练的大VAE语言模型本身和结果可以帮助NLP社区在大规模预训练时代重新对深度生成模型产生兴趣,并使这些原则性方法更加实用。
2020-10-11 cs.CL cs.LG stat.ML
A Latent Variable Recurrent Neural Network for Discourse Relation Language Models
Georgia Institute of Technology(佐治亚理工学院);Monash University(莫纳什大学)
本文提出了一种新的潜变量循环神经网络结构,用于联合建模单词序列和相邻句子之间的(可能是潜在的)话语关系。循环神经网络生成单个单词,从而获得区分性训练的向量表示的好处。语篇关系是用一个潜在变量来表示的,根据任务的不同,这个变量可以被预测或边缘化。因此,所得到的模型可以采用一个训练目标,不仅包括话语关系分类,但也词预测。因此,它优于国家的最先进的替代品的两个任务:隐含的话语关系分类在宾夕法尼亚州话语树库,和对话行为分类在交换机语料库。此外,通过在测试时边缘化潜在的话语关系,我们获得了一个话语信息的语言模型,它在强大的LSTM基线上有所改进。
2016-04-05 cs.CL cs.LG cs.NE