ReaLM: Residual Quantization Bridging Knowledge Graph Embeddings and Large Language Models
Tianjin University（天津大学）；The University of Manchester（曼彻斯特大学）
提出ReaLM框架，通过残差向量量化将知识图谱嵌入离散化为可学习标记，融入大型语言模型词汇表，结合本体约束实现结构化知识与语言模型的语义对齐，在知识图谱补全任务上取得最优性能。
2026-06-02 cs.AI cs.CL
GEM: A Generative Embedding Model Bridging Reasoning and Retrieval
University of Glasgow（格拉斯哥大学）
针对传统检索器表层匹配导致的需求解读差距问题，提出生成式嵌入模型GEM，将推理与检索统一，在相关任务上性能优于基线，还可通过提示扩展测试时计算提升效果。
2026-08-17 cs.AI cs.CL cs.IR
Prompting Strategies for Language Model-Based Item Generation in K-12 Education: Bridging the Gap Between Small and Large Language Models
University of Florida（佛罗里达大学）
本研究比较微调中型模型Gemma与大型模型GPT-3.5在K-12形态学多选题自动生成中的表现，发现结合思维链与顺序设计的结构化提示策略能显著提升中型模型生成质量，为有限数据条件下的试题自动生成提供了实用可扩展的工作流程。
2025-08-27 cs.AI cs.CL
The Mouth is Not the Brain: Bridging Energy-Based World Models and Language Generation
本文提出'嘴巴不是大脑'原则，通过基于能量的世界模型与语言模型分离，展示在消费者评论领域中，世界模型能提升生成质量与可控性，为语言能力与世界理解分离提供实证支持。
2026-03-31 cs.AI cs.CL cs.LG
Bridging Textual Profiles and Latent User Embeddings for Personalization
University of Notre Dame（诺特大学）；Google（谷歌）
本文提出BLUE框架，通过结合语言基用户特征与嵌入基推荐目标，弥合可解释性文本特征与判别性潜在嵌入之间的差距，实验证明其在零样本序列推荐中优于基线方法。
2026-05-07 cs.CL cs.IR
Diffusion-Link: Diffusion Probabilistic Model for Bridging the Audio-Text Modality Gap
Korea Advanced Institute of Science and Technology, South Korea（韩国科学技术院）；University of Seoul, South Korea（首尔大学）
提出基于扩散的模态桥接模块Diffusion-Link，将音频嵌入映射至文本分布以弥合模态鸿沟，在AAC任务中显著提升多模态LLM的零样本与监督性能并达到SOTA。
2025-10-13 cs.AI cs.CL cs.LG
Continuous Prompt Generation from Linear Combination of Discrete Prompt Embeddings
MIT（麻省理工学院）
针对连续提示不可靠且难解释的问题，提出通过离散提示嵌入的线性组合构建连续提示的方法，训练模型预测权重以提升自然语言理解任务的性能，并验证了其对可解释性和推理准确性的改进。
2024-02-14 cs.CL
FUSE-ing Language Models: Zero-Shot Adapter Discovery for Prompt Optimization Across Tokenizers
Carnegie Mellon University（卡内基梅隆大学）
针对不同分词器导致提示词知识迁移困难的问题，本文提出 FUSE，用三阶张量对齐语义嵌入并近似跨模型梯度，实现零样本适配器发现，且在图像描述任务中验证有效。
2024-08-09 cs.CL cs.LG
Meta-Task Prompting Elicits Embeddings from Large Language Models
University of Amsterdam（阿姆斯特丹大学）；University of Maryland（马里兰大学）；University of Technology Sydney（悉尼科技大学）；Microsoft Corporation（微软公司）；Tencent IEG（腾讯互动娱乐事业群）
本文提出MetaEOL方法，通过元任务提示从大型语言模型生成无监督句子嵌入，无需微调，在STS基准和下游任务中表现优异，并揭示新的缩放定律。
2024-07-22 cs.CL
What's in a prompt? Language models encode literary style in prompt embeddings
Cornell University（康奈尔大学）；Yale University（耶鲁大学）；Imperial College London（伦敦帝国理工学院）
本研究通过文学作品证明，语言模型的深层嵌入编码了无形风格信息，而非仅事实内容，且同一作者的作品嵌入更纠缠，揭示了模型信息处理的复杂性，对作者归属和文学分析有应用价值。
2025-05-19 cs.CL
Contrastive Prompting Enhances Sentence Embeddings in LLMs through Inference-Time Steering
State Key Laboratory for Novel Software Technology, Nanjing University, China（南京大学新型软件技术国家重点实验室）
针对大语言模型句子嵌入最后词元含过多非必要信息的问题，提出即插即用的对比提示推理调控方法，通过辅助提示对比引导编码核心语义，在多类任务和不同LLM上均提升了现有提示方法的性能。
2025-05-19 cs.CL
Embedding-based In-Context Prompt Training for Enhancing LLMs as Text Encoders
Institute of Science Tokyo（东京科学研究院）；Tencent（腾讯）
本文提出EPIC方法，通过上下文学习生成高质量嵌入，减少计算负担，实验表明在MTEB基准上取得新突破。
2026-05-02 cs.CL
Highlighting What Matters: Promptable Embeddings for Attribute-Focused Image Retrieval
University of Washington（华盛顿大学）；IIIS, Tsinghua University（清华大学交叉信息研究院）
针对属性聚焦的图像检索，提出利用多模态检索器的可提示嵌入突出关键属性，构建COCO-Facet基准，并采用预处理和线性近似加速，显著提升检索性能。
2025-10-14 cs.CL cs.CV cs.LG
Bridging Code Semantic and LLMs: Semantic Chain-of-Thought Prompting for Code Generation
本文提出SeCoT方法，通过引导LLMs生成并整合代码语义信息（如数据流和控制流），在三个基准上显著提升了代码生成的准确性和性能。
2023-10-22 cs.CL
PROMPT2BOX:Improving LLM Weakness Discovery and Specificity Estimation by Uncovering Entailment Structure among Prompts
CICS, University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校计算机信息科学中心）；Amazon AWS AI（亚马逊AWS人工智能）；A10 Networks（A10网络）
提出PROMPT2BOX方法，通过盒嵌入空间捕捉提示间的特异性关系，并开发降维技术，在层次聚类中比向量基线多发现8.9%的LLM弱点。
2026-09-07 cs.CL
EmbedGrad: Gradient-Based Prompt Optimization in Embedding Space for Large Language Models
EmbedGrad通过梯度优化提示嵌入，实现无需架构改变的精细校准，在数学推理等任务上显著提升小模型性能，开辟任务适配新范式。
2025-08-05 cs.CL
PromptEmbedder: Efficient and Transferable Text Embedding via Dual-LLM Soft Prompting
Department of Computer Science and Information Engineering, National Taiwan University（国立台湾大学计算机科学与资讯工程系）；National Taiwan University AI Center of Research Excellence（国立台湾大学人工智能研究中心）
提出PromptEmbedder双LLM框架，通过可微分的软提示生成将嵌入知识从特定骨干权重中解耦，在保持性能的同时降低40% GPU内存并加速3.7倍训练。
2026-06-09 cs.AI cs.CL
Beyond the Hype: Embeddings vs. Prompting for Multiclass Classification Tasks
Thumbtack（Thumbtack公司）
本研究针对多类分类任务，对比基于嵌入的softmax模型与LLM提示框架，发现前者在准确率（高49.5%）、校准度、速度（图像14倍/文本81倍）和成本（低10倍）上更优，为专有数据集场景提供更合适的预测方案。
2025-11-11 cs.AI cs.CL cs.LG
Resource-Efficient Adaptation of Large Language Models for Text Embeddings via Prompt Engineering and Contrastive Fine-tuning
fortiss GmbH（fortiss公司）；School of Computation and Information Technology（计算与信息科技学院）
本研究通过提示工程与资源高效的对比微调，将大语言模型适配为文本嵌入模型，在MTEB英语聚类任务上取得有竞争力性能，并揭示微调提升语义压缩效果。
2025-09-24 cs.CL
Large Language Model Unlearning via Embedding-Corrupted Prompts
University of California, Santa Cruz（加州大学圣克鲁兹分校）
针对大语言模型知识遗忘的效率与附带损害问题，提出轻量级ECO Prompts框架，通过零阶优化生成嵌入损坏提示实现推理阶段遗忘，效果好、副作用低且可扩展至多参数规模模型。
2024-10-31 cs.AI cs.CL cs.LG
DDPT: Diffusion-Driven Prompt Tuning for Large Language Model Code Generation
University of Adelaide（阿德莱德大学）
本文提出扩散驱动提示调优方法DDPT，通过从高斯噪声学习生成最优提示嵌入，自动优化LLM代码生成的提示，实验表明其能有效提升提示优化效果。
2025-04-06 cs.AI cs.CL cs.LG
Eliciting Knowledge from Pretrained Language Models for Prototypical Prompt Verbalizer
Peking University（北京大学）
最近的进展，快速调整铸造Few-Shot分类任务作为一个掩蔽的语言建模问题。通过将输入包装到模板中并使用在标签空间和标签词空间之间构造映射的动词化器，自动调优可以在zero-shot和Few-Shot场景中获得优异的结果。然而，典型的自动调优需要手动设计的语言化器，这需要领域专业知识和人工努力。标签空间不足可能会给结果带来相当大的偏差。在本文中，我们专注于从预训练的语言模型中获取知识，并提出了一个原型提示动词化器的自动调优。标签由特征空间中的原型嵌入表示，而不是由离散的单词表示。在输入的掩蔽位置处的嵌入和原型嵌入之间的距离被用作分类标准。对于zero-shot设置，通过手动设计的模板从预训练的语言模型中引出知识以形成初始原型嵌入。对于Few-Shot设置，调整模型以学习有意义和可解释的原型嵌入。我们的方法通过对比学习优化模型。在几个低资源环境下的多类文本分类数据集上的实验结果表明，与其他动词化器构造方法相比，该方法是有效的。我们的实现可以在https://github.com/Ydongd/prototypical-prompt-verbalizer上获得。
2022-01-14 cs.CL
Bridging Code Graphs and Large Language Models for Better Code Understanding
Beijing University of Posts and Telecommunications（北京邮电大学）；Huazhong University of Science and Technology（华中科技大学）
CGBridge通过引入外部Bridge模块，提升LLMs对代码结构语义的理解，显著提高代码生成和翻译任务的性能。
2025-12-08 cs.CL cs.SE
Rec-R1: Bridging Generative Large Language Models and User-Centric Recommendation Systems via Reinforcement Learning
University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）
Rec-R1通过强化学习连接生成式大语言模型与用户导向推荐系统，有效提升推荐性能并保留LLM通用能力。
2026-01-28 cs.CL cs.IR
Learning Interpretable Style Embeddings via Prompting LLMs
University of Pennsylvania（宾夕法尼亚大学）；Columbia University（哥伦比亚大学）
本研究通过提示大语言模型生成合成文体测量数据集，训练出可解释的LISA风格嵌入，以解决现有风格表示不可解释的问题，并发布相关资源。
2023-10-09 cs.CL
Bridging the Gap: In-Context Learning for Modeling Human Disagreement
First Author Affiliation（第一作者机构）；Second Author Affiliation（第二作者机构）
本文研究 LLM 能否通过 ICL 捕捉主观标注中的人类分歧，比较四种模型、三类标签策略及多种示例选择与排序方法，发现零样本多视角生成可行，而少样本常难以覆盖完整判断谱系。
2025-06-06 cs.CL
SuperPos-Prompt: Enhancing Soft Prompt Tuning of Language Models with Superposition of Multi Token Embeddings
Sharif University of Technology（谢里夫理工大学）；Qatar Computing Research Institute（卡塔尔计算研究所）；Helmholtz Center for Infection Research（亥姆霍兹感染研究中心）
本文提出 SuperPos-Prompt 技术，通过叠加多个预训练词汇嵌入改进软提示学习，在 GLUE/SuperGLUE 上优于残差提示微调并加速收敛，同时发现冻结网络中省略 dropout 可进一步提升性能。
2024-06-07 cs.AI cs.CL
Improved Universal Sentence Embeddings with Prompt-based Contrastive Learning and Energy-based Learning
The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州））；The Hong Kong University of Science and Technology（香港科技大学）；The University of New South Wales（新南威尔士大学）
对比学习已被证明在增强预训练的语言模型（PLM）以获得优越的通用句子嵌入方面是有效的。然而，现有的对比方法仍然有两个局限性。首先，以前的工作可能会获得域转移设置下的性能差，从而阻碍了句子表示在实践中的应用。我们将这种低性能归因于具有数百万参数的PLM的过度参数化。为了缓解它，我们提出了PromCSE（用于句子嵌入的基于语义的对比学习），它只训练小规模的\emph{Soft Prompt}（即，一组可训练向量），同时保持PLM固定。其次，对比学习的常用NT-Xent损失函数在监督学习设置中没有充分利用硬否定。为此，我们建议整合一个基于能量的铰链损失，以提高成对的区分能力，受到NT-Xent损失和基于能量的学习范式之间的联系的启发。七个标准的语义文本相似性（STS）任务和一个领域转移的STS任务的实验结果都表明，我们的方法相比，目前最先进的句子嵌入模型的有效性。我们的代码可在https://github.com/YJiangcm/PromCSE上公开获取
2022-10-09 cs.CL
D2CSE: Difference-aware Deep continuous prompts for Contrastive Sentence Embeddings
Samsung SDS（三星SDS）
D2CSE 通过自引导的对比学习和条件替换词元检测优化单个 PLM 上的连续提示，以约 1% 的训练参数在七个 STS 基准上提升句嵌入质量并有效区分细微语义差异。
2023-04-18 cs.AI cs.CL
Efficient Task Adaptation in Large Language Models: A Survey of Weight-Based, Prompt-Based, and Embedding-Based Adaptations
RICS；Daegu Gyeongbuk Institute of Science and Technology（大邱庆北科学技术院）；IPAI；Samsung Advanced Institute of Technology, Samsung Electronics Co., Ltd（三星电子三星综合技术院）；AIIS；Seoul National University（首尔大学）
本综述提出统一框架，按任务信息编码位置（权重、提示、嵌入）分类大型语言模型的高效适配方法，分析各范式优劣与关系，并指出未来开放问题。
2026-10-02 cs.CL
Parameter-Efficient Neuroevolution for Diverse LLM Generation: Quality-Diversity Optimization via Prompt Embedding Evolution
The University of Hong Kong（香港大学）；Stellaris AI Limited（Stellaris AI有限公司）
本文提出QD-LLM框架，通过进化提示嵌入实现参数高效神经进化，提升大语言模型生成质量与多样性，实验显示其在多个基准测试中表现优异。
2026-06-23 cs.AI cs.CL cs.LG
Efficiently Enhancing Zero-Shot Performance of Instruction Following Model via Retrieval of Soft Prompt
KAIST（韩国科学技术院）
通过提示调优训练软提示嵌入并检索最接近查询实例的嵌入，仅增加0.007%参数即提升T0在未见任务上的性能，并在BIG-bench上平均准确率提高2.39个百分点。
2023-10-16 cs.AI cs.CL
NCL-UoR at SemEval-2026 Task 5: Embedding-Based Methods, Fine-Tuning, and LLMs for Word Sense Plausibility Rating
Independent Researcher（独立研究者）；Department of Computer Science, University of Reading（阅读大学计算机科学系）；School of Computing, Newcastle University（新castle大学计算学院）
本文比较了三种方法：基于嵌入的方法、Transformer微调和大语言模型提示，发现结构化提示优于微调和嵌入方法，提示设计比模型规模更重要。
2026-05-08 cs.CL
SequentialBreak: Large Language Models Can be Fooled by Embedding Jailbreak Prompts into Sequential Prompt Chains
Bangladesh University of Engineering and Technology（孟加拉工程科技大学）；Pennsylvania State University（宾夕法尼亚州立大学）
本文提出了一种名为SequentialBreak的新型越狱攻击方法，通过将恶意提示嵌入题库、对话补全等场景的顺序提示链中，利用上下文操纵欺骗LLMs生成有害响应，仅需单次查询即在开源和闭源模型上显著提升了攻击成功率。
2025-05-28 cs.AI cs.CL cs.CR
Correcting Prompt Dependence in LLM Benchmarks: A Bayesian Hierarchical Model with Embedding-Space Clustering
University of Cambridge（剑桥大学）
本文提出了一种贝叶斯分层模型，通过嵌入空间聚类来纠正大语言模型基准测试中的提示依赖问题，在数据有限的情况下提供更稳健的性能指标，并在对抗鲁棒性基准测试中实现了性能指标的显著提升。
2026-06-04 cs.AI cs.CL cs.CR
VT-FSL: Bridging Vision and Text with LLMs for Few-Shot Learning
School of Software, Shandong University（山东大学软件学院）；Shenzhen Loop Area Institute（深圳河套学院）；School of Computing and Artificial Intelligence, Shandong University of Finance and Economics（山东财经大学计算机与人工智能学院）
VT-FSL提出利用大语言模型生成精确类描述和合成图像，并通过几何对齐融合多模态表示，在十个少样本基准上达到最先进性能。
2025-10-23 cs.CV cs.LG
How Private is Your Attention? Bridging Privacy with In-Context Learning
本文提出线性注意力头的差分隐私预训练算法，首次理论分析线性回归中上下文学习的隐私-准确性权衡，并证明其对对抗性扰动的鲁棒性。
2025-04-22 cs.AI cs.CL cs.CR
PERSOMA: PERsonalized SOft ProMpt Adapter Architecture for Personalized Language Prompting
Google Research（谷歌研究院）
PERSOMA提出一种个性化软提示适配器架构，通过将用户交互历史重采样、压缩并转化为软提示嵌入，高效建模用户偏好，实验证明其在处理大规模复杂用户历史上优于现有嵌入和文本提示方法。
2024-08-02 cs.AI cs.CL cs.IR
Visual Clues: Bridging Vision and Language Foundations for Image Paragraph Captioning
Microsoft（微软）
人们说：“一张照片胜过千言万语。那么我们怎样才能从图像中提取出丰富的信息呢？我们认为，通过使用视觉线索来桥接大型预训练视觉基础模型和语言模型，我们可以在没有任何额外的跨模态训练的情况下做到这一点。由于基础模型强大的zero-shot能力，我们首先构建图像的丰富语义表示（例如，图像标签、对象属性/位置、标题）作为结构化的文本提示，称为视觉线索，使用视觉基础模型。基于视觉线索，使用大语言模型对视觉内容进行一系列综合描述，然后再次通过视觉模型进行验证，选出与图像最匹配的候选项。我们通过定量和定性测量来评估生成的描述的质量。结果表明，这种结构化的语义表示的有效性。
2022-09-14 cs.AI cs.CL cs.CV
Enhanced Word Representations for Bridging Anaphora Resolution
IBM Research Ireland（IBM爱尔兰研究公司（IBM Research Ireland））
大多数当前的单词表示模型（例如，GloVe）已经成功地捕获了细粒度的语义。然而，这些词嵌入中表现出的语义相似性不适合于解析桥接回指，这需要关联相似性的知识（即，相关性）而不是同义词或上位词之间的语义相似性信息。我们创建了词嵌入（embeddings_PP），通过探索名词短语的句法结构来捕捉这种相关性。我们证明，单独使用embeddings_PP实现了约30%的准确度，用于在ISNotes语料库上桥接回指解析。此外，我们实现了超过现有技术系统的实质性增益（Hou等人，2013年），用于桥接先行选择。
2018-04-13 cs.CL
A Deterministic Algorithm for Bridging Anaphora Resolution
IBM Research Ireland（IBM爱尔兰研究院）
先前关于桥接回指解析的工作（Poesio等人，2004; Hou等人，2013 b）使用句法介词模式来计算单词相关性。然而，这种模式只考虑名词短语的中心名词，因此不能完全捕捉名词短语的语义。最近，侯（2018）创建了词嵌入（embeddings_PP），通过探索名词短语的句法结构来捕捉名词之间的联想相似性（即相关性）。但是embeddings_PP只包含名词的单词表示。在本文中，我们通过将embeddings_PP与GloVe相结合来创建新的词向量。这种新的词嵌入（embeddings_bridging）是一种更通用的词汇知识资源，可以让我们更容易地表示NP的中心词之外的意义。因此，我们开发了一个确定性的方法来桥接回指的解决方案，它代表了一个NP的中心名词和修饰的基础上的语义。我们表明，这种简单的方法实现了竞争力的结果相比，最好的系统在侯等人。（2013 b）探索马尔可夫逻辑网络来建模问题。此外，我们通过将我们的简单确定性方法与Hou等人相结合，进一步改进了Hou（2018）中报告的桥接回指解析结果。（2013 b）的最佳系统MLN II。
2018-11-14 cs.CL
Attention Focusing for Neural Machine Translation by Bridging Source and Target Embeddings
Soochow University（苏州大学）；University of Lisbon（里斯本大学）；Alibaba Group（阿里巴巴集团）
在神经机器翻译中，将单词的源序列编码成向量，在解码阶段从该向量生成目标序列。与统计机器翻译不同的是，源单词和它们可能的目标对应物之间的关联没有显式地存储。源字和目标字位于长信息处理过程的两端，在源编码和目标解码阶段都由隐藏状态介导。这使得源词有可能被错误地翻译成目标词，而该目标词不是目标语言中任何可接受的对等词。在本文中，我们试图通过一种被称为桥接源和目标词嵌入的方法来缩短源和目标词之间的距离，从而加强它们之间的关联。我们尝试了三种策略：（1）源端桥接模型，其中源词嵌入向输出目标序列移动一步;（2）目标端桥接模型，其探索更相关的源词嵌入以预测目标序列;（3）直接桥接模式，它直接连接源语和目标语词嵌入，以尽量减少一个词被另一个词翻译时的错误。本文提出的实验和分析表明，所提出的桥接模型是能够显着提高质量的句子翻译，在一般情况下，对齐和翻译的个别源词与目标词，特别是。
2018-05-10 cs.CL
Interpretable probabilistic embeddings: bridging the gap between topic models and neural networks
National Research University Higher School of Economics（国立研究大学高等经济学院）；Lomonosov Moscow State University（莫斯科国立大学）；Moscow Institute of Physics and Technology（莫斯科物理技术学院）
我们认为概率主题模型和最近的词嵌入技术从学习的角度隐藏的语义表示。受这两种方法惊人相似性的启发，我们将它们合并，并在词共现数据上使用在线EM算法学习概率嵌入。由此产生的嵌入执行与跳过革兰氏阴性采样（SGNS）的单词相似性任务，并在组件的可解释性的好处。接下来，我们学习概率文档嵌入，在文档相似性任务上优于paragraph2vec，并且需要更少的内存和训练时间。最后，我们采用多模态主题模型的加性正则化（ARTM）来获得高稀疏性，并学习其他模态的嵌入，例如时间戳和类别。我们观察到词相似性性能和有意义的模态间相似性的进一步改善。
2017-11-11 cs.CL
Squashed Shifted PMI Matrix: Bridging Word Embeddings and Hyperbolic Spaces
Nazarbayev University（纳扎尔巴耶夫大学）
我们发现，删除sigmoid变换的跳跃-gram与负采样（SGNS）的目标不会损害字向量的质量显着，并在同一时间有关的因式分解的压缩移位PMI矩阵，反过来，可以被视为一个连接概率矩阵的随机图。从经验上讲，这种图是一个复杂的网络，即它具有强聚类性和无标度分布，并且与双曲空间紧密相连。简而言之，我们使用分析和经验方法，通过压缩移位PMI矩阵，展示了静态词嵌入和双曲空间之间的联系。
2020-09-26 cs.CL stat.ML
PromptSync: Bridging Domain Gaps in Vision-Language Models through Class-Aware Prototype Alignment and Discrimination
Glance AI（格朗斯人工智能公司）
针对视觉-语言模型测试时提示调优忽略类别分布不平衡的问题，提出PromptSync方法，通过类别感知原型对齐与对比学习原型判别同步双分支提示，在领域泛化基准上取得更优性能。
2024-04-12 cs.CL cs.CV
Bridging the Language Gap: Enhancing Multilingual Prompt-Based Code Generation in LLMs via Zero-Shot Cross-Lingual Transfer
Department of Statistics and Data Science, Yale University（耶鲁大学统计与数据科学系）；School of Information, University of Texas at Austin（德克萨斯大学奥斯汀分校信息学院）
针对非英语提示下 LLM 代码生成质量不均的问题，提出结合 LASER 与神经投影的零样本跨语言迁移方法，仅用英语训练即可提升多语言代码生成质量。
2025-05-09 cs.CL
Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations
University of Southern California（南加州大学）；Tencent AI Lab, Seattle（腾讯人工智能实验室（西雅图））
本研究针对句子嵌入组合语义可解释性不足的问题，提出支持嵌入空间组合操作的InterSent框架，通过优化算子网络与瓶颈编解码模型生成可解释句子嵌入，在提升文本生成任务可解释性的同时保持相似性任务性能。
2023-11-05 cs.CL
Efficient Ternary Weight Embedding Model: Bridging Scalability and Performance
School of Intelligent Science and Technology, Nanjing University（南京大学智能科学与技术学院）；Microsoft AI（微软人工智能）；National Key Laboratory for Novel Software Technology, Nanjing University（南京大学计算机软件新技术国家重点实验室）
本文提出一种三值权重嵌入模型微调框架，通过自教知识蒸馏降低内存与计算开销，并在结合ANN搜索的实验中验证了其在保持准确性的同时显著提升推理效率。
2024-11-23 cs.CL
Dynamic Embeddings with Task-Oriented prompting
本研究提出面向任务提示的动态嵌入方法DETOT，通过可根据任务需求与反馈动态调整的灵活嵌入层优化输入表示，兼具准确率与计算效率提升，经实验验证优于现有方法。
2024-06-21 cs.CL cs.LG
Bridging the Question-Answer Gap in Retrieval-Augmented Generation: Hypothetical Prompt Embeddings
University of Primorska（普里莫尔斯卡大学）；InnoRenew CoE；Research Centre of the Slovenian Academy of Sciences and Arts（斯洛文尼亚科学与艺术研究院研究中心）；The Fran Ramovš Institute（弗兰·拉莫夫什研究所）
该研究提出假设提示嵌入（HyPE）框架，将假设内容生成移至索引阶段，提升RAG的检索对齐度与效率，在六个数据集上实现检索精度和召回率的显著提升且兼容多种RAG技术
2026-08-03 cs.CL cs.IR
Bridging Subword Gaps in Pretrain-Finetune Paradigm for Natural Language Generation
Xiamen University（厦门大学）；Alibaba Group（阿里巴巴集团）；Soochow University（苏州大学）；Pengcheng Lab（鹏城实验室）
预训练-微调范式的一个众所周知的局限性在于它的通用性。这可能会削弱将预训练模型应用于自然语言生成（NLG）任务时的效果，特别是对于上游和下游任务之间的子词分布具有显著差异。为了解决这个问题，我们扩展了vanilla pretrain-finetune管道，增加了一个额外的嵌入传输步骤。具体来说，即插即用嵌入生成器被引入到产生任何输入令牌的表示，根据其形态相似的预训练的嵌入。因此，也可以有效地初始化下游任务中的不匹配令牌的嵌入。我们在预训练-微调的方式下对多种NLG任务进行了实验。实验结果和广泛的分析表明，所提出的策略为我们提供了机会，可以自由地转移词汇，从而提高下游NLG模型的效率和性能。
2021-06-11 cs.CL
Bridging Text and Knowledge with Multi-Prototype Embedding for Few-Shot Relational Triple Extraction
Zhejiang University（浙江大学）；AZFT Joint Lab for Knowledge Engine（AZFT知识引擎联合实验室）；Alibaba Group（阿里巴巴集团）
目前的监督关系三元组提取方法需要大量的标记数据，因此在Few-Shot设置中性能较差。然而，人们可以通过学习一些实例来掌握新知识。为此，我们采取的第一步，研究Few-Shot关系三元组提取，这还没有得到很好的理解。与以前的单任务Few-Shot问题不同，关系三元组提取更具挑战性，因为实体和关系具有隐式相关性。本文提出了一种新的多原型嵌入网络模型，用于联合提取关系三元组的组成，即实体对和对应关系。具体而言，我们设计了一个混合原型学习机制，桥梁文本和知识的实体和关系。因此，实体和关系之间的隐式相关性被注入。此外，我们还提出了一个原型感知的正则化来学习更多有代表性的原型。实验结果表明，该方法可以提高Few-Shot三重提取的性能。
2020-10-30 cs.AI cs.CL cs.DB
PromptBERT: Improving BERT Sentence Embeddings with Prompts
Beihang University（北京航空航天大学）；Microsoft（微软）；Zhongguancun Laboratory（中关村实验室）；Institute of Artificial Intelligence, Beihang University（北京航空航天大学人工智能研究院）
我们提出了一种新的对比学习方法，用于学习更好的句子表示。本文首先分析了当前基于BERT的句子嵌入算法的不足，发现其主要原因是静态的标记嵌入偏差和无效的BERT层。然后提出了第一种基于提示的句子嵌入方法，并讨论了两种提示表示方法和三种提示搜索方法，使BERT能够实现更好的句子嵌入。此外，我们提出了一种新的无监督训练目标的模板去噪技术，这大大缩短了监督和无监督设置之间的性能差距。大量的实验表明了该方法的有效性。与SimCSE相比，在无监督设置下，基于BERT和RoBERTa的BertBert实现了2.29和2.58点的改进。
2022-10-13 cs.CL
BioBridge: Unified Bio-Embedding with Bridging Modality in Code-Switched EMR
Chung-Ang University（中央大学）；Korea University（高丽大学）
BioBridge框架通过两个核心模块（上下文桥接模态与统一生物嵌入）处理语码混合电子病历，显著提升儿科急诊决策的F1、AUROC、AUPRC及Brier分数。
2024-12-16 cs.AI cs.CL
