Conversational Word Embedding for Retrieval-Based Dialog System
iFLYTEK Research(科大讯飞研究院);Harbin Institute of Technology(哈尔滨工业大学);iFLYTEK AI Research (Hebei)(科大讯飞人工智能研究院(河北))
人类对话包含许多类型的信息,例如,知识、常识和语言习惯。在本文中,我们提出了一个会话词嵌入方法PR嵌入,它利用会话对$ \left\langle{post, reply} \right\rangle$学习词嵌入。与以往的工作不同,PR嵌入使用两个不同的语义空间的向量来表示帖子和回复中的单词。为了更好地捕捉词对之间的信息,我们首先引入统计机器翻译中的词对齐模型,生成跨句窗口,然后在词级和句级上对嵌入进行训练。我们评估的方法对单轮和多轮响应选择任务检索为基础的对话系统。实验结果表明,PR-嵌入可以提高选择响应的质量。PR-嵌入源代码可在https://github.com/wtma/PR-Embedding上获得
2020-04-28 cs.CL
MERLIN: Multimodal Embedding Refinement via LLM-based Iterative Navigation for Text-Video Retrieval-Rerank Pipeline
Buzzni AI Lab(Buzzni人工智能实验室);KAIST(韩国科学技术院);Mathpresso Inc.(Mathpresso公司);UC Berkeley(加州大学伯克利分校);Fainders AI(Fainders人工智能公司);Seoul National University(首尔大学)
提出无需训练的MERLIN流水线,利用LLM进行迭代反馈学习以从用户视角精炼查询嵌入,显著提升文本-视频检索的Recall@1。
2024-10-16 cs.AI cs.CL cs.CV
VISTA: Visualized Text Embedding For Universal Multi-Modal Retrieval
Beijing University of Posts and Telecommunications(北京邮电大学);Beijing Academy of Artificial Intelligence(北京人工智能研究院);The Hong Kong Polytechnic University(香港理工大学)
本文提出通用多模态检索嵌入模型VISTA,通过视觉token嵌入扩展文本编码器、设计两种数据生成策略和多阶段训练算法,在零样本与监督设置下的多种多模态检索任务中取得优越性能。
2024-06-06 cs.CL cs.CV cs.IR
VSE++: Improving Visual-Semantic Embeddings with Hard Negatives
University of Toronto(多伦多大学);Vector Institute(矢量研究院);Google Brain(谷歌大脑)
我们提出了一种新的技术,学习视觉语义嵌入的跨模态检索。受硬否定挖掘、硬否定在结构化预测中的使用以及排名损失函数的启发,我们对用于多模态嵌入的常见损失函数进行了简单的更改。这与微调和使用增强数据相结合,在检索性能方面产生了显着的收益。我们展示了我们的方法,VSE++,在MS-COCO和Flickr 30 K数据集上,使用消融研究和与现有方法的比较。在MS-COCO上,我们的方法在标题检索和图像检索方面分别比最先进的方法高出8.8%和11.3%(在R@1)。
2018-07-29 cs.CL cs.CV cs.LG
A Multi-Resolution Word Embedding for Document Retrieval from Large Unstructured Knowledge Bases
University of Arkansas(阿肯色大学);Google LLC.(谷歌有限责任公司)
深度语言模型学习分层表示被证明是自然语言处理、文本挖掘和信息检索的强大工具。然而,表现良好的检索表示必须捕捉不同层次的抽象或上下文范围的语义含义。在本文中,我们提出了一种新的方法来产生多分辨率的词嵌入,表示在多个分辨率的上下文范围的文件。为了研究其性能,我们使用斯坦福问答数据集(SQuAD)和问答搜索和阅读(QUASAR)在一个开放域的问答设置,其中的第一个任务是找到有用的文件来回答给定的问题。为此,我们首先比较了各种文本嵌入方法的检索性能的质量,并给出了广泛的经验比较与各种非增强的基础嵌入的性能,并没有多分辨率表示。我们认为,多分辨率词嵌入始终优于原始的对应物,并且专门为检索目的训练的深度残差神经模型在用于增强这些嵌入时可以产生进一步的显着收益。
2019-05-22 cs.CL cs.IR
Table2Vec: Neural Word and Entity Embeddings for Table Population and Retrieval
University of Stavanger(斯塔万格大学)
表格以结构化的形式包含有价值的知识。我们采用神经语言建模方法将表格数据嵌入向量空间。具体来说,我们考虑不同的表元素,如标题、列标题和单元格,用于训练单词和实体嵌入。这些嵌入,然后利用在三个特定的表相关的任务,行人口,列人口和表检索,通过将它们纳入现有的检索模型作为额外的语义相似性信号。评估结果表明,表嵌入可以显着提高最先进的基线的性能。
2019-05-31 cs.CL cs.IR cs.LG
jina-embeddings-v4: Universal Embeddings for Multimodal Multilingual Retrieval
Jina AI GmbH(Jina AI公司)
本文提出 38 亿参数多模态嵌入模型 jina-embeddings-v4,通过统一文本与图像表示并引入 LoRA 适配器,在多种检索任务中取得最优性能,并发布视觉丰富图像检索基准 Jina-VDR。
2025-07-07 cs.AI cs.CL cs.IR
Affect Enriched Word Embeddings for News Information Retrieval
Adobe(奥多比)
词的分布式表示已被证明是有用的,以提高效率的IR系统在许多子任务,如查询扩展,检索和排名。像word 2 vec、GloVe等算法也是不同NLP任务中许多改进的关键因素。这种嵌入模型的一个常见问题是,像快乐和悲伤这样的词出现在类似的上下文中,因此在嵌入空间中被错误地聚集在一起。在本文中,我们利用Aff 2 Vec,一组词嵌入模型,其中包括影响信息,以更好地捕捉新闻文本中的影响方面,以实现更好的结果在信息检索任务,也这样的嵌入是由同义词/反义词的问题较少击中。我们评估其有效性的两个IR相关的任务(查询扩展和排名)在纽约时报数据集(TREC-core '17)比较他们对其他词嵌入为基础的模型和经典的排名模型。
2019-09-04 cs.CL cs.IR
DREAM: Dense Retrieval Embeddings via Autoregressive Modeling
The Hong Kong University of Science and Technology(香港科技大学)
提出DREAM方法,利用冻结LLM的自回归预测损失训练密集检索器,通过注意力机制注入查询-文档相似度,在BEIR和RTEB上优于基线。
2026-06-24 cs.CL
ELITE: Embedding-Less retrieval with Iterative Text Exploration
University of Southern California(南加州大学);Jilin University(吉林大学);National Supercomputing Center in Shenzhen(深圳国家超算中心);Wuhan University(武汉大学);Stellaris AI Limited(Stellaris AI有限公司)
本文提出无嵌入检索框架ELITE,利用LLM逻辑推理、重要性度量引导的迭代搜索空间细化及逻辑相关信息扩展,在长上下文问答基准上以更低开销超越强基线。
2025-05-17 cs.CL
Exploring Reasoning-Infused Text Embedding with Large Language Models for Zero-Shot Dense Retrieval
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
针对现有文本嵌入方法缺乏推理能力的问题,提出融合推理的文本嵌入方法RITE,通过生成式大语言模型在嵌入计算前生成中间推理文本,在BRIGHT基准上显著提升了多领域零样本稠密检索性能。
2025-08-29 cs.CL
Adapting General-Purpose Embedding Models to Private Datasets Using Keyword-based Retrieval
针对通用文本嵌入模型在含专业术语的私有数据集上效果下降的问题,提出利用BM25关键词检索排序构建监督信号的BMEmbed方法,可跨领域持续提升检索性能并已开源。
2025-05-31 cs.CL cs.IR
Exploring Uncertainty Measures for Image-Caption Embedding-and-Retrieval Task
Kobe University(神户大学);Nanyang Technological University(南洋理工大学)
随着黑盒机器学习算法,特别是深度神经网络(DNN)的广泛发展,可靠性评估的实际需求迅速上升。基于“贝叶斯深度学习知道它不知道的东西”的概念,DNN输出的不确定性已经被研究作为分类和回归任务的可靠性度量。然而,在图像字幕检索任务中,众所周知的样本并不总是容易检索的样本。本研究探讨影像字幕嵌入与撷取系统的两个方面。一方面,我们量化的特征不确定性考虑图像字幕嵌入作为一个回归任务,并使用它的模型平均,这可以提高检索性能。另一方面,我们进一步量化后验不确定性,考虑检索作为一个分类任务,并使用它作为一个可靠性的措施,这可以大大提高检索性能,拒绝不确定的查询。在不同的数据集(MS COCO和Flickr30k)、不同的深度学习架构(dropout和批量归一化)以及不同的相似性函数下,观察到两种不确定性度量的一致性能。
2019-04-09 cs.CL cs.CV cs.LG
ORPHEAS: A Cross-Lingual Greek-English Embedding Model for Retrieval-Augmented Generation
Novelcore
本文提出ORPHEAS模型,专门用于希腊-英语双语检索增强生成,通过知识图谱细调方法生成高质量数据集,提升希腊语领域术语和形态复杂性表达能力,实验表明其在单语和跨语言检索基准上优于现有多语言嵌入模型。
2026-04-22 cs.AI cs.CL
EmbeddingRWKV: State-Centric Retrieval with Reusable States
Guangdong Laboratory of Artificial Intelligence and Digital Economy (SZ)(广东人工智能与数字经济实验室);Shenzhen Yuanshi Intelligence Co., Ltd(深圳元世智能科技有限公司)
EmbeddingRWKV通过统一的嵌入模型和状态骨干,实现高效检索与重排序,提升系统效率。
2026-01-10 cs.CL cs.IR
HiNS: Hierarchical Negative Sampling for More Comprehensive Memory Retrieval Embedding Model
OPPO;Zhejiang University(浙江大学)
HiNS通过分层负采样方法提升记忆检索嵌入模型的检索保真度和泛化能力,在多个任务中取得显著性能提升。
2026-01-21 cs.CL
Aligning Multilingual Word Embeddings for Cross-Modal Retrieval Task
IDIAP Research Inst.(IDIAP研究所);EPFL(洛桑联邦理工学院)
在本文中,我们提出了一种新的方法来学习多模态多语言嵌入匹配图像及其相关的字幕在两种语言。我们结合了两个现有的目标函数,使图像和字幕在一个联合嵌入空间中接近,同时在我们的模型中调整现有语言之间的词嵌入的对齐。我们表明,我们的方法可以更好地推广,实现最先进的性能,在文本到图像和图像到文本检索任务,以及标题-标题相似性任务。两个多模态多语言数据集用于评估:Multi 30 k与德语和英语字幕和Microsoft-COCO与英语和日语字幕。
2019-10-08 cs.CL cs.IR cs.LG
GEM: A Generative Embedding Model Bridging Reasoning and Retrieval
University of Glasgow(格拉斯哥大学)
针对传统检索器表层匹配导致的需求解读差距问题,提出生成式嵌入模型GEM,将推理与检索统一,在相关任务上性能优于基线,还可通过提示扩展测试时计算提升效果。
2026-08-17 cs.AI cs.CL cs.IR
Uncertainty-based Cross-Modal Retrieval with Probabilistic Representations
Samsung AI Centre Toronto(多伦多三星人工智能中心);York University(约克大学);University of Toronto(多伦多大学)
概率嵌入已被证明对于捕获多义词含义以及图像匹配中的歧义是有用的。在本文中,我们研究了概率嵌入在跨模态设置(即,文本和图像),并提出了一种简单的方法,取代标准的矢量点嵌入在现有的图像-文本匹配模型与概率分布,参数学习。我们的指导假设是,概率嵌入中编码的不确定性捕获了输入实例中的跨模态模糊性,并且通过捕获这种不确定性,概率模型可以在下游任务中表现得更好,例如图像到文本或文本到图像检索。通过对标准和新基准的广泛实验,我们在跨模态检索中展示了概率表示的一致优势,并验证了我们的嵌入捕获不确定性的能力。
2022-04-20 cs.CL cs.CV cs.IR
M3-Embedding: Multi-Linguality, Multi-Functionality, Multi-Granularity Text Embeddings Through Self-Knowledge Distillation
University of Science and Technology of China(中国科学技术大学);BAAI(北京人工智能研究院)
M3-Embedding通过自知识蒸馏实现多语言、多功能和多粒度的文本嵌入,提升多语言检索性能。
2025-12-12 cs.AI cs.CL cs.LG
Hamming Sentence Embeddings for Information Retrieval
在检索应用中,二进制哈希已知在存储器和速度方面提供显著的改进。我们研究的压缩句子嵌入使用神经编码器-解码器架构,这是通过最小化重建误差训练。而不是采用原来的实值嵌入,我们使用潜在的表示在汉明空间产生的编码器的相似性计算。在语义相似性任务的几个基准的定量实验中,我们表明,我们的压缩汉明嵌入产生了可比的性能未压缩的嵌入(Sent 2 Vec,InferSent,手套-BoW),在压缩比高达256:1。我们进一步证明了我们的模型强烈地去相关输入特征,并且压缩器在对维基百科句子进行预训练时泛化良好。我们在Github上发布了源代码和所有实验结果。
2019-08-15 cs.CL cs.IR cs.LG
On the Replicability of Combining Word Embeddings and Retrieval Models
Research Studio Data Science, RSA FG(RSA FG数据科学研究工作室)
我们复制最近的实验,试图证明一个有吸引力的假设,使用Fisher内核框架和混合模型聚合词嵌入对文档表示和使用这些表示在文档分类,聚类和检索。具体地说,假设是使用冯米塞斯-费舍尔(VMF)分布的混合模型而不是高斯分布将是有益的,因为关注VMF和传统上用于信息检索的向量空间模型的余弦距离。以前的实验已经证实了这一假设。我们的复制无法验证它,尽管有很大的参数扫描空间。
2020-01-13 cs.CL cs.IR cs.LG
Robustness Risk of Conversational Retrieval: Identifying and Mitigating Noise Sensitivity in Qwen3-Embedding Model
Beijing University of Posts and Telecommunications(北京邮电大学);SenseTime(商汤科技);Beijing Key Laboratory of Network System and Network Culture(网络系统与网络文化北京市重点实验室)
研究探讨了基于嵌入的对话检索在现实场景中的鲁棒性问题,发现未提示查询时,结构化对话噪声易被检索,影响排名稳定性,提出轻量级查询提示可缓解此问题。
2026-02-03 cs.AI cs.CL cs.IR
Reason What Matters: Retrieval-Grounded Reasoning for Universal Multimodal Embeddings
Tsinghua Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);School of Artificial Intelligence and Data Science, USTC(中国科学技术大学人工智能与数据科学学院);Kuaishou Technology(快手科技);College of Future Information Technology, Fudan University(复旦大学未来信息技术学院)
针对通用多模态嵌入中GRPO信用分配不均和CoT推理延迟高的问题,提出ReWAM框架,通过检索感知自蒸馏和自适应推理,实现最先进检索性能并提升高达5倍推理吞吐量。
2026-09-29 cs.AI cs.CL
Lessons Learned on Information Retrieval in Electronic Health Records: A Comparison of Embedding Models and Pooling Strategies
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Boston Children’s Hospital Harvard Medical School(波士顿儿童医院哈佛医学院);University of Colorado Anschutz(科罗拉多大学安舒茨分校);Loyola University Chicago(芝加哥洛约拉大学)
本文针对临床领域电子健康记录信息检索,通过消融研究比较七种嵌入模型(含医疗与通用领域)及池化策略在两类数据源三项任务中的表现,发现通用模型BGE优于医疗专用模型,确定最佳池化方法并为检索系统优化提供经验。
2024-09-23 cs.CL cs.IR
InsightEmb: Learning Action-Intent Embeddings for Agentic Insight Retrieval
The Hong Kong University of Science and Technology(香港科技大学);WeChat AI, Tencent(腾讯微信人工智能)
该研究针对智能体洞察检索任务,提出对比嵌入框架InsightEmb,利用数学推理数据学习可迁移的检索几何结构,在无特定环境训练时优于现有模型,验证了匹配几何结构的跨域迁移性。
2026-08-07 cs.AI cs.CL
Enhancing Dual-Encoders with Question and Answer Cross-Embeddings for Answer Retrieval
Ping An Technology(平安科技);Beihang University(北京航空航天大学)
双编码器是问答系统中一种很有前途的答案检索机制。目前,大多数传统的双编码器学习的语义表示的问题和答案仅仅通过匹配的分数。研究者提出在评分函数中引入问答交互特征,但代价是推理阶段效率低下。为了在推理阶段保持问题和答案的独立编码,在训练阶段进一步引入变分自动编码器来从问题(答案)嵌入重构答案(问题)作为辅助任务,以增强表示学习中的QA交互。然而,文本生成和答案检索的需求是不同的,这导致了训练的难度。在这项工作中,我们提出了一个框架,以增强双编码器模型与问答交叉嵌入和一个新的几何对齐机制(GAM),以对齐的几何嵌入从双编码器从交叉编码器。大量的实验结果表明,我们的框架显着改善了双编码器模型,并优于国家的最先进的方法在多个答案检索数据集。
2022-06-07 cs.AI cs.CL
Understanding and Mitigating the Threat of Vec2Text to Dense Retrieval Systems
CSIRO(联邦科学与工业研究组织);The University of Queensland(昆士兰大学)
本文研究了影响 Vec2Text 文本嵌入反演攻击稠密检索系统时文本可恢复性的多种因素,并提出了一种在保证排序有效性同时降低恢复风险的嵌入变换修复方法。
2024-07-24 cs.CL cs.IR
SEAL: Speech Embedding Alignment Learning for Speech Large Language Model with Retrieval-Augmented Generation
SenseTime Research(商汤科技研究院)
SEAL通过统一的语音和文本嵌入框架,提升语音大语言模型的检索效率与准确性,减少延迟并增强多模态检索能力。
2025-12-10 cs.CL cs.SD eess.AS
Concept Embedding for Information Retrieval
GESIS - Leibniz Institute for the Social Sciences(莱布尼茨社会科学研究所(GESIS));Cologne(科隆)
概念用于解决术语不匹配问题。然而,我们需要一个有效的概念之间的相似性度量。词嵌入提供了一个很有前途的解决方案。在这项研究中,我们提出了三种方法来建立概念向量的基础上的词向量。我们使用基于向量的措施来估计概念间的相似性。我们的实验显示了有希望的结果。此外,词语和概念变得可比较。这可用于改进概念索引编制过程。
2020-02-01 cs.AI cs.CL cs.IR
Matching Text and Audio Embeddings: Exploring Transfer-learning Strategies for Language-based Audio Retrieval
Huawei Technologies(华为技术有限公司);Universitat Pompeu Fabra(庞培法布拉大学)
我们对用于跨模态(文本到音频)检索的大规模预训练深度学习模型进行了分析。我们使用这些模型在度量学习框架中提取的嵌入来连接匹配的音频和文本对。浅层神经网络将嵌入映射到一个共同的维度。我们的系统,这是我们提交的DCASE挑战赛2022年的基于存储的音频检索任务的扩展,采用了RoBERTa基础模型作为文本嵌入提取器。预训练的PANN模型提取音频嵌入。为了提高我们模型的泛化能力,我们研究了从在线平台Freesound收集的音频和相关噪声文本的预训练如何提高我们方法的性能。此外,我们的消融研究表明,正确选择的损失函数和微调预训练模型是必不可少的训练竞争检索系统。
2022-10-06 cs.CL cs.IR cs.LG
ChEmbed: Enhancing Chemical Literature Search Through Domain-Specific Text Embeddings
Department of Computational Science and Engineering(计算科学与工程系);McMaster University(麦斯特大学);BASF Canada Inc(巴斯夫加拿大公司);BASF Corporation(巴斯夫公司)
ChEmbed通过领域自适应嵌入模型,利用170万合成查询-段落对和900个化学专用标记,在ChemRxiv基准上将nDCG@10从0.82提升至0.91,有效改善化学文献检索。
2026-09-29 cs.CL cs.IR
NEAR$^2$: A Nested Embedding Approach to Efficient Product Retrieval and Ranking
University of Surrey, United Kingdom(英国萨里大学);Birmingham City University, United Kingdom(英国伯明翰城市大学)
提出嵌套嵌入方法NEAR$^2$,在推理时嵌入大小效率提升12倍且不增训练成本,提升检索排序准确率。
2025-06-24 cs.CL cs.IR
Evaluating Embedding APIs for Information Retrieval
University of Waterloo(滑铁卢大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室)
本文在BEIR和MIRACL基准上评估语义嵌入API的领域泛化与多语言检索能力,发现对BM25结果重排序在英语中最具性价比,非英语场景下BM25混合模型效果最佳但成本更高。
2023-07-06 cs.CL cs.IR
Mix-and-Match: Scalable Dialog Response Retrieval using Gaussian Mixture Embeddings
IBM Research(IBM研究院)
基于嵌入的对话响应检索方法将上下文响应对嵌入为嵌入空间中的点。这些方法是可扩展的,但无法解释上下文响应对之间存在的复杂的多对多关系。另一方面,有一些方法通过多层神经网络联合提供上下文-响应对。这些方法可以模拟上下文-响应对之间的复杂关系,但当响应集适度大(>100)时无法扩展。在本文中,我们通过提出一个可扩展的模型,可以学习上下文响应对之间的复杂关系,结合了这两个世界的最佳。具体而言,该模型将上下文以及响应映射到嵌入空间上的概率分布。我们通过优化由训练数据中的上下文响应对引起的分布之间的Kullback-Leibler散度来训练模型。我们表明,所得到的模型实现了更好的性能相比,其他基于嵌入的方法公开可用的会话数据。
2022-04-06 cs.AI cs.CL
Bridging the Question-Answer Gap in Retrieval-Augmented Generation: Hypothetical Prompt Embeddings
University of Primorska(普里莫尔斯卡大学);InnoRenew CoE;Research Centre of the Slovenian Academy of Sciences and Arts(斯洛文尼亚科学与艺术研究院研究中心);The Fran Ramovš Institute(弗兰·拉莫夫什研究所)
该研究提出假设提示嵌入(HyPE)框架,将假设内容生成移至索引阶段,提升RAG的检索对齐度与效率,在六个数据集上实现检索精度和召回率的显著提升且兼容多种RAG技术
2026-08-03 cs.CL cs.IR
One Model Is Enough: Native Retrieval Embeddings from LLM Agent Hidden States
Temple University(特拉华大学)
本文提出通过轻量级投影头使LLM代理具备原生检索能力,无需额外嵌入模型,保留97%检索质量并在QReCC基准测试中表现优异。
2026-03-09 cs.AI cs.CL cs.IR
Spectral Retrieval: Multi-Scale Sinc Convolution over Token Embeddings for Localized Retrieval in LLM Multi-Agent Systems
Cisco(思科)
提出光谱检索方法,通过多尺度sinc卷积对令牌嵌入进行重排序,在无需重新训练的情况下显著提升局部化检索性能,并自然适配于LLM多智能体系统。
2026-05-23 cs.AI cs.CL cs.IR
Non-negative Elastic Net Decoding for Information Retrieval
NTT, Inc(NTT公司)
提出非负弹性网络(NNN)解码方法,将检索视为联合解码问题,通过稀疏非负线性组合重构查询嵌入,在理论上严格优于稠密检索,实验表明在多个基准上取得一致改进。
2026-06-17 cs.AI cs.CL cs.IR
Embedding-Informed Adaptive Retrieval-Augmented Generation of Large Language Models
University of New South Wales(新南威尔士大学);University of California San Diego(加利福尼亚大学圣迭戈分校);Duke University(杜克大学);Georgia Institute of Technology(佐治亚理工学院);Adobe Research(奥多比研究院);CSIRO’s Data61(联邦科学与工业研究组织Data61)
针对大语言模型检索增强中检索并非始终有用的问题,提出通过检查预训练词元嵌入判断模型是否掌握查询知识的自适应检索增强生成方法,无需访问预训练语料或额外模型推理,在多基准上性能更优。
2024-12-13 cs.AI cs.CL
Retrieval Backward Attention without Additional Training: Enhance Embeddings of Large Language Models via Repetition
Beijing Normal University(北京师范大学);Beijing Waiyan Online Digital Technology Co., Ltd(北京外研在线数字科技有限公司)
提出无需额外训练的反向注意力机制,通过重复增强嵌入,在C-MTEB上显著提升零样本性能。
2025-03-28 cs.CL cs.LG
NUDGE: Lightweight Non-Parametric Fine-Tuning of Embeddings for Retrieval
UC Berkeley(加州大学伯克利分校)
NUDGE提出一种非参数嵌入微调方法,通过直接修改数据记录嵌入并施加可高效求解的约束,在保持语义的同时显著提升检索准确率,且比现有微调方法更快。
2024-09-04 cs.AI cs.CL cs.IR
Learning Multilingual Embeddings for Cross-Lingual Information Retrieval in the Presence of Topically Aligned Corpora
Computer Science and Engineering, Indian Institute of Technology, Kanpur(印度理工学院坎普尔分校计算机科学与工程系)
在缺乏对齐的平行语料库的情况下,跨语言信息检索是一项具有挑战性的任务。在本文中,我们解决这个问题,考虑局部对齐语料库设计用于评估IR设置。需要强调的是,我们既不使用任何与词典对齐的语料库或与文档对齐的语料库,也不使用任何特定于语言的资源,如字典、同义词词典或语法规则。相反,我们使用嵌入到公共空间中,并直接从那里学习单词对应关系。我们测试我们提出的方法,双语IR标准消防数据集孟加拉语,印地语和英语。所提出的方法是优于国家的最先进的方法,不仅为IR评估措施,但也在时间要求方面。我们成功地将我们的方法扩展到三语环境。
2018-04-12 cs.CL cs.IR
Granite Embedding Models
IBM Research AI(IBM研究院人工智能部门)
本文介绍 Granite 嵌入模型系列,通过检索导向预训练、对比微调、知识蒸馏和模型合并等技术,在 IBM 内部任务上显著优于同类模型,并在公开基准上表现相当,且以 Apache 2.0 许可证开源。
2025-02-27 cs.CL cs.IR
From Topology to Retrieval: Decoding Embedding Spaces with Unified Signatures
University of Tübingen(图宾根大学);Fribourg University(弗里堡大学);Boehringer Ingelheim GmbH, Biberach (Riss), Germany(勃林格殷格翰公司);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
本文提出统一拓扑签名框架,用于全面表征文本嵌入空间,揭示模型架构驱动的相似性,并通过拓扑结构与排序有效性关联,提升文档检索性能。
2026-10-14 cs.CL cs.IR cs.LG
Pooling and Semantic Shift: The Fundamental Challenges in Long Text Embedding and Retrieval
Rutgers University(罗格斯大学)
本文提出池化操作和内部语义偏移是导致Transformer嵌入模型出现各向异性和长度诱导表示崩溃的根本原因,并通过理论证明和实验验证了语义偏移对嵌入集中的主导作用。
2026-05-22 cs.CL cs.IR
Embedding Web-based Statistical Translation Models in Cross-Language Information Retrieval
尽管越来越多的语言对被机器翻译服务所覆盖,但仍有许多语言对缺乏翻译资源。跨语言信息检索(CLIR)是一种需要复杂程度相对较低的翻译功能的应用,因为当前的信息检索(IR)模型仍然是基于词袋的。Web为自动构建可用于统计翻译模型自动训练的平行语料库提供了广阔的资源。所得到的翻译模型可以以几种方式嵌入到检索模型中。在本文中,我们将探讨的问题,自动挖掘并行文本从Web和不同的方式集成的翻译模型的检索过程中。我们对CLIR标准测试集的实验表明,基于Web的翻译模型在CLIR任务中可以超过商业机器翻译系统。这些结果打开的角度,构建一个全自动查询翻译设备CLIR在一个非常低的成本。
2003-12-03 cs.CL cs.IR
Investigating Distributions of Telecom Adapted Sentence Embeddings for Document Retrieval
Ericsson R&D(爱立信研发)
本文研究电信领域问答中的句嵌入适配,提出相似度阈值确定方法和分布重叠度量指标,发现微调能提高检索准确率并收紧置信区间,而各向同性与检索性能相关性弱。
2025-06-05 cs.AI cs.CL cs.LG
Hierarchical Embedding Fusion for Retrieval-Augmented Code Generation
ITMO University(ITMO大学)
HEF通过层次嵌入融合技术,实现了低延迟的仓库感知代码补全,有效减少检索延迟并提升准确度。
2026-02-04 cs.CL cs.LG
Pre-training Tasks for Embedding-based Large-scale Retrieval
Carnegie Mellon University(卡内基梅隆大学);Google(谷歌)
我们考虑大规模查询文档检索问题:给定一个查询(例如,问题),返回相关文档集(例如,包含答案的段落)。这个问题通常分两步解决。检索阶段首先减少解决方案空间,返回候选文档的子集。然后,评分阶段对文档重新排序。关键的是,检索算法不仅需要高召回率,而且还需要高效,在时间上亚线性地返回候选文档的数量。与最近由于BERT风格的交叉注意模型预训练任务而取得重大进展的评分阶段不同,检索阶段仍然没有得到很好的研究。大多数以前的作品依赖于经典的信息检索(IR)方法,如BM-25(令牌匹配+TF-IDF权重)。这些模型只接受稀疏的手工特征,不能针对不同的下游任务进行优化。本文对基于嵌入的检索模型进行了全面的研究。我们证明了学习基于强嵌入的Transformer模型的关键因素是预训练任务集。通过充分设计的段落级预训练任务,Transformer模型可以显着改进广泛使用的BM-25以及没有Transformers的嵌入模型。我们研究的段落级预训练任务有逆完形填空任务(ICT)、主体优先选择任务(BFS)、维基链接预测任务(WLP)以及三者的组合。
2020-02-10 cs.CL cs.IR cs.LG
Embedding Electronic Health Records for Clinical Information Retrieval
ETH Zurich(苏黎世联邦理工学院);Brown University(布朗大学)
神经网络表示学习框架最近已被证明在广泛的任务中非常有效,从射线照相解释到数据驱动的诊断到临床决策支持。这种通常卓越的性能是以急剧增加的训练数据需求为代价的,而这些需求在每个给定的机构或场景中都不能得到满足。作为对抗这种数据稀疏效应的一种手段,远程监督通过依赖于相关的、资源丰富的任务来训练,从而消除了对稀缺的域内数据的需求。本研究提出了一种端到端的神经临床决策支持系统,该系统通过对众所周知的MIMIC-III集合(丰富的资源)进行远程监督,为个体患者(可用资源很少)推荐相关文献。我们的实验表明,显着改善传统的统计以及纯粹的本地监督检索模型的检索效果。
2018-11-13 cs.CL cs.IR
Phonetic-and-Semantic Embedding of Spoken Words with Applications in Spoken Content Retrieval
National Taiwan University(台湾大学)
词嵌入或Word2Vec已经成功地为从词的上下文学习的文本词提供语义。音频Word2Vec被证明可以为从口语单词中的信号中学习到的口语单词(单词的信号片段)提供语音结构。本文提出了一个两阶段的框架来执行语音和语义嵌入的口语单词考虑的上下文。阶段1执行语音嵌入,并解开说话者特征。阶段2然后另外执行语义嵌入。我们进一步建议通过与文本嵌入并行化来评估在阶段2中获得的音频嵌入的语音和语义性质。语音结构和语义之间的相互干扰是不可避免的。例如,“兄弟”和“姐妹”在语义上很接近,但在语音结构上却有很大的不同,而“兄弟”和“麻烦”则相反。但是语音和语义嵌入是有吸引力的,正如在口语文档检索的初步实验中所示。不仅可以基于语音结构来检索包括口头查询的口头文档,而且还可以基于语义来检索语义上与查询相关但不包括查询的口头文档。
2019-01-19 cs.CL cs.SD eess.AS
Learning to Retrieve via Reinforcement Learning in Embedding Space
Renmin University of China(中国人民大学)
提出RELER框架,利用强化学习在嵌入空间中直接优化检索指标,通过vMF采样和条件均值投影减少噪声,在BRIGHT基准及RAG下游任务中显著提升性能。
2026-10-07 cs.AI cs.CL cs.IR
A retrieval-based dialogue system utilizing utterance and context embeddings
Maastricht University(马斯特里赫特大学)
为文本对话、话语和单词找到语义丰富且计算机可理解的表示对于对话系统(或会话代理)至关重要,因为它们的性能主要取决于对会话上下文的理解。最近的研究旨在为单词找到分布式向量表示(嵌入),使得语义相似的单词在向量空间内相对接近。将文本的“含义”编码为矢量是当前的趋势,文本可以从单词、短语和文档到实际的人与人之间的对话。在最近的研究方法中,响应已经利用解码器架构生成,给出当前会话的矢量表示。在本文中,利用嵌入的答案检索进行了探索,通过使用局部敏感哈希森林(LSH森林),一个近似最近邻(ANN)模型,找到相似的对话语料库和排名可能的候选人。著名的Ubuntu语料库(英语)和客户服务聊天数据集(荷兰语)上的实验结果表明,结合候选人选择方法,检索为基础的方法优于生成的,并揭示了有前途的未来研究方向对这样一个系统的可用性。
2017-10-20 cs.AI cs.CL cs.IR