UEmbed: Unified Sparse and Dense Multimodal Embeddings
CASIA(中国科学院自动化研究所);Alibaba Group(阿里巴巴集团);University of Chinese Academy of Sciences(中国科学院大学);Yale University(耶鲁大学)
UEmbed是一种仅解码器的多模态嵌入模型,可单次前向传播生成稀疏与稠密表示,在MMEB-v2和BEIR上表现优异,统一了两类嵌入并支持多模态智能体应用。
2026-08-04 cs.AI cs.CL cs.CV
From Lexical Baselines to Agentic Retrieval-Augmented Generation: Structured Skill and Responsibility-Level Extraction with the SFIA Framework
Informatics Institute of Technology(信息科技学院);University of Sri Jayewardenepura(斯里贾亚瓦德纳普拉大学)
本研究针对SFIA框架提出结构化技能与责任级别提取任务,比较五种策略,发现检索匹配识别技能多、生成策略更精确,显式级别决策更可靠,智能体团队无增益,提供首个可复现基线。
2026-09-30 cs.AI cs.CL
Towards Universal Dense Retrieval for Open-domain Question Answering
Princeton University(普林斯顿大学)
在开放域问答中,模型接收文本问题作为输入,并使用大型证据语料库搜索正确答案。检索步骤是特别困难的,因为典型的证据语料库具有\textit{millions}的文档,每个文档可能有也可能没有问题的正确答案。最近,密集模型已经取代稀疏方法作为事实上的检索方法。密集方法不是专注于词汇重叠来确定相似性,而是构建一个编码函数,通过从一小部分问题-答案或问题-上下文对中学习来捕获语义相似性。在本文中,我们研究稠密检索模型的背景下,开放域问答在不同的输入分布。为此,首先,我们引入了一个从Wikidata事实构建的实体丰富的问答数据集,并证明密集模型无法推广到看不见的输入问题分布。其次,我们进行分析,旨在更好地了解问题的根源,并提出新的训练技术,以提高各种数据集的域外性能。我们鼓励该领域进一步研究创建一个单一的,通用的稠密检索模型,以及在所有输入分布的推广。
2021-09-23 cs.CL cs.IR
Real-Time Open-Domain Question Answering with Dense-Sparse Phrase Index
University of Washington(华盛顿大学);Google Research(谷歌研究院);Allen Institute for AI(艾伦人工智能研究所);Clova AI;NAVER;Korea University(高丽大学)
现有的开放域问答模型需要对每个输入查询按需处理多个长文档,不适合实时的【形】使用。在本文中,我们介绍了查询无关的可索引表示的文档短语,可以大大加快开放域QA,也使我们能够达到长尾目标。特别是,我们的密集稀疏短语编码有效地捕捉短语的语法,语义和词汇信息,消除了上下文文档的管道过滤。利用优化策略,我们的模型可以在单个4 GPU服务器中进行训练,并仅使用CPU在2 TB下为整个维基百科(多达600亿个短语)提供服务。我们在SQuAD-Open上的实验表明,我们的模型比DrQA更准确(Chen等人,2017年),计算成本降低了6000倍,这意味着CPU上的端到端推理基准至少快了58倍。
2019-06-14 cs.CL
Lexically-Accelerated Dense Retrieval
Georgetown University(乔治城大学);University of Glasgow(格拉斯哥大学)
本文提出 LADR(词汇加速的稠密检索)方法,利用词汇检索为基于文档邻近图的稠密检索提供种子,在保证检索有效性的同时显著提升效率,并在标准基准上实现与穷举搜索相当的精确率和召回率。
2023-07-31 cs.CL cs.IR
Progressively Pretrained Dense Corpus Index for Open-Domain Question Answering
University of California, Santa Barbara(加利福尼亚大学圣巴巴拉分校)
为了从大型语料库中抽取答案,开放域问答(QA)系统通常依赖于信息检索(IR)技术来缩小搜索空间。标准的倒排索引方法如TF-IDF由于其效率而被普遍使用。然而,他们的检索性能是有限的,因为他们只是使用浅和稀疏的词汇特征。为了打破检索瓶颈,最近的研究表明,更强的检索性能可以通过预训练一个有效的段落编码器,索引段落到密集的向量。一旦经过训练,语料库可以被预编码成低维向量并存储在索引结构中,其中检索可以有效地实现为最大内积搜索。尽管结果很有希望,但预训练这样一个密集的索引是昂贵的,并且通常需要非常大的批量。在这项工作中,我们提出了一种简单且资源有效的方法来预训练段落编码器。首先,我们利用现有的预训练序列到序列模型来构建一个强大的问题生成器,以创建高质量的预训练数据,而不是使用启发式创建的伪问题-段落对进行预训练。其次,我们提出了一个渐进的预训练算法,以确保有效的负样本在每一批的存在。在三个数据集上,我们的方法优于现有的稠密检索方法,该方法使用7倍以上的计算资源进行预训练。
2021-02-19 cs.CL
Dense Contexts Are Hard Contexts: Lexical Density Limits Effective Context in LLMs
Department of Computer Science Politecnico di Torino(计算机科学系politecnico di torino大学);Department of Computer Science University of Turin(计算机科学系都灵大学)
本文通过三个“找针”式基准测试,发现词汇密度(上下文引入不同信息的速率)是除输入长度和相关信息位置外,第三个系统性降低LLM有效上下文窗口的因素,并证明降低密度可恢复性能。
2026-06-04 cs.AI cs.CL
RELIC: Retrieving Evidence for Literary Claims
University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校);Smith College(史密斯学院)
人文学者通常会为他们对文学作品的主张提供证据(例如,(小说)以作品中的引语的形式。我们收集了一个大规模的数据集(RELiC)的78 K文学引文和周围的批评分析,并使用它来制定文学证据检索的新任务,其中模型被赋予了一个摘录的文学分析周围的一个掩蔽的报价,并要求检索引用的段落从一组的所有通道中的工作。解决这个检索任务需要深入了解复杂的文学和语言现象,这证明了具有挑战性的方法,压倒性地依赖于词汇和语义相似性匹配。我们为此任务实现了一个基于RoberTa的密集通道检索器,其性能优于现有的预训练信息检索基线;然而,人类领域专家的实验和分析表明,我们的密集检索器还有很大的改进空间。
2022-03-18 cs.CL
Drop your Decoder: Pre-training with Bag-of-Word Prediction for Dense Passage Retrieval
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学);Tsinghua University(清华大学)
针对密集检索中掩码自编码器预训练计算成本高且机理不明的问题,提出用简化的词袋预测任务替换解码器,在无需额外参数下实现最先进检索性能且训练提速67%。
2024-04-22 cs.CL cs.IR
MoR: Better Handling Diverse Queries with a Mixture of Sparse, Dense, and Human Retrievers
Carnegie Mellon University(卡内基梅隆大学);Technical University of Darmstadt(达姆斯塔特技术大学)
针对单一检索器难以泛化的问题,提出零样本加权混合异质检索器(MoR),以0.8B参数超越各单独检索器及7B模型,并有效整合人类信息源,性能提升显著。
2025-06-18 cs.AI cs.CL cs.IR
RECIPER: A Dual-View Retrieval Pipeline for Procedure-Oriented Materials Question Answering
Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences(中国科学院深圳先进技术研究院)
本文提出RECIPER双视角检索流程,通过结合段落上下文和紧凑的LLM提取的工艺摘要,提升材料科学论文中工艺细节的检索效果,实验表明在多个检索模型上均取得显著提升。
2026-04-13 cs.AI cs.CL eess.SP
TempRetriever: Fusion-based Temporal Dense Passage Retrieval for Time-Sensitive Questions
University of Innsbruck(因斯布鲁克大学);L3S Research Center(L3S研究中心);Delft University of Technology(代尔夫特理工大学)
TempRetriever通过将查询日期和文档时间戳嵌入DPR检索过程,并结合基于时间的负采样策略,显著提升了时间敏感问答中的段落检索准确率。
2025-04-08 cs.CL cs.IR
Uncertainty-Aware Hybrid Retrieval for Long-Document RAG
Elmore Family School of Electrical and Computer Engineering, Purdue University(普渡大学埃尔莫尔家族电气与计算机工程学院)
提出UMG-RAG,一种无需训练的混合检索框架,通过多粒度分块和不确定性估计融合密集与稀疏检索结果,提升长文档问答质量。
2026-06-12 cs.AI cs.CL
JUÁ -- A Benchmark for Information Retrieval in Brazilian Legal Text Collections
Universidade Federal do Cariri (UFCA)(联邦卡里里大学);Universidade Estadual de Campinas (UNICAMP)(坎皮纳斯州立大学);Câmara dos Deputados(巴西众议院)
JUÁ是一个用于评估巴西法律信息检索的基准,提供统一的评估框架,支持跨异构法律集合的可重复和可比性评估,包含法律判例、立法和法规检索等任务。
2026-11-10 cs.CL cs.IR
Building Interpretable and Reliable Open Information Retriever for New Domains Overnight
University of Pennsylvania(宾夕法尼亚大学)
本文提出一种结合实体/事件链接与查询分解的信息检索流水线,以提升可解释性和可靠性,并在五个IR与QA基准上显著改善段落覆盖率和指称准确率,适用于新领域快速部署。
2023-08-09 cs.CL cs.IR
Training-Free Lexical-Dense Fusion for Conversational-Memory Retrieval
Inland Norway University of Applied Sciences(内陆挪威应用科学大学);University of California, Berkeley(加州大学伯克利分校)
本文提出一种免训练、仅CPU的检索方法,通过分数级融合最大查询-轮次相似度(后期交互)与BM25,显著提升多会话对话记忆检索的命中率,并分析了不同编码器和池化策略的影响。
2026-06-02 cs.CL cs.IR cs.LG
Can a Frozen Pretrained Language Model be used for Zero-shot Neural Retrieval on Entity-centric Questions?
Kioxia Corporation(铠侠公司)
神经文档检索器,包括密集段落检索(DPR),在特定的问答数据集上进行微调和测试时,表现优于经典的词汇匹配检索器,如BM 25。然而,它已被证明,现有的密集检索不推广以及不仅出域,但即使在域,如维基百科,特别是当一个问题中的命名实体是一个主要的线索检索。在本文中,我们提出了一种方法,对领域泛化内泛化使用的嵌入所产生的冻结语言模型训练的实体领域。通过不微调,我们探索了预训练的语言模型中包含的丰富知识可用于检索任务的可能性。该方法优于传统的DPRs在维基百科领域的实体为中心的问题,并实现几乎相当的性能BM 25和最先进的SPAR模型。我们还表明,上下文化的键导致强大的改进相比,BM 25时,实体名称由常见的单词。我们的研究结果表明,zero-shot检索方法的可行性,以实体为中心的问题的维基百科领域,DPR一直在努力执行。
2023-03-09 cs.AI cs.CL
Query Expansion Using Contextual Clue Sampling with Language Models
University College London(伦敦大学学院);University of Waterloo(滑铁卢大学)
查询扩展是信息检索中缓解查询词与文档词汇不匹配的有效方法。最近的一项研究使用语言模型来生成查询相关的上下文以供扩展。沿着这条线,我们认为,从这些背景下的扩展条款应该平衡两个关键方面:多样性和相关性。增加多样性的明显方法是从语言模型中抽取多个上下文。然而,这是以相关性为代价的,因为模型有一个众所周知的倾向,即产生不正确或不相关的上下文。为了平衡这两个方面的考虑,我们提出了一个有效的过滤策略和融合的基础上,每个上下文的生成概率检索到的文件相结合。我们的基于词汇匹配的方法实现了类似的前5名/前20名的检索准确率和更高的前100名的准确率相比,建立良好的稠密检索模型DPR,同时减少了超过96%的索引大小。对于端到端QA,读者模型也受益于我们的方法,并在几个竞争基线中获得了最高的精确匹配分数。
2022-10-13 cs.CL
Learning to Retrieve Passages without Supervision
Tel Aviv University(特拉维夫大学)
密集检索开放域问答(ODQA)已被证明是实现了令人印象深刻的性能,通过训练的大数据集的问题通道对。在这项工作中,我们问这种对标记数据的依赖是否可以通过面向ODQA的无监督预训练来减少。我们表明,这实际上是可能的,通过一个新的预训练方案设计检索。我们的“重复跨度检索”方法使用文档中段落之间的重复跨度来创建用于对比学习的伪示例。我们的预训练方案直接控制伪查询和相关段落之间的术语重叠,从而允许对它们之间的词汇和语义关系进行建模。由此产生的模型,命名为蜘蛛,表现令人惊讶的好,没有任何标记的训练样本上广泛的ODQA数据集。具体来说,它在zero-shot设置中显著优于所有其他预训练基线,并且与BM 25(一种强大的稀疏基线)竞争。此外,Spider和BM25的混合检索器比两者都有改进,并且通常与DPR模型竞争,DPR模型是在数万个示例上训练的。最后,当使用Spider作为监督训练的初始化时,观察到显着的收益。
2022-05-17 cs.CL cs.IR
Lexical semantics enhanced neural word embeddings
Shandong Jianzhu University(山东建筑大学)
当前自然语言处理的突破极大地受益于神经语言模型,通过该模型,分布式语义可以利用神经数据表示来促进下游应用。由于神经嵌入使用上下文预测来产生密集向量,因此它们不可避免地倾向于捕获比语义相似性更多的语义关联。为了改进向量空间模型在推导语义相似度方面的性能,我们通过深度度量学习对神经词嵌入进行后处理,通过深度度量学习,我们可以将包括同义/反义和上下义关系在内的词汇语义关系注入到分布空间中。我们引入层次拟合,一种新的语义专业化的方法来建模语义相似性的细微差别固有地存储在IS-A层次结构。层次拟合在常用词和稀有词基准数据集上获得了最先进的结果,用于从神经词嵌入中获得语义相似性。它还采用了一个不对称的距离函数来明确地专门化上位词的方向性,通过它显着提高香草嵌入在多个评价任务中检测上位词和方向性,而不会对语义相似性判断产生负面影响。结果表明,层次拟合在后期融合中专门化具有语义关系的神经嵌入的有效性,潜在地扩展了其适用性,以聚合异构数据和各种知识资源,用于学习多模态语义空间。
2022-10-03 cs.CL
Enhancing Q&A Text Retrieval with Ranking Models: Benchmarking, fine-tuning and deploying Rerankers for RAG
NVIDIA(英伟达)
该研究针对RAG系统的问答文本检索场景,对多款公开排序模型做基准测试,提出NV-RerankQA-Mistral-4B-v3模型实现约14%准确率提升,还通过消融实验分析多因素影响并探讨工业应用权衡。
2024-09-12 cs.CL cs.IR cs.LG
DALDALL: Data Augmentation for Lexical and Semantic Diverse in Legal Domain by leveraging LLM-Persona
Department of Industrial Engineering, Seoul National University, Seoul, South Korea(工业工程系,首尔国立大学,首尔,韩国)
本文提出DALDALL框架,通过利用法律领域专业角色生成高质量合成查询,提升词义多样性并保持语义一致性,在CLERC和COLIEE基准测试中表现优异。
2026-03-24 cs.AI cs.CL cs.IR
Beyond Top-K: Replacing Black-Box Retrieval with Interpretable Agentic Operations
该研究针对长文档检索的结构缺陷,提出无嵌入智能体检索框架READ,在政府财务报告数据集上显著优于密集检索,且性能提升源于操作界面,同时发现BM25与READ无统计差异。
2026-08-10 cs.AI cs.CL cs.IR
LaPraDoR: Unsupervised Pretrained Dense Retriever for Zero-Shot Text Retrieval
University of California, San Diego(加州大学圣地亚哥分校);Microsoft Research Asia(微软亚洲研究院);Sun Yat-sen University(中山大学)
在本文中,我们提出了LaPraDoR,这是一种预训练的双塔密集检索器,不需要任何监督数据进行训练。具体来说,我们首先提出迭代对比学习(ICoL),迭代训练查询和文档编码器的缓存机制。ICoL不仅扩大了负实例的数量,而且还将缓存示例的表示保持在相同的隐藏空间中。然后,我们提出了词汇增强的稠密检索(LEDR)作为一个简单而有效的方法来提高稠密检索与词汇匹配。我们评估LaPraDoR最近提出的BEIR基准,包括18个数据集的9个zero-shot文本检索任务。实验结果表明,与有监督的稠密检索模型相比,LaPraDoR具有最先进的性能,进一步的分析揭示了我们的训练策略和目标的有效性。与重新排名相比,我们的词汇增强方法可以在毫秒内运行(快22.5倍),同时实现卓越的性能。
2022-04-27 cs.AI cs.CL cs.IR
Deep and Dense Sarcasm Detection
University of KwaZulu-Natal(夸祖鲁-纳塔尔大学)
最近在自动讽刺检测方面的工作重点放在上下文和元数据上。虽然某些话语确实需要背景知识和常识推理,以前的作品只探索了浅模型捕捉词汇,句法和语义线索内的文本。在本文中,我们提出了一个深56层网络,实现了密集的连接来模拟孤立的话语,并提取更丰富的特征。我们比较我们的方法对最近的国家的最先进的架构,使大量使用的外部信息,并展示竞争力的结果,同时只使用本地功能的文本。此外,我们提供了在生成最终特征图时对先前卷积输出的依赖性的分析。最后,一个案例研究,支持我们的方法准确地分类其他使用明确的讽刺,一个标准的CNN错误分类。
2019-11-19 cs.CL
Can Network Embedding of Distributional Thesaurus be Combined with Word Vectors for Better Representation?
IIT Kharagpur, India(印度理工学院卡格拉普尔分校(IIT Kharagpur))
近年来,从文本中学习的单词的分布式表示已被证明在各种自然语言处理任务中是成功的。虽然一些方法将单词表示为使用预测模型(Word2vec)或基于密集计数的模型(GloVe)从文本计算的向量,但其他方法试图在分布式词库网络结构中表示这些,其中单词的邻域是具有足够上下文重叠的单词集合。受最近网络嵌入技术(DeepWalk、LINE、node2vec等)研究激增的推动,我们把一个分布式词库网络转换成密集的词向量,并研究分布式词库嵌入在提高整体词表示方面的有用性。这是我们第一次尝试将分布式词库嵌入所获得的单词表示与最先进的单词表示相结合,有助于在针对单词相似性和相关性,同义词检测,类比检测等NLP任务进行评估时显着提高性能。此外,我们表明,即使不使用任何手工制作的词汇资源,我们可以拿出表示具有可比的性能在单词相似性和相关性的任务相比,表示的词汇资源已被使用。
2018-02-17 cs.CL
NER Retriever: Zero-Shot Named Entity Retrieval with Type-Aware Embeddings
Computer Science Department, Bar-Ilan University(巴伊兰大学计算机科学系)
针对无预定义类型的即席命名实体检索问题,提出基于大语言模型中间层value向量和轻量对比投影网络的零样本框架NER Retriever,性能优于现有基线,为无模式实体检索提供实用方案。
2025-09-04 cs.AI cs.CL cs.IR
Select and Augment: Enhanced Dense Retrieval Knowledge Graph Augmentation
University of Liverpool(利物浦大学);University of Tabuk(塔布克大学)
本文提出一种多任务框架,通过检索器模型选择与知识图谱实体高度相关的文本描述并联合对齐或增强KG嵌入,在链接预测任务上较传统CNN方法显著提升了MRR和Hits@10指标。
2023-10-25 cs.AI cs.CL
GPL: Generative Pseudo Labeling for Unsupervised Domain Adaptation of Dense Retrieval
Technical University of Darmstadt(达姆施塔特工业大学);University of Waterloo(滑铁卢大学);Hugging Face
稠密检索方法可以克服词汇鸿沟,并导致显着改善的搜索结果。然而,它们需要大量的训练数据,这对于大多数领域是不可用的。如先前的工作所示(Thakur等人,2021b),密集检索器的性能在域转移下严重降低。这将稠密检索方法的使用限制在仅具有大训练数据集的少数域。在本文中,我们提出了新的无监督领域自适应方法生成伪标记(GPL),它结合了查询生成器和伪标记从交叉编码器。在六个有代表性的领域专用数据集上,我们发现建议的GPL可以优于开箱即用的最先进的稠密检索方法,最多可达9.3点nDCG@10。GPL需要来自目标域的更少(未标记)数据,并且在训练中比以前的方法更鲁棒。我们进一步研究了六个最近的预训练方法在检索任务的领域自适应场景中的作用,其中只有三个可以产生改进的结果。最好的方法,TSDAE(Wang等人,2021年)可以与GPL结合使用,在六个任务中平均提高1.4分nDCG@10。代码和模型可在https://github.com/UKPLab/gpl上获得。
2022-04-25 cs.CL cs.IR
Milco: Learned Sparse Retrieval Across Languages via a Multilingual Connector
University of Amsterdam(阿姆斯特丹大学);Johns Hopkins University, HLTCOE(约翰霍普金斯大学,语言学与认知科学系)
Milco通过多语言连接器将不同语言的查询和文档映射到共享的英语词汇空间,采用两阶段训练策略提升表示透明性和有效性,实现跨语言稀疏检索的最优性能。
2026-03-19 cs.CL cs.IR
Exploring Reasoning-Infused Text Embedding with Large Language Models for Zero-Shot Dense Retrieval
University of Illinois at Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);Amazon(亚马逊)
针对现有文本嵌入方法缺乏推理能力的问题,提出融合推理的文本嵌入方法RITE,通过生成式大语言模型在嵌入计算前生成中间推理文本,在BRIGHT基准上显著提升了多领域零样本稠密检索性能。
2025-08-29 cs.CL
Enhancing Lexicon-Based Text Embeddings with Large Language Models
University of Amsterdam(阿姆斯特丹大学);University of Technology Sydney(技术悉尼大学);Tencent IEG(腾讯IEG);Johns Hopkins University, HLTCOE(约翰霍普金斯大学,HLTCOE)
本文提出基于词典的嵌入方法LENS,利用大语言模型处理词冗余问题,通过词嵌入聚类和双向注意力机制,在MTEB基准测试中优于密集嵌入,且支持高效维度剪枝。
2026-03-19 cs.CL cs.IR
Wontopos Tablet 2: Measuring Multilingual and Multimodal Memory Retrieval Without Lexical Matching
Wontopos L.L.C.(万托波斯有限责任公司)
本文测量Wontopos Tablet 2的多语言多模态记忆检索性能,其无需词汇匹配,在文本、跨语言及多模态基准上表现优于BM25等方法,但存在低资源语言性能下降等问题。
2026-08-26 cs.CL cs.CV cs.IR
Partial Colexifications Improve Concept Embeddings
University of Passau(帕绍大学);Chair for Multilingual Computational Linguistics(多语言计算语言学教席)
本文提出利用自动推断的部分共词化关系增强概念嵌入,并在词汇相似度、语义演变和词语联想任务上验证其效果。
2025-02-13 cs.CL
From Distillation to Hard Negative Sampling: Making Sparse Neural IR Models More Effective
Naver Labs Europe(Naver欧洲实验室);Sorbonne Université(索邦大学);CNRS(法国国家科学研究中心)
基于密集表示与近似最近邻搜索相结合的神经检索器最近受到了很多关注,这是由于它们的成功是为了训练而对示例进行蒸馏和/或更好的采样-同时仍然依赖于相同的主干架构。与此同时,稀疏表示学习推动传统的倒排索引技术已经看到了越来越多的兴趣,继承了理想的IR先验,如显式词汇匹配。虽然已经提出了一些架构变体,但在这些模型的训练中投入的精力较少。在这项工作中,我们建立在SPLADE -一个基于稀疏扩展的检索器-并通过研究蒸馏,硬否定挖掘以及预训练的语言模型初始化的效果,显示它能够在多大程度上受益于与密集模型相同的训练改进。我们进一步研究了有效性和效率之间的联系,在域和zero-shot设置,导致国家的最先进的结果,在这两种情况下充分表达的模型。
2022-05-12 cs.CL cs.IR
Unsupervised Corpus Poisoning Attacks in Continuous Space for Dense Retrieval
本文提出在连续嵌入空间中进行无监督语料库污染攻击的方法,通过优化保持文档嵌入几何距离和最大化词级差异,提升攻击效率和效果,实验验证了其在不同领域数据集上的有效性。
2026-03-16 cs.CL cs.IR
Retrieval Sensitivity to Identity Signals in Queries
Columbia University(哥伦比亚大学)
本研究探讨密集检索器对查询中身份信号(政治倾向和方言)的敏感性,发现检索结果存在偏见,可能加剧极化与健康差距。
2026-09-30 cs.CL cs.CY cs.IR
Data Sets: Word Embeddings Learned from Tweets and General Data
Thomson Reuters(汤森路透)
词嵌入是词的低维、稠密和实值向量表示。词嵌入已被用于许多NLP任务。它们通常从大型文本语料库中生成。一个词的嵌入涵盖了它的句法和语义两个方面。推文简短、嘈杂,具有不同于其他类型文本的独特词汇和语义特征。因此,有必要专门从tweet中学习词嵌入。在本文中,我们提出了十个词嵌入数据集。除了从推文数据中学习的数据集之外,我们还从一般数据以及推文与一般数据的组合中构建了嵌入集。一般数据包括新闻文章,维基百科数据和其他网络数据。这十个嵌入模型是从大约4亿条推文和70亿个普通文本单词中学习的。在本文中,我们还提出了两个实验,演示如何使用的数据集在一些NLP任务,如鸣叫情感分析和鸣叫主题分类任务。
2017-08-14 cs.CL cs.SI
Semi-supervised and Transfer learning approaches for low resource sentiment classification
University of Maryland, College Park(马里兰大学帕克分校);University of Southern California(南加州大学)
情感分类涉及量化人类对文档、媒体项或事件的情感反应。尽管研究人员已经研究了几种方法来可靠地从词汇,语音和肢体语言线索中推断情感,但使用一小部分标记数据集训练模型仍然是一个挑战。例如,在将情感分析扩展到新的语言和文化时,可能并不总是能够获得全面的标记数据集。在本文中,我们研究了应用半监督和迁移学习方法来提高低资源情感分类任务的性能。我们尝试提取密集的特征表示,预训练和流形正则化,以提高情感分类系统的性能。我们的目标是一个连贯的实现这些方法,我们评估这些方法在匹配设置,包括训练和测试一个单一的语料库设置以及两个跨语料库设置所取得的收益。在这两种情况下,我们的实验表明,所提出的方法可以显着提高模型的性能对一个纯粹的监督方法,特别是在涉及少数训练数据的情况下。
2018-06-07 cs.CL cs.IR cs.LG
Enhancing Hyperspace Analogue to Language (HAL) Representations via Attention-Based Pooling for Text Classification
Undergraduate Students, Department of Computer and Automatic Control Engineering, Faculty of Mechanical and Electrical Engineering, Lattakia University(本科生,计算机与自动控制工程系,机械与电气工程学院,拉塔基亚大学)
本文通过引入可学习的温度缩放加性注意力机制,改进HAL表示,以提升文本分类性能,实验显示在IMDB数据集上准确率提升6.74个百分点。
2026-03-20 cs.AI cs.CL cs.LG
BEAVER: A Training-Free Hierarchical Prompt Compression Method via Structure-Aware Page Selection
School of Computer Technology and Application, Qinghai University(青海大学计算机技术与应用学院);Tsinghua University(清华大学);Ant Group Security and Intelligence Laboratory (SIL)(蚂蚁集团安全与智能实验室)
BEAVER通过结构感知的层次提示压缩方法,在不依赖训练的情况下提升长文档理解的效率与效果,实验证明其在多个基准测试中性能优异且效率显著提升。
2026-03-20 cs.CL
SAUCE: Truncated Sparse Document Signature Bit-Vectors for Fast Web-Scale Corpus Expansion
Virginia Tech(弗吉尼亚理工大学);IBM Research Almaden(IBM阿尔马登研究院);eBay Inc(eBay公司)
文本表示的最新进展表明,对大量文本的训练对于自然语言理解至关重要。然而,在没有预定义的主题感兴趣的概念的情况下训练的模型在转移到专门领域时通常需要仔细的微调。当足够量的域内文本可能不可用时,从大规模web数据扩展相关文档的种子语料库带来了几个挑战。首先,语料库扩展需要对集合中的每个文档进行评分和排名,随着网络语料库大小的增长,这种操作很快就会变得计算昂贵。依赖于密集向量空间和成对相似性增加了计算开销。其次,随着领域概念变得更加细致入微,捕捉特定领域稀有术语的长尾变得不容易,特别是在有限的种子语料库场景下。在本文中,我们考虑的问题,快速近似语料库扩展给定一个小的种子语料库与一些相关的文件作为查询,捕捉长尾的特定领域的一组概念术语的目标。为了有效地收集大规模特定领域的语料库有限的相关反馈,我们提出了一种新的截断稀疏文档位向量表示,称为签名辅助无监督语料库扩展(SAUCE)。实验结果表明,SAUCE在保证域内词汇覆盖率的同时,降低了计算负担。
2021-08-26 cs.CL cs.IR