Sequential Embedding Induced Text Clustering, a Non-parametric Bayesian Approach
State University of New York at Buffalo（纽约州立大学布法罗分校）；University of California, Irvine（加州大学欧文分校）
当前最先进的非参数贝叶斯文本聚类方法通过词袋上的多项分布对文档进行建模。虽然这些方法可以有效地利用文档的单词突发性表示，并取得不错的性能，但它们没有探索文本的顺序信息和同义词之间的关系。本文将文档建模为词袋、序列特征和词嵌入的结合点。我们提出了顺序嵌入诱导狄利克雷过程混合模型（SiDPMM），有效地利用这种联合文档表示文本聚类。序列特征由编码器-解码器组件提取。通过连续词袋模型（CBOW）产生的词嵌入来处理同义词。实验结果表明，我们的模型在两个主要方面的好处：1）提高了性能在多个不同的文本数据集的归一化互信息（NMI）; 2）更准确的推理地面真理的聚类数与正则化效果的微小离群聚类。
2018-11-29 cs.IR cs.LG stat.ML
Learning to Ask: Question-based Sequential Bayesian Product Search
产品搜索通常被认为是在线购物的第一个也是最重要的阶段，因此对于电子商务的用户和零售商来说意义重大。大多数传统的检索方法使用一些相似度函数来匹配用户的查询和描述产品的文档，无论是直接或在一个潜在的向量空间。然而，用户查询通常过于笼统，无法捕捉用户正在寻找的特定产品的微小细节。在本文中，我们提出了一种新的交互式方法来有效地定位最佳匹配的产品。该方法是基于这样的假设，即有一组候选问题，每个产品要问。在这项工作中，我们实例化这个候选人集的假设，产品可以区分与他们相关的文档中出现的实体。我们提出了一个基于贝叶斯的顺序贝叶斯产品搜索方法，QSBPS，直接查询用户的预期存在的实体在相关的产品文档。该方法学习产品的相关性，以及潜在的问题被问到用户的奖励，通过被训练的搜索历史和购买行为的特定用户与其他用户。实验结果表明，该方法可以大大提高产品搜索的性能相比，最先进的基线。
2019-08-30 cs.IR
OBLIQ-Bench: Exposing Overlooked Bottlenecks in Modern Retrievers with Latent and Implicit Queries
Massachusetts Institute of Technology（麻省理工学院）
针对现有检索基准饱和但实际搜索问题未解决的现象，提出一类“倾斜查询”并构建OBLIQ-Bench基准，揭示检索与验证之间的不对称性，即推理LLM能可靠识别潜在相关性但检索管道无法召回多数相关文档。
2026-05-28 cs.AI cs.IR
Sequence-Based Extractive Summarisation for Scientific Articles
Elsevier Ltd（爱思唯尔有限公司）
本文介绍了科学文章的监督提取文本摘要的研究结果。我们表明，一个简单的顺序标记模型的基础上，只有在一个文档中的文本实现了高的结果对一个简单的分类模型。可以通过额外的高级功能来实现改进，尽管这些功能是最小的。通过进一步的分析，我们展示了依赖于文档结构的顺序模型的潜力，该文档结构取决于文档来自的学科。
2022-04-07 cs.CL cs.IR
Keyphrase Extraction using Sequential Labeling
Institute for Infocomm Research, A*STAR（资讯通信研究院，新加坡科技研究局）
关键字有效地概括了文档的内容，并用于各种文档处理和检索任务。存在用于从文本文档中提取关键词的几种无监督技术和分类器。这些方法中的大多数在短语级别上操作，并且依赖于用于候选短语生成的词性（POS）过滤器。此外，它们不直接处理不同长度的关键词。我们克服了这些建模的缺点，在本文中解决关键词提取作为一个连续的标签任务。我们探索了NLP任务中常用的一组基本特征，以及来自各种无监督方法的预测，以训练我们的标记器。除了一个更自然的建模的关键词提取问题，我们表明，标记模型产生显着的性能优势，现有的国家的最先进的提取方法。
2016-08-03 cs.AI cs.CL cs.IR
Modeling Sequential Sentence Relation to Improve Cross-lingual Dense Retrieval
Microsoft Research Asia（微软亚洲研究院）
针对跨语言稠密检索缺乏定制化多语言预训练模型的问题，该研究提出MSM模型，通过建模跨语言通用的序列句子关系，结合掩码句子预测任务与分层对比损失训练，显著提升了跨语言检索性能。
2025-09-05 cs.CL cs.IR
Constant-Delay Enumeration for Nondeterministic Document Spanners
我们认为，信息抽取框架被称为文档spectum，并研究了有效地计算从输入文档中提取的结果，其中提取任务被描述为一个顺序变量集自动机（VA）的问题。我们在枚举算法的设置中提出了这个问题，我们可以首先运行预处理阶段，然后必须在任何两个连续结果之间产生一个小延迟的结果。我们的目标是有一个算法，这是在合并复杂性，即易于处理，在输入文档和VA的大小中;同时确保输入文档大小的最佳可能的数据复杂度界限，即，文档大小的恒定延迟。最近在PODS'18上的几项工作提出了这样的算法，但是在文档大小上具有线性延迟，或者在输入VA的大小上具有指数依赖性（通常是不确定的）。特别是，Florenzano等人认为，我们所期望的运行时保证不能满足一般顺序VA。我们反驳这一点，并表明，给定一个非确定性的顺序VA和输入文档，我们可以枚举的映射的VA上的文件与以下界限：预处理是线性的文件大小和多项式的VA的大小，和延迟是独立的文件和多项式的VA的大小。由此产生的算法，从而实现了易处理的组合复杂性和最佳可能的数据复杂度的界限。此外，它是相当容易描述的，特别是对于所谓的扩展VA的限制情况。
2020-12-07 cs.DB cs.IR
Text Classification: A Sequential Reading Approach
University Pierre et Marie Curie - UPMC（皮埃尔和玛丽·居里大学（UPMC））
我们建议将文本分类过程建模为顺序决策过程。在这个过程中，智能体学习将文档分类为主题，同时顺序阅读文档句子，并学习在阅读足够的信息进行决策时立即停止。所提出的算法是基于一个模型化的文本分类作为一个马尔可夫决策过程和学习使用强化学习。在四个不同的经典单标记语料库上的实验表明，该方法在大训练集上的性能优于经典SVM方法，而在小训练集上的性能更好。此外，该模型自动调整其阅读过程，以适应所提供的训练信息的数量。
2011-08-29 cs.AI cs.IR cs.LG
Constant-Delay Enumeration for Nondeterministic Document Spanners
本文针对非确定性文档跨度器的信息提取，提出一种预处理线性、延迟恒定且与文档大小无关的枚举算法，实现组合复杂度可处理与最优数据复杂度，并通过实验验证。
2020-12-07 cs.DB cs.IR
Conditional Sequential Slate Optimization
University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；eBay Inc（eBay公司）；Facebook Inc（脸书公司）
显示在第一页上的与用户查询匹配的顶部搜索结果对于搜索系统的有效性和感知至关重要。搜索排名系统通常通过独立的查询文档分数来对结果进行排序，以产生一系列搜索结果。然而，这种单方面的评分方法可能无法捕获用户敏感的文档间依赖性，从而产生次优的状态。此外，在实践中，由于商业目标或长期用户保留目标，许多现实世界的应用（诸如电子商务搜索）需要在板级强制执行某些分布标准。结果的单方面评分并不明确支持针对石板的此类目标的优化。因此，slate优化问题的解决方案必须考虑文档的最佳选择和顺序，以及对slate级分发标准的遵守。为此，我们提出了一个混合框架，从传统的石板优化扩展到解决条件石板优化问题。我们引入了条件顺序石板优化（CSSO），它联合学习优化传统的排名指标以及石板内文件的规定分布标准。所提出的方法可以应用于实际的现实世界中的问题，如强制多样性的电子商务搜索结果，减轻偏见的顶部结果和个性化的结果。在公共数据集和电子商务数据集的真实数据上进行的实验表明，CSSO在遵守分布标准方面优于流行的可比排名方法，同时产生可比或更好的相关性指标。
2021-08-13 cs.IR cs.LG
MIREX: MapReduce Information Retrieval Experiments
我们建议使用MapReduce通过顺序扫描所有文档来快速测试机器集群上的新检索方法。我们提出了一个小的案例研究中，我们使用一个集群的15个低成本的机器，中国搜索的Web抓取的0.5亿页，顺序扫描是一个可行的方法来运行大规模的信息检索实验，很少的努力。其他研究人员可以在以下网址获得该代码：http://mirex.sourceforge.net
2010-04-26 cs.IR
Amnesia by Design, Memory By Necessity: Persistent State for Document Intelligence
本文指出文档AI的无状态瓶颈，提出持久证据文档状态框架，通过状态性审计和纵向基准测试，以五个指标评估持久状态的收益与风险，强调跨文档、会话和时间的记忆机制是未来关键。
2026-09-29 cs.AI cs.CL cs.CV
Genetic algorithm implementation for effective document subject search
本文介绍了遗传算法的软件实现，用于识别和选择最相关的结果，在顺序执行的主题搜索操作。模拟的进化过程生成可持续的和有效的搜索查询群体，形成文档或语义核心的搜索模式，创建所需文档的相关集合，允许搜索结果的自动分类。本文讨论了主题搜索的特点，论证了采用遗传算法的合理性，描述了适应度函数的参数，并描述了算法的基本步骤和参数。
2015-04-16 cs.IR cs.NE
Learning-based models for building user profiles for personalized information access
本研究提出基于深度学习的用户画像构建模型，考虑词汇差异并整合用户需求，以捕捉文本层次、序列或注意力模式，实现个性化信息访问。
2024-05-04 cs.IR
Planning Ahead in Generative Retrieval: Guiding Autoregressive Generation through Simultaneous Decoding
University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Amazon（亚马逊公司）
本文提出PAG方法，通过同步解码引导生成式检索中标识符的自回归生成，构建基于词元和量化表示的双标识符，在MSMARCO和TREC上大幅超越现有模型并显著降低延迟。
2024-04-22 cs.CL cs.IR
Learning Unsupervised Semantic Document Representation for Fine-grained Aspect-based Sentiment Analysis
National Taiwan University（国立台湾大学）
本文提出一种无监督文档表示模型，同时克服序列与非序列方法的弱点，在通用情感分析和细粒度方面级情感分析任务上显著超越现有最优方法。
2024-01-11 cs.AI cs.CL cs.IR
Legal Document Retrieval using Document Vector Embeddings and Deep Learning
University of Moratuwa（莫拉图瓦大学）；University of London（伦敦大学）
特定领域信息检索过程是自然语言处理领域的一个重要研究方向。许多研究人员已经采用了不同的技术来克服技术和领域的特异性，并为各种感兴趣的领域提供了一个成熟的模型。这些研究中的主要瓶颈是领域专家之间的严重耦合，这使得整个过程非常耗时和繁琐。在这项研究中，我们已经开发了三种新的模式，通过提供的在线存储库生成的黄金标准进行比较，特别是法律领域。这三种不同的模型结合了法律领域的向量空间表示，其中文档向量生成是在两种不同的机制中完成的，并且是上述两种机制的集合。本研究包含的研究正在进行的过程中表示法律案件文件到不同的向量空间，同时将语义词的措施和自然语言处理技术。在这项研究中建立的集成模型，显示出显着更高的准确性水平，这确实证明了需要将特定领域的语义相似性措施纳入信息检索过程。这项研究还表明，不同分布的词相似性措施的影响，对不同的文档向量的尺寸，这可能会导致法律信息检索的过程中的改进。
2018-05-27 cs.CL cs.IR
The future of document indexing: GPT and Donut revolutionize table of content processing
Dreeven Technologies Inc（德雷文技术公司）
针对工业规范文档人工提取结构化信息效率低的问题，提出结合Donut与GPT-3.5 Turbo的目录自动提取结构化方法，分别取得85%、89%的准确率，革新文档索引流程。
2024-03-12 cs.AI cs.CV cs.IR
MEANTIME: Mixture of Attention Mechanisms with Multi-temporal Embeddings for Sequential Recommendation
Seoul National University（首尔大学）；POSTECH（浦项工科大学）；Neural Processing Research Center（神经处理研究中心）
近年来，基于自我注意的推荐模型在顺序推荐任务中取得了很好的效果。遵循语言处理的习惯，这些模型中的大多数依赖于简单的位置嵌入来利用用户历史的顺序性质。然而，目前的方法有一些局限性。首先，顺序推荐与语言处理的不同之处在于时间戳信息是可用的。以前的模型没有很好地利用它来提取额外的上下文信息。其次，使用简单的嵌入方案可能导致信息瓶颈，因为相同的嵌入必须代表所有可能的上下文偏见。第三，由于以前的模型在每个注意力头部中使用相同的位置嵌入，它们可以浪费地学习重叠模式。为了解决这些限制，我们提出了MEANTIME（AtteNTION机制与多时间嵌入的混合），它采用多种类型的时间嵌入，旨在从用户的行为序列中捕获各种模式，以及充分利用这种多样性的注意力结构。对真实数据的实验表明，我们提出的方法优于当前最先进的顺序推荐方法，我们提供了一个广泛的消融研究，分析模型如何从不同的位置信息中获益。
2020-08-21 cs.IR cs.LG stat.ML
Language Models As Semantic Indexers
University of Illinois at Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校）；University of Massachusetts Amherst（马萨诸塞大学阿默斯特分校）；Amazon（亚马逊公司）；University of California, Los Angeles（加利福尼亚大学洛杉矶分校）；The Pennsylvania State University（宾夕法尼亚州立大学）
本文提出自监督框架 LMIndexer，利用生成式语言模型、渐进式训练、对比学习和文档重建目标学习层次化语义 ID，并在五个数据集的三类检索任务中验证有效性。
2024-06-12 cs.CL cs.IR cs.LG
