End-to-End Retrieval in Continuous Space
Google AI(谷歌人工智能)
大多数基于文本的信息检索(IR)系统索引对象的单词或短语。这些离散系统已经被使用嵌入来测量连续空间中的相似性的模型所增强。但是连续空间模型通常只是用来重新排列最佳候选人。我们考虑端到端连续检索的问题,其中标准的近似最近邻(ANN)搜索取代了通常的离散倒排索引,并完全依赖于学习嵌入之间的距离。通过训练专门用于检索的简单模型,使用适当的模型架构,我们在两个相似问题检索任务上的离散基线分别提高了8%和26%(MAP)。我们还讨论了检索系统的评价问题,并展示了如何修改现有的成对相似性数据集,为此目的。
2018-11-19 cs.CL cs.IR cs.LG
Right Answer at the Right Time - Temporal Retrieval-Augmented Generation via Graph Summarization
Nanyang Technological University(南洋理工大学)
针对时序知识图谱问答中时间约束缺失和 token 开销问题,本文提出 STAR-RAG,通过时间对齐规则图与图传播检索一致证据,免训练地提升准确率并降低成本。
2025-10-19 cs.IR
TempRetriever: Fusion-based Temporal Dense Passage Retrieval for Time-Sensitive Questions
University of Innsbruck(因斯布鲁克大学);L3S Research Center(L3S研究中心);Delft University of Technology(代尔夫特理工大学)
TempRetriever通过将查询日期和文档时间戳嵌入DPR检索过程,并结合基于时间的负采样策略,显著提升了时间敏感问答中的段落检索准确率。
2025-04-08 cs.CL cs.IR
Dissecting Temporal Understanding in Text-to-Audio Retrieval
University of Oxford(牛津大学);University of Tübingen(蒂宾根大学)
本文针对文本到音频检索中研究不足的声音时序理解问题,在AudioCaps和Clotho上剖析现有模型能力,并提出合成数据集和关注事件时序的损失函数以提升模型时序建模表现。
2024-09-01 cs.IR cs.LG cs.SD
Graph Based Temporal Aggregation for Video Retrieval
PES University(PES大学)
大规模视频检索是一个正在进行大量研究的领域。该领域的大部分工作都是使用VSE++等技术通过文本查询进行视频检索。然而,通过图像查询进行视频检索的研究很少,在这一领域已经完成的工作要么使用视频数据集内的图像查询,要么逐帧迭代视频。这些方法并不适用于来自数据集外部的查询,并且对于大型视频数据集也不能很好地扩展。为了克服这些问题,我们提出了一种新的方法,视频检索通过图像查询,其中一个无向图被构造从所有的视频帧的组合集进行搜索。该图的节点特征用于视频检索任务。通过使用来自数据集外部的查询图像在MSR-VTT数据集上进行实验。为了评估这种新方法,计算P@5、P@10和P@20度量。本研究中使用了两种不同的ResNet模型,即ResNet-152和ResNet-50。
2020-11-04 cs.CV cs.IR cs.LG
Spatio-Temporal Small Worlds for Decentralized Information Retrieval in Social Networking
我们讨论的基础和替代方案,基于代理的信息检索(IR)的方法在社交网络,特别是分散和移动社交网络的情况。除了通常的语义背景,这些方法利用长期的社会和时空背景,以满足有意识的以及无意识的信息需求,根据人类IR语言学。使用一个大型的Twitter数据集,我们调查这些方法,特别是调查的问题,在多大程度上的时空背景可以作为一个概念的括号,涉及社会和语义的凝聚力,从而产生时空小世界的概念。
2012-09-13 cs.IR cs.SI physics.soc-ph
Retrieval of Temporal Event Sequences from Textual Descriptions
Georgia Institute of Technology(佐治亚理工学院)
本文提出了时间事件序列检索基准TESRBench及新模型TPP-Embedding,通过结合大型语言模型与时间点过程,在共享嵌入空间中统一时间动态与事件语义,显著优于基线模型。
2025-02-03 cs.CL cs.IR
Submitted and Diagnostic Analysis of Full-Text Temporal Retrieval for LongEval-Sci
CLEF 2026
研究LongEval-Sci科学检索,比较多种方法与基线。全文检索是基础,时间整合可提升官方纵向有效性,引用证据待优化。还报告基于摄取速度和陈旧覆盖漂移的定性每周IR系统更新监测分析。
2026-07-07 cs.AI cs.IR
BiC-Net: Learning Efficient Spatio-Temporal Relation for Text-Video Retrieval
Hunan University(湖南大学);Fudan University(复旦大学);Bytedance AI Lab(字节跳动人工智能实验室)
文本视频检索的任务旨在理解语言和视觉之间的对应关系,近年来受到越来越多的关注。以前的研究要么采用现成的2D/3D-CNN,然后使用平均/最大池直接捕获具有聚合时间信息的空间特征作为全局视频嵌入,要么引入基于图的模型和专家知识来学习局部时空关系。然而,现有的方法有两个局限性:1)全局视频表示学习视频的时间信息在一个简单的平均/最大池的方式,并没有充分探索每两个帧之间的时间信息。2)基于图的局部视频表示是手工制作的,它严重依赖于专家知识和经验反馈,这可能无法有效地挖掘更高级别的细粒度视觉关系。这些限制导致他们无法区分具有相同视觉组件但具有不同关系的视频。针对这一问题,提出了一种新的跨模态检索框架Bi-Branch Complementary Network(BiC-Net),该框架改进了Transformer结构,通过结合局部时空关系和全局时间信息,以互补的方式有效地桥接文本和视频模态。具体地,使用多个Transformer块和附加残差块来编码本地视频表示以学习时空关系特征,将该模块称为时空残差Transformer(SRT)。同时,全局视频表示使用多层Transformer块来学习全局时间特征。最后,我们将时空关系和全局时间特征与文本特征在两个嵌入空间上对齐,以实现跨模态文本-视频检索。
2022-06-01 cs.CV cs.IR
DS@GT at LongEval: Evaluating Temporal Performance in Web Search Systems and Topics with Two-Stage Retrieval
DS@GT团队在CLEF 2025 LongEval中,基于Qwant数据集采用查询扩展与文档重排序的两阶段稀疏检索系统,评估并缓解Web内容演变导致的IR模型性能下降问题,最佳系统平均NDCG@10达0.296。
2025-07-11 cs.IR
Reversed in Time: A Novel Temporal-Emphasized Benchmark for Cross-Modal Video-Text Retrieval
Renmin University of China(中国人民大学)
本文构建通过视频逆转强化时间理解评测的 RTime 数据集及三项检索任务,并引入难负样本训练,揭示现有视频-文本模型面临的新挑战。
2025-09-28 cs.AI cs.CL cs.CV
Evaluation of Temporal Change in IR Test Collections
本文提出将Cranfield范式推广到时间上下文,通过CRUD操作分类组件变化并推导评估场景,实验表明检索有效性及系统相对性能受变化组件及其变化程度的显著影响。
2024-07-01 cs.IR
Still Fresh? Evaluating Temporal Drift in Retrieval Benchmarks
University of Waterloo(滑铁卢大学)
本研究评估了时间变化对检索基准FreshStack的影响,发现语料库更新后大部分查询仍能得到支持,模型排名变化较小,表明基准在时间演变下仍具可靠性。
2026-03-04 cs.AI cs.CL cs.IR
TimelyRAG: Semantic-Temporal Hybrid Retrieval for Time-Critical Question Answering in Overlapping-Evolving Documents
KAIST(韩国科学技术院);Korea University(韩国大学);University of Vermont(佛蒙特大学)
针对法律等重叠演化文档中的时间关键问答,提出融合时间距离的检索框架TimelyRAG及基准TimelyQABench,实验显示nDCG@10提升达28.6%。
2026-09-11 cs.IR
DyG-RAG: Dynamic Graph Retrieval-Augmented Generation with Event-Centric Reasoning
Beihang University(北航大学);Guangxi Normal University(广西师范大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校)
DyG-RAG提出以事件为中心的动态图检索增强生成框架,通过动态事件单元、事件图和时间思维链策略,解决大语言模型在时间敏感查询上的时间推理难题,并在时间问答基准上显著提升准确率与召回率。
2025-07-16 cs.CL cs.IR
Temporal Preference Optimization for Unsupervised Retrieval
Microsoft, Redmond, USA(微软公司,美国红mond);Sungkyunkwan University, Suwon, South Korea(成均馆大学,韩国首尔)
提出TPOUR方法,通过时间检索偏好优化(TRPO)和可学习时间嵌入插值,使无监督稠密检索器能捕捉时间相关性,在时间信息检索任务上超越有监督和无监督基线。
2026-06-17 cs.AI cs.IR
Respecting Temporal-Causal Consistency: Entity-Event Knowledge Graphs for Retrieval-Augmented Generation
针对RAG在时序叙事文档中忽略时间与因果演变的问题,本文提出实体-事件双图框架E^2RAG,并构建ChronoQA基准,在因果与角色一致性查询上显著优于现有方法。
2025-06-06 cs.IR
Q-TIE: A Lightweight and Generalizable Re-ranking Framework for Temporal Information Retrieval
Korea Advanced Institute of Science and Technology(韩国科学技术院);Sungkyunkwan University(成均馆大学)
Q-TIE提出基于学习的时间意图提取的重排序框架,将查询时间约束映射为统一区间表示,兼顾灵活性与显式约束,在TIR任务上超越现有方法并增强泛化能力。
2026-09-22 cs.CL cs.IR
RAG Meets Temporal Graphs: Time-Sensitive Modeling and Retrieval for Evolving Knowledge
University of Turku(图尔库大学)
针对RAG忽视知识时间演化的问题,提出TG-RAG,通过双层时间图建模与动态子图检索实现时间敏感知识处理,并在ECT-QA上显著优于基线。
2025-10-15 cs.IR
MiCRO: Multi-interest Candidate Retrieval Online
在项目表现出短暂性和时间相关性的环境中提供个性化推荐(例如在社交媒体中)提出了一些独特的挑战:(1)在频繁创建新项目的环境中归纳地理解对项目的短暂吸引力,(2)适应项目可能经历相关性的时间变化的参与模式内的趋势,(3)在用户可以表达多种兴趣的项目空间上精确地建模用户偏好。在这项工作中,我们介绍了MiCRO,一个生成的统计框架,模型多兴趣的用户偏好和时间多兴趣项表示。我们的框架是专门制定的,以适应新的项目和时间的参与模式。MiCRO在两个大规模用户-项目数据集上进行的候选检索实验中表现出了强大的经验性能:(1)(用户,用户)关注交互的开源时间数据集和(2)(用户,推文)最喜欢的交互的时间数据集,我们将开源作为对社区的额外贡献。
2022-10-28 cs.IR cs.SI
Continuous Approach to Phase (Norm) Retrieval Frames
本文研究希尔伯特空间中连续框架的相位与范数检索问题,提出连续近Riesz基并证明其可逆算子不变性,给出相关等价条件,分析扰动稳定性,还建立了张量积框架与其分量间两类检索性质的等价关系。
2025-01-15 cs.IR cs.NA math-ph
Geo-Temporal Distribution of Tag Terms for Event-Related Image Retrieval
Flickr和Panoramio等媒体共享应用程序包含大量与现实生活事件相关的图片。因此,开发有效的方法来检索这些图片是重要的,但仍然是一项具有挑战性的任务。认识到这一点的重要性,并提高基于标签的事件检索系统的检索效率,我们提出了一种新的方法来提取一组地理标签功能的原始地理空间配置文件的用户标签。其主要思想是在基于机器学习的查询扩展方法中使用这些特征来选择最佳扩展项。具体而言,我们应用严格的统计探索性分析的空间点模式,以提取地理空间特征。我们使用这些特征来总结单个术语的空间分布的空间特征,并确定两个术语的空间分布之间的相似性-即,项间空间相似性。为了进一步改进我们的方法,我们研究了我们的地理空间特征与时间特征相结合对选择扩展项的影响。为了评估我们的方法,我们进行了几个实验,包括众所周知的特征分析。这样的分析表明,我们提出的地理空间特征有助于提高整体检索性能。实验结果证明了该方法的有效性和可行性。
2015-04-28 cs.IR
A Question Answering Dataset for Temporal-Sensitive Retrieval-Augmented Generation
Laboratory for Big Data and Decision, National University of Defense Technology, Changsha, China(大数据与决策实验室,国防科技大学,长沙,中国);Baidu Inc., Beijing, China(百度公司,北京,中国);Department of Computer Science and Technology, Harbin Institute of Technology (Shenzhen), Shenzhen, China(计算机科学与技术系,哈尔滨工业大学(深圳),深圳,中国)
本文提出ChronoQA,一个基于30余万篇新闻构建的中文时间推理问答基准,覆盖绝对、聚合和相对时间类型及单/多文档场景,用于系统评估和推进时间敏感型RAG系统。
2025-08-17 cs.CL cs.IR
Unified Interactive Multimodal Moment Retrieval via Cascaded Embedding-Reranking and Temporal-Aware Score Fusion
本文提出通过级联嵌入-重排序和时间感知得分融合实现统一的多模态时刻检索系统,解决跨模态噪声、时间序列连贯性和模态选择问题。
2025-12-15 cs.AI cs.CV cs.IR
Predictive Associative Memory: Retrieval Beyond Similarity Through Temporal Co-occurrence
Independent Researcher(独立研究者)
本文提出预测性关联记忆(PAM),通过时间共现学习嵌入空间的关联结构,实现超越相似性的检索,实验显示其在关联召回和区分能力上表现优异。
2026-02-11 cs.AI cs.IR cs.LG
LongEval-Retrieval: French-English Dynamic Test Collection for Continuous Web Search Evaluation
本文提出动态测试集LongEval-Retrieval,通过连续时间步子集合模拟网络搜索环境变化,提供法英双语数据、软相关性评估及基线分析。
2023-04-27 cs.IR
Self-Aware Vector Embeddings for Retrieval-Augmented Generation: A Neuroscience-Inspired Framework for Temporal, Confidence-Weighted, and Relational Knowledge
Principal Consultant, CMC APAC(CMC APAC 主任顾问)
本文提出SmartVector框架,通过引入时间意识、置信度衰减和关系意识,改进检索增强生成系统,提升准确性与鲁棒性。
2026-04-22 cs.CL cs.DB cs.IR
Continuous Active Learning Using Pretrained Transformers
University of Waterloo(滑铁卢大学)
预训练和微调的Transformer模型,如BERT和T5,已经改善了自组织检索和问答的最新技术水平,但在高召回信息检索中还没有,其目标是检索基本上所有相关的文档。我们调查是否使用基于变换器的模型进行重新排序和/或特征化可以提高基线模型实现的TREC总召回跟踪,这代表了目前的高召回信息检索的最新技术水平。我们还介绍了CALBERT,一个模型,可用于不断微调基于相关反馈的BERT模型。
2022-08-15 cs.AI cs.IR cs.LG
Retrieval and Distill: A Temporal Data Shift-Free Paradigm for Online Recommendation System
Shanghai Jiao Tong University(上海交通大学);Yokohama National University(Yokohama国立大学)
针对推荐系统中的时间数据偏移问题,提出关联时间不变性定理,并构建检索与蒸馏框架,使模型从偏移数据中学习稳定关联且在线推理开销极小。
2025-07-27 cs.AI cs.IR
Modeling Temporal Evidence from External Collections
有新闻价值的事件通过多种媒体播出,并促使人群在社交媒体上发表评论。在本文中,我们建议利用这种行为动态来估计事件的最相关时间段(即,查询)。最近的进展表明,如何改善这些主题的时间相关性的估计。在这种方法中,我们建立在两个主要的创新。首先,我们从数以百计的外部来源的时间证据挖掘到基于主题的外部集合,以提高相关时间段检测的鲁棒性。其次,我们提出了一个正式的检索模型,概括了使用的时间维度在不同方面的检索过程。特别是,我们表明,外部集合的时间证据可用于(i)推断一个主题的时间相关性,(ii)选择的查询扩展条款,(iii)重新排名的最终结果,以提高精度。TREC微博集的实验表明,提出的时间感知检索模型,使一个有效的和广泛的使用时间维度,以改善搜索结果比最近的时间模型。有趣的是,我们观察到的精度和检索到的相关文件的时间分布之间有很强的相关性。
2018-12-03 cs.IR
Fenced Citation-Context Retrieval for Case Law: Temporal Leakage and Degree Control Across Two Jurisdictions
The Engineering and Technology College, Chengdu University of Technology, Leshan, China(成都理工大学工程技术学院);School of Computer Sciences, Universiti Sains Malaysia, Penang, Malaysia(马来西亚理科大学计算机科学学院);Department of Art and Design, The Engineering and Technology College, Chengdu University of Technology, Leshan, China(成都理工大学工程技术学院艺术设计系)
研究法律先例检索中引用上下文评估的时间泄漏问题,提出时间接纳分解方法,通过在两个司法管辖区进行可控审计,添加零训练锚定通道,量化泄漏程度,提升检索效果,在零训练时达到较好的R@1000估计值。
2026-08-04 cs.CL cs.IR
It's About Time: Incorporating Temporality in Retrieval Augmented Language Models
针对RALM难以区分不同时间文档的问题,本文提出时间感知的TempRALM,结合语义与时间相关性并支持少样本学习,在不重建索引或预训练的情况下最高提升74%性能。
2024-01-25 cs.IR
Difficulty-Gated Fusion of Reasoning Views for Temporal Retrieval
UNSW Sydney(新南威尔士大学);University of Innsbruck(因斯布鲁克大学)
该研究针对时序检索中多改写视图融合的精度问题,提出查询难度门控的推理视图融合方法,在Tempo基准上提升了6种检索器的性能,且增益显著。
2026-08-11 cs.IR
Composed Historical Image Retrieval by Modeling Temporal Representations
本文提出TDIR算法,通过正交子空间分解历史照片的日期与内容分量,实现兼具时间结构与检索有效性的表示,在组合历史图像检索任务中表现出色。
2026-08-20 cs.AI cs.CV cs.IR
Unveiling Temporal Trends in 19th Century Literature: An Information Retrieval Approach
本研究借助信息检索方法,用查询扩展技术分析大英图书馆19世纪分年代小说馆藏的术语演变,通过多指标验证发现该时期小说语言与概念存在显著年代差异。
2025-01-12 cs.DL cs.IR
EVISTA: Unified Multimodal Video Search with Evidence-Aware Temporal Path Optimization
Ho Chi Minh University of Technology, VNU-HCM(胡志明市技术大学,越南国立大学胡志明市)
本研究针对多模态视频检索难题,开发了EVISTA系统并提出TEMPO-P方法,在挑战赛查询上实现了多事件的精准有序检索,弥补了仅视觉检索的不足。
2026-10-14 cs.IR
LiveVectorLake: A Real-Time Versioned Knowledge Base Architecture for Streaming Vector Updates and Temporal Retrieval
School of Artificial Intelligence \& Data Science Indian Institute of Technology Jodhpur Jodhpur, India
LiveVectorLake提出一种双层时间知识库架构,实现实时语义搜索与版本历史管理,优化查询性能、更新效率和合规性。
2025-11-24 cs.AI cs.DB cs.IR
NuggetIndex: Governed Atomic Retrieval for Maintainable RAG
University of Passau(帕绍大学);Interdisciplinary Transformation University Austria(奥地利跨学科转型大学)
NuggetIndex通过存储原子信息单元(nuggets)提升RAG系统的可维护性,通过时间有效性区间和生命周期状态管理,提高召回率和时间正确性,减少冲突率。
2026-04-30 cs.IR
Temporal Decay of Co-Citation Predictability: A 20-Year Statute Retrieval Benchmark from 396M Ukrainian Court Citations
LEX AI LLC
本文研究了共引结构在法律信息系统中的稳定性假设,通过构建UA-StatuteRetrieval基准,测试了20年中3.96亿条引用数据的共引可预测性,发现Adamic-Adar MRR在固定文章集上下降33%,在训练/测试时间分割下下降47%,证实了真正的时变衰减而非组合变化或评估伪影。
2026-05-17 cs.CL cs.IR
Temporal Leakage in Search-Engine Date-Filtered Web Retrieval: A Retrospective Forecasting Case Study
University of California, San Diego(加州大学圣地亚哥分校);University of Chicago(芝加哥大学)
研究发现搜索引擎日期过滤存在显著时间泄漏问题,导致预测准确性虚高,建议加强检索保障或使用时间戳快照进行评估。
2026-04-20 cs.CL cs.IR
EventConnector: Mining Social Event Relations through Temporal Graphs
Meta Monetization AI;University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校)
提出EventConnector框架,通过构建时间事件图捕捉事件间的局部共波动和领先-滞后关系,并融合图分数与格兰杰因果信号,在预测市场基准上显著优于现有方法。
2026-06-16 cs.IR
STITCH-RAG: Spatio-Temporal Influence Tracing over Topic Hypergraphs for Multi-Hop Retrieval-Augmented Generation
School of Statistics And Data Science, Guangdong University of Finance & Economics(广东财经大学统计与数据科学学院)
提出STITCH-RAG超图框架,通过半合并主题超图、时空影响桥接传播和连续PPR先验,在多跳检索中提升证据连接与生成质量,在HotpotQA和2WikiMultiHopQA上取得最优结果。
2026-09-29 cs.AI cs.IR
Task-Aware Retrieval Augmentation for Dynamic Recommendation
Great Bay University(大湾区大学);Nanjing University(南京大学);City University of Hong Kong(香港城市大学);Ant Research(蚂蚁研究院);University of Electronic Science and Technology of China(电子科技大学);Hong Kong Polytechnic University(香港理工大学)
针对动态推荐中预训练动态图神经网络微调存在的时间泛化问题,提出任务感知检索增强框架TarDGR,通过任务感知子图检索融合提升性能,在多数据集上优于现有最优方法。
2025-11-16 cs.IR cs.SI
LANTERN: Layered Archival and Temporal Episodic Retrieval Network for Long-Context LLM Conversations
Cisco Systems, Inc.(思科系统公司)
提出LANTERN,一种轻量级记忆层,通过混合检索主动存档对话轮次并恢复压缩后丢失的细节,无需LLM调用且延迟低于25ms,在94个多轮对话中恢复78.3%的可验证事实,优于MemGPT基线。
2026-04-18 cs.CL cs.IR
CubeGraph: Efficient Retrieval-Augmented Generation for Spatial and Temporal Data
University of Leicester(利兹大学)
CubeGraph通过整合向量搜索与任意空间约束,解决传统方法在处理高维向量相似性搜索与时空过滤时的碎片化问题,提升查询性能和扩展性。
2026-04-30 cs.AI cs.DB cs.IR
Adaptive Multi-Agent Reasoning for Text-to-Video Retrieval
Shenzhen University(深圳大学);The Hong Kong Polytechnic University(香港理工大学);Sichuan University(四川大学)
本文提出自适应多智能体框架,通过动态协调检索、推理和查询重述智能体,提升文本到视频检索的零样本跨模态对齐与复杂查询处理能力。
2025-12-02 cs.AI cs.IR cs.MM
Efficient Passage Retrieval with Hashing for Open-domain Question Answering
Studio Ousia(Ousia工作室);RIKEN(理化学研究所);University of Washington(华盛顿大学);Allen Institute for AI(艾伦人工智能研究所)
大多数最先进的开放域问答系统使用神经检索模型将段落编码为连续向量并从知识源中提取它们。然而,这样的检索模型往往需要大量的内存来运行,因为它们的通道索引的大小。在本文中,我们介绍了二进制通道检索器(BPR),一个内存高效的神经检索模型,集成了学习哈希技术到国家的最先进的密集通道检索器(DPR)表示通道索引使用紧凑的二进制代码,而不是连续向量。BPR是用两个任务的多任务目标进行训练的:基于二进制代码的有效候选生成和基于连续向量的精确重新排序。与DPR相比,BPR在两个标准的开放域问答基准测试(Natural Questions和TriviaQA)上将内存成本从65 GB大幅降低到2 GB,而不损失准确性。我们的代码和训练模型可以在https://github.com/studio-ousia/bpr上找到。
2021-06-02 cs.CL cs.IR
PersonalAI: A Systematic Comparison of Knowledge Graph Storage and Retrieval Approaches for Personalized LLM agents
Skoltech(斯科尔科沃科学技术学院);Public Joint Stock Company “Sberbank of Russia”(俄罗斯联邦储蓄银行);AIRI(人工智能研究所)
本文提出基于知识图谱的灵活外部记忆框架,通过自动构建和更新图谱提升个性化LLM代理的长期交互能力,通过多种检索机制验证了不同配置在不同任务中的最优性能。
2026-04-12 cs.CL cs.IR
APEX-MEM: Agentic Semi-Structured Memory with Temporal Reasoning for Long-Term Conversational AI
Amazon(亚马逊)
APEX-MEM通过结合属性图、只追加存储和多工具检索代理,解决大语言模型在长期对话记忆中的可靠性问题,实现88.88%的LOCOMO问答准确率和86.2%的LongMemEval表现。
2026-04-15 cs.AI cs.CL cs.IR
Deep Cross-Modal Correlation Learning for Audio and Lyrics in Music Retrieval
National Institute of Informatics(国立信息学研究所);The University of Electro-Communications(电气通信大学);Instituto Superior Técnico, Universidade de Lisboa(里斯本大学高等技术学院);Hong Kong University of Science and Technology(香港科技大学)
很少有研究集中在跨模态相关学习,其中考虑到不同的数据模态,如音频和歌词的时间结构。基于音乐的时间结构特点,我们有动机去了解音频和歌词之间的深层序列相关性。在这项工作中,我们提出了一个深度跨模态相关学习架构,涉及用于音频模态和文本模态(歌词)的双分支深度神经网络。不同的模态数据被转换到同一个典型空间,其中模态间典型相关分析被用作目标函数来计算时间结构的相似性。这是第一次通过深度架构来理解语言和音乐音频之间的相关性,以学习音频和歌词的配对时间相关性。使用预训练的Doc2vec模型和全连接层(全连接深度神经网络)来表示歌词。在音频分支中做出了两个重要贡献,如下:i)研究了预训练的CNN,然后是完全连接的层,用于表示音乐音频。ii)我们进一步提出了一种端到端架构,可以同时训练卷积层和全连接层,以更好地学习音乐音频的时间结构。特别是,我们的端到端深度架构包含两个属性:同时实现特征学习和跨模态相关学习,以及通过考虑时间结构来学习联合表示。实验结果,使用音频检索歌词或使用歌词检索音频,验证了所提出的深度相关学习架构在跨模态音乐检索的有效性。
2017-11-29 cs.IR cs.SD eess.AS