TTE-Flash: Accelerating Reasoning-based Multimodal Representations via Think-Then-Embed Tokens
Meta AI
本文提出TTE-Flash模型,通过引入隐式思考标记替代显式推理链,实现多模态表示的高效推理。模型在MMEB-v2基准上优于显式CoT方法,且在零样本评估中展示了可扩展性。
2026-09-22 cs.AI
IRIS: Interactive Research Ideation System for Accelerating Scientific Discovery
TCS Research(TCS研究院);Yale University(耶鲁大学)
IRIS 是一个开源交互式研究构思系统,通过 MCTS 自适应计算扩展、细粒度反馈和基于查询的文献综合,结合人机协同,增强研究人员生成新颖假设的能力,并经用户研究验证有效。
2025-05-24 cs.AI cs.CL cs.HC
InternVL-X: Advancing and Accelerating InternVL Series with Efficient Visual Token Compression
Baidu Inc.(百度公司);Xidian University(西安电子科技大学);University of Chinese Academy of Sciences(中国科学院大学)
InternVL-X通过PVTC、LVTC和RVTC三种视觉令牌压缩方法,在减少计算资源的同时提升性能,以20%或更少的令牌在7个基准上达到最先进水平,平均指标提升2.34%。
2025-03-27 cs.AI cs.CV
RetrievalAttention: Accelerating Long-Context LLM Inference via Vector Retrieval
Microsoft Research(微软研究院);Shanghai Jiao Tong University(上海交通大学);Fudan University(复旦大学)
RetrievalAttention通过为KV向量构建ANNS索引并设计注意力感知的向量搜索算法,在仅访问1--3%数据的条件下实现接近全注意力的准确率,从而显著加速长上下文LLM推理并降低GPU内存消耗。
2024-12-31 cs.CL cs.LG
Randomization Boosts KV Caching, Learning Balances Query Load: A Joint Perspective
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Google DeepMind(谷歌DeepMind)
本文提出统一的数学模型,结合随机化缓存淘汰与学习方法,以平衡查询负载和缓存命中率,实验表明在多个基准上性能提升显著。
2026-01-26 cs.AI cs.LG
EPIC: Generative AI Platform for Accelerating HPC Operational Data Analytics
National Center for Computational Sciences(国家计算科学中心);Oak Ridge National Laboratory(橡树岭国家实验室)
本文提出EPIC平台,通过分层多智能体架构结合大语言模型与专用分析智能体,实现对HPC多模态运维数据的动态分析,并在Frontier系统上验证了其高准确率与显著成本节省。
2025-08-29 cs.AI cs.DB
Discovering the Gems in Early Layers: Accelerating Long-Context LLMs with 1000x Input Token Reduction
University of Wisconsin-Madison(威斯康星大学麦迪逊分校);Salesforce AI Research(Salesforce人工智能研究院);The University of Hong Kong(香港大学)
提出GemFilter算法,利用LLM早期层作为过滤器选择和压缩输入token,实现2.4倍加速和30%内存减少,显著提升长上下文推理效率且无需训练。
2024-09-25 cs.AI cs.CL cs.LG
HAMburger: Accelerating LLM Inference via Token Smashing
Department of Computer Science University of Chicago(计算机科学系芝加哥大学)
HAMburger通过将多个令牌粉碎为一个KV缓存并每步生成多个令牌,将KV缓存和前向FLOPs的增长从线性转为次线性,实现高达2倍加速且保持质量。
2025-05-26 cs.CL
KVLink: Accelerating Large Language Models via Efficient KV Cache Reuse
Department of Computer Science UC Santa Barbara(计算机科学系 UC 圣塔芭芭拉大学);Center for Advanced AI Accenture(先进人工智能中心 江苏 Accenture)
KVLink通过独立预计算文档KV缓存并在推理时拼接复用,结合位置嵌入调整和可训练特殊token恢复跨文档注意力,在7个数据集上平均提升问答准确率4%,并将首token时间最多减少96%。
2025-11-10 cs.CL
CSAttention: Centroid-Scoring Attention for Accelerating LLM Inference
Department of Computer Science, Rutgers University(罗格斯大学计算机科学系)
本文提出CSAttention,一种无需训练的稀疏注意力方法,通过离线预填和在线解码策略提升大语言模型的推理速度和准确性,在高稀疏度和长上下文设置下表现优异。
2026-03-30 cs.AI cs.LG
FastGRPO: Accelerating Policy Optimization via Concurrency-aware Speculative Decoding and Online Draft Learning
Lanzhou University(兰州大学);The University of Hong Kong(香港大学);National University of Singapore(新加坡国立大学)
针对GRPO训练中生成阶段慢的问题,提出并发感知投机解码与在线草稿学习,实现2.35x-2.72x端到端加速,显著提升效率。
2025-09-26 cs.AI cs.LG
PAT: Accelerating LLM Decoding via Prefix-Aware Attention with Resource Efficient Multi-Tile Kernel
本文提出PAT,一种基于前缀感知的注意力内核,通过包前向合并范式减少内存访问,提升资源利用率,降低解码延迟和TPOT。
2026-03-16 cs.CL cs.DC
Querying Databases with Function Calling
Weaviate;Contextual AI;Morningstar(晨星公司)
本文提出一种统一的数据库查询工具定义,通过函数调用使LLMs能结合搜索查询、过滤器和聚合算子访问与转换数据,并在8个模型上验证了其有效性,发现高性能模型表现稳健。
2025-01-23 cs.AI cs.DB cs.IR
IndexCache: Accelerating Sparse Attention via Cross-Layer Index Reuse
Tsinghua University(清华大学)
IndexCache通过跨层索引复用减少75%的计算量,提升预填和解码速度,有效优化稀疏注意力效率。
2026-03-12 cs.CL cs.LG
Knowledge Graph Question Answering for Materials Science (KGQA4MAT): Developing Natural Language Interface for Metal-Organic Frameworks Knowledge Graph (MOF-KG) Using LLM
College of Computing and Informatics(计算与信息学院);Drexel University(德雷塞尔大学);University of Central Florida(中佛罗里达大学);Colorado School of Mines(科罗拉多矿业学院)
本文构建了面向金属有机框架知识图谱的KGQA4MAT基准(含161个复杂问题及644个变体),并提出利用ChatGPT将自然语言问题转换为形式化知识图谱查询的方法,以加速材料发现。
2024-06-06 cs.AI
Squeezed Attention: Accelerating Long Context Length LLM Inference
UC Berkeley(加州大学伯克利分校);FuriosaAI;ICSI(国际计算机科学研究所);LBNL(劳伦斯伯克利国家实验室)
针对长上下文LLM推理中固定上下文占比高的问题,提出Squeezed Attention方法,通过离线K-means聚类和质心比较选择重要键,实现KV预算减少和推理加速,在LongBench上取得显著效果。
2025-06-11 cs.CL
Reducing Transformer Key-Value Cache Size with Cross-Layer Attention
MIT CSAIL(麻省理工学院计算机科学与人工智能实验室);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出 Cross-Layer Attention(CLA),在 MQA 基础上让相邻层共享键值头,将 KV 缓存再减半,并在 1B、3B 模型训练中验证其内存-准确率帕累托优势。
2024-05-21 cs.CL cs.LG
TimelineQA: A Benchmark for Question Answering over Timelines
Meta;Cornell University(康奈尔大学)
本文提出并公开发布面向生活日志查询的 TimelineQA 基准,通过虚构人物时间线评估多种先进问答模型,揭示原子查询与多跳聚合查询下不同方法的性能差异。
2023-06-01 cs.AI cs.CL cs.IR
HaS: Accelerating RAG through Homology-Aware Speculative Retrieval
South China University of Technology(华南理工大学);Pengcheng Laboratory(鹏城实验室);Jinan University(暨南大学);Beijing Forestry University(北京林业大学)
HaS通过同源感知的推测检索框架,在受限范围内进行低延迟推测检索以获取候选文档,并验证其是否包含所需知识,从而提升RAG的效率。
2026-04-22 cs.CL cs.IR
Accelerating Real-Time Question Answering via Question Generation
Microsoft Cognitive Services Research Group(微软认知服务研究组);Tsinghua University(清华大学)
尽管深度神经网络在问答(QA)方面取得了巨大的成功,但在实际产品部署方面,它们仍然面临着沉重的计算和能源成本。此外,现有的QA系统受到神经网络实时的问题的编码时间的限制,因此在大流量的部署中存在可检测的延迟。为了降低计算成本和加速实时的问答(RTQA)的实际应用,我们提出从在线问答系统中删除所有的神经网络,并提出Ocean-Q(一个问题的海洋),它引入了一个新的问题生成(QG)模型来离线生成大量的QA对,然后实时的将输入问题与候选QA池进行匹配,以预测答案而无需问题编码。Ocean-Q可以很容易地部署在现有的分布式数据库系统或搜索引擎中,用于大规模查询使用,并且更加绿色,无需维护大型神经网络的额外成本。在SQuAD(-open)和HotpotQA基准测试上的实验表明,Ocean-Q能够将最快的最先进的RTQA系统加速4倍,而准确率仅下降3%以上。
2021-09-01 cs.CL
PIVOT: Efficient Query-Group Indexing for Token-Level Sparse Attention
研究针对令牌级稀疏注意力中索引器瓶颈问题,提出PIVOT方法,通过共享前缀扫描为附近查询高效选前k个令牌,有两个速度与保真度权衡的变体,在多个模型上实验,能匹配密集索引器准确性,大幅加速并降低长上下文延迟。
2026-07-28 cs.CL
Efficient Deployment of Conversational Natural Language Interfaces over Databases
University of Florida(佛罗里达大学);Adobe Research(奥多比研究院)
许多用户与聊天机器人和人工智能助手进行通信,以帮助他们完成各种任务。助理的一个关键组成部分是理解和回答用户的自然语言问题的能力,用于问答(QA)。由于数据通常可以以结构化的方式存储,因此一个重要的步骤涉及将自然语言问题转换为相应的查询语言。然而,为了训练大多数自然语言到查询语言的最新模型,首先需要大量的训练数据。在大多数领域,这些数据是不可用的,为各个领域收集这样的数据集可能是繁琐和耗时的。在这项工作中,我们提出了一种新的方法来加速训练数据集的收集,以开发自然语言查询语言机器学习模型。我们的系统允许人们生成会话多项数据,其中多个回合定义对话会话,使人们能够更好地利用聊天机器人界面。我们在基于SQL和SPARQL的数据集上训练了两个当前最先进的NL到QL模型,以展示我们创建的数据的适应性和有效性。
2020-06-04 cs.CL
Less Is More: Graph-free Multimodal RAG via Multi-signal Late Fusion
University of Tübingen(图宾根大学);Robert Bosch GmbH(罗伯特·博世有限公司);University of Stuttgart(斯图加特大学)
本文提出无图多模态RAG框架TrioRAG,通过多信号晚期融合整合问题、图像和VLM增强查询,在三个基准上匹配或超越基于图的系统,推理速度提升1.6-2.3倍,并引入AutoQA基准验证其有效性。
2026-09-18 cs.CL
MythQA: Query-Based Large-Scale Check-Worthy Claim Detection through Multi-Answer Open-Domain Question Answering
The University of Florida(佛罗里达大学)
针对大规模信息源中值得核查声明检测研究不足的问题,提出结合矛盾立场挖掘的多答案开放域问答任务MythQA,构建含522个问题、5300条标注推文的TweetMythQA数据集,给出基线系统与初始基准。
2023-07-21 cs.CL cs.IR
Recall Before You Rank: Similarity-Guided Top-$K$ Reuse for Efficient Long-Context Attention
本文提出无需训练的ReTopK方法,通过复用历史检索决策加速动态Top-K注意力,在16K-128K上下文下实现低困惑度与高基准分数,128K、K=512时加速3.07倍且仅0.50%困惑度提升。
2026-07-31 cs.CL cs.LG