RECAST: Recent & Context-Aware Sampling for Test-Time Adaptation in Streaming Biosignals
Medical AI Co., Ltd.(医疗人工智能有限公司)
针对流式生物信号测试时自适应的样本选择难题,提出RECAST采样模块,从时间近期性等三方面选样,在血压数据集上提升精度,延迟极低,适配长期监测需求。
2026-08-31 cs.AI
Unifying Streaming and Non-streaming Zipformer-based ASR
Uniphore;Idiap Research Institute(Idiap研究机构)
该研究提出基于Zipformer的统一ASR框架,通过分块注意力掩码的动态右上下文训练单模型兼顾流式与非流式场景,可灵活调控延迟-准确率权衡,词错误率相对降7.9%,流式性能接近非流式。
2025-06-17 cs.AI cs.SD eess.AS
Dual-mode ASR: Unify and Improve Streaming ASR with Full-context Modeling
Google Brain(谷歌大脑);Google LLC(谷歌有限责任公司)
流媒体自动语音识别(ASR)的目标是尽可能快速、准确地发出每个假设的单词,而全上下文ASR则在发出完整的假设之前等待完整语音话语的完成。在这项工作中,我们提出了一个统一的框架,双模式ASR,训练一个单一的端到端的ASR模型与流和全上下文语音识别共享的权重。我们发现,流ASR的延迟和准确性显着受益于权重共享和联合训练的全上下文ASR,特别是在训练过程中的就地知识蒸馏。双模式ASR框架可以应用于最近最先进的基于卷积和基于变换器的ASR网络。我们使用两个最先进的ASR网络ContextNet和Conformer在两个数据集上进行了广泛的实验,一个是广泛使用的公共数据集LibriSpeech,另一个是大规模数据集MultiDomain。实验和消融研究表明,双模式ASR不仅简化了训练和部署流式和全上下文ASR模型的工作流程,而且还显著改善了流式ASR的发射延迟和识别准确性。通过双模式ASR,我们在LibriSpeech和MultiDomain上实现了在准确性和延迟方面最先进的流媒体ASR结果。
2021-01-27 cs.AI cs.CL cs.LG
SENS-ASR: Semantic Embedding injection in Neural-transducer for Streaming Automatic Speech Recognition
SENS-ASR通过结合语义信息提升流式ASR转录质量,有效降低小块流式场景中的词错误率。
2026-03-12 cs.AI cs.CL
A Blast From the Past: Personalizing Predictions of Video-Induced Emotions using Personal Memories as Context
Delft University of Technology(代尔夫特理工大学)
在真实世界的应用中,准确预测观众对视频刺激的情绪反应的一个关键挑战是考虑到个人和特定情况的变化。塑造个人对视频的主观体验的一个重要的背景影响是它在他们身上触发的个人记忆。先前的研究发现,这种记忆影响比其他常用于个性化预测的上下文变量(如观众的人口统计数据或个性)解释了更多的视频诱导情绪变化。在这篇文章中,我们表明:(1)自动分析描述他们的视频触发记忆的文本可以解释观众情绪反应的变化,(2)将这种分析与视频的视听内容相结合,可以提高自动预测的准确性。我们讨论了这些研究结果的相关性,以改善在个性化背景下自动情感视频分析的最先进的方法。
2020-08-27 cs.AI cs.HC
TurboBias 2.0: Streaming Context-Biasing for Production-Efficient ASR Systems
NVIDIA(英伟达)
本文提出面向生产环境的TurboBias 2.0框架,通过GPU加速的不区分大小写增强图与每流批量解码,在兼顾低延迟高吞吐量的同时,提升了ASR系统的上下文短语识别效果,支持多用户个性化偏置及多种解码方式。
2026-08-24 cs.AI cs.CL cs.LG
Prosodic Boundary-Aware Streaming Generation for LLM-Based TTS with Streaming Text Input
Nanyang Technological University, Singapore(南洋理工大学,新加坡);Tianjin University, China(天津大学);Southeast University, China(东南大学)
本文提出一种面向语调边界的后训练策略,通过调整预训练模型以处理流式文本输入,从而提升语音合成的语调质量和长文本生成的稳定性。
2026-03-06 cs.AI cs.SD
Guided Profile Generation Improves Personalization with LLMs
University of Southern California(南加利福尼亚大学)
提出引导式画像生成(GPG)方法,通过生成自然语言个人画像,提升大语言模型在个性化任务中的表现,偏好预测准确率提高37%。
2024-09-19 cs.AI cs.CL
Learning to Reason for Multi-Step Retrieval of Personal Context in Personalized Question Answering
University of Washington(华盛顿大学);University of Massachusetts Amherst(马萨诸塞大学阿默斯特分校)
PR2通过强化学习框架结合推理与检索,提升个性化问答的准确性和用户特定偏好对齐度。
2026-02-22 cs.AI cs.CL cs.IR
Rethinking Streaming Video Diffusion Model: Context, Execution, and Training
University of Chinese Academy of Sciences(中国科学院大学)
本文提出统一分析框架研究流式视频扩散设计空间,发现渐进历史策略在VBench上得分最高且加速1.57-2.83倍,并证明LoRA适配可大幅减少参数,表明完全去噪历史并非必要。
2026-09-22 cs.AI cs.CV
Streaming Attention Approximation via Discrepancy Theory
EPFL(苏黎世联邦理工学院);KAIST(韩国科学技术院);Google Research(谷歌研究)
本文提出BalanceKV算法,基于几何过程选择平衡的Key和Value token,实现流式注意力近似,理论和实验均优于现有方法。
2026-03-24 cs.AI cs.DS cs.LG
StreamMem: Query-Agnostic KV Cache Memory for Streaming Video Understanding
Meta AI;New York University(纽约大学)
本文提出StreamMem,一种查询无关的流式KV缓存记忆机制,通过流式编码视频帧并利用注意力分数压缩KV缓存,在固定内存下实现长视频高效问答,在多个基准上达到领先性能。
2025-08-21 cs.AI cs.CV
How Can Context Help? Exploring Joint Retrieval of Passage and Personalized Context
IBM Research AI(IBM研究院人工智能部门);Rensselaer Polytechnic Institute(伦斯勒理工学院)
针对个性化上下文融入文档对话系统研究不足的问题,提出上下文感知段落检索任务,构建专用数据集并提出PCAS方法,实验证明其在段落检索和相关上下文识别上均优于基线,可为该方向研究提供支撑。
2023-08-26 cs.AI cs.CL cs.IR
OmniTide: Co-Designing Algorithms and Systems for Efficient On-Device Omni-LLM Streaming
Key Lab of High Confidence Software Technologies (Peking University)(高可信软件技术教育部重点实验室(北京大学));State Key Laboratory of Networking and Switching Technology (BUPT)(网络与交换技术国家重点实验室(北京邮电大学))
OmniTide通过算法与系统协同设计,利用模态感知稀疏性,实现端侧全模态流式推理的高效与实时无限上下文处理。
2026-09-30 cs.AI cs.LG
Memory as Weights: Internalizing Long-Term History for Streaming Videos
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Peking University(北京大学)
该研究提出流式记忆框架MaLoW,将历史视频信息内化到LoRA权重中,构建MaLoW-Instruct数据集,在多个基准测试中优于现有方法,还可提升视觉语言动作模型的成功率。
2026-10-16 cs.AI cs.CV cs.LG
Identifying Cooperative Personalities in Multi-agent Contexts through Personality Steering with Representation Engineering
ST Engineering(科技工程公司);Singapore Management University(新加坡管理大学);Apart Research(阿帕特研究机构)
本研究受重复囚徒困境锦标赛启发,采用表征工程引导 LLM 的大五人格特质,发现宜人性与尽责性可促进合作但更易被剥削。
2025-03-17 cs.AI cs.CL cs.GT
Deferred NAM: Low-latency Top-K Context Injection via Deferred Context Encoding for Non-Streaming ASR
Google LLC(谷歌公司)
本文提出将轻量级短语选择步骤移至上下文编码之前,实现高达16.1倍加速,支持2万短语且延迟低于33ms,结合交叉熵损失使相对WER降低37.5%。
2024-04-23 cs.AI cs.CL cs.LG