Event-Aware Instructed Assistant for Referring Video Segmentation
Institute of Big Data, College of Computer Science and Artificial Intelligence, Fudan University(复旦大学计算机科学与技术学院大数据研究所);Institute of Trustworthy Embodied AI, Fudan University(复旦大学可信具身智能研究所);Shanghai University of Finance and Economics(上海财经大学)
提出EVIS模型,通过可学习事件查询将视频分解为简单事件,结合对象-像素混合学习,实现层次化视频理解,在5个基准上表现优异。
2026-06-26 cs.AI cs.CV
AssistantX: An LLM-Powered Proactive Assistant in Collaborative Human-Populated Environment
Department of Computer Science and Technology, Tsinghua University(计算机科学与技术系,清华大学);School of Artificial Intelligence, Beijing University of Posts and Telecommunications(人工智能学院,北京邮电大学)
AssistantX 是一种基于大语言模型的主动助手,通过多代理框架实现自主操作,具备高级推理能力和协作意识,能有效响应用户指令并主动寻求帮助以完成任务。
2025-06-19 cs.AI cs.MA cs.RO
Guardrails or Roadblocks? Effects of Pedagogical Style and Context Awareness in AI Teaching Assistants for Programming
University of Florida(佛罗里达大学);University of Auckland(奥克兰大学)
本研究通过随机对照试验发现,AI助教的教学风格与上下文感知需平衡,否则护栏可能适得其反,降低学生支持感知并促使外部LLM使用。
2026-09-25 cs.AI cs.HC
HA-RAG: Hotness-Aware RAG Acceleration via Mixed Precision and Data Placement
本文提出HA-RAG,通过热度感知的混合精度压缩与数据放置策略,优化RAG推理中的KV块加载与存储,相比TurboRAG实现最高10.49倍的TTFT加速且精度损失极小。
2025-10-23 cs.AI cs.LG
FairLLaVA: Fairness-Aware Parameter-Efficient Fine-Tuning for Large Vision-Language Assistants
University at Buffalo(布法罗大学);University of Kashmir(克什米尔大学);Accenture(埃森哲);Harvard Medical School(哈佛医学院)
FairLLaVA通过减少目标属性间的互信息,实现视觉指令微调中的公平性改进,提升医疗影像生成的公平性和自然语言生成质量。
2026-03-27 cs.AI cs.CV
Agent-SAMA: State-Aware Mobile Assistant
针对现有移动GUI智能体反应式执行、缺乏上下文理解与错误恢复能力的问题,提出状态感知多智能体框架Agent-SAMA,通过有限状态机建模应用执行流程,在多类基准上显著提升任务成功率与错误恢复率。
2025-11-19 cs.AI
InsTALL: Context-aware Instructional Task Assistance with Multi-modal Large Language Models
University of Arkansas(阿肯色大学);AWS AI Labs(亚马逊云科技AI实验室)
InsTALL利用多模态大语言模型和自动提取的任务图,通过在线视觉流实时辅助用户执行多步骤任务,在任务识别、动作识别、动作预测和计划预测等子任务上达到最先进性能,并优于错误识别基线。
2025-01-21 cs.AI cs.CL cs.CV
Prefill Awareness in Large Language Models
Constellation University of Wisconsin-Madison(威斯康星大学麦迪逊分校星座研究所);Constellation Georgia Institute of Technology(佐治亚理工学院星座研究所);UK AI Security Institute(英国人工智能安全研究所)
研究大型语言模型能否识别并响应其助手消息被预填充或篡改,发现前沿模型具有显著预填充感知能力,可能影响安全评估方法。
2026-06-12 cs.AI
MHDash: An Online Platform for Benchmarking Mental Health-Aware AI Assistants
MHDash是一个开源平台,用于评估心理健康意识AI助手的安全性和性能,揭示传统基准在心理健康领域不足的问题。
2026-01-30 cs.AI cs.HC
Multimodal Chip Physical Design Engineer Assistant
National Taiwan University(国立台湾大学);NVIDIA Research(NVIDIA研究)
本文提出多模态大语言模型助手 MLLMA,结合遗传提示特征生成与偏好学习,在 CircuitNet 上更准确、可解释地预测布线拥塞并生成可执行版图优化建议。
2025-07-02 cs.AI cs.AR cs.LG
HiMeS: Hippocampus-inspired Memory System for Personalized AI Assistants
Tencent Inc.(腾讯公司)
HiMeS通过融合短期和长期记忆机制,提升个性化AI助手在知识密集型场景中的问答质量与用户定制能力。
2026-01-06 cs.AI
Vendor-Aware Industrial Agents: RAG-Enhanced LLMs for Secure On-Premise PLC Code Generation
Centre for Machine Learning(机器学习中心);Fraunhofer IOSB-INA(弗劳恩霍夫IOSB-INA研究所);FA-EDC;Mitsubishi Electric Europe(三菱电机欧洲)
本文提出了一种基于RAG增强的LLM方法,用于在低数据域中安全生成本地PLC代码,通过提示工程和定向检索提升代码生成质量。
2026-01-16 cs.AI cs.SE
Artic: AI-oriented Real-time Communication for MLLM Video Assistant
Peking University(北京大学)
Artic提出了一种面向AI的实时通信框架,通过自适应比特率、上下文感知流式传输和退化视频理解基准提升多模态大语言模型视频助手的准确性和降低延迟。
2026-02-13 cs.AI cs.HC cs.MM
Conversational AI as a Coding Assistant: Understanding Programmers' Interactions with and Expectations from Large Language Models for Coding
Khoury College of Computer Sciences, Northeastern University(东北大学科里计算机科学学院)
本研究调研程序员使用LLM驱动的对话式编程助手的模式、认知与策略,梳理了工具的优劣势与用户拒绝使用的原因,提出设计准则,为该类工具融入软件开发流程提供参考。
2025-03-14 cs.AI cs.HC
HiKV: Hierarchical Importance-Aware KV Cache with Hardware Acceleration for LLM Decoding
ESAT-MICAS, KU Leuven(KU莱顿大学ESAT-MICAS)
针对长上下文大语言模型解码时键值缓存的内存瓶颈,HiKV提出算法-硬件协同设计,通过分层重要性感知在两粒度压缩缓存,开发专用加速器统一两阶段加速,在大语言模型上评估实现加速、降能及减少内存访问,优于现有方法。
2026-07-27 cs.AI cs.AR cs.LG
OpenAIs HealthBench in Action: Evaluating an LLM-Based Medical Assistant on Realistic Clinical Queries
OpenAI
DR.INFO在HealthBench基准测试中表现优异,优于多个前沿LLM,在复杂临床查询中展现出高准确性和情境感知能力。
2026-07-28 cs.AI cs.ET cs.IR
Auto-ViT-Acc: An FPGA-Aware Automatic Acceleration Framework for Vision Transformer with Mixed-Scheme Quantization
Northeastern University(东北大学);Simon Fraser University(西蒙弗雷泽大学);University of California, Irvine(加州大学欧文分校);ETH Zurich(苏黎世联邦理工学院);The University of Texas at Austin(德克萨斯大学奥斯汀分校)
视觉Transformer(ViT)正在出现,在计算机视觉任务中具有显著提高的准确性。然而,其复杂的体系结构和巨大的计算/存储需求迫切需要新的硬件加速器的设计方法。这项工作提出了一个FPGA感知的自动ViT加速框架的基础上提出的混合方案量化。据我们所知,这是第一个基于FPGA的ViT加速框架,探索模型量化。与最先进的ViT量化工作(算法方法,只有没有硬件加速)相比,我们的量化实现了0.47%至1.36%的高的Top-1精度在相同的位宽。与32位浮点基线FPGA加速器相比,我们的加速器的帧速率提高了约5.6倍(即,56.8 FPS vs. 10.0 FPS),DeiT-base在ImageNet数据集上的准确率下降了0.71%。
2022-08-10 cs.CV cs.LG eess.IV
PsyCounAssist: A Full-Cycle AI-Powered Psychological Counseling Assistant System
Beijing PsychTech Technology Co., Ltd.(北京心理科技技术有限公司);University of Hechi(贺州学院)
本文介绍PsyCounAssist,一个全周期AI心理咨询辅助系统,整合多模态情绪识别、LLM自动化报告和个性化后续支持,实验验证了其可靠性与实用性。
2025-04-23 cs.AI cs.HC
"Excuse me, may I say something..." CoLabScience, A Proactive AI Assistant for Biomedical Discovery and LLM-Expert Collaborations
Worcester Polytechnic Institute(沃斯特理工大学);University of California, Davis(加州大学戴维斯分校);Jiangsu University(江苏大学)
本文提出CoLabScience,一种主动AI助手,通过及时的上下文感知干预提升生物医学领域AI与人类专家的协作效率,PULI框架在流式科学讨论中实现精准干预,实验表明其在干预精度和协作任务实用性上优于现有基线。
2026-04-16 cs.AI cs.CL cs.HC
AI-driven formative assessment and adaptive learning in data-science education: Evaluating an LLM-powered virtual teaching assistant
本文提出VITA平台,集成LLM聊天机器人BotCaptain,通过对话式辅导、xAPI数据管道和自适应路径引擎,实现数据科学教育中的形成性评价与个性化学习,并提供了架构基准和部署蓝图。
2025-09-17 cs.AI cs.CY cs.HC
Why and When LLM-Based Assistants Can Go Wrong: Investigating the Effectiveness of Prompt-Based Interactions for Software Help-Seeking
Simon Fraser University(西蒙菲莎大学);Stanford University(斯坦福大学)
通过16人实验对比基线LLM与SoftAIBot,发现提示词指南和领域上下文未能显著改善用户感知与任务完成率,强调需在LLM中引入可解释的上下文感知线索以提升软件求助效用。
2024-02-12 cs.AI cs.HC cs.LG
EXAQ: Exponent Aware Quantization For LLMs Acceleration
Habana Labs – An Intel company(Habana Labs(英特尔旗下公司));Technion(以色列理工学院)
针对大语言模型推理中softmax层的性能瓶颈,提出指数感知量化方法EXAQ,通过确定softmax输入最优截断值实现亚4位量化,在极小精度损失下显著提升softmax运算速度。
2024-10-04 cs.AI cs.LG cs.PF
Intelligent OPC Engineer Assistant for Semiconductor Manufacturing
NVIDIA(英伟达)
本文提出由 AI/LLM 驱动的 Intelligent OPC Engineer Assistant,结合强化学习 recipe 搜索与多模态智能体系统解决光学邻近校正优化问题,能高效替代资深工程师在各类芯片设计上构建 OPC recipe。
2024-08-27 cs.AI cs.AR
AdaHome: An Adaptive Smart Home Assistant using Local Small Language Models
University of Southampton(南安普顿大学)
研究旨在解决智能家居助手问题,提出AdaHome,通过意图感知规划框架、草稿链策略及偏好适应机制,在本地小语言模型上实现高效决策与个性化,实验显示其在命令准确性、延迟及多轮场景中有良好表现。
2026-07-23 cs.AI
Aligning VLM Assistants with Personalized Situated Cognition
School of Computer Science, Wuhan University(武汉大学计算机学院);Zhongguancun Academy(中关村学院)
本文针对不同背景用户对VLM助手的个性化期望,提出基于角色集刻画个体并通过行动评估对齐,构建PCogAlignBench基准和认知感知、基于行动的奖励模型框架PCogAlign,实验验证其可靠性与有效性。
2025-06-01 cs.AI cs.CL
MLaGA: Multimodal Large Language and Graph Assistant
New York University(纽约大学);New York University Shanghai(纽约大学上海);New York University Brooklyn(纽约大学布鲁克林);Virginia Polytechnic Institute and State University(弗吉尼亚理工大学);New York University Abu Dhabi(纽约大学阿布扎克)
提出MLaGA模型,通过结构感知多模态编码器和指令微调,将大语言模型扩展到多模态图数据,在监督和迁移学习任务中优于基线方法。
2026-06-11 cs.AI
CURATe: Benchmarking Personalised Alignment of Conversational AI Assistants
University of Oxford(牛津大学);Stellenbosch University(斯泰伦博斯大学);Foerster Lab for AI Research (FLAIR)(福斯特人工智能研究实验室)
本文提出评估基于LLM的AI助手个性化对齐的多轮基准CURATe,发现现有模型在处理安全关键上下文时存在系统性偏差,而提示考虑安全上下文能显著提升性能。
2025-01-30 cs.AI cs.HC
NPAS: A Compiler-aware Framework of Unified Network Pruning and Architecture Search for Beyond Real-Time Mobile Acceleration
Northeastern University(东北大学);College of William and Mary(威廉与玛丽学院);Rice University(莱斯大学);Michigan State University(密歇根州立大学)
随着在移动边缘设备上高效部署DNN的需求不断增长,减少不必要的计算并提高执行速度变得更加重要。包括模型压缩和网络架构搜索(NAS)在内的实现该目标的现有方法在很大程度上是独立执行的,并且没有充分考虑编译器级优化,而编译器级优化是移动加速必须做的。在这项工作中,我们首先提出了(i)适用于各种DNN层的细粒度结构化修剪的一般类别,以及(ii)支持不同DNN和不同修剪方案的综合编译器自动代码生成框架,弥补了模型压缩和NAS的差距。我们进一步提出了NPAS,编译器感知的统一网络修剪和架构搜索。为了处理大的搜索空间,我们提出了一个基于强化学习的元建模过程,具有快速评估和贝叶斯优化,确保与代表性NAS框架的总训练次数相当。我们的框架在现成的手机上分别实现了6.7ms,5.9ms,3.9ms的ImageNet推理时间,78.2%,75%(MobileNet-V3级别)和71%(MobileNet-V2级别)的Top-1准确率,始终优于先前的工作。
2021-06-17 cs.AI cs.CV cs.LG
LLM-based Conversational AI Knowledge Assistant for MyBuddy Humanoid Robot
The University of Tokyo(东京大学)
针对人形机器人对话能力受限问题,提出基于LLM的MyBuddy人形机器人对话式AI知识助手,集成语音识别、知识检索与合成,实现多轮连续对话和情感支持交互。
2026-09-22 cs.AI cs.RO
Tell Me: An LLM-powered Mental Well-being Assistant with RAG, Synthetic Dialogue Generation, and Agentic Planning
Fujitsu Research of America(富士通美国研究)
提出Tell Me系统,利用大语言模型通过RAG实现个性化对话、合成客户-治疗师对话生成以及智能体规划生成自我护理计划,旨在提供可及的心理支持而非替代专业治疗。
2026-06-23 cs.AI cs.CL cs.HC
ReRec: Reasoning-Augmented LLM-based Recommendation Assistant via Reinforcement Fine-tuning
The Hong Kong Polytechnic University(香港理工大学)
ReRec通过强化微调框架提升LLM在复杂推荐任务中的推理能力,引入双重图增强奖励塑造、推理感知优势估计和在线课程调度器,实验证明其优于现有基线模型。
2026-04-09 cs.AI cs.IR
QuickLLaMA: Query-aware Inference Acceleration for Large Language Models
CUHK(香港中文大学);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);SmartMore(思必驰)
针对大型语言模型处理长上下文时难以捕捉长距离依赖的问题,提出了无需额外训练的查询感知推理系统Q-LLM,通过关注与查询相关的记忆数据在固定窗口内提取信息,并在多个长文本基准测试中显著超越当前SOTA。
2024-08-22 cs.LG
EduMod-LLM: A Modular Approach for Designing Flexible and Transparent Educational Assistants
EduMod-LLM通过模块化方法评估教育问答系统各组件性能,揭示失败模式,提升透明度和教学对齐效果。
2025-11-21 cs.AI cs.CL
An EcoSage Assistant: Towards Building A Multimodal Plant Care Dialogue Assistant
Indian Institute of Technology Patna(印度理工学院巴特那分校);University of Liverpool(利物浦大学)
本文首次构建植物养护对话助手,提出约1K对话的Plantational数据集,并开发多模态框架EcoSage,通过基准测试与门控适配器模态融合提升植物养护对话生成能力。
2024-01-10 cs.AI cs.CL
From Passive Watching to Active Learning: Empowering Proactive Participation in Digital Classrooms with AI Video Assistant
Chair of Human-Centered Technologies for Learning, TUM(慕尼黑工业大学以人为中心学习技术主席席位)
本文介绍AI视频助手SAM,通过大语言模型驱动的聊天界面促进主动学习,实验显示其显著提升知识增益,准确率达97.6%,赋能学生掌控学习。
2025-02-24 cs.AI
Do We Need Bigger Models for Science? Task-Aware Retrieval with Small Language Models
TU Dresden, Germany(德累斯顿理工大学,德国);FIZ Karlsruhe, Germany(卡尔斯鲁厄研究所,德国);ScaDS.AI, TU Dresden, Germany(ScaDS.AI,德累斯顿理工大学,德国)
本文探讨小型语言模型在科学应用中的可行性,通过设计轻量级检索增强框架,结合全文科学论文和结构化元数据,展示检索与模型规模的互补性。
2026-04-22 cs.AI cs.CL cs.DL
The Impact of LLM-Assistants on Software Developer Productivity: A Systematic Review and Mapping Study
Queen's University(女王大学)
本文通过综述39项研究,探讨LLM助手对软件开发者生产力的影响,发现多数研究显示积极效益,但存在认知卸载和团队协作风险,研究指出需更全面的评估方法。
2026-08-04 cs.AI cs.HC cs.SE
From Inheritance to Saturation: Disentangling the Evolution of Visual Redundancy for Architecture-Aware MLLM Inference Acceleration
University of Science and Technology of China(中国科学技术大学);Wuhan University(武汉大学);Ping An Technology (Shenzhen) Co., Ltd.(平安科技(深圳)有限公司)
本文提出HalfV框架,通过统一剪枝策略缓解内在视觉冗余,并根据具体表现适应性处理二次饱和冗余,实现跨架构的高效推理。
2026-04-08 cs.AI cs.CV
LiveStar: Live Streaming Assistant for Real-World Online Video Understanding
Institute of Automation, Chinese Academy of Sciences(中国科学院自动化研究所);University of Chinese Academy of Sciences(中国科学院大学);ShanghaiTech University(上海科技大学);Kuaishou Technology(快手科技);Peng Cheng Laboratory(鹏城实验室)
LiveStar提出自适应流式解码、响应-静默解码和记忆感知加速,构建OmniStar数据集,在在线视频理解中实现语义正确性平均提升19.5%、时序差异降低18.1%、FPS提升12.0%。
2025-11-07 cs.AI cs.CV
NOVAID: Natural-language Observability Visualization Assistant for ITOps Dashboard Widget Generation
NOVAID利用大语言模型生成IT监控仪表板小工具,通过领域意识解析器和模糊匹配提高准确性,实现高效可视化辅助。
2025-11-20 cs.AI cs.HC cs.SE
Layer-wise Weight Selection for Power-Efficient Neural Network Acceleration
Shanghai Jiao Tong University(上海交通大学);Technical University of Darmstadt(达姆斯塔特技术大学);Stevens Institute of Technology(斯蒂文斯理工学院)
本文提出了一种分层权重选择框架,通过优化能耗准确度和分层调度,实现CNN加速器的高效能压缩,实验显示能耗降低达58.6%且准确率仅下降2-3%。
2025-12-16 cs.AR cs.LG
Hand by Hand: LLM Driving EMS Assistant for Operational Skill Learning
Zhejiang University(浙江大学)
本研究提出“对齐-分析-调整”策略并开发 FlightAxis 工具,将 LLM 与电肌肉刺激结合,通过动觉引导辅助飞行操作技能学习,实验证明用户接受度高且任务完成时间显著减少,增强了操作缺陷意识与参与度。
2025-08-08 cs.AI cs.HC
Pro$^2$Assist: Continuous Step-aware Proactive Assistance with Multi-modal Egocentric Perception for Long-horizon Procedural Tasks
Columbia University(哥伦比亚大学);The Chinese University of Hong Kong(香港中文大学)
本研究提出Pro²Assist,一种基于多模态自我中心感知的步骤感知主动式辅助系统,通过AR眼镜感知与持续推理提升长程流程任务辅助效果,在动作理解与主动时机准确率上优于基线,获多数用户认可。
2026-08-04 cs.AI cs.HC
HALO: Hardware-aware quantization with low critical-path-delay weights for LLM acceleration
National University of Singapore(新加坡国立大学);OpenAI
针对传统LLM量化方法未结合硬件电路特性导致部署效率受限的问题,提出硬件感知PTQ框架HALO,通过选择低关键路径延迟权重结合少量DVFS调整,在TPU、GPU上实现270%平均性能提升与51%能耗节省,精度损失极小。
2025-11-17 cs.AI cs.AR
Creating an Atomic User Model for Personality-Aware Large Language Model Interaction
Indian Institute of Science (IISc)(印度科学学院)
针对大语言模型助手个性化,提出原子用户模型(AUM),以可解释的身份核心与外壳表示用户,通过检索而非提示前缀实现高效风格匹配,显著提升声音识别率,且对默认服务最差的用户收益最大。
2026-09-17 cs.AI cs.CL cs.HC
VL-Cache: Sparsity and Modality-Aware KV Cache Compression for Vision-Language Model Inference Acceleration
University of California, Los Angeles(加利福尼亚大学洛杉矶分校);Amazon(亚马逊);AWS AI
针对现有KV缓存压缩方法直接迁移到视觉-语言模型效果不佳的问题,提出兼具稀疏性与模态感知的VL-Cache压缩方案,在仅保留10%缓存的情况下保持精度,实现显著的推理加速与内存节省。
2024-10-29 cs.AI cs.CL cs.CV
A Discriminative Entity-Aware Language Model for Virtual Assistants
Apple(苹果公司)
高质量的自动语音识别(ASR)是虚拟助手(VA)正常工作的必要条件。然而,ASR通常在包含命名实体的VA请求上表现不佳。在这项工作中,我们从观察到的许多ASR错误命名实体与现实世界的知识是不一致的。我们扩展了以前的歧视性的n-gram语言建模方法,将现实世界的知识从知识图谱(KG),使用功能,捕捉实体类型实体和实体实体的关系。我们应用我们的模型,通过一个有效的格rescoring过程中,实现相对句子的出错率减少25%以上的一些合成测试集覆盖不太流行的实体,与均匀采样的VA测试集最小的退化。
2021-06-21 cs.CL cs.LG
Confidence-Aware Learning Assistant
German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心(DFKI));Osaka Prefecture University(大阪府立大学)
不仅正确性,而且自信心在提高知识质量方面起着重要作用。不理想的情境,如自信的错误知识和不自信的正确知识,阻碍了学习者修改他们的知识,因为他们并不总是容易感知的情况。为了解决这个问题,我们提出了一个系统,估计自信,同时解决多项选择题的眼动追踪,并给出反馈,哪些问题应该仔细审查。我们报告了三项研究的结果,衡量其有效性。(1)在一个有10名参与者的控制良好的数据集上,我们的方法以81%和79%的平均精度检测到了信心和不信心。(2)在20名被试的帮助下,我们观察到,在没有信心的情况下给出正确答案和有信心的情况下给出错误答案的反馈,问题的正确回答率分别提高了14%和17%。(3)我们在一所私立学校进行了大规模的数据记录(72名高中生解决了14,302个问题),以调查有效特征和所需训练样本的数量。
2021-02-15 cs.HC cs.LG
LLaGA: Large Language and Graph Assistant
The University of Texas at Austin(德克萨斯大学奥斯汀分校);Snap Inc(Snap公司)
针对大语言模型难以处理图结构数据的问题,研究提出LLaGA模型,通过结构感知序列转换和投影器适配大语言模型输入,在多数据集多任务的监督及零样本场景下超越现有最优图模型。
2024-04-11 cs.AI cs.LG
LANA: Latency Aware Network Acceleration
NVIDIA(英伟达);Microsoft Research(微软研究院)
我们介绍了延迟感知网络加速(LANA)-一种基于神经架构搜索技术和师生蒸馏的方法来加速神经网络。LANA包括两个阶段:在第一阶段,它使用逐层特征映射蒸馏为教师网络的每一层训练许多替代操作。在第二阶段,它解决了组合选择的有效操作使用一种新的约束整数线性优化(ILP)的方法。ILP带来了独特的属性,因为它(i)在几秒到几分钟内执行NAS,(ii)容易满足预算约束,(iii)在层粒度上工作,(iv)支持巨大的搜索空间$O(10^{100})$,在功效和效率上超过现有的搜索方法。在广泛的实验中,我们表明,LANA产生有效和准确的模型约束的目标延迟预算,同时显着快于其他技术。我们分析了三种流行的网络架构:EfficientNetV 1,EfficientNetV 2和ResNeST,并在将较大模型压缩到较小模型的延迟水平时,实现了所有模型(高达$3.0\%$)的准确性提高。LANA实现了显著的速度提升(高达$5\times$),而GPU和CPU的精度下降很小甚至没有。代码将很快被共享。
2021-11-18 cs.AI cs.CV cs.LG
GAEA: A Geolocation Aware Conversational Assistant
Center for Research in Computer Vision, University of Central Florida(计算机视觉研究中心,中央佛罗里达大学)
针对现有图像地理定位模型缺乏位置理解与对话能力、大型多模态模型在该专业任务表现不佳的问题,研究提出对话模型GAEA,构建了配套的大规模数据集GAEA-1.4M与评估基准GAEA-Bench,性能显著优于现有主流多模态模型。
2025-09-03 cs.CV cs.LG
COIN: Communication-Aware In-Memory Acceleration for Graph Convolutional Networks
University of Wisconsin(威斯康星大学);Arizona State University(亚利桑那州立大学)
图卷积网络(GCN)在处理许多应用领域中固有的图结构数据时显示出卓越的学习能力。GCN将嵌入每个顶点的神经网络的输出分布在多次迭代中,以利用底层图捕获的关系。因此,它们会产生大量的计算和不规则的通信开销,这需要GCN特定的硬件加速器。为此,本文提出了一种通信感知的存内计算架构(COIN)的GCN硬件加速。除了使用自定义计算元素(CE)和存内计算来加速计算之外,COIN还旨在最大限度地减少GCN操作中的CE内和CE间通信,以优化性能和能源效率。广泛使用的数据集的实验评估显示,与最先进的GCN加速器相比,能耗提高了105倍。
2022-05-15 cs.AR cs.LG
RayFlow: Instance-Aware Diffusion Acceleration via Adaptive Flow Trajectories
ByteDance Inc.(字节跳动公司)
针对扩散模型生成慢且现有加速方法牺牲质量或可控性的问题,提出RayFlow框架,通过实例感知的自适应流轨迹减少采样步数,并引入Time Sampler提升训练效率,实验证明其在速度、质量和可控性上均优于现有方法。
2025-03-25 cs.CV cs.LG
Talk to Me, Jarvis: An Open-Source Edge-Deployable Voice Assistant Framework for Autonomous Racecars
Technical University of Munich(慕尼黑工业大学);Munich Institute of Robotics and Machine Intelligence (MIRMI)(慕尼黑机器人与机器智能研究所)
本文提出Jarvis,一个离线边缘部署的语音助手框架,通过微调Mistral 7B实现低延迟命令分类,在自动驾驶赛车中达到97.63%意图识别准确率和1.39秒平均延迟,并开源支持进一步研究。
2026-09-21 cs.LG cs.RO