Efficient Reasoning on the Edge
边缘设备上的高效推理
机构 * Qualcomm AI Research(高通人工智能研究)
AI总结 提出结合LoRA适配器、监督微调、强化学习预算控制、并行测试时缩放、动态适配器切换和KV缓存共享的方法,在资源受限的边缘设备上实现高效准确的推理。
Comments Project page: https://qualcomm-ai-research.github.io/llm-reasoning-on-edge/
大厂专区
边缘设备上的高效推理
机构 * Qualcomm AI Research(高通人工智能研究)
AI总结 提出结合LoRA适配器、监督微调、强化学习预算控制、并行测试时缩放、动态适配器切换和KV缓存共享的方法,在资源受限的边缘设备上实现高效准确的推理。
Comments Project page: https://qualcomm-ai-research.github.io/llm-reasoning-on-edge/
通过噪声注入增强幻觉检测
机构 * Qualcomm AI Research(高通人工智能研究)
AI总结 提出一种基于贝叶斯模型不确定性的无训练噪声注入方法,通过扰动模型参数或隐藏单元激活来改进采样过程,显著提升大语言模型幻觉检测性能。
Comments ICLR 2026 main conference paper