Assessing RAG and HyDE on 1B vs. 4B-Parameter Gemma LLMs for Personal Assistants Integretion
Lancaster University School of Computing and Communications(兰卡斯特大学计算机与通讯学院)
本研究在1B和4B参数Gemma LLM上评估RAG与HyDE策略,发现RAG能降低延迟并消除幻觉,更适合隐私优先的设备端个人助手。
2025-06-12 cs.CL
Challenges in Information-Seeking QA: Unanswerable Questions and Paragraph Retrieval
University of Washington(华盛顿大学);The University of Texas at Austin(德克萨斯大学奥斯汀分校);Google AI(谷歌人工智能部门)
最近的预训练语言模型“解决”了许多阅读理解基准,其中问题是通过访问证据文档来编写的。然而,包含信息寻求查询的数据集,其中在独立编写查询之后提供证据文件,仍然具有挑战性。我们分析了为什么回答信息查询更具挑战性,以及他们普遍无法回答的地方,自然问题和TyDi QA。我们的对照实验表明两个净空-段落选择和回答能力预测,即配对的证据文档是否包含查询的答案。当提供一个黄金段落并知道何时放弃回答时,现有模型很容易胜过人类注释者。然而,预测可回答性本身仍然具有挑战性。我们手动注释了六种语言中的800个无法回答的例子,说明是什么让它们难以回答。有了这些新数据,我们进行了每个类别的可回答性预测,揭示了当前数据集收集和任务制定中的问题。总之,我们的研究指出了未来研究信息寻求问答的途径,无论是数据集的创建和模型的开发。
2021-06-04 cs.CL
Speakerly: A Voice-based Writing Assistant for Text Composition
Grammarly
本文提出了Speakerly,一个实时基于语音的写作辅助系统,通过结合小型任务特定模型和预训练语言模型,支持指令与听写等多种输入模式,帮助用户高效生成格式良好且连贯的文本。
2023-10-24 cs.AI cs.CL
Decision-Making with Deliberation: Meta-reviewing as a Document-grounded Dialogue
Ubiquitous Knowledge Processing Lab (UKP Lab), Department of Computer Science, Technical University of Darmstadt and National Research Center for Applied Cybersecurity ATHENE, Germany(技术大学达姆施塔特计算机科学系、应用网络安全国家研究中心ATHENE);Data Science Group, University of Hamburg(汉堡大学数据科学组)
本文提出通过生成合成数据和训练专用对话代理,提升元评审效率。
2026-01-21 cs.CL
Interpretation Gaps in LLM-Assisted Comprehension of Privacy Documents
Department of Computer Science, University of Denver, CO, 80208, USA(计算机科学系,丹佛大学)
该研究揭示了利用大语言模型简化解释复杂隐私政策中的数据实践时存在的多维度缺口,呼吁进一步研究以释放大语言模型在隐私管理领域的革新潜力。
2025-08-30 cs.CL cs.CY cs.IR
SALSA: Semi-Autonomous Literature Summarization Assistant
Georgia Institute of Technology(佐治亚理工学院)
SALSA是一个开源的人机协同平台,结合文档解析、大语言模型、OCR、计算机视觉等技术,从多模态文献中自动提取结构化科学数据,支持可定制工作流,旨在实现可扩展、可靠的数据整理,适用于材料研究等领域。
2026-09-22 cond-mat.mtrl-sci cs.CL
DeepWriter: A Fact-Grounded Multimodal Writing Assistant Based On Offline Knowledge Base
Shanghai AI LAB(上海人工智能实验室)
DeepWriter通过离线知识库、任务分解、多模态检索与逐节反思撰写,解决LLM在专业写作中的知识不足和幻觉问题,并在财务报告生成上超越现有基线。
2025-08-14 cs.AI cs.CL
The Factuality of Large Language Models in the Legal Domain
Télécom Paris(巴黎电信学院);Institut Polytechnique de Paris(巴黎综合理工学院);Université Paris-Saclay(巴黎萨克雷大学);CentraleSupélec(中央高等电力学院);INRIA(法国国家信息与自动化研究所)
本研究探讨法律领域LLM的事实性,通过允许答案变体和弃权(不执行)机制,采用多种匹配评估,发现别名/模糊匹配、弃权(不执行)及上下文示例提升精确度,额外法律预训练使精确度从63%升至81%。
2024-09-18 cs.AI cs.CL cs.IR
GAIA: A General AI Assistant for Intelligent Accelerator Operations
Deutsches Elektronen-Synchrotron DESY(德国电子同步加速器研究所)
本文提出 GAIA 助手,通过 ReAct 提示将开放权重 LLM 与机器控制系统及多专家 RAG 结合,辅助加速器操作员进行知识检索、机器交互和脚本编写,从而简化并加速机器运行任务。
2024-05-02 cs.CL physics.acc-ph
ComfyUI-Copilot: An Intelligent Assistant for Automated Workflow Development
Alibaba International Digital Commerce(阿里巴巴国际数字商业集团);Harbin Institute of Technology (Shenzhen)(哈尔滨工业大学(深圳))
本文提出ComfyUI-Copilot,一个基于大语言模型和分层多智能体框架的插件,通过智能节点推荐与一键式工作流构建,降低ComfyUI使用门槛并提升工作流开发效率。
2025-06-05 cs.CL cs.CV
A RAG-Based Institutional Assistant
University of São Paulo(圣保罗大学)
本研究针对LLM在知识密集型任务中访问特定文档的不足,设计并评估了基于RAG的圣保罗大学虚拟助理,通过检索器与生成模型结合,实验表明提供正确文档块可显著提升准确率至54.02%,凸显数据库访问的关键作用。
2025-01-23 cs.CL
Mina: A Multilingual LLM-Powered Legal Assistant Agent for Bangladesh for Empowering Access to Justice
Mina通过多语言嵌入和基于RAG的工具链框架,为孟加拉国提供多语言法律助理服务,实现法律文书、引文和通俗解释的生成,经评估在法律考试中表现优异,成本显著降低。
2026-04-09 cs.CL cs.CY cs.HC
Reversing the Forget-Retain Objectives: An Efficient LLM Unlearning Framework from Logit Difference
UC Santa Barbara(加州大学圣巴巴拉分校);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室);Cisco Research(思科研究部);Michigan State University(密歇根州立大学)
提出 ULD 框架,通过辅助 LLM 反转遗忘与保留目标并利用 logit 差值实现高效 LLM 遗忘,在保持效用的同时将训练时间缩短逾三倍。
2024-06-12 cs.AI cs.CL
H2HMem: A Multimodal Memory Benchmark for Agents in Human-Human Interactions
Jilin University(吉林大学);Shanghai Jiao Tong University(上海交通大学);University of California at Merced(加州大学默塞德分校)
提出H2HMem基准,通过双人和多人多模态对话评估智能体在记忆召回、推理和应用方面的能力,揭示现有模型在多模态、多参与者场景下的显著局限。
2026-06-08 cs.CL
Fair Document Valuation in LLM Summaries via Shapley Values
University of Washington(华盛顿大学)
研究大语言模型摘要中公平文档评估与补偿问题,提出基于沙普利值的框架,开发聚类沙普利值方法,在亚马逊产品评论数据上提升效率与准确性,且与多种因素无关,广泛适用于不同总结设置。
2026-07-10 cs.CL econ.GN q-fin.EC
Instruction Makes a Difference
Luleå University of Technology(吕勒奥理工大学)
该研究提出 iDocVQA 数据集与 LLaDoc 模型,证明指令微调可显著提升 LLaVA-1.5 在文档视觉问答及对象幻觉评估中的表现,但与人类水平仍有差距。
2024-06-13 cs.CL cs.CV
CFGPT: Chinese Financial Assistant with Large Language Model
Tongji University(同济大学);Shanghai Artificial Intelligence Laboratory(上海人工智能实验室)
本文提出中文金融大语言模型框架CFGPT,包含CFData数据集、基于InternLM-7B的CFLLM模型及CFAPP部署框架,覆盖预训练与六类金融任务微调,以支持真实金融应用。
2023-09-22 cs.AI cs.CE cs.CL
Instruction-tuned Language Models are Better Knowledge Learners
Carnegie Mellon University(卡内基梅隆大学);FAIR at Meta(Meta FAIR研究院);University of Washington(华盛顿大学)
针对LLM持续学习新知识时标准流程(先文档预训练后指令调优)效果不佳的问题,提出预指令调优(PIT)方法,先问答后文档训练,显著提升知识吸收能力,性能提升17.8%。
2024-05-26 cs.AI cs.CL cs.LG
Why Build an Assistant in Minecraft?
在本文中,我们描述了一个研究计划的基本原理,旨在建立一个开放的“助理”在游戏Minecraft,以取得进展的问题,自然语言理解和学习对话。
2019-07-25 cs.AI cs.CL
SLIDERS: Evidence Synthesis with Autonomous Database Reconciliation for Systematic Reviews
Computer Science Department, Stanford University(斯坦福大学计算机科学系)
本文提出SLIDERS框架,通过结构化推理解决长文档集问答问题,利用关系数据库和SQL实现可扩展推理,优于现有基准。
2026-11-13 cs.AI cs.CL
NyayaAI: An AI-Powered Legal Assistant Using Multi-Agent Architecture and Retrieval-Augmented Generation
School of Computer Science UPES, Dehradun, India(计算机科学学院 UPES 德里胡迪恩印度)
本文提出NyayaAI,通过多智能体架构和检索增强生成技术,提升法律信息获取效率,实现法律流程自动化与简化,实验显示其在法律分类、检索和响应准确性上达到70%-74%的精度。
2026-05-11 cs.CL
ScopeIt: Scoping Task Relevant Sentences in Documents
Microsoft(微软)
像Cortana、Siri、Alexa和Google Assistant这样的智能助理都经过训练,可以在对话同步且简短的情况下解析信息;然而,对于基于电子邮件的会话代理,通信是异步的,并且通常包含与助理无关的信息。这使得系统更难以准确地检测意图,提取与这些意图相关的实体,从而执行所需的动作。我们提出了一个神经模型,用于从大型查询中为代理确定相关信息的范围。我们表明,当用作预处理步骤时,该模型提高了意图检测和实体提取任务的性能。我们展示了该模型对代理的影响(Cortana是代理的角色,而代理是服务的名称。在本文中,我们可以互换使用它们。)- 一种虚拟会话会议安排助理,通过电子邮件与用户异步交互。该模型帮助实体提取和意图检测任务所需的搜索引擎实现了平均35%的准确率,而没有任何下降的召回。此外,我们证明了相同的方法可以用于大型文档中的组件级分析,例如签名块识别。
2020-11-15 cs.CL cs.LG stat.ML
The Hard Part Comes After Search: Benchmarking Web Agents on Synthesizing, Organizing, and Displaying Knowledge
University of Utah(犹他大学)
针对现有基准未充分评估智能体助手能力的问题,提出KNOWS基准,通过复杂浏览器任务联合评估检索、综合与展示能力,发现前沿智能体完全成功率不足3%,揭示其端到端助手能力的局限。
2026-09-28 cs.AI cs.CL
Analyzing Quality-Latency-Resource Trade-offs in a Technical Documentation RAG Assistant Using LoRA Adaptation
HSE University(俄罗斯高等经济大学)
本研究通过LoRA适配器在RAG系统中分析质量、延迟和资源之间的权衡,发现仅对q和v注意力投影进行适配的配置在帕累托前沿占优。
2026-05-27 cs.CL cs.IR cs.LG
AISA: AI Safety Assistant Framework for Continuous Improvement of Highway Construction
University of Pittsburgh(匹兹堡大学)
本研究提出AISA框架,基于LLM和文本嵌入模型实现公路施工事故分类、质量评分及相关数据检索,为未来智能体应用提供基础,在OIICS分类和事故检索等任务上取得优于随机水平的效果。
2026-08-19 cs.CL
A Brief Report on LawGPT 1.0: A Virtual Legal Assistant Based on GPT-3
National Institute of Informatics(国立信息学研究所)
LawGPT 1.0是一款基于最先进的语言模型GPT-3构建的虚拟法律助理,针对法律领域进行了微调。该系统旨在以对话方式向用户提供法律援助,帮助他们完成诸如回答法律问题、生成法律文件和提供法律咨询等任务。在本文中,我们简要概述了LawGPT 1.0,它的架构,以及它在一组法律基准测试任务上的性能。请注意,有关模型的详细信息受保密协议(NDA)保护,不能在本报告中披露。
2023-02-14 cs.AI cs.CL
RAGAL: A Frugal, Fully Local Retrieval-Augmented Assistant for Technical Support at a Government Agency
IT Department, Agency for Financing Rural Investments (AFIR)(金融农村投资机构信息部)
针对公共机构数据不能流出的限制,开发RAGAL检索增强助手。在特定语料库上验证,检索工程和微调效果好,记录单域微调问题及解决方法,还有两个发现和全嵌入器微调方法,最后介绍零流出下的替代评判方案并开源脚本。
2026-07-22 cs.CL cs.IR
InfoTech Assistant: A Multimodal Conversational Agent for InfoTechnology Web Portal Queries
School of Computing(计算学院);George Mason University(乔治·马歇尔大学)
本研究开发了 InfoTech 助手,一个结合网页抓取、LLM 和 RAG 的多模态聊天机器人,用于桥梁评估与基础设施技术查询,在领域任务上达到约 95% 的准确率。
2025-07-09 cs.CL
A Retrieval-Augmented Language Assistant for Unmanned Aircraft Safety Assessment and Regulatory Compliance
本文提出了一种基于检索的无人机安全评估助手,通过权威监管来源支持安全评估和合规,确保可追溯性和责任归属。
2026-02-16 cs.AI cs.CE cs.CL
Enhancing Scientific Reproducibility Through Automated BioCompute Object Creation Using Retrieval-Augmented Generation from Publications
GW School of Medicine and Health Sciences(乔治·华盛顿大学医学与健康科学学院);The George Washington University(乔治·华盛顿大学)
本文提出一种基于检索增强生成和大型语言模型的BCO助手工具,通过两遍检索与重排序从论文和代码库中自动提取信息生成BCO文档,解决LLM幻觉等问题,显著降低生物信息学研究合规文档创建的时间与精力,提升科学可重复性。
2024-09-23 cs.AI cs.CL q-bio.OT
MITRA: An AI Assistant for Knowledge Retrieval in Physics Collaborations
MITRA是一种基于RAG的AI助手,通过本地化框架实现物理学协作中的高效知识检索与生成。
2026-03-10 cs.AI cs.CL cs.IR
NaRLE: Natural Language Models using Reinforcement Learning with Emotion Feedback
Microsoft(微软)
当前对话系统的研究主要集中在面向任务或开放域环境下的短对话上。在本文中,我们专注于在线改进基于任务的会话助理,主要是那些从事文档类型会话的助理(例如,电子邮件),其内容可能与助理的任务完全相关,也可能不完全相关。我们提出了“NARLE”一个深度强化学习(RL)框架,用于在线改进对话系统的自然语言理解(NLU)组件,而无需为客户数据收集人类标签。所提出的解决方案将用户情感与助理的动作相关联,并使用该情感来使用策略梯度改进NLU模型。对于两个意图分类问题,我们的经验表明,使用强化学习微调预训练的监督学习模型,提高性能高达43%。此外,我们证明了部分和噪声隐式反馈的方法的鲁棒性。
2021-10-05 cs.CL cs.LG
Data Attribution of Emergent Misalignment with Persona Features
Bonn-Aachen International Center for Information Technology, University of Bonn(波恩-亚琛信息技术中心,波恩大学);Lamarr Institute for Machine Learning and Artificial Intelligence(拉马尔机器学习与人工智能研究院)
本研究基于SAE分析揭示EM源于角色特征,操控特征可双向控制EM,发现人类文本无法可靠诱导EM而合成指令响应对可以,明确响应结构或模型措辞的关键作用。
2026-09-15 cs.CL
AI-Powered Assistant for Long-Term Access to RHIC Knowledge
Computational Science Department, Brookhaven National Lab(布罗克海文国家实验室计算科学部);Physics Department, Brookhaven National Laboratory(布罗克海文国家实验室物理部);FNSPE, Czech Technical University(捷克技术大学FNSPE)
本文提出基于大语言模型与检索增强生成的 RHIC 知识 AI 助手系统,通过自然语言访问文档与工作流,支持科学数据的长期保存、可重复性与可发现性。
2025-08-18 cs.AI cs.CL cs.IR
ConfReady: A RAG based Assistant and Dataset for Conference Checklist Responses
Georgia Institute of Technology(佐治亚理工学院);Duke University(杜克大学);Sai University(赛大学)
本文提出ConfReady,一个基于RAG的会议检查清单助手,并构建含1,975条ACL回复的数据集,通过分析人类回答问题并基准测试RAG与大语言模型系统,帮助作者反思工作并改进检查清单回复质量。
2025-09-19 cs.AI cs.CL cs.IR
DocOps: A Verifiable Benchmark for Autonomous Agents in Complex Document Operations
研究自主智能体处理数字文档的能力,引入DocOps评估框架,解构文档操作,评估多种模型,发现其局限性及关键失败模式,揭示能力边界,为健壮无损智能体设计提供启示。
2026-07-23 cs.AI cs.CL cs.LG
Fast and Faithful: Real-Time Verification for Long-Document Retrieval-Augmented Generation Systems
MBZUAI, McGill University(MBZUAI,麦吉尔大学)
本文提出一种实时验证组件,用于长文档检索增强生成系统,通过平衡响应时间和验证覆盖度,提升对长文档的忠实性验证。
2026-03-04 cs.CL cs.IR
Developing an AI Assistant for Knowledge Management and Workforce Training in State DOTs
Department of Computer Science, University of Houston(计算机科学系,休斯顿大学);Department of Civil and Environmental Engineering, University of Houston(土木与环境工程系,休斯顿大学);Ph.D Department of Civil and Environmental Engineering, University of Houston(土木与环境工程系,休斯顿大学);Engineering Data Science, University of Houston(工程数据科学,休斯顿大学)
本文提出了一种多代理架构的RAG框架,用于州交通部门的知识管理和决策支持,通过整合文档检索与大语言模型生成,提升信息检索与响应质量。
2026-02-07 cs.AI cs.CL cs.IR
ARIA: Adaptive Retrieval Intelligence Assistant -- A Multimodal RAG Framework for Domain-Specific Engineering Education
Dalian University of Technology(大连理工大学);Johns Hopkins University(约翰霍普金斯大学)
ARIA通过多模态内容提取管道和e5-large-v2模型,实现领域特定工程教育的智能教学助手,展现高精度和教学一致性,验证了其在课程相关问题上的高准确率和响应质量。
2026-02-04 cs.CL cs.IR
ELITR-Bench: A Meeting Assistant Benchmark for Long-Context Language Models
NAVER LABS Europe(NAVER欧洲实验室)
该研究提出面向长上下文大语言模型的会议助手基准ELITR-Bench,基于ELITR语料构建带噪转录文本与人工问答数据,实验验证多代模型进展并分析GPT-4评估的局限性。
2025-01-17 cs.AI cs.CL cs.LG
A Proactive EMR Assistant for Doctor-Patient Dialogue: Streaming ASR, Belief Stabilization, and Preliminary Controlled Evaluation
The Hong Kong Polytechnic University(香港理工大学)
本文提出一种主动电子病历助手,通过流式语音识别、标点恢复、状态提取、信念稳定化、对象化检索、行动规划和可回放报告生成,提升医生-患者对话中的病历记录效率与前瞻性支持。
2026-03-18 cs.AI cs.CL
MultAttnAttrib: Training-Free Multimodal Attribution in Long Document Question Answering
提出无训练归因方法MultAttnAttrib,利用模型预填充、选定注意力头和校准阈值定位证据,并构建多模态归因基准MultAttrEval,实验表明其优于多种方法,匹配GPT 5.4且延迟降低至1/7。
2026-07-09 cs.AI cs.CL cs.CV
Cluster-based Adaptive Retrieval: Dynamic Context Selection for RAG Applications
University of Southern California(美国南加州大学)
针对RAG静态top-k检索无法适配不同查询需求的问题,提出基于聚类的自适应检索算法CAR,可动态选择最优检索文档数,在基准测试中表现优于固定基线,落地后显著降本增效并提升用户参与度。
2025-10-02 cs.AI cs.CL cs.IR
ESG Accountability Made Easy: DocQA at Your Service
IBM Research(IBM研究院);IBM Technology(IBM科技)
本文介绍Deep Search DocQA系统,通过融合计算机视觉、自然语言处理和大型语言模型,以对话问答方式帮助用户从超过10,000份ESG报告中高效提取信息。
2023-11-30 cs.AI cs.CL cs.CV
The Token Tax of Epistemic Accuracy: Comparing RAG and Long-Context Architectures for Document-Grounded Generative AI Applications
Miami University(迈阿密大学);University at Buffalo(布法罗大学)
研究比较RAG与长上下文提示两种架构在文档基础生成式AI中的认知准确性与成本权衡,发现长上下文虽准确率更高(73.1% vs 65.4%),但Token成本增加26倍。
2026-06-23 cs.AI cs.CL cs.CY