ARIA: Adaptive Retrieval Intelligence Assistant -- A Multimodal RAG Framework for Domain-Specific Engineering Education
Dalian University of Technology(大连理工大学);Johns Hopkins University(约翰霍普金斯大学)
ARIA通过多模态内容提取管道和e5-large-v2模型,实现领域特定工程教育的智能教学助手,展现高精度和教学一致性,验证了其在课程相关问题上的高准确率和响应质量。
2026-02-04 cs.CL cs.IR
Assessing Web Search Credibility and Response Groundedness in Chat Assistants
Faculty of Information Technology, Brno University of Technology(布拉格技术学院);Kempelen Institute of Intelligent Technologies(智能技术研究所);German Research Center for Artificial Intelligence (DFKI)(德国人工智能研究中心);Centre for European Research in Trusted AI (CERTAIN)(可信AI欧洲研究中心)
本文提出了一种评估聊天助手网页搜索可信度和响应基础性的新方法,通过对比多个助手在不同主题上的表现,揭示了其在事实核查中的差异。
2026-02-19 cs.CL
The Potential and Pitfalls of using a Large Language Model such as ChatGPT or GPT-4 as a Clinical Assistant
Pangaea Data Limited(泛大陆数据有限公司);Data Science Institute, Imperial College London(帝国理工学院数据科学研究所);Hong Kong University of Science and Technology(香港科技大学)
本文通过真实世界 EHR 患者识别和假设病例前瞻性诊断两项实验,评估 ChatGPT/GPT-4 的临床辅助能力,发现 GPT-4 表现优异但存在错误、过度医疗与隐私风险。
2023-07-16 cs.CL
Large Language Models as Misleading Assistants in Conversation
New York University(纽约大学);Yale University(耶鲁大学);OpenAI
本研究探讨LLMs在对话中作为助手时可能产生的误导性影响,通过对比真实与欺骗性助手的实验,发现GPT-4能显著降低任务准确率,并指出额外上下文可部分缓解此影响。
2024-07-16 cs.AI cs.CL cs.CY
Aalap: AI Assistant for Legal & Paralegal Functions in India
Thoughtworks Technologies India Pvt Ltd(Thoughtworks印度技术私人有限公司);Agami
针对法律领域使用专有LLM的挑战,提出微调Mistral 7B模型Aalap,在印度法律任务上优于或相当于gpt-3.5-turbo,侧重法律推理,助力法律从业者。
2024-01-30 cs.AI cs.CL cs.CY
GAIus: Combining Genai with Legal Clauses Retrieval for Knowledge-based Assistant
Faculty of Electronics and Information Technology(电子与信息技术学院)
本文提出基于认知LLM智能体的gAIus架构,通过可解释的法律条款检索机制结合《波兰民法典》知识,在波兰法律考试单选题上显著提升GPT系列模型表现。
2025-07-02 cs.AI cs.CL
Prompt-Based Cost-Effective Evaluation and Operation of ChatGPT as a Computer Programming Teaching Assistant
Department of Mathematics and Computer Science, Universitat de Barcelona(数学与计算机科学系,巴塞罗那大学)
本文研究将ChatGPT用作编程教学助手的可行性,评估GPT-3.5T和GPT-4T的反馈表现,提出基于提示和上下文学习的自动化评估方法,并给出实用学习工具的实现策略。
2025-05-04 cs.AI cs.CL cs.CY
Hallucination-Resistant, Domain-Specific Research Assistant with Self-Evaluation and Vector-Grounded Retrieval
CTO Office, Coherent Corporation(Coherent Corporation 技术总监办公室)
针对大语言模型在文献综述中存在幻觉与引用错误的问题,提出基于有限状态机和向量检索的模块化研究助手RA-FSM,在光子学领域六类任务上表现优于基线,可推广至其他科学领域。
2025-09-25 cs.AI cs.CL
Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants
EPFL(洛桑联邦理工学院)
该研究以脆弱性视角分析生成式AI对高等教育评估的挑战,通过EPFL 50门课程数据集评估GPT-3.5和GPT-4的答题能力,发现GPT-4表现优异,呼吁修订高等教育评估设计以应对AI带来的风险。
2024-11-27 cs.AI cs.CL cs.CY
Assistant-Guided Mitigation of Teacher Preference Bias in LLM-as-a-Judge
University of Science and Technology of China(中国科学技术大学);National University of Singapore(新加坡国立大学);Meta AI
本文针对LLM-as-a-Judge中代理评判模型学习教师模型偏好偏差的问题,提出引入无偏助手模型的三阶段去偏框架AGDe-Judge,在六个评估基准上验证了其有效降低偏差并保持性能的能力。
2025-09-18 cs.CL
Converting the Point of View of Messages Spoken to Virtual Assistants
Amazon Alexa(亚马逊 Alexa)
虚拟助手有时候会很直白。如果用户说“告诉Bob我爱他”,大多数虚拟助手会提取消息“我爱他”并将其发送给用户名为Bob的联系人,而不是将消息正确转换为“我爱你”。“我们设计了一个系统,允许虚拟助理从一个用户那里获取语音消息,转换消息的观点,然后将结果传递给目标用户。我们开发了一个基于规则的模型,它集成了线性文本分类模型,词性标注,选区分析与基于规则的转换方法。我们还研究了神经机器翻译(NMT)方法,包括LSTM、CopyNet和T5。我们探索了5个指标来自动衡量自然度和忠实度,我们选择使用BLEU加上METEOR来衡量忠实度,并使用单独训练的语言模型(GPT)来衡量自然度。Transformer-Copynet和T5在忠诚度指标上的表现相似,T5获得了轻微的优势,BLEU得分为63.8,METEOR得分为83.0。CopyNet是最自然的,相对复杂度为1.59。CopyNet的参数也比T5少37倍。我们已经公开发布了我们的数据集,该数据集由46,565个众包样本组成。
2020-10-08 cs.AI cs.CL
ToolTalk: Evaluating Tool-Usage in a Conversational Setting
Microsoft Corporation(微软公司)
本文提出ToolTalk基准,评估会话场景中LLM助手的多步工具使用能力,包含28个工具和7个插件,支持自动化评估,GPT-4成功率达50%。
2023-11-15 cs.AI cs.CL cs.LG
Server-side Rescoring of Spoken Entity-centric Knowledge Queries for Virtual Assistants
Apple(苹果公司)
本文研究虚拟助手富实体口语查询的服务器端LM重打分,融合端侧与服务器端信号及多模型,实现23%–35%的WER相对改善。
2023-11-02 cs.CL cs.SD eess.AS
CALYPSO: LLMs as Dungeon Masters' Assistants
University of Pennsylvania(宾夕法尼亚大学)
本文提出 CALYPSO 系统,利用 LLM 为《龙与地下城》的地下城主提供场景信息提炼与创意头脑风暴支持,在保持 DM 创作自主权的同时实现同步创造性协助。
2023-08-15 cs.CL cs.HC
Taramandal-GPT: Enhancing Astrodynamics Problem-Solving with Knowledge Retrieval and Structured Thinking
Sharda University(夏尔达大学)
针对大语言模型在天体动力学领域多步推理与符号操作能力不足的问题,提出基于Qwen3-8b的领域自适应框架Taramandal-GPT,结合检索增强生成与回退机制,在APBench基准上通过双重评估展现出竞争性能,尤其擅长思维密集型任务,为专业AI助手发展迈出一步。
2026-09-22 cs.AI cs.CL
Smarter, not Bigger: Fine-Tuned RAG-Enhanced LLMs for Automotive HIL Testing
Communication Systems Group CSG, Department of Informatics IfI, University of Zurich UZH, 8050 Zürich, Switzerland(苏黎世大学信息学院通信系统组);Volvo Car Corporation, 405 31 Göteborg, Sweden(沃尔沃汽车公司)
本文提出HIL-GPT,一种基于RAG的细调LLM系统,用于提升汽车HIL测试的效率与准确性,挑战了更大模型更优的传统观念。
2025-11-27 cs.CL
CONSCENDI: A Contrastive and Scenario-Guided Distillation Approach to Guardrail Models for Virtual Assistants
DynamoFL;Curai Health
本文提出 CONSCENDI,通过场景增强生成与对比样本构造训练数据并蒸馏到小型护栏模型,以提升虚拟助手输出合规性判别能力。
2024-04-03 cs.AI cs.CL cs.LG
Comparing large language models and human programmers for generating programming code
Columbia University(哥伦比亚大学);Duke University(杜克大学)
本研究系统评估了七种大型语言模型的代码生成能力,发现GPT-4在多种提示策略、语言和难度下显著优于其他模型,并在编码竞赛中胜过85%的人类参与者,代码效率与人类相当,显示出作为编程助手的潜力。
2024-10-05 cs.AI cs.CL cs.PL
Exploiting Novel GPT-4 APIs
FAR AI;McGill University(麦吉尔大学);MILA(MILA(魁北克人工智能研究所));Jagiellonian University(雅盖隆大学)
本文对 GPT-4 API 的微调、函数调用和知识检索功能开展红队测试,揭示少量数据微调、任意函数调用及文档指令注入等新型灰盒攻击风险。
2024-08-04 cs.AI cs.CL cs.CR
SPIEval: Evaluating Large Language Models as Mobile Assistants over Scattered Personal Information
Fudan University(复旦大学);Tencent Hunyuan Team(腾讯混元团队)
本研究推出基于五种认知能力的人工策划基准SPIEval,评估9种LLMs作为移动助手处理分散个人信息的能力,发现其准确率最高仅57.3%,存在信息定位等显著局限。
2026-08-12 cs.AI cs.CL
Ishigaki-IDS-Bench: A Benchmark for Generating Information Delivery Specification from BIM Information Requirements
ONESTRUCTION Inc.(ONESTRUCTION公司);AWS GenAI Innovation Center(AWS生成式人工智能创新中心)
本文提出Ishigaki-IDS-Bench基准,用于评估大型语言模型生成符合行业标准的XML信息交付规范(IDS)的能力,通过166个由BIM/IDS专家编写和验证的示例,结合内容一致性评估和结构审核,展示了当前LLM在生成满足IDS标准和IFC词汇约束的XML方面的局限性。
2026-08-26 cs.CL
Evaluating the Effects of Prompt Perturbation on Bias and Hallucination in Large Language Models
University of Canterbury(坎特伯雷大学);Unitec Institute of Technology(Unitec理工学院);AgResearch Ltd.(新西兰农业研究有限公司)
本研究评估提示扰动对大型语言模型在决策任务中偏见与幻觉的影响,发现扰动可缓解部分模型的问题,Claude 3表现优于GPT3.5,强调严格测试对可靠AI助手的重要性。
2026-09-30 cs.AI cs.CL cs.HC
Visual Instruction Tuning
University of Wisconsin–Madison(威斯康星大学麦迪逊分校);Microsoft Research(微软研究院);Columbia University(哥伦比亚大学)
针对多模态领域指令微调研究不足的问题,提出用仅语言GPT-4生成多模态指令数据,训练端到端多模态模型LLaVA,取得了接近GPT-4的效果并刷新Science QA基准,且公开相关资源。
2023-12-11 cs.AI cs.CL cs.CV
EngramaBench: Evaluating Long-Term Conversational Memory with Structured Graph Retrieval
本文提出EngramaBench基准测试,评估长期对话记忆系统在事实回忆、跨空间整合等任务中的表现,对比Engrama与GPT-4o和Mem0的性能差异。
2026-04-23 cs.AI cs.CL
Assessing Large Language Models in Mechanical Engineering Education: A Study on Mechanics-Focused Conceptual Understanding
University of Georgia(佐治亚大学);Tongji University(同济大学)
该研究用126道力学多选题评估GPT-3.5、GPT-4和Claude-2.1,发现GPT-4总体优于其他模型及人类群体,解释型提示能显著提升表现。
2024-01-13 cs.AI cs.CL physics.ed-ph
E3D-GPT: Enhanced 3D Visual Foundation for Medical Vision-Language Model
University of Science and Technology of China(中国科学技术大学);Suzhou Institute for Advanced Research, University of Science and Technology of China(中国科学技术大学苏州高等研究院);iFlytek Co.Ltd(科大讯飞股份有限公司);The First Affiliated of USTC, Anhui Provincial Hospital(中国科学技术大学附属第一医院(安徽省立医院))
本文提出E3D-GPT,通过自监督学习构建3D视觉基础模型并结合3D空间卷积降低计算复杂度,在报告生成、视觉问答和疾病诊断任务上优于现有方法。
2024-10-18 cs.CL cs.CV eess.IV
A Preliminary Study on a Conceptual Game Feature Generation and Recommendation System
BITS Pilani K.K. Birla Goa Campus(博拉理工学院K.K.比拉拉果阿校区);University of Malta(马耳他大学)
本研究提出一种基于文本提示生成游戏功能建议的系统,通过小型GLoVe模型提取相似游戏特征后经生成器输出新功能,实验显示微调GPT-2在部分游戏中优于人工设计,该系统可服务于概念级游戏设计辅助。
2023-08-16 cs.AI cs.CL cs.IR
Small Language Models for Curriculum-based Guidance
Copenhagen Business School(哥本哈根商学院);Hanken School of Economics(汉肯经济学院)
本研究将RAG流水线应用于开源小型语言模型构建AI教学助手,测试发现经恰当提示与定向检索的70-170亿参数SLM,教学回复准确性可匹配GPT-4o,且更低碳低成本、可离线运行,适用于教育机构规模化个性化学习。
2025-09-27 cs.AI cs.CL
Vision-Flan: Scaling Human-Labeled Tasks in Visual Instruction Tuning
Virginia Tech(弗吉尼亚理工大学);University of Michigan(密歇根大学);University of Washington(华盛顿大学);Amazon Inc.(亚马逊公司);Meta AI;Microsoft(微软公司)
针对VLM任务多样性不足及GPT-4合成数据存在偏差的问题,构建含187个任务的Vision-Flan数据集,并提出两阶段指令微调框架,显著提升多模态性能,发现少量GPT-4数据即可对齐人类偏好。
2024-02-18 cs.CL cs.CV