Valley: Video Assistant with Large Language model Enhanced abilitY
ByteDance Inc.（字节跳动公司）；Fudan University（复旦大学）；East China Normal University（华东师范大学）
本文提出多模态基础模型Valley，通过构建视频对齐与指令数据集、结合ViT-L/14及三种时序建模模块和两阶段训练，增强视频理解与指令遵循能力。
2025-03-17 cs.AI cs.CL cs.CV
VoiceBench: Benchmarking LLM-Based Voice Assistants
National University of Singapore（新加坡国立大学）
针对现有语音助手评估基准缺失、忽略真实复杂场景的问题，研究推出首个多维度评估基准VoiceBench，含覆盖三类真实变异的真实与合成语音指令，实验揭示现有模型局限并提供研发方向。
2024-12-11 cs.AI cs.CL cs.SD
LiveClawBench: Benchmarking LLM Agents on Complex, Real-World Assistant Tasks
Samsung Research（三星研究院）；HKUST (Guangzhou)（香港科技大学（广州））；Peking University（北京大学）；City University of Hong Kong（香港城市大学）
本文提出LiveClawBench基准，通过三轴复杂性框架评估LLM代理在真实世界助理任务中的表现，涵盖环境复杂性、认知需求和运行时适应性，为未来扩展提供基础。
2026-06-29 cs.AI cs.CL cs.LG
GigaPevt: Multimodal Medical Assistant
Sber AI Lab（Sber AI实验室）
本文提出首个多模态医疗助手GigaPevt，通过结合大语言模型对话能力与专业医疗模型，有效缓解数据模态稀缺问题，在问答任务中准确率提升1.18%。
2024-07-30 cs.AI cs.CL cs.HC
OmniGAIA: Towards Native Omni-Modal AI Agents
Renmin University of China（中国人民大学）；Xiaohongshu Inc.（小红书公司）；Peking University（北京大学）；Southeast University（东南大学）；Tsinghua University（清华大学）
提出OmniGAIA基准和OmniAtlas代理，通过全模态事件图和后见引导树探索策略，实现跨视频、音频和图像的深度推理与工具使用。
2026-07-03 cs.AI cs.CL cs.CV
D-Rax: Domain-specific Radiologic assistant leveraging multi-modal data and eXpert model predictions
George Washington University（乔治·华盛顿大学）；Universidad Politécnica de Madrid（马德里理工大学）；Children’s National Hospital（儿童国家医院）；Nvidia Corporation（英伟达公司）
本文提出领域专用放射学助手D-Rax，通过微调LLaVA-Med并结合MIMIC-CXR数据、VQA对及多专家模型预测，提升胸部X光对话分析的准确性，以辅助临床诊断。
2024-08-02 cs.AI cs.CL cs.LG
An EcoSage Assistant: Towards Building A Multimodal Plant Care Dialogue Assistant
Indian Institute of Technology Patna（印度理工学院巴特那分校）；University of Liverpool（利物浦大学）
本文首次构建植物养护对话助手，提出约1K对话的Plantational数据集，并开发多模态框架EcoSage，通过基准测试与门控适配器模态融合提升植物养护对话生成能力。
2024-01-10 cs.AI cs.CL
AMemGym: Interactive Memory Benchmarking for Assistants in Long-Horizon Conversations
The Hong Kong University of Science and Technology（香港科技大学）；Meituan（美团）
AMemGym通过交互式环境实现长时对话中助手的内存管理优化，揭示现有内存系统性能差距并推动策略自我进化。
2026-03-02 cs.AI cs.CL
TRUEBench: Can LLM Response Meet Real-world Constraints as Productivity Assistant?
Samsung Research（三星研究院）
本文提出 TRUEBench，通过 12 种语言、显隐式约束及多轮对话场景评估 LLM 生产力助手的真实指令遵循能力，实验显示强模型通过率仍有限。
2025-09-24 cs.AI cs.CL
ELITR-Bench: A Meeting Assistant Benchmark for Long-Context Language Models
NAVER LABS Europe（NAVER欧洲实验室）
该研究提出面向长上下文大语言模型的会议助手基准ELITR-Bench，基于ELITR语料构建带噪转录文本与人工问答数据，实验验证多代模型进展并分析GPT-4评估的局限性。
2025-01-17 cs.AI cs.CL cs.LG
GAIA: a benchmark for General AI Assistants
FAIR, Meta（FAIR，元公司）；HuggingFace；AutoGPT；GenAI, Meta（GenAI，元公司）
提出通用AI助手基准GAIA，包含466个需推理、多模态和工具使用的现实问题，人类得分92%远超GPT-4的15%，强调AGI需具备人类级鲁棒性。
2023-11-21 cs.AI cs.CL
Auto-SLURP: A Benchmark Dataset for Evaluating Multi-Agent Frameworks in Smart Personal Assistant
GEB Tech（GEB科技）；Ningbo Institute of Digital Twin, EIT, Ningbo（宁波数字孪生研究院）
为填补多智能体框架评估基准的空白，本文提出Auto-SLURP基准数据集，通过扩展SLURP并集成模拟服务器实现端到端评估，实验表明当前最先进框架仍面临重大挑战。
2025-04-25 cs.CL
Benchmarking General Mobile Assistants in Challenging Real-World Scenarios
Tsinghua University（清华大学）；Alibaba Group（阿里巴巴集团）；Institute for AI Industry Research (AIR), Tsinghua University（清华大学人工智能产业研究院（AIR））
该研究提出名为GMA的移动助手基准，涵盖七个应用与300个不同难度任务，评估八个前沿模型发现其性能随任务复杂度提升而下降，还证实合适的智能体控制设计可显著提升性能。
2026-08-31 cs.AI cs.CV
PhoStream: Benchmarking Real-World Streaming for Omnimodal Assistants in Mobile Scenarios
CUHK MMLab（CUHK 多模态实验室）；Huawei Research（华为研究）；City University of Hong Kong（城市大学）；Shanghai Jiao Tong University（上海交通大学）
PhoStream是首个面向移动场景的多模态助手实时流基准测试，通过统一屏幕内外场景评估视频、音频和时间推理能力，揭示了大语言模型在决定何时发言上的局限性。
2026-01-30 cs.CL cs.CV
MoRA: On-the-fly Molecule-aware Low-Rank Adaptation Framework for LLM-based Multi-Modal Molecular Assistant
MoRA提出为每个输入分子即时生成独特的低秩适应权重并动态注入冻结的LLM，实现实例特定参数空间对齐，在化学反应预测和分子描述等任务上优于静态适应方法，同时避免灾难性遗忘。
2025-10-14 cs.AI cs.LG
How Does Personalized Memory Shape LLM Behavior? Benchmarking Rational Preference Utilization in Personalized Assistants
Renmin University of China（中国人民大学）；Huawei Technologies Ltd.（华为技术有限公司）
本研究提出RPEval基准，通过分析个性化记忆对LLM行为的影响，引入RP-Reasoner方法，有效缓解非理性个性化问题。
2026-01-23 cs.CL
MuPPET: A Benchmark for Contextual Privacy of LLM Assistants in Multi-Party Conversations
Parameter Lab（参数实验室）；University of Rome Tor Vergata（罗马第二大学）；University of Oxford（牛津大学）；NAVER AI Lab（NAVER AI实验室）；KAIST AI（韩国科学技术院人工智能研究所）
提出MuPPET基准，评估多用户对话中LLM代理的隐私泄露风险，发现模型在多用户场景下泄露更严重，现有防御措施效果有限。
2026-06-23 cs.AI cs.CL
DeepTest Tool Competition 2026: Benchmarking an LLM-Based Automotive Assistant
BMW Group（宝马集团）；Technical University of Munich（慕尼黑技术大学）
本文总结了2026年首次大型语言模型测试竞赛的结果，评估了四个工具在识别汽车手册中警告信息失败输入方面的有效性。
2026-04-14 cs.AI
VideoGAIA: A Benchmark for General AI Assistants on Agentic Video Understanding
The Chinese University of Hong Kong（香港中文大学）；Ant Group（蚂蚁集团）；Tsinghua University（清华大学）；Tongji University（同济大学）；The Hong Kong University of Science and Technology（香港科技大学）
VideoGAIA是面向通用AI助手的智能体视频理解基准，构建多轮工具增强交互任务，现有MLLMs在其上准确率不足60%，可评估下一代模型并推动相关转型。
2026-08-18 cs.CL cs.CV
VoiceAssistant-Eval: Benchmarking AI Assistants across Listening, Speaking, and Viewing
CUHK MMLab（香港中文大学多媒体实验室）；SenseTime Research（商汤科技研究院）；CPII under InnoHK（创新香港下的CPII）
本文提出 VoiceAssistant-Eval 多模态语音助手基准，覆盖听、说、看 13 类任务，并评测 21 个开源模型与 GPT-4o-Audio，揭示开源、小模型潜力及音频理解、多模态与安全短板。
2025-09-26 cs.AI cs.CL cs.CV
Mobile-Agent-v2: Mobile Device Operation Assistant with Effective Navigation via Multi-Agent Collaboration
Beijing Jiaotong University（北京交通大学）；Alibaba Group（阿里巴巴集团）
针对移动设备操作任务中的导航挑战，提出多智能体架构Mobile-Agent-v2，通过规划、决策和反思三个智能体及记忆单元，显著提升了任务完成率。
2024-06-03 cs.CL cs.CV
GISA: A Benchmark for General Information-Seeking Assistant
Renmin University of China（中国人民大学）；Kuaishou Technology（快手科技）
GISA是一个针对通用信息检索助手的基准测试，包含373个人工设计的查询，旨在评估信息检索任务中深度推理与信息聚合的能力。
2026-02-13 cs.AI cs.CL cs.IR
MultiVox: A Benchmark for Evaluating Voice Assistants for Multimodal Interactions
University of Maryland, College Park（马里兰大学 College Park 分校）
MultiVox是首个评估语音助手整合口语与视觉线索及副语言特征能力的基准，含1000个对话，测试显示现有模型在上下文理解上表现不佳。
2025-09-25 cs.CL cs.HC cs.MM
APM-Bench: Benchmarking Cross-session Persistent Memory for Egocentric Streaming Video Assistants
Shanghai Jiao Tong University（上海交通大学）；Eastern Institute of Technology, Ningbo（宁波东方理工大学）；Shenzhen Institutes of Advanced Technology, Chinese Academy of Sciences（中国科学院深圳先进技术研究院）；Zhongguancun Academy（中关村学院）；Dalian University of Technology（大连理工大学）；Beihang University（北京航空航天大学）；Hong Kong Polytechnic University（香港理工大学）
APM-Bench提出多会话生活轨迹基准，评估流式视频助手在间歇交互中的持久记忆，揭示效用-延迟-存储权衡，推动实用记忆系统开发。
2026-10-14 cs.CV
MAviS: A Multimodal Conversational Assistant For Avian Species
Mohamed bin Zayed University of Artificial Intelligence（穆罕默德·本·扎耶德人工智能大学）
本文提出MAviS数据集和MAviS-Chat模型，通过整合图像、音频和文本信息，提升对鸟类物种的细粒度理解与多模态问答能力，并展示了在生态应用中领域适应的多模态大语言模型的重要性。
2026-06-04 cs.AI cs.CV
CURATe: Benchmarking Personalised Alignment of Conversational AI Assistants
University of Oxford（牛津大学）；Stellenbosch University（斯泰伦博斯大学）；Foerster Lab for AI Research (FLAIR)（福斯特人工智能研究实验室）
本文提出评估基于LLM的AI助手个性化对齐的多轮基准CURATe，发现现有模型在处理安全关键上下文时存在系统性偏差，而提示考虑安全上下文能显著提升性能。
2025-01-30 cs.AI cs.HC
CFBenchmark: Chinese Financial Assistant Benchmark for Large Language Model
Tongji University（同济大学）；Shanghai Artificial Intelligence Laboratory（上海人工智能实验室）
本研究推出面向大语言模型的中文金融助手基准CFBenchmark，基础版含8项任务覆盖三类能力，实验显示现有模型在金融文本基础任务上仍有提升空间，后续将开发高级版。
2024-05-21 cs.CL
Aligning VLM Assistants with Personalized Situated Cognition
School of Computer Science, Wuhan University（武汉大学计算机学院）；Zhongguancun Academy（中关村学院）
本文针对不同背景用户对VLM助手的个性化期望，提出基于角色集刻画个体并通过行动评估对齐，构建PCogAlignBench基准和认知感知、基于行动的奖励模型框架PCogAlign，实验验证其可靠性与有效性。
2025-06-01 cs.AI cs.CL
Building Egocentric Procedural AI Assistant: Methods, Benchmarks, and Challenges
Department of EEE（电子工程系）；The Hong Kong Polytechnic University（香港理工大学）；RayNeo；Tsinghua University（清华大学）；Huazhong University of Science and Technology（华中科技大学）；Nanyang Technological University（南洋理工大学）
本文提出第一人称程序化AI助手，探讨其核心任务、赋能维度及挑战，通过实验评估现有方法并指明未来研究方向。
2026-02-09 cs.CV
Towards Harmless Multimodal Assistants with Blind Preference Optimization
The Hong Kong Polytechnic University（香港理工大学）；Wuhan University（武汉大学）；Harbin Institute of Technology (Shenzhen)（哈尔滨工业大学（深圳））
针对多模态大语言模型安全对齐缺乏偏好数据的问题，本文构建 MMSafe-PO 数据集并提出 BPO 方法，显著提升安全性且具有跨基准鲁棒性。
2025-03-18 cs.CL cs.CV
TeleEgo: Benchmarking Egocentric AI Assistants in the Wild
Institute of Artificial Intelligence (TeleAI), China Telecom（人工智能研究院（TeleAI），中国电信）
TeleEgo是一个用于评估第一人称AI助手在真实场景中多模态处理能力的基准测试，通过长持续时间流媒体数据和严格评估指标，推动未来具有更强流媒体记忆能力的助手发展。
2025-12-10 cs.CV
$S^3$-Bench: Evaluating Speech Interaction Models as Scientific Voice Assistants
Shanghai Jiao Tong University（上海交通大学）；Ant Group（蚂蚁集团）；Tongji University（同济大学）
本文提出S$^3$-Bench，一个覆盖10个学科的系统评估框架，通过知识集和对话集分解语音交互阶段，揭示科学语音助手在术语处理、多轮适应及响应质量上的挑战与权衡。
2026-09-10 cs.CL
Otter: A Multi-Modal Model with In-Context Instruction Tuning
Nanyang Technological University（南洋理工大学）；Microsoft Research（微软研究院）
本文提出 Otter 多模态模型及 MIMIC-IT 数据集，通过文本与视觉上下文中示例进行指令微调，提升模型在复杂视频和多图像理解任务中的收敛、泛化与表现。
2025-07-28 cs.CL cs.CV
Evaluation-as-Search: Adaptive Discovery of Grounding Failures in Meeting Assistants
Microsoft（微软公司）
本文提出EaS方法构建MeetingProbe基准，发现会议助手故障多源于话语语用挑战，其自适应搜索比随机探测的故障发现率高2.5倍，且公开了该基准以支持可复现评估。
2026-08-24 cs.AI cs.CL
MMIU: Dataset for Visual Intent Understanding in Multimodal Assistants
Apple（苹果公司）
在多模态助理中，视觉也是输入模态之一，用户意图的识别成为一项具有挑战性的任务，因为视觉输入会影响结果。当前的数字助理获取语音输入，并尝试从会话或设备上下文确定用户意图。因此，包括视觉输入（即针对多模态助理用例的相应问题的图像或视频）的数据集并不容易获得。可视化问答和可视化问题生成的研究是一个很大的进步。然而，他们没有捕捉到一个有视觉能力的人会问多模态助手的问题。而且，很多时候问题并不从外部知识中寻求信息。在本文中，我们提供了一个新的数据集MMIU（MultiModal Intent Understanding），它包含了人类注释者在查看图像时提供的问题和相应的意图。然后，我们使用该数据集进行多模态数字助理中的意图分类任务。我们还尝试了各种方法，结合视觉和语言功能，包括使用多模态Transformer的图像问题对分类成14个意图。我们提供了基准测试结果，并讨论了视觉和文本特征在我们数据集上的意图分类任务中的作用。
2021-10-31 cs.CV cs.LG
$π$-Bench: Evaluating Proactive Personal Assistant Agents in Long-Horizon Workflows
Shanghai Jiao Tong University（上海交通大学）；Shanghai AI Laboratory（上海人工智能实验室）；Fudan University（复旦大学）；University of Science and Technology of China（中国科学技术大学）；Peking University（北京大学）；Nanjing University（南京大学）；Zhejiang University（浙江大学）；Tongji University（同济大学）；Soochow University（苏州大学）；The Chinese University of Hong Kong（香港中文大学）
本文提出$π$-Bench基准，用于评估个人助理代理在长周期工作流中的主动协助能力，通过100个多轮任务和5种特定领域用户角色，验证代理在未明确表达意图前识别和执行隐藏意图的能力，揭示主动协助的挑战及前期交互对后续任务的重要性。
2026-05-19 cs.AI
LifeSim: Long-Horizon User Life Simulator for Personalized Assistant Evaluation
LifeSim通过BDI模型模拟用户认知，生成连贯生活轨迹，提出LifeSim-Eval基准评估多场景长周期个性化协助，揭示LLMs在隐性意图和长期偏好建模上的不足。
2026-03-12 cs.CL
SPIEval: Evaluating Large Language Models as Mobile Assistants over Scattered Personal Information
Fudan University（复旦大学）；Tencent Hunyuan Team（腾讯混元团队）
本研究推出基于五种认知能力的人工策划基准SPIEval，评估9种LLMs作为移动助手处理分散个人信息的能力，发现其准确率最高仅57.3%，存在信息定位等显著局限。
2026-08-12 cs.AI cs.CL
WearVox: An Egocentric Multichannel Voice Assistant Benchmark for Wearables
Meta；Carnegie Mellon University（卡内基梅隆大学）
WearVox是一个面向可穿戴设备的多通道语音助手基准测试平台，通过真实场景下的多通道音频数据评估语音助手性能，揭示了环境噪声对模型表现的影响。
2025-12-25 cs.CL cs.SD eess.AS
CAD-Assistant: Tool-Augmented VLLMs as Generic CAD Task Solvers
SnT, University of Luxembourg（斯诺特研究所，卢森堡大学）；Artec3D, Luxembourg（Artec3D，卢森堡）
提出CAD-Assistant通用CAD智能体，以VLLM为规划器结合CAD专用工具，通过Python API在FreeCAD上迭代执行动作，评估命令影响并调整后续操作，在基准上优于基线和特定方法，展示通用求解潜力。
2025-08-26 cs.AI cs.CV cs.LG
Personalized Large Language Model Assistant with Evolving Conditional Memory
The Hong Kong Polytechnic University（香港理工大学）；INF Technology (Shanghai) co., Ltd.（INF科技（上海）有限公司）；Institute of Artificial Intelligence, Soochow University, China（苏州大学人工智能研究院）
本文提出一个即插即用的框架，通过演化条件记忆机制保存用户历史对话知识，实现个性化大语言模型助手，并构建首个评估基准验证了其有效性。
2024-10-13 cs.AI cs.CL
SimulatorArena: Are User Simulators Reliable Proxies for Multi-Turn Evaluation of AI Assistants?
Georgia Institute of Technology（佐治亚理工学院）；Microsoft（微软）
本文提出SimulatorArena基准，评估LLM用户模拟器作为AI助手多轮评估代理的可靠性，发现基于用户画像的模拟器与人类判断高度一致（ρ=0.7），为大规模自动化评估提供了可行方案。
2025-10-08 cs.CL
Safety for Whom? Benchmarking Understanding Beyond Refusal in Egocentric Multimodal Assistants
Graduate School of Data Science, Seoul National University（首尔国立大学数据科学研究生院）
该研究针对以自我为中心的多模态助手，构建含2902个查询的STOU基准，解耦安全理解与弃权行为，发现模型弃权率随伤害目标变化且常识别伤害仍协助，表明安全对齐需考虑受伤害者。
2026-10-14 cs.AI cs.HC
Affordable AI Assistants with Knowledge Graph of Thoughts
ETH Zurich（苏黎世联邦理工学院）；Cledar（Cledar公司）；IDEAS Research Institute（IDEAS研究所）
针对大语言模型驱动的AI助手成本高、复杂任务成功率低的问题，提出融合大模型推理与动态知识图谱的KGoT架构，借助外部工具迭代增强知识表示，在多个基准测试中实现性能提升与成本大幅下降。
2025-10-01 cs.AI cs.CL cs.IR
OmniInteract: Benchmarking Real-World Streaming Interaction for Real-Time Omnimodal Assistants
CUHK MMLab（香港中文大学多模态实验室）；SJTU（上海交通大学）；NTU（国立新加坡大学）；McMaster（麦马斯特大学）；CityUHK（香港城市大学）；JUFE（吉林大学）
提出OmniInteract基准，通过在线推理音视频流评估全模态大模型的实时交互能力，发现现有模型在流式交互中表现薄弱。
2026-05-26 cs.CL cs.CV
EvoGenUI-Bench: Evaluating LLMs as Multi-Turn Generative UI Assistants
New York University Shanghai（上海纽约大学）
本文提出EvoGenUI-Bench多轮生成式UI评估基准，发现现有8个大型语言模型在该基准上轮次通过率最高74.9%、五轮回合完成率仅37.3%，且工具接地任务的跨轮次保留率更低，揭示生成式UI需关注多轮状态同步问题。
2026-09-09 cs.AI cs.SE
Generating Natural Questions from Images for Multimodal Assistants
Apple（苹果公司）
从图像中生成自然、多样和有意义的问题是多模态助理的一项重要任务，因为它可以确认他们是否正确理解了图像中的对象和场景。可视化问答和可视化问题生成的研究是一个很大的进步。然而，这项研究并没有捕捉到视觉能力正常的人会问多模态助手的问题。最近发布的数据集，如KB-VQA，FVQA和OK-VQA，试图收集问题，寻找外部知识，使它们适合多模态助理。然而，它们仍然包含许多人类通常不会问数字助理的明显和常识性问题。在本文中，我们提供了一个新的基准数据集，其中包含由人类注释者生成的问题，并记住他们会向多模态数字助理提出什么问题。几十万幅图像的大规模注释是昂贵和耗时的，所以我们也提出了一种有效的方法，自动生成问题，从看不见的图像。在本文中，我们提出了一种方法，用于生成考虑图像内容和图像元数据（例如，位置、关联关键字）。我们使用BLEU、METEOR、ROUGE和CIDER等标准评估指标来评估我们的方法，以显示生成的问题与人类提供的问题的相关性。我们还使用生成强度和创造性指标来衡量生成问题的多样性。我们报告关于公众和我们的数据集的最新结果。
2020-11-17 cs.AI cs.CL cs.CV
Fewer Clarifications, Better Code: Benchmarking Cross-Session Personalized Ambiguity Adaptation in Coding Assistants
该研究提出个性化歧义适应新任务，构建CAPA评测基准，评估12个LLM在有无用户历史下的表现，提出同用户历史门控方法，助力开发减少重复澄清的长期编码助手。
2026-07-30 cs.AI cs.HC
Claw-Anything: Benchmarking Always-On Personal Assistants with Broader Access to User's Digital World
Beijing Institute of Technology（北京理工大学）；Huawei Technologies Co., Ltd（华为技术有限公司）；Peking University（北京大学）；Institute of Automation, Chinese Academy of Sciences（中国科学院自动化研究所）
提出Claw-Anything基准测试，通过扩展长期活动历史、相互依赖的后端服务以及跨多设备的GUI和CLI交互三个维度，评估大型语言模型代理在始终在线环境下的性能，发现GPT-5.5仅达34.5% pass@1，并发布自动化数据生成管道提升基线模型23.7%。
2026-05-25 cs.AI
AI Assistants Overassist
Stanford University（斯坦福大学）；University of California, San Diego（加利福尼亚大学圣地亚哥分校）；University of Washington（华盛顿大学）
研究探讨大语言模型作导师时，其干预方式对学习的影响。介绍Int-Bench基准，模拟学生解题、教师决定干预。在多领域评估大语言模型教师干预情况，并与人类对比，发现其干预频繁且倾向提供完整方案，表明为短期成功而非深层学习优化。
2026-07-24 cs.AI cs.CL cs.CY
PACEShop: Evaluating Personalized, Actionable, Compositional, and Evidence-grounded Shopping Assistants
Amazon（亚马逊）；Northeastern University（东北大学）；Expedia（亿客行）
针对现有购物助手评估基准未覆盖结构化回复联合评估目标的问题，提出 PACE 评估框架，构建含 22625 条记录的 PACEShop 基准数据集和 PACEJudge 协议，验证任务匹配输出契约对评估的重要性。
2026-08-28 cs.AI cs.CL
SWE-Journey: Towards More Realistic Evaluation of Coding Assistants through Long-Horizon, Multi-Turn Interaction
Tencent Hy AI Data（腾讯Hy AI数据）；Beijing Zhongguancun Academy（北京中关村学院）
SWE-Journey是用于更真实评估代码助手的基准，通过弱到强合成流水线构建长周期编码任务、用户模拟智能体复现真实交互，发现当前代码助手与非编程人员交互时功能测试通过率不足25%，关键能力为正确提问、查找与修复。
2026-10-09 cs.AI cs.CL cs.MA
Conv-to-Bench: Evaluating Language Models Via User-Assistant Dialogues In Code Tasks
Institute of Mathematics and Computer Science, University of São Paulo（圣保罗大学数学与计算机科学学院）；Institute of Informatics, Federal University of Goiás（戈亚斯联邦大学信息学院）；HUG Labs（HUG实验室）；Advanced Knowledge Center for Immersive Technologies (AKCIT)（沉浸式技术高级知识中心）
提出Conv-to-Bench框架，自动将多轮用户-助手对话转化为结构化需求清单，用于评估大语言模型，在编程领域与人工标准高度一致且计算开销低。
2026-04-07 cs.CL cs.SE
SQ-LLaVA: Self-Questioning for Large Vision-Language Assistant
Rochester Institute of Technology（罗切斯特理工学院）；Salesforce AI Research（Salesforce AI研究院）
针对视觉-语言模型中视觉编码器与大语言模型跨模态对齐的瓶颈，该研究提出SQ-LLaVA框架，通过自监督学习让模型学会基于图像生成高质量问题，提升泛化视觉理解能力，在高质量指令数据微调下性能优于传统方法。
2024-07-15 cs.AI cs.CL cs.CV
