User Feedback in Human-LLM Dialogues: A Lens to Understand Users But Noisy as a Learning Signal
New York University（纽约大学）
该研究针对直接索要用户反馈干扰性强的问题，分析WildChat、LMSYS数据集里人机对话的隐式用户反馈，探究结合反馈内容能否提升模型性能，发现其在短问题上有效、长复杂问题上无效，明确了该反馈的潜力与局限。
2025-10-04 cs.CL
TICKing All the Boxes: Generated Checklists Improve LLM Evaluation and Generation
FLAIR, University of Oxford（牛津大学FLAIR）；Cohere；Centre for AI, University College London（伦敦大学学院AI中心）
本文提出 TICK 协议，利用 LLM 生成的指令专属检查清单实现可解释评估，显著提升 LLM 判断与人类偏好的一致性，并通过 STICK 自我精炼和 Best-of-N 选择在多个基准上改进生成质量。
2024-10-04 cs.AI cs.CL cs.HC
MindEdit-Bench: Benchmarking Object-Level Counterfactual Spatial Reasoning in VLMs from In-the-Wild Photos
ZODA；Zhejiang University（浙江大学）；Tongji University（同济大学）；The University of Tokyo（东京大学）
提出MindEdit-Bench基准，包含六项空间推理任务，其中两项新任务（L4和L5）测试对象级反事实推理，VLM平均准确率仅8%-31%，远低于人类的81%-97%。
2026-07-02 cs.AI cs.CL cs.CV
Quantifying the Utility of User Simulators for Building Collaborative LLM Assistants
UC Berkeley（加州大学伯克利分校）
本文通过实验评估用户模拟器的质量，发现基于细调模拟器训练的助手在真实人类交互中表现更优，且模拟器规模扩大对细调模拟器有效，但对角色扮演模拟器无帮助。
2026-05-10 cs.CL
How Well Do Agentic Skills Work in the Wild: Benchmarking LLM Skill Usage in Realistic Settings
UC Santa Barbara（加州大学圣塔芭芭拉分校）；MIT CSAIL（麻省理工学院计算机科学与人工智能实验室）；MIT-IBM Watson AI Lab（MIT-IBM沃森人工智能实验室）
本文研究了在更现实的环境下LLM技能的实用性，发现技能效果随环境复杂性增加而下降，通过查询特定的技能细化策略可恢复性能，实验在Terminal-Bench 2.0上提升了Claude Opus 4.6的通过率。
2026-04-06 cs.CL
Benchmarking Table Comprehension In The Wild
Boson AI（博森人工智能）；University of Toronto（多伦多大学）
针对现有表格问答基准脱离真实场景、技能考察单一的问题，本研究推出面向财务报告语境的TableQuest基准，测试7个主流大模型后发现其复杂推理与多步计算能力不足，并公开相关资源以推动领域研究。
2024-12-13 cs.CL
Large Language Models for Classical Chinese Poetry Translation: Benchmarking, Evaluating, and Improving
School of Computer Science and Technology, Harbin Institute of Technology（哈尔滨工业大学计算机科学与技术学院）；Pengcheng Laboratory（鹏城实验室）
本文构建中国古典诗歌翻译基准PoetMT并提出基于GPT-4的评估指标，进而设计检索增强机器翻译方法RAT，实验证明其在自动指标和人工评估上均优于现有方法。
2024-12-30 cs.AI cs.CL
WildVision: Evaluating Vision-Language Models in the Wild with Human Preferences
Allen Institute of AI（艾伦人工智能研究所）；University of Washington（华盛顿大学）；University of California, Santa Barbara（加州大学圣巴巴拉分校）；University of Waterloo（滑铁卢大学）
本文提出 WV-Arena 与 WV-Bench，通过真实人类偏好和 GPT-4 裁判评估 VLM，并揭示顶尖模型的能力短板与安全风险。
2024-06-16 cs.AI cs.CL cs.CV
Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing
University of Washington（华盛顿大学）；Allen Institute for AI（艾伦人工智能研究所）
针对对齐数据不公开、现有开源数据构建难扩展的问题，提出Magpie自合成方法，通过空提示从已对齐LLM生成高质量指令数据，实验证明其微调效果优于现有公开数据集，部分任务性能比肩官方对齐模型。
2024-10-07 cs.AI cs.CL
WildScore: Benchmarking MLLMs in-the-Wild Symbolic Music Reasoning
University of California, San Diego（加州大学圣地亚哥分校）
WildScore是首个用于评估多模态大语言模型在现实世界中符号音乐推理能力的基准测试，通过真实音乐作品和用户生成问题，系统性评估模型在音乐学分析中的表现。
2026-01-23 cs.CL cs.SD eess.AS
General Preference Reinforcement Learning
Stanford University（斯坦福大学）；The University of Oklahoma（俄克拉荷马大学）
本文提出通用偏好强化学习（GPRL），通过引入通用偏好模型（GPM）解决传统强化学习在开放任务中连续探索不足的问题，通过多维偏好比较提升模型性能。
2026-05-21 cs.CL cs.LG
WildGraphBench: Benchmarking GraphRAG with Wild-Source Corpora
University of Science and Technology of China（中国科学技术大学）；Metastone Technology（metastone技术公司）
WildGraphBench通过真实语料评估GraphRAG在长上下文和异构文档中的性能，揭示多事实聚合的局限性。
2026-02-03 cs.CL
Trust but Verify: Programmatic VLM Evaluation in the Wild
Salesforce AI Research（Salesforce AI研究院）
本文提出PROVE基准，利用场景图程序化验证开放式视觉问答，并统一评估VLMs响应的有用性与真实性，发现多数模型难以平衡二者。
2024-10-17 cs.AI cs.CV
Language Models that Think, Chat Better
Princeton Language and Intelligence（普林斯顿语言与智能研究所）；Princeton University（普林斯顿大学）
本文提出RLMT方法，将RLVR扩展至开放式任务，使语言模型生成长CoT推理，在多基准测试中优于RLHF，仅用少量提示训练的基础模型性能超多阶段后训练的指令微调模型
2026-08-18 cs.CL
RLBFF: Binary Flexible Feedback to bridge between Human Feedback & Verifiable Rewards
NVIDIA
RLBFF结合人类偏好与规则验证，提升奖励模型对响应质量的精准捕捉，优于Bradley-Terry模型，在RM-Bench和JudgeBench上取得优异成绩，且支持用户自定义反馈原则。
2026-05-17 cs.AI cs.CL cs.LG
The Garden of Forking Prompts: How Users Explore Narrative Space in Story Generation
University of Colorado Boulder（科罗拉多大学博尔德分校）；University of Georgia（佐治亚大学）；University of Washington（华盛顿大学）
本研究利用真实用户与聊天机器人的对话日志，构建了WildStories和WildEdits数据集，提出编辑类型框架，分析用户通过迭代编辑提示词探索叙事空间的行为，并展示了基于该框架的自动排列用于故事生成基准测试。
2026-09-15 cs.CL
RocketEval: Efficient Automated LLM Evaluation via Grading Checklist
City University of Hong Kong（香港城市大学）；Tencent Youtu Lab（腾讯优图实验室）；Harbin Institute of Technology Shenzhen（哈尔滨工业大学（深圳））
RocketEval提出用轻量级LLM结合实例特定清单评分实现高效自动化评估，在MT-Bench和WildBench上以Gemma-2-2B达到与GPT-4o相当的人类偏好相关性，并降低超50倍成本。
2025-03-07 cs.CL
WildSpeech-Bench: Benchmarking End-to-End SpeechLLMs in the Wild
Pattern Recognition Center, WeChat AI, Tencent Inc（模式识别中心、微信AI、腾讯公司）
针对现有语音大模型评估缺乏专用基准的问题，提出WildSpeech-Bench，首个系统评估端到端语音大模型在真实语音对话中性能的综合基准，并引入查询感知评估方法以提升评估准确性。
2025-09-26 cs.CL
Model-GLUE: Democratized LLM Scaling for A Large Model Zoo in the Wild
UMD（马里兰大学）；HKUST（香港科技大学）；CMU（卡内基梅隆大学）；UNC CH（北卡罗来纳大学教堂山分校）；UT Austin（德克萨斯大学奥斯汀分校）；Google（谷歌）；Rutgers University（罗格斯大学）
本文提出 Model-GLUE 扩展指南，通过基准评测、可合并模型聚类、最优合并选择与 model mixture 集成，在无需额外训练的情况下将多样化 Llama-2 模型库平均性能提升 5.61%。
2024-12-05 cs.AI cs.CL cs.LG
RealUserSim: Bridging the Reality Gap in Agent Benchmarking via Grounded User Simulation
Salesforce AI Research（Salesforce AI研究院）
本文提出RealUserSim，一种基于真实行为数据的用户模拟框架，通过提取大量真实人类与LLM对话数据，提升模拟用户与真实人类的匹配率，从而改进代理评估的准确性。
2026-04-07 cs.AI cs.HC
BOLT: Bootstrap Long Chain-of-Thought in Language Models without Distillation
Salesforce AI Research（Salesforce人工智能研究院）
本文提出 BOLT 方法，通过上下文学习引导、监督微调和在线训练三阶段，从标准指令模型出发，无需蒸馏 o1 类模型或人工标注即可赋予 LLM 长链思维推理能力，并在多个基准上验证了其有效性。
2025-02-06 cs.CL
Benchmarking Foundation Models for Zero-Shot Biometric Tasks
Department of Computer Science and Engineering（计算机科学与工程系）
本文提出了一个全面的基准测试，评估41个VLMs在人脸和虹膜等六项生物识别任务中的零样本和少样本性能，发现无需微调即可达到高TMR，并验证了预训练模型在通用人工智能中的潜力。
2025-05-30 cs.AI cs.CV
AlpsBench: An LLM Personalization Benchmark for Real-Dialogue Memorization and Preference Alignment
University of Science and Technology of China（科学技术大学）；National University of Singapore（新加坡国立大学）
AlpsBench通过真实人类与LLM对话数据构建，包含2500个长期交互序列及验证的记忆，评估个性化信息提取、更新、检索与利用等核心任务，揭示LLM在记忆管理中的局限性。
2026-05-11 cs.AI cs.CL
HINT3: Raising the bar for Intent Detection in the Wild
Jio Haptik（吉欧哈普蒂克）
现实世界中的意图检测系统面临着不平衡数据集的复杂性，这些数据集包含对意图的不同感知，非预期的相关性和特定领域的畸变。为了促进可以反映接近真实世界场景的基准测试，我们介绍了从不同领域的实时聊天机器人创建的3个新数据集。与大多数现有的众包数据集不同，我们的数据集包含聊天机器人接收的真实用户查询，并有助于惩罚在训练过程中掌握的不必要的相关性。我们评估了4个NLU平台和一个基于BERT的分类器，发现性能饱和在测试集上的水平不足，因为所有系统都锁定在训练数据中的非预期模式上。
2020-10-10 cs.CL
Earnings-22: A Practical Benchmark for Accents in the Wild
现代自动语音识别（ASR）系统在许多普通语料库上实现了超人的词出错率（WER），尽管缺乏足够的性能在语音上的野生。除此之外，缺乏真实世界的、有口音的语料库来正确地衡量学术和商业模型。为了确保这种类型的演讲在ASR基准测试中得到体现，我们提出了Earnings-22，这是一个125个文件，119小时的英语收入电话语料库，从全球公司收集。我们对4种商业型号进行了比较，显示了考虑原产国时性能的变化。看看假设transmittance，我们探讨常见的所有ASR系统测试的错误。通过研究单个单词出错率（IWER），我们发现关键语音特征对某些口音的影响比其他口音更大。Earnings-22提供了一个免费使用的真实世界的基准，重音音频桥梁学术和工业研究。
2022-03-29 cs.CL
Benchmarking Popular Classification Models' Robustness to Random and Targeted Corruptions
IBM Research（IBM研究公司（注：IBM Research通常译为“IBM研究”或“IBM研究院”，此处按机构级别提取到公司/研究院级别，IBM作为企业名称，Research为研究部门，整体属于公司类机构））
文本分类模型，特别是基于神经网络的模型，在许多流行的基准数据集上已经达到了非常高的精度。然而，这样的模型在部署到现实世界的应用程序中时，往往表现不佳。主要原因是这些模型没有针对足够的真实世界自然数据进行测试。根据应用程序用户的不同，模型输入的词汇和风格可能会有很大的不同。这强调了对模型不可知测试数据集的需求，该数据集由自然出现在野外的各种损坏组成。在这样的基准数据集上训练和测试的模型将对真实世界的数据更加强大。然而，这类数据集并不容易获得。在这项工作中，我们解决了这个问题，通过扩展基准数据集沿着自然发生的腐败，如拼写错误，文本噪音和同义词，并使它们公开。通过广泛的实验，我们比较随机和有针对性的腐败策略，使用本地可解释模型不可知推理（LIME）。我们报告了两个流行的文本分类模型中的漏洞，并发现在大多数情况下，有针对性的腐败可以比随机选择更好地暴露模型的漏洞。
2020-01-31 cs.CL
