语言大模型 / LLM

InFerActive: Interactive Tree-Based Exploration of LLM Sampling for Safety Evaluation

InFerActive: 基于交互式树的安全评估中LLM采样探索

Junhyeong Hwangbo, Soohyun Lee, Hyeon Jeon, Kyochul Jang, Minsoo Cheong, Youngjae Yu, Jinwook Seo

机构 * Seoul National University（首尔国立大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出InFerActive系统，通过广度优先采样构建可导航短语树，提升LLM安全评估中低概率有害输出的覆盖率和效率，相比随机采样减少5倍样本量。

Comments v2: Revised version

Anchoring LLM Gender Bias to Human Baselines: A Cross-Lingual Audit

将LLM性别偏见锚定人类基线：跨语言审计

Jiwoo Choi, Seonwoo Ahn, Tongxin Zhang, Seohyon Jung

机构 * School of Digital Humanities and Computational Social Sciences, KAIST, South Korea（数字人文与计算社会科学学院，韩国韩国科学技术院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 通过HEXACO-100人格量表，跨英语、韩语、中文和日语审计六种大语言模型的性别刻板印象，发现其偏见幅度是人类跨国差异的2.5倍，并引入四模式框架（一致性、抑制、重组、放大）描述跨语言行为。

*-PLUIE: Personalisable metric with Llm Used for Improved Evaluation

*-PLUIE：使用大语言模型改进评估的可个性化度量

Quentin Lemesle, Léane Jourdan, Daisy Munson, Pierre Alain, Jonathan Chevelu, Arnaud Delhay, Damien Lolive

机构 * Univ Rennes, CNRS, IRISA, EXPRESSION（里尔大学、法国国家科学研究中心、IRISA、EXPRESSION） ； Nantes Université, École Centrale Nantes, CNRS, LS2N, UMR 6004（南特大学、南特中央理工学院、法国国家科学研究中心、LS2N、UMR 6004） ； Univ Rennes, CNRS, IRISA, SOTERN（里尔大学、法国国家科学研究中心、IRISA、SOTERN） ； Univ of South Brittany, CNRS, IRISA, ARCHIMEDIA（布列塔尼南部大学、法国国家科学研究中心、IRISA、ARCHIMEDIA） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；prompting(abstract)；分类 cs.CL

AI总结 提出*-PLUIE，一种基于困惑度的可个性化LLM评判度量，通过任务特定提示变体实现与人类判断的更强相关性，同时保持低计算成本。

Comments Accepted at *SEM 2026

SciIntBench: Measuring LLM Compliance with Research Integrity Norms Under Adversarial Framing

SciIntBench: 衡量大语言模型在对抗性框架下对科研诚信规范的遵从度

Almene De Meran Meguimtsop, Maria Leonor Pacheco, Daniel E. Acuna

机构 * Department of Computer Science University of Colorado Boulder（计算机科学系，科罗拉多大学博尔德分校） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 提出SciIntBench对抗性基准，通过810个提示评估16个LLM在10个RCR类别中的框架敏感拒绝与帮助行为，发现模型对显性不当行为拒绝可靠，但对隐性违规（尤其是压力驱动的捷径）拒绝不足。

AttuneBench: A Conversation-Based Benchmark for LLM Emotional Intelligence

AttuneBench: 基于对话的LLM情商基准测试

Kate M. Lubrano, Faisal Sayed, Ankita Rathod, Akshansh, Craver Corbyn Thomas-Smith, Mark E. Whiting, Karina Nguyen

机构 * Pareto ； Thoughtful ； University of Pennsylvania（宾夕法尼亚大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 提出AttuneBench基准，基于200个真实多轮人机对话，评估LLM在情绪识别、行为分类、偏好预测和响应质量等方面的情商能力，发现这些能力相互独立且偏好对齐和响应质量更具区分性。

Comments v2: Updated def_18 and def_20 supplemental figures to cover all 11 evaluated models (previously 9). Removed redundant supplemental figures. Corrected select captions (color descriptions, chance baselines, figure-content mismatches). No changes to experimental results, numerical claims, or conclusions

InsightEval: An Expert-Curated Benchmark for Assessing Insight Discovery in LLM-Driven Data Agents

InsightEval：用于评估LLM驱动数据代理洞察发现能力的专家策划基准

Zhenghao Zhu, Yuanfeng Song, Xin Chen, Chengzhong Liu, Yakun Cui, Caleb Chen Cao, Sirui Han, Yike Guo

机构 * The Hong Kong University of Science and Technology（香港理工大学） ； ByteDance（字节跳动） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对现有洞察发现基准InsightBench的缺陷，提出数据整理流程构建新基准InsightEval，并引入新指标衡量代理的探索性能。

Qiskit QuantumKatas: Adapting Microsoft's Quantum Computing exercises for LLM evaluation

Qiskit QuantumKatas: 为LLM评估改编微软的量子计算练习

Juan Cruz-Benito, Ismael Faro

机构 * IBM Research（IBM研究院） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.AI

AI总结 本文将微软的QuantumKatas量子计算课程从Q#移植到Qiskit，并构建评估框架，用于系统评估大型语言模型在量子计算任务上的能力。

Stop Comparing LLM Agents Without Disclosing the Harness

停止比较 LLM Agent 而不公开其执行框架

Yunbei Zhang, Janet Wang, Yingqiang Ge, Weijie Xu, Jihun Hamm, Chandan K. Reddy

机构 * Tulane University（Tulane 大学） ； Rutgers University（Rutgers 大学） ； Independent Researcher（独立研究者） ； Virginia Tech（弗吉尼亚理工大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；language model(abstract)；分类 cs.AI

AI总结 本文论证在长周期任务中，Agent 执行框架（Harness）比底层模型更能决定性能，并提出框架感知的评估标准与方差分解协议。

From Isolated Scoring to Collaborative Ranking: A Comparison-Native Framework for LLM-Based Paper Evaluation

从孤立评分到协作排名：一种基于LLM的论文评估比较原生框架

Pujun Zheng, Jiacheng Yao, Jinquan Zheng, Chenyang Gu, Guoxiu He, Jiawei Liu, Yong Huang, Tianrui Guo, Wei Lu

机构 * School of Economics and Management, East China Normal University（东华大学经济管理学院） ； School of Information Management, Wuhan University（武汉大学信息管理学院） ； China Academic Degrees & Graduate Education Development Center（中国学位与研究生教育发展中心） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文提出CNPE框架，通过整合比较机制于数据构建和模型学习，提升论文评估的相对质量判断，实验显示比DeepReview-14B平均提升21.8%。

Comments Accepted at Findings of ACL 2026

Can Revealed Preferences Clarify LLM Alignment and Steering?

揭示偏好能否澄清大语言模型对齐与引导？

Khurram Yamin, Jingjing Tang, Eric Horvitz, Bryan Wilder

机构 * Carnegie Mellon University（卡内基梅隆大学） ； Microsoft Research（微软研究院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；prompting(abstract)；分类 cs.LG

AI总结 本文提出一种经验方法，通过估计LLM在决策任务中的隐含偏好，评估模型是否一致地追求目标，是否能描述其目标，以及提示是否能可靠引导策略。

MiniAppBench: Evaluating the Shift from Text to Interactive HTML Responses in LLM-Powered Assistants

MiniAppBench：评估从文本到交互式HTML响应的转变

Zuhao Zhang, Chengyue Yu, Yuante Li, Chenyi Zhuang, Linjian Mo, Shuai Li

机构 * Shanghai Jiao Tong University, Shanghai, China（上海交通大学） ； Carnegie Mellon University, Pittsburgh, PA, USA（卡内基梅隆大学） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 本文提出MiniAppBench，首个评估原理驱动交互应用生成能力的基准，通过10M+生成数据提炼500个任务，结合MiniAppEval框架评估意图、静态和动态维度，揭示LLM在生成高质量交互应用上的不足。

Beyond Static Snapshots: A Grounded Evaluation Framework for Language Models at the Agentic Frontier

超越静态快照：语言模型在代理前沿的 grounded 评估框架

Jazmia Henry

机构 * University of Oxford（牛津大学） 纠错

专题命中 评测与基准 ：language model(title,abstract)；RLHF(abstract,abstract_cn)；LLM(abstract_cn)；large language model(abstract)

AI总结 本文提出 grounded continuous evaluation 框架，通过 deterministic verifier 和 CPU 更新 LoRA adapters，解决 reward hacking 和硬件限制问题，并在多个架构和领域验证其有效性。

Comments Submitted for consideration to NeurIPS 2026

Addressing Data Scarcity in Bangla Fake News Detection: An LLM-Based Dataset Augmentation Approach

缓解孟加拉语虚假新闻检测中的数据稀缺问题：一种基于大语言模型的数据集增强方法

Ahmed Alfey Sani, Kazi Akib Zaoad, Shefayat E Shams Adib, Md Abdul Muqtadir, Ajwad Abrar

机构 * Islamic University of Technology（伊斯兰科技大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出基于大语言模型的数据集增强框架，通过生成合成新闻文章提升孟加拉语虚假新闻分类性能，实验表明高增益率随机采样可将F1分数提升至0.88，同时公开发布4545个合成样本以支持低资源领域研究。

Comments Accepted in 15th ACM ICSCA, 2026 in Langkawi, Malaysia

Semantic Layers for Reliable LLM-Powered Data Analytics: A Paired Benchmark of Accuracy and Hallucination Across Three Frontier Models

语义层用于可靠的LLM驱动数据分析：在三个前沿模型上准确性和幻觉的配对基准测试

Michael Rumiantsau, Ivan Fokeev

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文通过在三个前沿LLM上测试语义层对自然语言查询准确性的影响，发现添加语义描述可显著提升性能，且模型选择对结果影响较小。

Implicit Humanization in Everyday LLM Moral Judgments

日常LLM道德判断中的隐性人性化

Hoda Ayad, Tanu Mitra

机构 * University of Washington（华盛顿大学） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 研究探讨了日常LLM在道德判断中隐性人性化倾向的影响，通过分析四个主流LLM的响应，发现其强化了隐性人性化假设，可能加剧过度依赖或信任风险，呼吁未来研究需考虑用户侧隐性人性化并设计解决方案。

Comments 6 pages, 3 figures, Published in CHIIR '26

Journal ref Proceedings of the 2026 Conference on Human Information Interaction and Retrieval (CHIIR '26), pages 497-502, 2026

OmniVoice: Towards Omnilingual Zero-Shot Text-to-Speech with Diffusion Language Models

OmniVoice：迈向多语言零样本文本到语音的扩散语言模型

Han Zhu, Lingxuan Ye, Wei Kang, Zengwei Yao, Liyong Guo, Fangjun Kuang, Zhifeng Han, Weiji Zhuang, Long Lin, Daniel Povey

机构 * Xiaomi Corp.（小米公司） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；language model(title,abstract)；分类 cs.CL

AI总结 OmniVoice是一种支持600多种语言的零样本文本到语音模型，采用新型非自回归架构直接将文本映射到多代码本音频标记，通过全代码本随机掩码策略和预训练LLM初始化提升性能。

TurboEvolve: Towards Fast and Robust LLM-Driven Program Evolution

TurboEvolve：迈向快速且稳健的LLM驱动程序进化

Yang Yang, Zining Zhong, Jindong Li, Jiemin Wu, Kaishen Yuan, Wenshuo Chen, Menglin Yang, Yutao Yue

机构 * Artificial Intelligence Thrust, Hong Kong University of Science and Technology (Guangzhou)（香港科学与技术大学（广州）人工智能方向） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；prompting(abstract)；分类 cs.AI

AI总结 TurboEvolve通过多岛屿进化框架提升样本效率和鲁棒性，在固定评估预算下实现更可靠的程序进化进展。

Comments 12 pages, 8 figures

BIASEDTALES-ML: A Multilingual Dataset for Analyzing Narrative Attribute Distributions in LLM-Generated Stories

BIASEDTALES-ML：一个多语言数据集用于分析LLM生成故事中的叙述属性分布

Yuxuan Ouyang, yingfeng luo, JingBo Zhu, Tong Xiao

机构 * School of Computer Science and Engineering, Northeastern University, Shenyang, China（东北大学计算机科学与工程学院，中国沈阳） ； NiuTrans Research, Shenyang, China（NiuTrans研究院，中国沈阳） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本文提出BiasedTales-ML数据集，通过多语言生成分析叙述属性分布，揭示跨语言生成模式的差异，强调英语中心评估的局限性。

Comments Accepted to ACL 2026 Findings. Data are available at https://huggingface.co/spaces/Linyuana/BIASEDTALES-ML

LLM-Based Automated Diagnosis Of Integration Test Failures At Google

基于LLM的谷歌集成测试故障自动诊断

Celal Ziftci, Ray Liu, Spencer Greene, Livio Dalloro

机构 * GoogleUSA（美国谷歌） 纠错

专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI

AI总结 本文提出Auto-Diagnose工具，利用LLM高效诊断集成测试故障，通过分析日志生成摘要并集成至代码审查系统，实验证明其高准确率和用户认可。

Privacy Guard & Token Parsimony by Prompt and Context Handling and LLM Routing

通过提示和上下文处理及LLM路由实现隐私保护与令牌节约

Alessio Langiu

机构 * National Research Council of Italy - Institute of Marine Sciences (CNR-ISMAR)（意大利国家研究委员会海洋科学研究所（CNR-ISMAR）） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；small language model(abstract)

AI总结 本文提出隐私守护机制，结合上下文管理和LLM路由，通过自动提示优化减少云服务成本和敏感信息泄露风险，实验证明在隐私保护与成本节约之间取得平衡。

MiniGPT-Pancreas: Multimodal Large Language Model for Pancreas Cancer Classification and Detection

Andrea Moglia, Elia Clement Nastasio, Luca Mainardi, Pietro Cerveri

机构 * Department of Electronics, Information, and Bioengineering（电子、信息与生物工程系） ； Polytechnic University of Milan（米兰理工学院） ； Department of Industrial, and Information Engineering（工业与信息工程系） ； University of Pavia（帕维亚大学） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.AI

Journal ref Moglia, A., Nastasio, E.C., Mainardi, L. et al. MiniGPT-Pancreas: Multimodal Large Language Model for Pancreas Cancer Observation and Localization in CT Images. J Healthc Inform Res (2025)

A Survey on LLM Mid-Training

Chengying Tu, Xuemiao Zhang, Rongxiang Weng, Rumei Li, Chen Zhang, Yang Bai, Hongfei Yan, Jingang Wang, Xunliang Cai

机构 * Peking University（北京大学） ； Meituan（美团） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

Improve LLM-as-a-Judge Ability as a General Ability

Jiachen Yu, Shaoning Sun, Xiaohui Hu, Jiaxu Yan, Kaidong Yu, Xuelong Li

机构 * Tsinghua Shenzhen International Graduate School, Tsinghua University（清华大学深圳国际研究生院，清华大学） ； Institute of Artificial Intelligence, China Telecom (TeleAI)（中国电信人工智能研究院（TeleAI）） ； Institute of Computing Technology, Chinese Academy of Sciences（中国科学院计算技术研究所） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；SFT(abstract)

Decoding Alignment: A Critical Survey of LLM Development Initiatives through Value-setting and Data-centric Lens

Ilias Chalkidis

机构 * Department of Computer Science, University of Copenhagen（哥本哈根大学计算机科学系） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；post-training(abstract)

Comments This is a working paper and will be updated with new information or corrections based on community feedback

When Scale Meets Diversity: Evaluating Language Models on Fine-Grained Multilingual Claim Verification

Hanna Shcharbakova, Tatiana Anikina, Natalia Skachkova, Josef van Genabith

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；small language model(abstract)

Comments Published at the FEVER Workshop, ACL 2025

A Survey of Large Language Models in Discipline-specific Research: Challenges, Methods and Opportunities

Lu Xiang, Yang Zhao, Yaping Zhang, Chengqing Zong

机构 * State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences（多模态人工智能系统国家重点实验室，自动化研究所，中国科学院） 纠错

专题命中 评测与基准 ：large language model(title,abstract)；language model(title,abstract)；分类 cs.CL

Journal ref Lu XIANG, Yang ZHAO, Yaping ZHANG, Chengqing ZONG, "A Survey of Large Language Models in Discipline-specific Research: Challenges, Methods and Opportunities", Studies in Informatics and Control, ISSN 1220-1766, vol. 34(1), pp. 5-24, 2025

LLM-based HSE Compliance Assessment: Benchmark, Performance, and Advancements

Jianwei Wang, Mengqi Wang, Yinsi Zhou, Zhenchang Xing, Qing Liu, Xiwei Xu, Wenjie Zhang, Liming Zhu

机构 * University of New South Wales（新南威尔士大学） ； Data61, CSIRO 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；foundation model(abstract)

THaMES: An End-to-End Tool for Hallucination Mitigation and Evaluation in Large Language Models

Mengfei Liang, Archish Arun, Zekun Wu, Cristian Munoz, Jonathan Lutch, Emre Kazim, Adriano Koshiyama, Philip Treleaven

专题命中 评测与基准 ：language model(title,abstract)；large language model(title,abstract)；分类 cs.CL

Comments NeurIPS 2024 SoLaR (Socially Responsible Language Modelling Research ) Workshop

Journal ref NeurIPS Workshop on Socially Responsible Language Modelling Research 2024

SWE-InfraBench: Evaluating Language Models on Cloud Infrastructure Code

SWE-InfraBench：评估语言模型在云基础设施代码上的表现

Natalia Tarasova, Enrique Balp-Straffon, Aleksei Iancheruk, Yevhenii Sielskyi, Nikita Kozodoi, Liam H. Byrne, Jack Butler, Dayuan Jiang, Marcin Czelej, Andrew Ang, Yash Shah, Roi Blanco, Sergei Ivanov

专题命中 评测与基准 ：language model(title,abstract)；LLM(summary_cn,abstract_cn)；large language model(abstract)

AI总结 提出SWE-InfraBench基准，通过AWS CDK仓库中的真实代码修改任务评估LLM在云基础设施即代码（IaC）上的能力，发现当前最先进模型成功率仅34%。

Comments Accepted to NeurIPS 2025 Workshop on Evaluating the Evolving LLM Lifecycle

An Agentic Approach for Active Data Collection, Travel Behavior Modeling, and Weather-Sensitive Demand Prediction

一种用于主动数据收集、出行行为建模及天气敏感需求预测的智能体方法

Narges Ahmadi, Yubo Jiao, Jônatas Augusto Manzolli, Jiangbo Yu, Luis Miranda-Moreno

机构 * McGill University（麦吉尔大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)；prompting(abstract)

AI总结 本研究提出三智能体工作流，结合对话式调查、传统建模与多模态LLM预测，基于学生通勤数据实现天气敏感出行需求预测，视觉配置模型准确率达71.5%