语言大模型 / LLM

RELIANCE: Curating and Evaluating Reproductive Health Information on Social Media

RELIANCE: 策展与评估社交媒体上的生殖健康信息

Vaibhav Balloli, Laura Peyton Ellis, Vishala Mishra, Alice Chi, Alex Peahl, Elizabeth Bondi-Kelly

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 针对TikTok上孕期和产后健康信息，构建专家标注数据集RELIANCE，评估LLM事实核查能力，发现近60%信息准确，但整体与具体声明评估存在15%差距。

Comments Accepted at Datasets and Benchmarks Track, ACM Knowledge Discovery and Data Mining (KDD) 2026. Project page: https://realize-lab.github.io/RELIANCE/

AttackonCTF: Defending Hardware Security Competition Benchmarks in the Age of LLMs

AttackonCTF: 在LLM时代捍卫硬件安全竞赛基准

Mohamadreza Rostami, Nikhilesh Singh, Stephen Muttathil, Lichao Wu, Chen Chen, Huimin Li, Jeyavijayan Rajendran, Ahmad-Reza Sadeghi

专题命中 评测与基准 ：LLM(title_cn,summary_cn)

AI总结 针对LLM利用语法比较破解硬件安全竞赛基准的问题，提出首个面向LLM的语义保持混淆框架，将检测准确率降低78.6%，恢复基准可靠性。

Cross-Dataset Bloom Question Classification: Supervised Models and Prompted LLMs

跨数据集布鲁姆问题分类：监督模型与提示式大语言模型

Abdolali Faraji, Mohammadreza Molavi, Zohreh Rasoulkhani, Mohammadreza Tavakoli, Gábor Kismihók

机构 * Leibniz Information Centre for Science and Technology（莱比锡信息科学与技术研究中心） ； University of Genoa（热那亚大学） 纠错

专题命中 评测与基准 ：LLM(summary_cn,abstract)；prompting(abstract)；分类 cs.CL、cs.AI、cs.LG

AI总结 评估监督ML/DL模型和LLM在跨数据集布鲁姆分类中的泛化能力，发现LLM更稳定，并基于最佳提示策略开发了轻量级UI。

Comments Accepted at AIED 2026. Abdolali Faraji and Mohammadreza Molavi contributed equally to this work

How Seemingly Inconsequential Design Choices Dictate Performance of LLMs in Pathology

看似无关紧要的设计选择如何决定病理学中LLM的性能

Kian R. Weihrauch, Thomas A. Buckley, William Lotter, Arjun K. Manrai

机构 * Massachusetts Institute of Technology（麻省理工学院） ； Harvard Medical School（哈佛医学院） ； Dana-Farber Cancer Institute（丹娜-法伯癌症研究所） 纠错

专题命中 评测与基准 ：LLM(title_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 通过系统因子分析发现，调整补丁大小、放大倍数等输入配置可使通用大语言模型在病理切片任务上性能大幅提升，缩小与专用模型的差距。

Writing Better Software Explanations: A Guideline-Based Approach

编写更好的软件解释：一种基于指南的方法

Martin Obaidi, Jean-Carl Kremser, Hannah Deters, Jakob Droste, Marc Herrmann, Kurt Schneider

专题命中 评测与基准 ：LLM(summary_cn,abstract)；large language model(abstract)；language model(abstract)

AI总结 提出一种结合LLM生成与质量指南的软件解释编写工具，通过生成、检查、迭代修订流程提升效率和质量，实验表明工具支持的解释满意度显著高于纯人工编写。

Comments This paper has been accepted at the research track of the 34th IEEE International Requirements Engineering Conference (RE 2026)

Decomposition Attacks Across Unlinkable Identities: Limits of Stateful Defenses for LLM Services

跨不可链接身份的分解攻击：大语言模型服务的有状态防御的局限性

Bowen Sun, Zhengyue Zhao, Xiaogeng Liu, Yinzhi Cao, Chaowei Xiao

专题命中 评测与基准 ：LLM(title,abstract_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 本文研究发现，针对跨不可链接身份的分解攻击，现有有状态防御策略在攻击者可重试学习时无法有效阻止攻击，需引入身份链接等额外分组相关机制。

Evolving Executable Pipeline Programs for AutoML with Language Models

用语言模型演化用于自动机器学习的可执行流水线程序

Sofoklis Kitharidis, Cor J. Veenman, Jan N. van Rijn, Thomas Bäck, Niki van Stein

专题命中 评测与基准 ：language model(title,abstract)；large language model(abstract)；foundation model(abstract)；分类 cs.LG

AI总结 LACE是首个以代码形式构建通用表格型AutoML的框架，用语言模型演化可执行流水线，在68个OpenML分类任务上表现优异，其核心贡献是提供可直接复用的代码级搜索空间。

Beyond Tokens: A Survey on Decoding Methods for Large Language and Vision-Language Models

超越令牌：大型语言与视觉-语言模型的解码方法综述

Haoran Wang, Xiongxiao Xu, Philip S. Yu, Kai Shu

机构 * Emory University（埃默里大学） ； Illinois Institute of Technology（伊利诺伊理工大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） 纠错

专题命中 评测与基准 ：language model(title,abstract)；LLM(abstract)；large language model(abstract)；分类 cs.CL

AI总结 该综述针对LLMs与LVLMs，梳理其解码方法的三种新兴范式，强调解码方法在确保模型输出与用户意图一致上的高效性，同时指出挑战并展望未来方向。

Comments ACM SIGKDD Explorations Newsletter, Volume 28, Issue 1

Beyond Local Accuracy: A Protocol-Level Identifiability Audit for Controlled LLM Reasoning Evaluation

超越局部准确率：面向受控大语言模型推理评估的协议级可识别性审计

Junhao Luo, Ning Huang, Ziqi Sha, Wenxuan Tang, Wei Deng

机构 * School of Statistics and Data Science, Southwestern University of Finance and Economics（西南财经大学统计与数据科学学院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 该研究提出协议级可识别性审计方法，无需调用模型即可验证LLM评估协议的有效性，发现基础准确率与选择性响应保真度存在显著差异，还确定了冻结策略类的最小识别支持。

Comments 15 pages, 9 figures. Ning Huang, Ziqi Sha, and Wenxuan Tang contributed equally as second authors. Wei Deng is the corresponding author

The Judge Knows When It Knows: Calibrated Abstention for LLM-Based A/B-Test Prediction

法官知道自己何时知晓：基于大语言模型的A/B测试预测的校准弃权（不执行）

Tyler Dooskin, Squoosh Technical Staff

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 该研究探究多模态LLM能否仅通过网页截图预测A/B测试结果，发现Gemini 3 Flash法官表现不佳，提出投票边际关卡隔离置信判断可提升性能，还在人类中重现了共识与真实结果脱节的现象，并发布了相关研究资源。

Comments 15 pages. Pre-registered experimental program with a public, tiered claims ledger; includes powered negative results, a label-validity audit, a cross-judge shared-prior measurement (n_eff ~ 2 of 16 votes), and a first-party 15-expert human baseline. Pre-registrations, statistical harness, human responses, and the full experiment ledger are released

Experience-Sensitive Game Learning: A Behavioral Study of Humans and Language Agents

经验敏感型游戏学习：人类与语言智能体的行为研究

Yingying Guo, Zhuoxuan Ju, Ruibo Ming, Ruicheng Feng, Jinjin Gu

专题命中 评测与基准 ：language agent(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究构建经验敏感型游戏学习框架，通过交互式游戏及相关指标分析人类与自进化语言智能体的游戏决策行为，发现人类会稳定转向全局策略，而自进化智能体的行为转变仍有局限。

Big, Bright, or Invisible: A Frozen-Feature Benchmark of 3D CT Foundation Models

大的、明亮的还是不可见的：3D CT基础模型的冻结特征基准测试

Maulik Chevli, Johannes Brandt, Rickmer Braren, Daniel Rueckert, Philip Müller

机构 * Technical University of Munich (TUM)（慕尼黑工业大学（TUM）） ； TUM University Hospital（慕尼黑工业大学医院） ； Imperial College London（伦敦帝国理工学院） ； Munich Center for Machine Learning (MCML)（慕尼黑机器学习中心） ； UKE Hamburg（汉堡大学医院） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；pretraining(abstract)；prompting(abstract)；分类 cs.AI

AI总结 本研究对10个冻结CT编码器开展基准测试，发现性能主要取决于异常的对比度与空间范围，小型低对比度病变仍是挑战，需区域或病变级预训练。

Evaluation Pitfalls and Sparsity Limitations in LLM-based Confidence Estimates for Classification

基于大语言模型的分类置信度估计中的评估缺陷与稀疏性限制

Elena Merdjanovska, Omar Zaidan, Andreas Rücklé

机构 * Humboldt-Universität zu Berlin（柏林洪堡大学） ； Amazon（亚马逊公司） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.CL

AI总结 该研究指出 LLM 分类置信度估计中 verbalization 方法存在稀疏性缺陷，AUARC 评估的插值选择会影响排名，提出 verbalization logprobs 方法可解决稀疏性并提升 AUARC 且无额外推理成本。

Comments Published at Findings of ACL 2026

Journal ref Findings of the Association for Computational Linguistics: ACL 2026, pages 33424-33435

BanglaWild: An In-the-Wild Bengali Scene Text Recognition Benchmark for OCR and Vision-Language Models

BanglaWild：面向OCR和视觉-语言模型的野外孟加拉语场景文本识别基准

Sadab Shiper, Tawsif Tashwar Dipto, Mir Md Inzamam, Eshat Tanzeem

专题命中 评测与基准 ：language model(title)；LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL

AI总结 研究发现现有孟加拉语场景文本识别基准的不足，推出含2535张图像的BanglaWild基准，评估15个VLMs和3个OCR系统等，揭示视觉误识别为主要错误来源等结论，代码数据将公开。

Getting the Parameters Right: A Difficulty-Graded Benchmark and Probe-Guided Training for LLM Tool Calls

参数优化：面向大语言模型工具调用的难度分级基准与探测引导训练

Guoyao Yu, Xiaoqing Sun, Ziqi Huang, Shaojing Fan, Zhongyi Zhang, Xiaomeng Hu, Xiaobo Xue, Yangyang Shi, Xiong Xiao, Yang Song, Biao Lyu, Rong Wen, Xing Li, Qinming He, Shunming Zhu, Zhenguang Liu

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 针对大语言模型工具调用参数填写关注度不足的问题，提出含PBT和PGR的探测引导框架，发布ParamBench基准，使5个开放模型在多基准上的参数生成平均精确匹配率从19.7%升至59.6%。

Comments 15 pages, 8 figures

ParEvalLayer: When Partial LLM-Agent Evaluations Support a Decision

ParEvalLayer：当部分大语言模型智能体评估支持决策时

Wei-Jung Huang, Bonan Shen

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 该研究提出ParEvalLayer决策层，可基于部分任务结果判断LLM智能体比较结论，部分基准仅需15%-25%任务结果即可得出与完整评估一致的决策。

Comments Accepted at the 2026 ACM International Conference on AI-ML Systems (AIMLSystems)

From Profiling to Synthesis: Benchmarking Implicit Behavioral Alignment in Personalized LLM Agents

从分析到综合：个性化大语言模型智能体中的隐式行为对齐基准测试

Jiajia Song, Bobo Li, Haiwen Yi, Zibo Ji, Meishan Zhang, Hao Fei, Min Zhang, Mong-Li Lee, Wynne Hsu

机构 * National University of Singapore（新加坡国立大学） ； University of Toronto（多伦多大学） ； University of Minnesota Twin Cities（明尼苏达大学双城分校） ； Harbin Institute of Technology, Shenzhen（哈尔滨工业大学（深圳）） ； University of Oxford（牛津大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 该研究针对大语言模型智能体的个性化问题，构建了IBA-Bench基准，提出IBA-Agent框架，实验显示其可在九类场景中提升隐式行为对齐效果，但有效个性化仍是重大挑战。

Can LLM Agents Price Competitively? A Dynamic Multi-Attribute Auction Benchmark for Agentic Commerce

大语言模型智能体能否进行竞争性定价？面向智能体商务的动态多属性拍卖基准

Shimaa Ahmed, Yiwei Cai, Mohsen Minaei, Rahul Rachuri

机构 * Visa Research（维萨研究院） 纠错

专题命中 评测与基准 ：LLM(title,summary_cn)；分类 cs.AI

AI总结 本研究推出动态多属性拍卖基准Bazaar，测试11个前沿LLM智能体的定价能力，发现其在客户获取与利润表现上存在差异，需求冲击下排名变化，最强智能体仅获不到三分之一最优利润，显示仍有提升空间。

SIREN: Towards End-to-End Extreme-Weather Early Warning with Experience-Grounded LLM Agents

SIREN：借助基于经验的大语言模型智能体实现端到端极端天气预警

Hang Ni, Weijia Zhang, Fan Liu, Mengqian Lu, Hao Liu

机构 * The Hong Kong University of Science and Technology (Guangzhou)（香港科技大学（广州）） ； The Hong Kong University of Science and Technology（香港科技大学） ； The World Sustainable Development Institute（世界可持续发展研究所） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究借助大语言模型智能体实现端到端极端天气预警。开发了包含多任务问答实例的SIREN-Bench基准，发现现有框架差距后，构建基于经验的SIREN框架，结合多种技术，实验证明其在预警程序和预警链上优于基线。

AssumptionMiner: Extracting, Tracing, and Revising Implicit Assumptions in LLM Code Generation

假设挖掘器：在大语言模型代码生成中提取、追踪和修正隐式假设

Jie "JW" Wu

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究LLMs代码生成中隐式假设问题，提出AssumptionMiner框架，能生成显式假设层并实现针对性代码再生。通过新基准测试评估，结果显示该框架提升了代码生成的透明度与可控性。

Comments 20 pages, 6 figures, 9 tables. Submitted to IEEE Transactions on Software Engineering. Replication package: https://doi.org/10.5281/zenodo.21535058

ParBench: A Benchmark for Reliable Evaluation of LLM Parallel Code Translation

ParBench：用于可靠评估大语言模型并行代码翻译的基准测试

Samyak Jhaveri, Erel Kaplan, Tom Yotam, Le Chen, Tomer Bitan, Niranjan Hasabnis, Gal Oren

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究针对大语言模型并行代码翻译缺乏可靠评估方法的问题，提出ParBench基准框架，通过声明性规范评估，涵盖多开源套件与跨API翻译方向，经源增强测试，揭示了当前并行代码翻译存在的如方向不对称等障碍。

Comments 57 pages, 22 figures, 11 tables; includes appendices

Hybrid LLM-Guided Search for Quantum Reservoir Architecture Design

用于量子储层架构设计的混合大语言模型引导搜索

Krishna Bhatia, Gautami Sanjay Naik

机构 * QuantumAI Lab, Fractal Analytics India（量子AI实验室，Fractal Analytics印度） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究量子储层计算架构设计问题，提出基于模拟器的基准测试\method，比较五种策略，其中\hybrid策略表现出色，在多任务中优于随机搜索，证明生成模型嵌入混合搜索循环可作高级控制器。

Comments 4 pages, 2 figures, 3 tables

Confidently Wrong: Detecting Hallucinations in Financial Question Answering from LLM Internal States

自信地犯错：从大语言模型内部状态中检测金融问答中的幻觉

Richard Zhe Wang

机构 * St. John Fisher University（圣约翰费舍尔大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 研究金融应用中LLMs自信却错误答案（自信幻觉）的检测，通过在残差流训练线性探测器并在FinQA和TAT-QA基准评估，发现探测器检测幻觉优势明显，可作为经济高效分类机制用于高风险金融应用答案审查。

Comments 8 pages, 2 figures

Minionese: Comprehensive Benchmark and Mechanistic Study of Multilingual LLM Safety

Minionese：多语言大语言模型安全性的综合基准测试与机理研究

Chigozirim Ifebi, Brent Kong, Ayushi Mehrotra

机构 * California Institute of Technology（加州理工学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究多语言大语言模型安全对齐问题，引入涵盖多种语言、资源层级和扰动类型的Minionese基准测试及几何机理分析，发现不同攻击类型漏洞特征不同，指出仅英语安全评估不足，需考虑多因素。

Scalable and Culturally Specific Stereotype Dataset Construction via Human-LLM Collaboration

通过人机协作构建可扩展的特定文化刻板印象数据集

Weicheng Ma, John Guerrerio, Soroush Vosoughi

机构 * Dartmouth（达特茅斯学院） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.CL

AI总结 针对大语言模型刻板印象研究多集中于英语语境的问题，引入人机协作标注框架构建西班牙语刻板印象数据集EspanStereo，验证框架有效性，揭示各国刻板行为差异，该框架可扩展用于多语言，拓宽了刻板印象分析范围并奠定跨文化偏见评估基础。

Comments Weicheng Ma, John Guerrerio: equal contribution; published in EMNLP 2025 Main

LLM-Driven Neural Network Generation with Same-Family Architecture Guidance: Disentangling Transfer and Adaptation

基于同家族架构指导的大语言模型驱动神经网络生成：区分迁移与适应

Kabir Dev Paul Baghel, Radu Timofte, Dmitry Ignatov

机构 * University of Würzburg（维尔茨堡大学） ； Computer Vision Lab, CAIDAS（计算机视觉实验室，CAIDAS） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.LG

AI总结 研究利用同家族强源模型改进弱目标模型，提出源引导候选生成协议，在CIFAR - 10和SVHN AlexNet等数据集上实验，结果表明该协议能显著提高准确性，且大语言模型是适应性改进而非复制，家族级分析有积极信号。

Comments 10 pages, 1 figure, 14 tables

HAS-Bench: Evaluating LLM-Based Human-Agent Systems under Configurable Human Participation

HAS-Bench：在可配置人类参与下评估基于大语言模型的人机系统

Yaozu Wu, Wei-Chieh Huang, Jizhou Guo, Dongyuan Li, Renhe Jiang, Henry Peng Zou, Chunyu Miao, Shanghao Li, Weizhi Zhang, WeiWei Ye, Yankai Chen, Meng Zhang, Xue Liu, Philip S. Yu

机构 * The University of Tokyo（东京大学） ； University of Illinois Chicago（伊利诺伊大学芝加哥分校） ； MBZUAI ； McGill University（麦吉尔大学） ； Zhejiang University（浙江大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 介绍基于图的HAS-Framework框架，在此基础上HAS-Bench在多方面可配置人类参与下评估人机系统，测量任务结果与协作行为，实验表明人类参与可提升任务完成等，但收益取决于参与方式等。

Benchmarking API Drift in LLM-Generated Quantum Code Across Successive SDK Versions

跨连续软件开发工具包版本对大语言模型生成的量子代码中的 API 漂移进行基准测试

Mohammad Arif Rasyidi, Syahirul Faiz

机构 * Department of Computer Science（计算机科学系） ； Khalifa University（卡利法大学） 纠错

专题命中 评测与基准 ：LLM(title,abstract)；large language model(abstract)；language model(abstract)；分类 cs.AI

AI总结 研究大语言模型生成的量子代码能否可靠适配特定 SDK 版本（API 漂移问题），引入量子 API 漂移基准，以 Qiskit 为例评估 17 个模型，揭示版本对齐是量子代码生成评估新维度及 API 漂移恢复情况。

A Text-Steerable Instrument for Sketching Procedural Soundscapes via Language Models

一种通过语言模型驱动文本可操控的草图式程序化声景乐器

Prabal Gupta

机构 * Rama Labs（Rama实验室） 纠错

专题命中 评测与基准 ：language model(title)；LLM(abstract,abstract_cn)；prompting(abstract)；分类 cs.CL

AI总结 提出一种实时音乐界面，将自然语言场景描述转化为可演化的程序化声景，通过直接参数调整实现细粒度控制，并采用三种可互换后端生成连贯音频流。

Comments 10 pages, 7 figures, 2 tables. Accepted to the International Conference on New Interfaces for Musical Expression (NIME 2026), London, UK. Supplementary material included as an appendix. Code and demo: https://github.com/prabal-rje/latentscore

CLOUDADV: Decision-Aligned Instance Sizing with Zero-Shot Foundation Models under Drift

CLOUDADV: 漂移下基于零样本基础模型的决策对齐实例大小调整

Jack Bell, Giacomo Carfi, Gerlando Gramaglia, Andrea Simioni, Daniele Fontani, Vincenzo Lomonaco

机构 * University of Pisa（比萨大学） ； Independent Researcher（独立研究员） ； Sintra Consulting Limited（Sintra咨询有限公司） ； Luiss University（路易斯大学） 纠错

专题命中 评测与基准 ：foundation model(title,abstract)；LLM(abstract,abstract_cn)；分类 cs.AI

AI总结 提出CLOUDADV系统，结合零样本时间序列预测与有界推荐生成，在非平稳云环境中实现决策对齐的实例大小调整，通过参考推荐和成本节约评估，在7个生产VM案例中实现52.9%成本节省。

Comments 9 pages, 2 figures