AI 大模型
大语言模型、预训练、指令微调、后训练和语言模型应用。
SONAR-LLM：在句子嵌入中思考、以令牌说话的自回归Transformer
机构 * FusionBrain Lab, AXXX（融合大脑实验室，AXXX） ； T-Tech ； MSU（莫斯科大学） ； DS-NLP Group, AXXX（自然语言处理组，AXXX）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL
AI总结 提出SONAR-LLM，一种在连续SONAR嵌入空间“思考”但通过令牌级交叉熵监督的解码器-only Transformer，融合语义抽象与似然训练信号，在39M至1.3B参数规模上取得有竞争力的生成质量。
超越自我对话：基于LLM的多智能体系统的通信中心综述
机构 * School of Cyber Science and Technology, Beihang University, Beijing 100191, China（信息科学与技术学院，北京航空航天大学，北京100191，中国） ； The College of Cyber Security/College of Information Science and Technology, Jinan University, Guangzhou, China（网络安全学院/信息科学与技术学院，暨南大学，广州，中国） ； School of Computer Science and Engineering, Beihang University, Beijing 100083, China（计算机科学与工程学院，北京航空航天大学，北京100083，中国） ； School of Cyber Science and Technology, Beijing University of Posts and Telecommunications, Beijing 100876, China（信息科学与技术学院，北京邮电大学，北京100876，中国）
专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 本文从通信视角综述基于大语言模型的多智能体系统，提出一个整合系统级和系统内部通信的结构化框架，分析智能体交互机制、挑战及未来方向。
Comments The article has been accepted by Frontiers of Computer Science (FCS), with the DOI: {10.1007/s11704-026-50857-y}
交互式智能体：通过角色扮演的LLM-LLM交互模拟咨询师-来访者心理咨询
机构 * School of Engineering, Westlake University（西lake大学工程学院）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL
AI总结 提出Interactive Agents框架，通过LLM-LLM角色扮演生成高质量心理咨询对话数据，解决隐私、成本和扩展性问题，并验证其治疗有效性和模型性能。
Comments Accepted to *SEM2026
WhoSaidIt：面向文本的多语言说话人属性分类的人机协作标注
机构 * Duolingo
专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 提出一种人机协作重标注框架，通过迭代交互和分歧采样稳定多语言说话人属性标签，构建WhoSaidIt数据集并评估LLM性能。
Comments 16 pages in total
LLM-as-a-Reviewer: 基准测试它们作为论文审稿人的能力、分歧和提示注入抵抗性
机构 * University of South Florida（佛罗里达南大学） ； Missouri University of Science and Technology（密苏里科技大学） ； University of Alabama（阿拉巴马大学） ； Florida International University（佛罗里达国际大学） ； University of Cincinnati（辛辛那提大学） ； George Mason University（乔治·梅森大学）
专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 本研究通过一个系统基准测试，评估了12个大型语言模型在论文评审中的表现，包括评分校准、与人类审稿人的分歧以及对不可见字体映射攻击的抵抗性，发现LLMs存在系统性高估弱论文、与人类关注点不同以及易受提示注入攻击等问题。
基于规约的代码-文本-代码重构：面向LLM介导的软件演化
机构 * EPAM Systems（EPAM系统） ； McLean, Virginia, USA（美国弗吉尼亚州麦莱恩） ； Lviv, Ukraine（乌克兰利沃夫） ； Kyiv, Ukraine（乌克兰基辅）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI
AI总结 提出一种基于规约的Code2Text2Code重构框架，通过将源代码转换为中性文本规约并迭代验证，解决直接Code2Code转换中的语义漂移、行为变化等问题，实现受控的LLM介导软件演化。
Comments 15 pages, 9 figures, 7 tables, 39 references
量化翻译错误对多语言大语言模型评估的影响
机构 * TUD Dresden University of Technology and ScaDS.AI（德累斯顿技术大学和ScaDS.AI） ； InfAI e.V.（InfAI协会） ； Amazon（亚马逊）
专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 研究机器翻译基准中的翻译错误如何影响多语言LLM评估的可靠性，通过自动错误跨度检测和准确性下降分析揭示翻译错误与评估指标之间的关联。
基于Schema的LLM抽取用于FHIR患者数字孪生
机构 * Binghamton University（宾夕法尼亚州立大学）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL
AI总结 提出SG-LLM方法，通过检索增强、JSON Schema约束和验证器修复循环，从非结构化EHR中生成有效的FHIR Bundle，并在临床效用实验中优于基线。
预算限制下多LLM裁判的实例最优估计
机构 * KAIST AI（韩国科学技术院人工智能研究所） ； ICL EEE（国际计算机语言研究所电子工程系） ； KTH EECS（皇家理工学院电子工程系）
专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.LG
AI总结 针对预算限制下异构裁判的评估分配问题，提出基于乐观偏差方差估计的自适应算法EST-IVWE，并证明其达到实例最优的局部极小极大下界。
Comments 53 pages, 4 figures; the first two authors contributed equally
用于知识产权保护的具有最小语义失真的鲁棒LLM水印
机构 * State University of New York at Albany（纽约州立大学阿尔巴尼分校） ； New Jersey Institute of Technology（新泽西理工学院） ； Microsoft（微软） ； Kent State University（肯特州立大学）
专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 提出SAFESEAL框架，通过密钥条件锦标赛采样和对比检测器，在保持语义保真度的同时实现强可检测性、高实用性和鲁棒性，用于保护专有大语言模型的知识产权。
诊断并非处方：语言共适应解释了LLM流水线中的修补危害
机构 * KAIST (Korea Advanced Institute of Science and Technology)（韩国科学技术院） ； NAVER Corp.（NAVER公司）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL
AI总结 本文研究了多模块LLM代理失败时，诊断与修补之间的矛盾，发现路由模块虽为瓶颈，但注入修正示例反而降低性能，而修正查询重写模块则更有效，提出了语言合同假说解释这种现象。
Comments Preprint. Under review at EMNLP 2026 (ARR)
RankJudge: 一个多轮LLM-as-a-Judge合成基准生成器
机构 * Layer 6 AI
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL
AI总结 本文提出RankJudge，一种用于评估LLM作为评判者在多轮对话中表现的合成基准生成器，通过生成带有单个缺陷的对话对，实现对评判准确性的严格评估，并通过领域覆盖和21个前沿LLM评判者评估，验证了评判排名的稳定性。
CTFExplorer: 通过多目标网络CTF基准测试评估LLM进攻性代理
机构 * CISPA - Helmholtz Center for Information Security（CISPA-海德堡信息安全研究中心） ； NYU Tandon School of Engineering（纽约大学坦顿工程学院） ； NYU Abu Dhabi（纽约大学阿布扎克分校） ； IIIT Hyderabad（海得拉巴印度理工学院）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI
AI总结 本文提出CTFExplorer基准测试，通过多目标网络CTF基准测试评估LLM进攻性代理，研究问题是如何在不确定环境下评估代理的战术推理能力，核心方法是引入多目标环境测试代理的探索、优先级和攻击链能力，主要贡献是开发了可评估代理行为的框架。
从文本到声音：一个可重复和可验证的评估工具调用LLM代理的框架
机构 * Dialpad Inc.（Dialpad公司）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL
AI总结 本文提出了一种可重复和可验证的框架，用于评估基于语音的工具调用LLM代理，通过文本到语音转换和环境噪声模拟，无需重新标注工具模式和黄金标签，从而在不重新标注的情况下评估工具调用性能。
ComplexMCP: 评估LLM代理在动态、相互依赖和大规模工具沙箱中的表现
机构 * Zhejiang University（浙江大学） ； Zhejiang Lab（浙江实验室） ； Alibaba Group（阿里巴巴集团）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI
AI总结 本文提出ComplexMCP基准，用于评估LLM代理在动态、相互依赖和大规模工具环境中的性能，揭示了现有模型在复杂任务中的不足，指出三个关键瓶颈：工具检索饱和、过度自信和战略投降倾向。
PrivacyAkinator: 通过回答LLM生成的多项选择题来阐明关键隐私设计决策
机构 * University of California San Diego（加州大学圣迭戈分校） ； University of California Riverside（加州大学河滨分校）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI
AI总结 本文提出PrivacyAkinator工具，通过回答LLM生成的多项选择题帮助开发者阐明关键隐私设计决策，相比PRAM方法，用户研究显示其在更短时间内识别出更多关键决策。
Comments Accepted to ACM CHI 2026
基于LLM的论证挖掘系统
机构 * Universidade de São Paulo Center for Artificial Intelligence (C4AI)（圣保罗大学人工智能中心（C4AI）） ； Instituto Mauá de Tecnologia Núcleo de Sistemas Eletrônicos Embarcados (NSEE)（马乌阿技术研究所电子系统嵌入核（NSEE））
专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 本文提出一个基于大语言模型的端到端系统，用于从自然语言文本中提取论证并构建抽象论证图，通过多阶段流程识别论证组件、选择相关元素并揭示其逻辑关系，实验表明该系统能有效恢复论证结构并在不同标注方案下表现良好。
生成-评估一致性：为LLM赋能的自适应评估的必要有效性标准
机构 * Singapore University of Social Sciences（新加坡社会科学研究大学）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI
AI总结 本文提出生成-评估一致性（GEA）作为LLM赋能自适应评估的有效性标准，通过测量LLM评分函数是否能恢复其生成函数所指示的技能水平，发现其在不同技能层面的有效性存在差异，并提出细粒度、技能分解的评分标准作为提升GEA的主要方法。
Comments BEA 2026
BLINKG：一个用于集成大语言模型的知识图谱生成基准
机构 * Centro Singular de Investigación en Tecnoloxías Intelixentes (CiTIUS), Universidade de Santiago de Compostela, Spain（圣地亚哥-德孔波斯特拉大学智能技术研究中心（CiTIUS）） ； L3S Research Center Germany, Hannover, Germany（德国汉诺威L3S研究中心） ； TIB Leibniz Information Centre for Science and Technology, Hannover, Germany（德国汉诺威TIB莱比锡信息科学与技术研究中心） ； Leibniz University, Hannover, Germany（德国汉诺威莱比锡大学） ； Departamento de Electrónica e Computación, Universidade de Santiago de Compostela, Spain（圣地亚哥-德孔波斯特拉大学电子与计算系）
专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 本文提出BLINKG基准，用于评估大语言模型在从异构数据源生成知识图谱中的映射能力，通过复杂度递增的场景和实验评估，揭示了LLM在知识图谱构建中的潜力与局限。
代理交易：当大语言模型代理与金融市场相遇
机构 * College of Electronic and Information Engineering, Shenzhen University, Shenzhen, China（深圳大学电子与信息工程学院） ； Shenzhen Audencia Financial Technology Institute, Shenzhen University, Guangdong, People's Republic of China（深圳大学审计金融科技研究所）
专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 本文探讨了如何将大语言模型（LLM）作为交易系统中的代理，感知市场信息、检索上下文、进行决策推理、发出可交易动作并适应市场反馈。研究通过分析77项研究，发现协议不可比性是主要问题，提出证据日志、可重复性审计和报告检查表作为主要贡献。
Comments 59 pages, 15 figures, 27 tables
时间到REFLECT：我们能否信任LLM裁判来评估基于证据的研究代理？
机构 * Yale University（耶鲁大学） ； IBM Research（IBM研究院）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL
AI总结 本文提出REFLECT基准，用于评估LLM裁判在代理环境中的细粒度失败检测，揭示当前LLM裁判在推理、工具使用和报告质量上的可靠性不足，为构建更可靠的评估流程提供指导。
POLAR-Bench: 一个用于LLM代理隐私-效用权衡的诊断基准
机构 * ETH Zurich（苏黎世联邦理工学院） ； ETH AI Center（ETH人工智能中心）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI
AI总结 本文提出POLAR-Bench基准，用于评估LLM代理在隐私和效用之间的权衡。通过在10个领域和7,852个样本上进行测试，该基准通过确定性集合成员hip评分隐私和效用，并在两个正交轴上变化隐私策略维度和攻击策略，生成5x5的诊断表面。结果揭示了当前前沿模型在保护属性上隐瞒超过99%，而较小的开放权重模型在1-30B范围内表现更差，泄露率高达一半。
Comments Preprint
SkillGenBench: 评估LLM代理技能生成流水线的基准测试
机构 * SJTU（上海交通大学） ； XJTU（西安交通大学） ； NUS（新加坡国立大学） ； QuantaAlpha（量子Alpha） ； THU（清华大学） ； SUFE（上海财经大学） ； NTU（国立.ntu） ； PKU（北京大学） ； UCAS（中国科学技术大学）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI
AI总结 本文提出SkillGenBench，一个用于评估LLM代理技能生成流水线的基准测试，通过统一可控的协议评估技能生成过程，涵盖任务条件生成和任务无关生成两种模式，以及基于仓库和文档的两种程序来源，揭示技能生成在不同数据源中的表现差异。
大语言模型安全评估缺乏鲁棒性
机构 * Department of Computer Science \& Munich Data Science Institute, Technical University of Munich ； Canada AI CIFAR Chair
专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 本文指出当前大语言模型安全对齐研究受到多种交织的噪声源阻碍，如小数据集、方法学不一致和不可靠的评估设置，导致难以公平评估和比较攻击与防御，阻碍了进展。我们系统分析了大语言模型安全评估流程，涵盖数据集整理、自动化红队优化策略、响应生成和响应评估使用LLM法官。在每个阶段，我们识别了关键问题并突出了其实际影响。我们还提出了一套减少未来攻击和防御论文评估中噪声和偏见的指南。最后，我们提出了对立观点，强调现有限制的实用原因。我们相信，未来研究解决这些问题将提高领域生成可比结果的能力，并实现可衡量的进步。
勿信工具：在不可信工具反馈下评估和防御LLM代理
机构 * Southern University of Science and Technology（南方科技大学） ； University of Science and Technology of China（中国科学技术大学） ； University of Birmingham（伯明翰大学） ； Zhejiang University（浙江大学） ； East China Normal University（华东师范大学） ； Alibaba Group（阿里巴巴集团）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.CL
AI总结 本研究探讨了在不可信工具反馈环境下评估和防御LLM代理的问题，提出了一种新的失败模式'认知中毒'，并介绍了TRUST-Bench基准、GuardedJoint惩罚指标和VISTA-Guard框架，展示了轨迹感知的最终动作评分在安全与效用权衡中的有效性。
模型适应性工具必要性揭示了大语言模型工具使用中的知行差距
机构 * University of Maryland, College Park（马里兰大学College Park分校）
专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 本文研究了大语言模型在使用外部工具时的必要性问题，提出了一种基于模型自身性能的适应性工具必要性定义，并通过四个模型在算术和事实性问答数据集上的比较，发现工具必要性与实际调用行为之间存在显著的不匹配，揭示了LLM工具使用中的知行差距。
ASPI：寻求澄清会放大LLM代理中的提示注入漏洞
机构 * Scale AI ； Boston University（波士顿大学） ； University of Illinois Urbana-Champaign（伊利诺伊大学厄巴纳-香槟分校） ； Human Frontier Collective（人类前沿集体）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI
AI总结 该研究探讨了LLM代理在执行任务时寻求澄清的行为对提示注入攻击的影响，发现这种行为会显著增加代理的脆弱性，并提出了ASPI基准测试来评估这一现象。
基于混合大语言模型的智能机器人任务调度框架
机构 * Department of Computer Science and Engineering, Mississippi State University（密苏里州立大学计算机科学与工程系） ； Graduate School of Arts and Sciences, Columbia University（哥伦比亚大学研究生院） ； Consumer and Community Banking, JPMorgan Chase（摩根大通消费与社区银行业） ； Department of Data Science, Columbia University（哥伦比亚大学数据科学系） ； Department of Electrical Engineering, Columbia University（哥伦比亚大学电气工程系）
专题命中 评测与基准 ：LLM(title,summary_cn)；large language model(abstract)；language model(abstract)；分类 cs.AI
AI总结 本文提出利用大语言模型提升建筑机器人任务调度效率，通过平衡时间效率与资源利用，结合自然语言处理接口实现与专业人员的实时沟通，并采用两个LLM代理生成更精确的任务计划。
Comments 9 pages, 5 figures
基准的基准：解构影响与代码仓库质量在LLM安全基准中的作用
机构 * CISPA Helmholtz Center for Information Security（CISPA海德堡信息安全研究中心） ； University of Waterloo（滑铁卢大学） ； Flexera（Flexera公司）
专题命中 评测与基准 ：LLM(title,title_cn)；分类 cs.AI
AI总结 本文通过系统研究31个LLM安全基准及382篇非基准论文，发现仅39%的基准仓库可直接运行，且缺乏伦理考量。研究揭示社区采用基准与作者声望和代码运行性相关，但与代码质量无关，指出安全基准可能存在安全隐患和不可比性问题。
Comments 24 pages. 19 figures
能力坐标：一种统一的MTMM-几何框架用于LLM评估
专题命中 评测与基准 ：LLM(title,title_cn)；large language model(abstract)；language model(abstract)；分类 cs.CL
AI总结 本文提出一种统一的MTMM-几何框架，将九种评估指标统一到共享的潜在坐标空间中，通过三个正交维度分析模型能力，提供稳健且经验稳定的基准设计方法。
Comments The paper has mistake of undertaking political spaces to semantic dimensions. This needs to be removed because this is a fetal flaw in consideration. The initial hypothesis and premise needs to be rigorously formulated within the political landscape not generalizing the metrics. Hence a withdrawal for now is necessary
扫码添加微信好友，提出您的宝贵建议 👇
💡 备注请填写：网站反馈