Understanding LLM Development Through Longitudinal Study: Insights from the Open Ko-LLM Leaderboard
Korea University(高丽大学);Upstage AI(上stage人工智能公司)
本文通过为期11个月的纵向研究,分析了1,769个模型在Open Ko-LLM Leaderboard上的表现,揭示了Korean LLM开发中的性能挑战、模型规模影响及排名演变,弥补了以往短期观察的局限。
2025-03-04 cs.AI cs.CL
KoALa-Bench: Evaluating Large Audio Language Models on Korean Speech Understanding and Faithfulness
Department of Artificial Intelligence, Chung-Ang University(Chung-Ang 大学人工智能系);Upstage AI
本文提出KoALa-Bench,一个用于评估大型音频语言模型在韩语语音理解和忠实性方面的基准,包含六个任务,涵盖语音识别、翻译、问答和指令跟随等核心能力,并包含韩国特定知识内容。
2026-09-01 cs.AI cs.CL cs.SD
KorMedMCQA-V: A Multimodal Benchmark for Evaluating Vision-Language Models on the Korean Medical Licensing Examination
Ajou University School of Medicine(阿乔大学医学院);KAIST(韩国科学技术院)
KorMedMCQA-V是一个用于评估视觉语言模型在韩国医学资格考试中多模态多项选择问答能力的基准测试,展示了不同模型在医疗领域中的表现差异。
2026-02-14 cs.AI cs.CL cs.CV
Nunchi-Bench: Benchmarking Language Models on Cultural Reasoning with a Focus on Korean Superstition
EPFL Lausanne, Switzerland(洛桑联邦理工学院);Seoul National University(首尔国立大学)
本文提出Nunchi-Bench基准,通过247个韩国迷信相关问题评估多语言大模型的文化推理能力,发现模型虽能识别事实但难以实际应用,且明确文化框架比仅靠语言提示更有效。
2025-07-05 cs.AI cs.CL cs.CY
Are they lovers or friends? Evaluating LLMs' Social Reasoning in English and Korean Dialogues
KAIST(韩国科学技术院);LT3;IDLab(ID实验室);Universiteit Gent(根特大学);Boston University(波士顿大学)
本文通过SCRIPTS数据集评估LLMs在英语和韩语对话中推断人物关系的能力,发现当前模型在英语和韩语中的准确率分别为75-80%和58-69%,且存在显著的社交推理局限性。
2026-04-20 cs.CL
North or South? Diagnosing LLMs' Understanding of North Korean Language, Society, and Knowledge
KAIST(韩国科学技术院)
本研究构建含1765个问题的LENS基准,评估LLMs对朝鲜语言、社会文化及特定领域知识的理解,发现模型在社会文化视角与领域知识上存在明显局限,强调需开发针对相关语境的评估资源。
2026-10-14 cs.AI cs.CL
Thunder-KoNUBench: A Corpus-Aligned Benchmark for Korean Negation Understanding
本文提出Thunder-KoNUBench,通过分析韩语否定现象,评估47个LLM在否定理解上的表现,揭示模型大小和指令微调的影响,并展示微调提升韩语否定理解和上下文理解的效果。
2026-06-28 cs.CL
KoNeoBench: A Curated Evaluation Dataset for LLM Understanding of Korean Neologisms
Kyungpook National University(庆北国立大学);Daegu Gyeongbuk Institute of Science and Technology (DGIST)(大邱庆北科学技术院);Texas A&M University(德克萨斯A&M大学);Yonsei University(延世大学)
KoNeoBench是一个基于1,785个韩国新词的精选基准,通过四项任务评估LLM理解韩国新词的能力,实验发现当前模型在源成分恢复、语义区分和定义生成上存在明显局限。
2026-09-18 cs.AI cs.CL
Evaluating Large Language Models on the 2026 Korean CSAT Mathematics Exam: Measuring Mathematical Ability in a Zero-Data-Leakage Setting
Chungnam National University(忠南国立大学)
本研究评估了24种LLM在2026年韩国CSAT数学考试中的表现,发现文本输入优于图像输入,GPT-5系列模型在特定配置下达到满分,同时揭示了微积分领域表现最差,且高难度问题对模型性能影响显著。
2025-11-30 cs.CL
Evaluating Large language models on Understanding Korean indirect Speech acts
Artificial Intelligence Institute of Seoul National University(首尔国立大学人工智能研究院);Brain Humanities Lab, Seoul National University(首尔国立大学脑人文实验室)
本文通过MCQ和OEQ评估LLM结合语境理解韩语间接言语行为的能力,发现Claude3-Opus表现最佳但仍不及人类,并揭示专有模型整体优于开源模型。
2025-02-16 cs.CL
KOFFVQA: An Objectively Evaluated Free-form VQA Benchmark for Large Vision-Language Models in the Korean Language
MAUM AI Inc.(MAUM AI公司)
针对韩语VLMs评估缺乏且现有方法主观不可靠的问题,提出KOFFVQA韩语自由形式视觉问答基准,通过预定义客观评分标准实现可靠评估,实验证明其优于现有方法。
2025-03-31 cs.AI cs.CL cs.CV
HumorRank: A Tournament-Based Leaderboard for Evaluating Humor Generation in Large Language Models
Carnegie Mellon University Africa(卡内基梅隆大学非洲分校)
提出HumorRank,一种基于锦标赛的框架,通过理论指导的成对偏好判断对文本幽默生成进行排名,并利用Bradley-Terry估计生成全局排行榜。
2026-07-31 cs.CL
KoSimpleQA: A Korean Factuality Benchmark with an Analysis of Reasoning LLMs
Naver Cloud(Naver云);Graduate School of Data Science, Seoul National University(数据科学研究生院,首尔国立大学)
本文提出韩语事实性基准 KoSimpleQA,含 938 个问题,评估发现最强模型准确率仅 31.6%,且推理能缓解跨语言知识差距。
2026-09-14 cs.CL
KAIO: A Collection of More Challenging Korean Questions
Chung-Ang University(Chung-Ang 大学);MODULABS;OneLineAI;Konkuk University(Konkuk 大学)
针对韩语基准稀缺且快速饱和的问题,本文提出以数学和长链推理为核心的KAIO基准,当前最佳模型仅62.8分,并通过私有评测机制减少污染,为追踪韩语前沿模型进展提供可靠工具。
2025-09-18 cs.CL
Evaluating Large Language Models with Grid-Based Game Competitions: An Extensible LLM Benchmark and Leaderboard
Florida Polytechnic University(佛罗里达理工大学)
本研究提出基于网格游戏的可扩展LLM基准,通过三类游戏、三种提示类型对7款主流LLM开展2310场对弈测试,揭示性能差异,为评估LLM规则理解与战略思维、探索其复杂决策能力提供支撑。
2024-07-11 cs.AI cs.CL cs.LG
KorMedMCQA: Multi-Choice Question Answering Benchmark for Korean Healthcare Professional Licensing Examinations
KAIST(韩国科学技术院);Ajou University School of Medicine(亚洲大学医学院);UNIST(蔚山科学技术院);Kyunghee University College of Dentistry(庆熙大学牙科学院)
本研究推出首个韩国医学多项选择问答基准KorMedMCQA,评估59个大语言模型性能,发现思维链推理可提升性能,且MedQA无法可靠替代该基准评估韩国医疗AI模型,已公开发布数据集。
2024-12-09 cs.CL
Pragmatic Competence Evaluation of Large Language Models for the Korean Language
AI Institute of Seoul National University (AIIS)(首尔国立大学AI研究所(AIIS));Seoul National University(首尔国立大学)
该研究通过韩语多项选择题和开放式问题评估大语言模型的语用能力,发现GPT-4表现最佳,并指出思维链提示可能限制语用推理,强调模型需更好理解人类交际规范。
2024-10-17 cs.CL
Knowledge Graph Question Answering Leaderboard: A Community Resource to Prevent a Replication Crisis
Anhalt University of Applied Sciences(安哈尔特应用技术大学);Fraunhofer IAIS(弗劳恩霍夫智能分析与信息系统研究所);University Hamburg(汉堡大学)
需要对数据驱动的系统进行评估,以建立对科学方法及其适用性的信任。特别是,这对于知识图谱(KG)问答(QA)是正确的,其中复杂的数据结构可以通过自然语言接口访问。十多年来,评估这些系统的能力一直是社区的驱动力,同时建立了不同的KGQA基准数据集。然而,比较不同的方法是麻烦的。缺乏现有的和策划的排行榜导致研究领域缺乏全球视野,并可能对结果产生不信任。特别是,KGQA社区中最新和最常用的数据集LC-QuAD和QALD无法提供中央和最新的信任点。在本文中,我们调查和分析了广泛的评价结果,从过去十年的100个出版物和98个系统的显着覆盖面。我们为任何KGQA基准数据集提供了一个新的中央和开放的排行榜,作为社区的焦点-https://kgqa.github.io/leaderboard。我们的分析突出了KGQA系统的评估过程中存在的问题。因此,我们将指出今后评估中可能的改进。
2022-01-20 cs.AI cs.CL cs.IR
CHERRY: Compressed Hierarchical Experts with Recurrent Representational Yield
TeamSparta Inc.(TeamSparta公司)
提出三种互补技术训练计算高效语言模型:选择性监督与每令牌效率、深度压缩与循环恢复、压缩专家融合,在CHERRY-1.8B韩语模型上验证,实现参数减少2.5倍且性能接近。
2026-07-24 cs.AI cs.CL
Efficient Performance Tracking: Leveraging Large Language Models for Automated Construction of Scientific Leaderboards
Technical University of Darmstadt(达姆施塔特工业大学);Hessian Center for AI (hessian.AI)(黑森州人工智能中心);Amazon Alexa AI(亚马逊Alexa人工智能部门);IBM Research Europe(IBM欧洲研究院)
针对科学排行榜手动构建困难且现有数据不完整的问题,本文提出手动整理的SciLead数据集和基于大型语言模型的综合框架,覆盖三种TDM三元组定义场景,实验发现LLM能识别三元组但提取结果值困难。
2024-09-19 cs.CL
Polar: A Benchmark for Evaluating Political Bias in LLMs
Graduate School of Data Science, Seoul National University(首尔大学数据科学研究生院);Dept. of Computer Science and Engineering, Seoul National University(首尔大学计算机科学与工程系)
提出Polar基准,通过选项级似然度测量大语言模型的政治偏见,覆盖美国和韩国政治语境,发现偏见随语境、议题、模型组和语言变化。
2026-11-20 cs.CL cs.CY
Diagnosing Korean-Language LLM Political Bias via Census-Grounded Agent Simulation
Department of Electrical and Computer Engineering(电气与计算机工程系);Korea University(韩国大学)
本文通过人口普查基础代理模拟框架Dynamo-K,研究韩语LLM在六个韩国选举中的政治行为,识别出三种系统性失败模式,并提出解决方案以校准模型,从而提高政治行为诊断的准确性。
2026-05-18 cs.AI cs.CY
Mizan: A National Benchmark for Evaluating Large Language Models on Iraqi Arabic and the Iraqi Civic Context
University of Misan(米桑大学);Missan Oil Company(米桑石油公司)
针对伊拉克阿拉伯语评估缺失,提出国家基准Mizan,含MSA与伊拉克双赛道及六维度,经340条目构建,评估27个系统,发现MSA饱和而伊拉克赛道有区分度,并揭示过度拒绝问题。
2026-09-15 cs.AI cs.CL
KorNAT: LLM Alignment Benchmark for Korean Social Values and Common Knowledge
KAIST AI(韩国科学技术院人工智能学院);DATUMO Inc.(DATUMO公司);Seoul National University Bundang Hospital(首尔大学盆唐医院);NAVER AI Lab(NAVER人工智能实验室)
本研究提出国家对齐概念,构建首个面向韩国社会价值观与常识的LLM对齐基准KorNAT,经大规模调研与多轮审核形成万道选择题,实验显示多数现有模型仍有提升空间,且该基准已获韩国政府相关机构批准。
2026-08-19 cs.CL
K-Bench: a clinically calibrated benchmark for evaluating large language models in high-risk mental health conversations
University of Roehampton(罗汉普顿大学);Kivira Health;University of Hertfordshire(赫特福德大学);University of Surrey(萨里大学);University of Bedfordshire(贝德福德大学);Tavistock Relationships(塔维斯托克关系中心);InsideOut
K-Bench是一个临床校准的基准,通过200个多轮高风险心理健康情景评估125种LLM配置,发现领先模型综合风险评分超95,且治疗性提示仅对较弱模型有效。
2026-09-29 cs.AI cs.CL cs.LG
IslamicMMLU: A Benchmark for Evaluating LLMs on Islamic Knowledge
The University of Edinburgh(爱丁堡大学)
伊斯兰MMLU基准通过10,013道题评估大语言模型在伊斯兰知识上的表现,涵盖《古兰经》、圣训和教法三个领域,测试模型在不同方面的能力,初步评估26个模型,准确率差异显著。
2026-07-14 cs.CL
Ideation Arena: Evaluating LLM Generated Research Ideas with Battle-style Human Expert Assessment
Fudan University(复旦大学);Zhongguancun Academy(中关村学院);Tsinghua University(清华大学);Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院)
本研究提出Ideation Arena平台,通过105名计算机科学研究者的双盲成对比较构建LLM生成研究创意的Elo评级排行榜,发现部分智能体框架可提升创意质量,而现有LLM评判者难以复现专家偏好。
2026-09-01 cs.AI
LOTUS: A Leaderboard for Detailed Image Captioning from Quality to Societal Bias and User Preferences
NVIDIA Research(NVIDIA研究)
LOTUS是一种用于评估详细图像描述质量、偏见和社会偏见的排行榜,通过定制标准满足不同用户偏好,揭示了模型在不同评估标准上的表现差异。
2025-07-25 cs.AI cs.CL cs.CV
Evaluating Large Language Models with Human Feedback: Establishing a Swedish Benchmark
KTH(瑞典皇家理工学院)
本研究针对瑞典语等低资源语言,通过人类反馈和强制选择排序建立基准,评估十一个主流及定制LLM的瑞典语理解与生成能力,并发布chatbotarena.se基准以促进后续研究。
2024-05-22 cs.AI cs.CL
BURMESE-SAN: Burmese NLP Benchmark for Evaluating Large Language Models
提出首个全面评估大语言模型在缅甸语上理解、推理和生成能力的基准BURMESE-SAN,包含七个子任务,并通过母语者驱动构建确保语言自然性和文化真实性。
2026-05-22 cs.CL
Chatbot Arena: An Open Platform for Evaluating LLMs by Human Preference
UC Berkeley(加州大学伯克利分校);Stanford(斯坦福大学);UCSD(加州大学圣地亚哥分校)
针对大语言模型人类偏好对齐评估难题,研究团队推出开放平台Chatbot Arena,采用成对比较与众包投票方式,基于超24万票验证了方法可靠性,成为极具影响力的LLM排行榜。
2024-03-07 cs.AI cs.CL
Beyond Questions: Evaluating the Stated Knowledge of LLMs
ScaDS.AI Dresden/Leipzig & TU Dresden, Germany(ScaDS.AI 德尔布兰德/莱比锡及德累斯顿技术大学,德国)
提出开放知识评估新范式,通过开放式提示(如“告诉我关于M.L. King的一切”)评估模型自然表达的知识,并构建BeQu基准测试10,000个实体。
2026-10-30 cs.AI cs.CL
Sentient Agent as a Judge: Evaluating Higher-Order Social Cognition in Large Language Models
Tencent(腾讯)
本研究提出评估LLM高阶社会认知的SAGE框架,通过模拟类人情绪与想法的智能体开展多轮评估,验证了心理保真度,还构建了覆盖18个模型的公开排行榜,揭示传统榜单未体现的模型能力差距。
2025-05-21 cs.AI cs.CL cs.CY
TemporalBench: A Benchmark for Evaluating LLM-Based Agents on Contextual and Event-Informed Time Series Tasks
University of Southern California(美国南加州大学)
TemporalBench是一个多领域基准,用于评估基于LLM的智能体在上下文和事件驱动的时间序列任务中的时序推理能力。
2026-02-05 cs.AI cs.LG
Pitfalls of Evaluating Language Models with Open Benchmarks
本文探讨了使用开放基准评估语言模型时存在的数据泄露风险,并通过构建作弊模型验证了这种风险,指出开放基准可能无法反映实际应用效果,需补充私有或动态生成的基准以维持评估的完整性。
2026-06-03 cs.CL
Inclusion Arena: An Open Platform for Evaluating Large Foundation Models with Real-World Apps
Shanghai Jiao Tong University(上海交通大学);Zhejiang University(浙江大学);Westlake University(西湖大学)
针对现有模型评估基准难以反映真实应用性能的问题,研究推出Inclusion Arena实时排行榜平台,基于应用端人类反馈,结合带两项创新的Bradley-Terry模型实现稳健排名,提升可靠性与抗操纵性,推动面向实际的大模型发展。
2025-09-02 cs.AI cs.CL cs.HC
Beyond the Leaderboard: Rethinking Medical Benchmarks for Large Language Models
Stanford University(斯坦福大学);Shenzhen University(深圳大学);The Chinese University of Hong Kong(香港中文大学);City University of Hong Kong(香港城市大学);Renmin University of China(中国人民大学)
本文提出MedCheck框架,用于评估医疗领域大型语言模型的基准,揭示现有基准在临床相关性、数据完整性及安全性方面的系统性问题。
2026-04-29 cs.AI cs.CL cs.CV
Evaluating Multimodal Generative AI with Korean Educational Standards
NAVER Cloud AI(NAVER云AI);KAIST AI(韩国科学技术院AI)
本研究提出基于韩国国家教育测试的多模态生成式AI评估基准KoNET,覆盖四类不同教育阶段考试,评估多类模型在韩语场景下的表现,相关资源将开源。
2025-02-21 cs.AI cs.CL cs.CV
Evaluating Chain-of-Thought Reasoning through Reusability and Verifiability
Indian Institute of Technology(印度理工学院)
本文提出通过可重用性和可验证性评估链式推理的质量,发现专门推理模型并不始终优于通用大语言模型。
2026-11-16 cs.AI cs.CL cs.IR
Redefining Evaluation Standards: A Unified Framework for Evaluating the Korean Capabilities of Language Models
AIM Intelligence;Seoul National University(首尔国立大学);A.I.MATICS;TigerCompany;Catius;National Assembly of Korea(韩国国会);Coupang;Hankuk University of Foreign Studies(韩国外交大学)
本文提出HRET框架,通过统一评估韩语大语言模型的能力,结合多种评估方法和数据集,提升模型在韩语任务中的表现和诊断能力。
2026-02-13 cs.AI cs.CE cs.CL
TimeSage-MT: A Multi-Turn Benchmark for Evaluating Agentic Time Series Reasoning
University of Oxford(牛津大学);VulpiVox Intelligence;Eindhoven University of Technology(埃因霍温理工大学);Griffith University(格里菲斯大学);Squirrel Ai Learning;East China Normal University(华东师范大学)
提出TimeSage-MT多轮基准测试,包含240个任务和2680轮对话,覆盖8个真实领域,用于评估LLM智能体在时间序列推理中的表现,揭示其在决策导向任务中的性能下降及记忆、不确定性处理等缺陷。
2026-05-31 cs.AI cs.CL
PROXYQA: An Alternative Framework for Evaluating Long-Form Text Generation with Large Language Models
Huawei Hisilicon(华为海思);Huawei Noah’s Ark Lab(华为诺亚方舟实验室);Hong Kong University of Science and Technology(香港科技大学);Harbin Institute of Technology(哈尔滨工业大学);City University of Hong Kong(香港城市大学);City University of Hong Kong Shenzhen Research Institute(香港城市大学深圳研究院)
本文提出ProxyQA框架,通过人工策划的元问题和代理问题,利用评估器准确率评估LLMs的长文本生成质量,解决了现有方法效率低且与人类判断不一致的问题。
2024-06-04 cs.AI cs.CL
Insights into Alignment: Evaluating DPO and its Variants Across Multiple Tasks
Arizona State University(亚利桑那州立大学)
本文评估DPO及其变体在三种配置下对齐LLM的效果,发现小数据子集即可接近最优性能,对齐方法虽对复杂推理提升有限但能增强数学求解,且指令微调模型可提高真实性。
2025-02-08 cs.CL
Beyond Averages: Evaluating LLMs on Human Survey Replication at the Distributional Level
Ewha Womans University(梨花女子大学)
本研究通过非公开的韩国方便面购买实验,在分布层面评估LLM复现人类调查响应的能力,发现均值匹配的模型可能产生更偏离人类的分布,且结构化角色和多模态输入提升对齐度,而推理提示则降低。
2026-06-23 cs.CL
Do LLMs Game Formalization? Evaluating Faithfulness in Logical Reasoning
EPFL(苏黎世联邦理工学院)
本文评估了大语言模型在逻辑推理中的忠实性,发现统一生成方法在形式化过程中未表现出系统性作弊行为,但两种阶段流程揭示了两种不同的不忠实性模式。
2026-04-21 cs.AI cs.CL cs.LO
tinyBenchmarks: evaluating LLMs with fewer examples
University of Michigan(密歇根大学);MIT(麻省理工学院);IBM Research(IBM研究院);MIT-IBM Watson AI Lab(麻省理工学院-IBM沃森人工智能实验室)
本文提出用少量精选示例评估大语言模型性能的方法,并发布tiny基准工具,证明其能高效可靠地复现原始评估结果。
2024-05-26 cs.AI cs.CL cs.LG
When Tom Eats Kimchi: Evaluating Cultural Bias of Multimodal Large Language Models in Cultural Mixture Contexts
School of Computing KAIST(韩国科学技术院计算机学院);Graduate School of AI KAIST(韩国科学技术院人工智能研究生院)
该研究针对多模态大语言模型在混合文化输入下的文化偏见问题,提出跨文化偏见基准MixCuBe开展测试,发现模型对低资源文化的扰动敏感度高、准确率落差大,为相关模型优化提供了参考。
2025-03-21 cs.CL
SONIC-O1: A Real-World Benchmark for Evaluating Multimodal Large Language Models on Audio-Video Understanding
Vector Institute for Artificial Intelligence(向量人工智能研究所);University of Groningen(Groningen大学);York University(约克大学)
提出SONIC-O1基准,包含60小时人工验证的音视频数据,评估多模态大语言模型在开放摘要、多项选择问答和时序定位上的能力,发现模型在时序定位上存在显著性能差距和人口统计偏差。
2026-10-02 cs.AI cs.CV
ThermoQA: A Three-Tier Benchmark for Evaluating Thermodynamic Reasoning in Large Language Models
Olivenet Kyrenia, Cyprus(奥利文特基尔尼亚,塞浦路斯)
ThermoQA通过293个热力学问题测试大语言模型的热力学推理能力,揭示记忆属性与推理能力的差异,提供开放源代码的评估工具。
2026-03-25 cs.AI cs.CL cs.LG
Pre-Flight: A Benchmark for Evaluating Large Language Models on Aviation Operational Knowledge
Airside Labs, London, United Kingdom(Airside Labs,伦敦,英国);Mahino Research, Christchurch, New Zealand(Mahino Research,基督城,新西兰)
提出Pre-Flight基准,包含300道多选题,评估LLM在航空运营知识上的表现,发现最强模型准确率82.7%,低于专家水平的95%,表明领域特定评估的必要性。
2026-07-03 cs.AI cs.CL
Towards Evaluating and Building Versatile Large Language Models for Medicine
Shanghai Jiao Tong University(上海交通大学);Shanghai AI Laboratory(上海人工智能实验室);China Mobile Communications Group Co., Ltd.(中国移动通信集团有限公司);China Mobile Communications Group Shanghai Co., Ltd.(中国移动通信集团上海有限公司)
本文提出医学综合基准 MedS-Bench 和大规模指令微调数据集 MedS-Ins,并通过微调得到 MMedIns-Llama 3,显著提升大语言模型在多种临床任务上的表现。
2024-09-05 cs.CL
KoDialogBench: Evaluating Conversational Understanding of Language Models with Korean Dialogue Benchmark
Scatter Lab
本文提出 KoDialogBench 韩语对话基准,通过原生与翻译对话构建理解和响应选择数据集,评估多种语言模型并揭示其能力短板及训练技术的效果。
2024-06-17 cs.CL
LLMsPark: A Benchmark for Evaluating Large Language Models in Strategic Gaming Contexts
Shenzhen International Graduate School, Tsinghua University(清华大学深圳国际研究生院);Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所);School of Software and Microelectronics, Peking University(北京大学软件与微电子学院);School of Computer Science and Engineering, Northeastern University(东北大学计算机科学与工程学院);Tongji University(同济大学);AIR, Tsinghua University(清华大学人工智能研究院);BAAI(百度人工智能研究院)
本文提出LLMsPark,一个基于博弈论的多智能体评估平台,通过排行榜和评分机制交叉评估15个主流大语言模型的策略决策与社会行为,揭示模型间的策略智能差异,为LLM评估提供了新的交互式博弈论视角。
2025-09-20 cs.CL
MERA Code: A Unified Framework for Evaluating Code Generation Across Tasks
SberAI;ITMO University(ITMO大学);MWS AI(MWS人工智能);T-Technologies;Rostelecom;Siberian Neuronets(西伯利亚神经网络);Skoltech;Innopolis University(Innopolis大学)
MERA Code是一个新的评估框架,专门用于评估代码生成模型在俄语中的实际编程能力,通过11个任务和8种编程语言,提供开源工具和评分系统,以提升代码生成模型的评估标准。
2025-12-01 cs.AI cs.CL cs.SE