EasyJailbreak: A Unified Framework for Jailbreaking Large Language Models
School of Computer Science, Fudan University(复旦大学计算机科学学院);Shanghai AI Laboratory(上海人工智能实验室);Institute of Modern Languages and Linguistics, Fudan University(复旦大学现代语言与语言学学院)
EasyJailbreak提出统一模块化框架,通过选择器、变异器、约束器和评估器四组件简化LLM越狱攻击构建与评估,支持11种方法,在10个模型上验证平均突破率60%,揭示显著安全漏洞。
2024-03-18 cs.AI cs.CL
Stochastic Parrots Looking for Stochastic Parrots: LLMs are Easy to Fine-Tune and Hard to Detect with other LLMs
EPFL(洛桑联邦理工学院);HES-SO Valais-Wallis(瓦莱州西部应用科学大学)
本文证明攻击者利用参考人类文本和检测器输出,结合强化损失修改与AdamW优化器微调LLM,即可逃避检测并破坏检测器训练,同时警示不应将RNN文本GAN的结论直接套用于LLM。
2023-04-18 cs.AI cs.CL cs.CR
Speak Easy: Eliciting Harmful Jailbreaks from LLMs with Simple Interactions
Brown University(布朗大学);Columbia University(哥伦比亚大学);Massachusetts Institute of Technology(麻省理工学院)
本文提出Speak Easy,一种简单的多步多语言攻击框架,利用可操作且信息丰富的响应特征,显著提升LLM越狱成功率,揭示常见交互中的安全漏洞。
2025-08-02 cs.AI cs.CL cs.CY
Confucius: Iterative Tool Learning from Introspection Feedback by Easy-to-Difficult Curriculum
Shandong University(山东大学);Leiden University(莱顿大学)
本文提出Confucius框架,通过由易到难的课程和迭代内省反馈自我指导方法,训练LLM在现实场景中从大型工具集中选择和使用复杂工具,实验证明其优于现有基线。
2023-12-21 cs.AI cs.CL
The Easy Trap: Why LLMs Underestimate Misconception-Driven Difficulty
Monash University(莫纳什大学)
该研究发现,用于教育评估难度估计的LLM会系统性低估由学习者误解驱动的数学题难度,提出“易陷阱”现象,其仅能捕捉难度大致排序,无法反映学生实际认知难度。
2026-07-30 cs.AI cs.CY
Inclusive Easy-to-Read Generation for Individuals with Cognitive Impairments
Université Caen Normandie, ENSICAEN, CNRS, Normandie Univ, GREYC UMR 6072, F-14000 Caen, France(法国卡恩-诺曼底大学、ENSICAEN、法国国家科学研究中心、诺曼底大学、GREYC UMR 6072)
针对认知障碍人群ETR文本生成的数据集稀缺等挑战,该研究推出首个符合欧洲ETR指南的法语数据集ETR-fr,通过参数高效微调构建生成基准并设计配套评估框架,发现PLMs表现媲美LLMs且跨领域适配性好。
2025-10-01 cs.AI cs.CL
Easy to Complete, Hard to Choose: Investigating LLM Performance on the ProverbIT Benchmark
University of Turin(都灵大学)
该研究构建了意大利谚语基准ProverbIT,评估13个前沿LLMs的谚语处理能力,发现LLMs虽能完成谚语任务,但在无正确答案的选择题中性能骤降,暴露其依赖记忆而非深层语义理解的局限。
2026-08-06 cs.AI cs.CL
EasyEdit: An Easy-to-use Knowledge Editing Framework for Large Language Models
Zhejiang University(浙江大学)
针对大语言模型知识截止、事实错误及现有知识编辑方法无统一实现框架的问题,研究提出EasyEdit框架,支持多种前沿编辑方法与主流大模型,实验证明其在LlaMA-2上的编辑效果优于传统微调,并配套开源资源与在线系统。
2024-06-24 cs.AI cs.CL cs.CV
EASYTOOL: Enhancing LLM-based Agents with Concise Tool Instruction
Fudan University(复旦大学);Microsoft Research Asia(微软亚洲研究院);Zhejiang University(浙江大学)
提出EASYTOOL框架,将多样冗长的工具文档转化为统一简明的指令,显著降低token消耗并提升基于LLM的智能体在现实场景中的工具利用性能。
2024-03-27 cs.CL
LLM4Ranking: An Easy-to-use Framework of Utilizing Large Language Models for Document Reranking
Renmin University of China(中国人民大学);Shanghai Jiao Tong University(上海交通大学);Carnegie Mellon University(卡内基梅隆大学)
本文提出统一框架LLM4Ranking,集成多种基于开源或API的大语言模型文档重排序方法,提供易用接口、评估与微调脚本,并在多个数据集上验证了可复现效果。
2025-04-10 cs.CL cs.IR
As Easy as Rocket Science: Assessing the Ability of Large Language Models to Interpret Negation in Figurative Language
Intelligent Systems Lab University of Bristol(智能系统实验室 英国布里斯托尔大学);ILLC University of Amsterdam(阿姆斯特丹大学语言学研究所)
本研究通过开发新的注释数据集,测试多种大型语言模型在比喻语言中理解否定的能力,发现否定与比喻的组合对模型构成挑战,且性能高度依赖提示风格。
2026-06-18 cs.AI cs.CL
Easy2Hard-Bench: Standardized Difficulty Labels for Profiling LLM Performance and Generalization
University of Maryland(马里兰大学);University of Waterloo(滑铁卢大学);Carnegie Mellon University(卡内基梅隆大学);California Institute of Technology(加州理工学院);Microsoft(微软);Capital One
本文提出 Easy2Hard-Bench,整合 6 个带数值难度标注的基准数据集,并利用 IRT 与 Glicko-2 评估六个先进 LLM 的难度相关性能与泛化能力。
2025-06-09 cs.AI cs.CL cs.LG
Exploring Large Language Models to generate Easy to Read content
Computer Science and Engineering Department Universidad Carlos III de Madrid(计算机科学与工程系卡洛斯三世大学)
本文探索利用大型语言模型将西班牙语文本系统简化为易读格式,构建了西班牙语易读平行语料库,并通过微调Llama2模型及专家定性评估验证了该方法在提升认知障碍人群文本可访问性方面的有效性。
2024-07-29 cs.CL cs.HC
Syntax Is Easy, Semantics Is Hard: Evaluating LLMs for LTL Translation
Stony Brook University(石溪大学)
本文评估了多个LLM将自然语言句子转换为LTL公式的能力,发现其在语法层面表现较好,但在语义层面存在挑战,且更详细的提示和重新表述为代码补全问题能提升性能。
2026-04-08 cs.AI cs.LO
Where LLMs Fail with Visualization DSLs
本研究评估了3个LLM在10种JSON风格可视化DSL上的41项任务,识别出四种反复出现的失败模式,并将其与特定DSL特征关联,为未来DSL设计提供指导。
2026-10-27 cs.CL cs.HC
EasyInstruct: An Easy-to-use Instruction Processing Framework for Large Language Models
Zhejiang University(浙江大学)
针对大语言模型指令处理领域缺乏统一开源框架的问题,提出模块化的EasyInstruct框架,整合指令生成、选择与提示模块并已开源,助力相关研究发展。
2024-06-24 cs.AI cs.CL cs.HC
Counter Turing Test CT^2: AI-Generated Text Detection is Not as Easy as You May Think -- Introducing AI Detectability Index
AI Institute, University of South Carolina(南卡罗来纳大学人工智能研究所);IUT(伊斯兰科技大学(孟加拉国));NIT Silchar(锡尔查尔国家理工学院);IIIT Delhi(德里印度信息技术学院);BITS Mesra(梅斯拉贝拉理工学院);Stanford University(斯坦福大学);Amazon AI(亚马逊人工智能)
本文提出Counter Turing Test (CT^2)基准评估AI生成文本检测(AGTD)技术的脆弱性,并引入AI Detectability Index (ADI)对15个LLM的可检测性进行量化排名,发现较大LLM更难被检测。
2023-10-24 cs.AI cs.CL
Thinking Before Speaking: A Role-playing Model with Mindset
Beijing Institute of Technology(北京理工大学)
针对LLM角色扮演易被识破且难以处理角色知识盲区的问题,提出TBS模型,通过在对话数据中补充角色思维状态并引入超纲数据微调,使模型在语气、知识和思维上更逼真地模拟真实角色。
2024-09-14 cs.AI cs.CL
Can Large Language Models Always Solve Easy Problems if They Can Solve Harder Ones?
Peking University(北京大学);Alibaba Group(阿里巴巴集团)
该研究针对大语言模型能解难题却可能在简单题上失败的“难到易”不一致性,构建ConsisEval基准并提出一致性分数量化评估,经多模型实验揭示相关规律与提升方向。
2024-06-18 cs.CL
PythonSaga: Redefining the Benchmark to Evaluate Code Generating LLMs
IIT Gandhinagar(印度理工学院甘地讷格尔分校)
针对现有Python代码生成基准存在概念覆盖偏差和简单任务过多的问题,本文提出包含185个提示、均衡覆盖38个编程概念的新基准PythonSaga,并通过现有代码LLMs的较差表现验证了其稳健性。
2024-07-04 cs.AI cs.CL
Easy Dataset: A Unified and Extensible Framework for Synthesizing LLM Fine-Tuning Data from Unstructured Documents
School of Computer Science and Engineering, Beihang University, China(北京航空航天大学计算机科学与工程学院)
本文提出Easy Dataset框架,通过GUI、文本分块和角色驱动提示从非结构化文档合成LLM微调数据,并在金融问答任务上验证其能提升领域性能且保持通用知识。
2025-07-05 cs.CL cs.HC cs.LG
Emergent Misalignment is Easy, Narrow Misalignment is Hard
研究发现,大型语言模型在狭窄有害数据集上微调易产生偏移,但一般偏移更稳定高效,通过线性表示和KL损失实现,为监控和缓解偏移提供方法。
2026-02-08 cs.AI cs.CL
Embarrassingly Simple Text Watermarks
Kyoto University(京都大学);Okinawa Institute of Science and Technology(冲绳科学技术大学院大学);NTT Communication Science Laboratories(NTT通信科学实验室)
本文提出Easymark,一种简单高效的文本水印方法,无需访问LLM,仅需几行代码,在保持文本质量的同时实现高可靠检测,并证明完美水印的不可能性,实验显示其优于现有方法。
2023-10-13 cs.AI cs.CR cs.LG
Language Models Do Hard Arithmetic Tasks Easily and Hardly Do Easy Arithmetic Tasks
University of Tokyo(东京大学)
本文发现LLMs无需思维链即可正确预测多位数乘法首位数字,却难以预测等价于个位数乘法的末位数字,且以正确高位数字为条件可显著提升末位预测置信度。
2024-06-04 cs.AI cs.CL cs.LG
Curriculum Reinforcement Learning from Easy to Hard Tasks Improves LLM Reasoning
本文提出E2H Reasoner方法,通过从易到难的任务调度提升LLM推理能力,理论证明其收敛性并展示更少样本需求,实验显示在多个领域显著提升小型LLM的推理性能。
2026-03-16 cs.AI cs.CL cs.LG
Frustratingly Easy Majority Voting Using Length Conditioning
University of Modena and Reggio Emilia(摩德纳和雷焦艾米利亚大学);University of Pisa(比萨大学);Gaoling School of Artificial Intelligence, Renmin University of China(中国人民大学高瓴人工智能学院)
本研究提出长度条件多数投票(LCMV),利用测试时训练结合长度条件先验概率,在不微调大语言模型的情况下,提升多数投票法的推理准确率,且优于现有聚合策略。
2026-10-15 cs.AI cs.CL
Frontier LLMs Still Struggle with Simple Reasoning Tasks
Google DeepMind(谷歌DeepMind);Princeton University(普林斯顿大学)
本研究探讨前沿LLM在简单推理任务上的表现,发现即使是最先进的思考模型也会因统计捷径和长上下文处理困难等原因在简单任务上失败,分布外泛化仍是难题。
2025-07-09 cs.AI cs.CL cs.LG
Learning to Solve Hard Problems in RL for LLMs by Never Giving Up
Mila, Université de Montréal(米拉,蒙特利尔大学);Allen Institute for AI(艾伦人工智能研究所);University of Washington(华盛顿大学);Trillium Labs(特里利厄姆实验室)
针对LLM强化学习中简单问题提升大而难题提升小的马太效应,提出自适应采样方法NGU,动态分配计算资源,持续采样直至正确,在数学和编码基准上提升难题解决性能。
2026-09-15 cs.AI cs.LG
Improving Mathematical Reasoning Capabilities of Small Language Models via Feedback-Driven Distillation
针对小型语言模型数学推理能力不足的问题,提出反馈驱动的蒸馏框架,通过按难度分类生成变体问题并进行多轮迭代蒸馏,使SLMs达到SOTA数学推理性能。
2024-11-22 cs.AI cs.CL
It's Not Easy Being Wrong: Large Language Models Struggle with Process of Elimination Reasoning
University of Maryland(马里兰大学)
本文研究大型语言模型在多项选择题中使用排除法推理错误选项的能力,发现排除法策略始终不如直接选择正确答案,且两种策略间一致性低于各自自一致性,并通过错误分析为未来研究提供建议。
2024-06-07 cs.CL
MoDification: Mixture of Depths Made Easy
Beijing Institute of Technology(北京理工大学);Harbin Institute of Technology, Shenzhen(哈尔滨工业大学(深圳));Xiaohongshu(小红书)
本文提出 MoDification 方法,通过将 MoD 中的 top-k 算子升级为 threshold-p 算子并改进架构与数据,使任意大语言模型无需昂贵训练即可转换为深度混合模型,在 3B 到 70B 规模上实现最高约 1.2 倍加速和约 1.8 倍内存降低。
2024-10-18 cs.CL cs.LG
Scratchy: Visual-Scratchpad Multimodal Reasoning for Cryptographic Proof Generation in EasyCrypt
Institute of Information Engineering, Chinese Academy of Sciences(中国科学院信息工程研究所);University of Chinese Academy of Sciences(中国科学院大学)
本文提出Scratchy,一种视觉草稿多模态方法,通过将证明对象规范化为类型化证明关系图并转换为视觉证明状态,引导多模态模型生成EasyCrypt密码学证明,实验表明该方法显著提升LLM性能。
2026-09-09 cs.AI cs.CR
UltraEval: A Lightweight Platform for Flexible and Comprehensive Evaluation for LLMs
Tsinghua University(清华大学);ModelBest Inc.(ModelBest公司);Beihang University(北京航空航天大学);Renmin University of China(中国人民大学);Northeastern University(东北大学)
本文提出UltraEval,一个轻量、模块化且高效的LLM评估平台,通过重新实现模型、数据和指标三大核心组件,支持灵活组合与统一评估流程,并已公开。
2024-07-22 cs.CL
CLEAR: Error Analysis via LLM-as-a-Judge Made Easy
IBM Research(IBM研究院);The Hebrew University of Jerusalem(特拉维夫大学)
本文提出开源交互式工具 CLEAR,通过逐实例反馈、系统级错误归类与量化及可视化仪表板,弥补 LLM-as-a-Judge 评估只给分数、不解释原因的不足。
2025-07-24 cs.AI cs.CL cs.LG
Let Them Down Easy! Contextual Effects of LLM Guardrails on User Perceptions and Preferences
Carnegie Mellon University(卡内基梅隆大学);Simon Fraser University(西蒙弗雷泽大学);Allen Institute for AI(人工智能研究所)
研究探讨了LLM护栏对用户感知和偏好的影响,发现部分合规策略能显著降低负面感知,强调应通过创造性的拒绝策略而非意图检测来提升安全性和用户体验。
2025-12-02 cs.AI cs.CL cs.HC
How to use LLMs for Text Analysis
University of Amsterdam(阿姆斯特丹大学);Institute of Language, Logic and Computation (ILLC)(语言、逻辑与计算研究所(ILLC))
本指南介绍LLM作为社会科学中通用的文本分析方法,通过Python逐步演示安装、API设置、数据加载、提示开发、文本分析与结果验证,并以识别政治文本中的民粹主义为例展示其超越现有最先进水平的能力。
2023-07-24 cs.AI cs.CL
How Easy is It to Fool Your Multimodal LLMs? An Empirical Analysis on Deceptive Prompts
Apple(苹果公司)
本文提出MAD-Bench基准评估多模态大语言模型对欺骗性提示的脆弱性,发现GPT-4o准确率达82.82%远超其他模型(9%-50%),并提出通过添加提示段落鼓励模型三思的简单方法使准确率翻倍。
2024-07-23 cs.CL cs.CV
AI "News" Content Farms Are Easy to Make and Hard to Detect: A Case Study in Italian
Istituto di Scienza e Tecnologia dell’Informazione “A. Faedo”(A. Faedo信息科学与技术研究所);IT University of Copenhagen(哥本哈根信息技术大学);Istituto di Linguistica Computazionale “Antonio Zampolli”(Antonio Zampolli计算语言学研究所)
本文以意大利语为案例,证明用少量新闻数据微调Llama即可生成难以识别的合成新闻,并指出当前检测方法虽优于人类但难以实际部署,呼吁加强NLP检测研究。
2024-09-29 cs.CL
Despite "super-human" performance, current LLMs are unsuited for decisions about ethics and safety
Generally Intelligent(通用智能公司)
大语言模型(LLM)在过去几年中迅速流行起来,并在问答和文本摘要等各种基准测试中取得了令人印象深刻的结果。我们提供了一个简单的新的提示策略,导致了另一个所谓的“超人”结果,这一次在常识伦理推理方面优于人类(通过ETHICS数据集子集的准确性来衡量)。不幸的是,我们发现,依靠平均表现来判断能力可能会产生很大的误导。LLM错误在系统上与人类错误不同,这使得它很容易制作对抗性的例子,甚至扰乱现有的例子来翻转输出标签。我们还观察到一些例子中的反尺度与模型大小的迹象,并表明,促使模型“解释他们的推理”往往会导致令人震惊的理由不道德的行为。我们的研究结果强调了类似人类的表现并不一定意味着类似人类的理解或推理。
2022-12-13 cs.AI cs.CL
Adapting While Learning: Grounding LLMs for Scientific Problems with Intelligent Tool Usage Adaptation
Tsinghua University(清华大学);University of California, San Diego(加州大学圣地亚哥分校)
针对大语言模型在科学问题中的幻觉和工具过度依赖,提出AWL两组件微调方法,通过知识学习和工具使用适应,在六个基准上显著提升准确率并超越先进模型。
2025-06-20 cs.AI cs.CL cs.LG
Detecting Data Contamination in LLMs via In-Context Learning
NVIDIA
本文提出CoDeC方法,通过测量上下文学习对模型性能的影响,检测并量化大语言模型训练数据污染,揭示开放权重模型中的记忆现象。
2026-05-12 cs.AI cs.CL
Key-Element-Informed sLLM Tuning for Document Summarization
针对小规模大语言模型在长文档摘要中关键信息缺失、相关性低的问题,提出关键要素引导的指令调优方法KEITSum,通过识别文档关键要素指导摘要生成,在对话和新闻数据集上取得与专有LLM相当的高质量摘要效果。
2024-11-19 cs.AI cs.CL
Rethinking Easy-to-Hard: Limits of Curriculum Learning in Post-Training for Deductive Reasoning
Max Planck Institute for Intelligent Systems, Tübingen(马克斯·普朗克智能系统研究所,图宾根);ETH Zürich(苏黎世联邦理工学院);The Chinese University of Hong Kong(香港中文大学)
本研究系统评估了课程学习在LLM后训练中的影响,发现基于难度的训练顺序在准确性及响应长度上无显著优势,挑战了课程学习在演绎推理中的实用性。
2026-03-28 cs.CL
Extract Information from Hybrid Long Documents Leveraging LLMs: A Framework and Dataset
Microsoft(微软公司);School of Software & Microelectronics, Peking University(北京大学软件与微电子学院);Institute of Software, Chinese Academy of Sciences(中国科学院软件研究所);Ant Group(蚂蚁集团)
本文提出自动化信息提取框架AIE,使大语言模型能够处理超出令牌限制的混合长文档,并发布财务报告数值提取数据集FINE,从内容选择、表格序列化、框架适应性和提示工程四个方面验证了方法的有效性。
2024-12-31 cs.AI cs.CL
Confidence Calibration in Large Language Models
U.C. Berkeley(伯克利大学);University of Southern California(南加州大学)
通过预注册研究,发现大型语言模型(LLMs)的置信度普遍高于准确率,且存在显著的难易效应:困难测试中过度自信,简单测试中信心不足,并提出了LifeEval测试用于评估不同难度下的模型校准。
2026-04-03 cs.AI cs.LG
Lost in Transmission: When and Why LLMs Fail to Reason Globally
Microsoft Research(微软研究院);Netflix(奈飞)
研究指出大语言模型在处理需要高带宽通信的任务时存在能力限制,并通过BAPO模型证明了链式思维能将复杂问题简化为易处理形式。
2026-01-30 cs.AI cs.FL cs.LG
SED: Self-Evaluation Decoding Enhances Large Language Models for Better Generation
Fudan University(复旦大学);East China Normal University(华东师范大学)
针对LLM自回归解码在混沌点易选错令牌的问题,提出融合推测与评估的SED解码方法,实验验证其能优化令牌选择、提升生成质量。
2024-05-26 cs.AI cs.CL
Fine-Tuned 'Small' LLMs (Still) Significantly Outperform Zero-Shot Generative AI Models in Text Classification
Stanford University(斯坦福大学);University of Zurich(苏黎世大学)
该研究通过多任务多文本类别对比实验,证实经微调的小型大语言模型仍显著优于零样本生成式AI模型,并配套发布了低门槛的微调工具包以降低使用成本。
2024-08-16 cs.AI cs.CL
TextGames: Learning to Self-Play Text-Based Puzzle Games via Language Model Reasoning
Capital One(第一资本金融公司);Brown University(布朗大学)
本文提出TextGames基准,通过文本谜题评估大语言模型的推理能力,发现模型在困难任务上表现不佳,而推理优化模型优于指令遵循模型。
2025-02-25 cs.AI cs.CL
Let's Be Self-generated via Step by Step: A Curriculum Learning Approach to Automated Reasoning with Large Language Models
East China Normal University(东华大学);Youtu Lab, Tencent(腾讯优图实验室);Shanghai Normal University(上海师范大学)
针对CoT提示依赖人力或生成质量不足的问题,受课程学习启发提出LBS3提示方法,通过由易到难的代理查询渐进式引导LLMs生成高质量示例解,在多种推理任务中取得SOTA竞争力。
2025-05-30 cs.CL
ArithmAttack: Evaluating Robustness of LLMs to Noisy Context in Math Problem Solving
本文提出ArithmAttack方法,评估LLMs在包含标点符号噪声的提示下鲁棒性,发现所有模型在噪声增加时表现下降。
2026-03-15 cs.CL
Frustratingly Easy Task-aware Pruning for Large Language Models
Zhongguancun Institute of Artificial Intelligence(中关村人工智能研究院);University of Science and Technology of China(中国科学技术大学);Xi’an Jiaotong University(西安交通大学)
本文提出一种简单有效的任务感知剪枝方法,通过结合通用与任务特定校准数据计算重要性分数并划分参数组,在压缩LLM的同时保留任务特定能力,实验表明优于基线。
2025-10-26 cs.CL cs.LG
Climbing the Ladder of Reasoning: What LLMs Can-and Still Can't-Solve after SFT?
University of California, Berkeley(加州大学伯克利分校);University of Wisconsin, Madison(威斯康星大学麦迪逊分校);Allen Institute for AI(人工智能研究院)
本文通过分析AIME24数据集,揭示了大语言模型在数学推理任务中不同难度层级的进阶要求,发现SFT对提升推理能力有限,而扩大数据规模更有效。
2026-01-09 cs.AI cs.CL cs.LG
RIMO: An Easy-to-Evaluate, Hard-to-Solve Olympiad Benchmark for Advanced Mathematical Reasoning
Artificial Intelligence Thrust, Information Hub, Hong Kong University of Science and Technology (Guangzhou), Guangzhou, China(人工智能 thrust,信息中心,香港科学与技术大学(广州),广州,中国)
RIMO是一个双轨奥林匹克数学基准,通过唯一整数答案和分解证明题消除评估噪声,测试显示前沿LLM性能急剧下降,凸显推理能力差距。
2025-09-09 cs.AI