CoS: Towards Optimal Event Scheduling via Chain-of-Scheduling
针对基于事件的社交网络中事件调度的NP难问题,提出CoS框架,通过三阶段任务分解增强大语言模型并结合知识蒸馏实现自主调度,在真实数据集上兼具近最优有效性、高效率与可解释性,且域外零样本学习能力强。
2025-11-17 cs.AI
Beyond Normalization: Rethinking the Partition Function as a Difficulty Scheduler for RLVR
Seoul National University(首尔国立大学)
本文提出PACED-RL框架,通过重新解释配分函数作为每提示期望奖励信号,利用其指导训练中的问题选择与重放,在保持生成多样性的同时提升样本效率。
2026-05-28 cs.AI cs.CL
CONSTRUCTA: Automating Commercial Construction Schedules in Fabrication Facilities with Large Language Models
Vanderbilt University(范德堡大学);Intel Corporation(英特尔公司)
本文提出 CONSTRUCTA 框架,通过静态 RAG、上下文采样和 Construction DPO/RLHF 对齐专家偏好,利用 LLM 自动化优化半导体制造设施等复杂商业施工进度。
2025-02-17 cs.AI cs.LG cs.SE
SIP: Autotuning GPU Native Schedules via Stochastic Instruction Perturbation
University of Cambridge(剑桥大学)
本文提出SIP方法,通过定义GPU原生指令调度搜索空间并应用随机搜索进行自动优化,有效提升了LLM训练和推理中CUDA内核的极致性能与吞吐量。
2024-03-25 cs.AI cs.AR
Jumping the Line: Exploiting Length Predictions in LLM Scheduling
Florida State University(佛罗里达州立大学);MIT(麻省理工学院);Tel Aviv University(特拉维夫大学)
提出JIL攻击,通过对抗性后缀操纵长度预测,使LLM调度器低估请求长度以插队提速,实验显示预测长度最多降83.4%,完成速度提升1.53倍,并评估了防御措施。
2026-10-05 cs.AI
FRSICL: LLM-Enabled In-Context Learning Flight Resource Allocation for Fresh Data Collection in UAV-Assisted Wildfire Monitoring
Real-Time and Embedded Computing Systems Research Centre (CISTER)(实时嵌入式计算系统研究中心);Carnegie Mellon University(卡内基梅隆大学);Pontificia Universidad Católica de Chile(天主教智利大学);Instituto de Telecomunicações(电信研究院);Faculdade de Engenharia, Universidade do Porto(工程学院,葡萄牙里斯本大学)
本文提出基于大语言模型的上下文学习飞行资源分配方法,用于无人机辅助森林火灾监测中的实时数据采集优化。
2026-02-17 cs.AI
Consensus-based Agentic Large Language Model Framework for Harmonized Tariff Schedule Code Classification
Analytics Everywhere Lab, University of New Brunswick(新不伦瑞克大学无处不在分析实验室);University of Economics Ho Chi Minh City(胡志明市经济大学)
提出一种多智能体LLM框架,通过信息检索、语义检索、证据推理、共识验证和分层投票等方法,解决加拿大10位HTS编码分类难题,在3300条数据上验证了证据驱动和人工参与的必要性。
2026-06-16 cs.AI
Test-Time Scaling in Diffusion LLMs via Hidden Semi-Autoregressive Experts
Yonsei University(延世大学);Oracle(Oracle公司);CMU(卡内基梅隆大学);UMD(马里兰大学);UCF(佛罗里达大学)
提出HEX方法,通过集成不同块大小的生成路径进行多数投票,实现无需训练的测试时扩展,显著提升扩散语言模型在推理基准上的性能。
2025-10-06 cs.AI cs.LG
Towards Multi-Model LLM Schedulers: Empirical Insights into Offloading and Preemption
Sapienza University of Rome(罗马大学)
本文通过实证研究探讨了不同LLM在不同硬件平台上的行为,重点分析了层卸载和抢占对性能的影响,揭示了卸载和抢占对解码吞吐量的非线性影响以及其在不同模型和硬件平台上的差异,为设计高效的多模型LLM服务系统提供了指导。
2026-05-19 cs.AI cs.DC
Model Retirement Creates Reproducibility Risk in Biomedical AI Publications
Medical College of Wisconsin(威斯康星医学院);Marquette University(马凯特大学)
该研究发现生物医学AI出版物中使用的大型语言模型有42%已退役或计划两年内退役,可能导致研究不可复现,呼吁将模型弃用作为生物医学研究的核心报告和保存问题。
2026-09-07 cs.AI
How Should LLMs Consume High-Quality Data? Optimal Data Scheduling via Quality-Aware Functional Scaling Laws
Peking University(北京大学);Meituan(美团)
本文通过引入数据质量维度扩展功能缩放定律,解析求解了联合数据质量和批次大小调度问题,揭示了高质量数据的双重角色,并提出了Drop-Stable-Rampup调度策略,在15B MoE模型上相比WSD和余弦衰减分别提升平均准确率+1.70和+2.98。
2026-08-25 cs.AI cs.LG
Comparative reversal learning reveals rigid adaptation in LLMs under non-stationary uncertainty
Insight Research Ireland Centre for Data Analytics, Ireland(爱尔兰洞察研究中心);School of Computing, Dublin City University, Ireland(都柏林城市大学计算机学院)
研究通过比较确定性固定转移循环与随机性随机调度,探讨LLMs在非平稳环境下的适应性,发现DeepSeek-V3.2表现出极端的固着现象,而Gemini-3和GPT-5.2适应更快但仍不如人类敏感。
2026-04-05 cs.AI
One QuantLLM for ALL: Fine-tuning Quantized LLMs Once for Efficient Deployments
South China University of Technology(华南理工大学);The Hong Kong University of Science and Technology(香港科技大学);Salesforce AI Research(Salesforce AI研究院);Tsinghua University(清华大学)
针对LLM量化部署需重复训练的问题,提出OFA框架通过解耦权重和引入低秩适配器,一次性训练生成多场景最优子网络,在LLaMA2上验证可保持高性能并显著减少部署时间。
2024-05-30 cs.AI
Mpemba Effect in Large-Language Model Training Dynamics: A Minimal Analysis of the Valley-River model
University of Michigan(密歇根大学)
本文通过姆潘巴效应解释大语言模型训练中预热与高平台学习率调度的必要性,并在山谷-河流损失景观中推导出最优平台学习率(强姆潘巴点)的存在条件,为高效学习率调度提供理论依据。
2025-07-06 cs.AI
Automated Conversion of Static to Dynamic Scheduler via Natural Language
School of Computing and Information Systems, Singapore Management University(新加坡管理大学计算与信息系统学院)
针对静态调度模型需专家修改且难应对环境扰动的问题,提出基于 RAG 的 RAGDyS,利用 LLM 依据自然语言约束自动生成动态调度代码。
2024-05-08 cs.AI cs.CL
ARIES: Autonomous Reasoning with LLMs on Interactive Thought Graph Environments
Imperial College London(伦敦帝国学院);University of Cambridge(剑桥大学)
ARIES提出多代理架构,将思维图变换视为MDP动作,用策略LLM动态调整推理策略,无需微调即可在HumanEval上提升29%准确率并降低35%成本。
2025-02-28 cs.AI cs.LG
Optimal Linear Decay Learning Rate Schedules and Further Refinements
Meta;Boston University(波士顿大学);Google Research(谷歌研究院);Samsung AI Center(三星人工智能中心)
该研究弥合学习率调度的理论实践差距,推导出自适应学习率调度,验证线性衰减调度优于常用方案,自适应方法可进一步提升性能。
2024-10-29 cs.AI cs.LG stat.ML
ATLAS: Benchmarking and Adapting LLMs for Global Trade via Harmonized Tariff Code Classification
本文提出首个基于美国海关CROSS系统的HTS代码分类基准,并推出微调模型Atlas,在10位和6位代码分类准确率上显著超越GPT-5-Thinking和Gemini-2.5-Pro-Thinking,同时成本更低且可自托管以保障数据隐私。
2025-09-22 cs.AI
Useful Memories Become Faulty When Continuously Updated by LLMs
University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校);IIIS, Tsinghua University(清华大学人工智能研究院)
研究发现,即使基于有用经验,LLM生成的记忆在持续更新后可能失效,建议将原始事件作为首要证据并明确控制记忆巩固过程。
2026-09-01 cs.AI
TCP: a Benchmark for Temporal Constraint-Based Planning
University of Cambridge(剑桥大学);LMU Munich(慕尼黑大学);Amazon(亚马逊公司);University of Oxford(牛津大学)
提出TCP基准联合评估大语言模型的时间推理与规划能力,发现即使最强模型也难以满足复杂时间约束,揭示了其局限性并开源以促进未来研究。
2025-10-13 cs.AI
Advancing Automated Algorithm Design via Evolutionary Stagewise Design with LLMs
National Key Laboratory for Novel Software Technology, Nanjing University, China(南京大学新型软件技术国家重点实验室);School of Artificial Intelligence, Nanjing University, China(南京大学人工智能学院);Huawei Noah’s Ark Lab, China(华为诺亚实验室)
本文提出EvoStage方法,通过分阶段进化设计提升自动化算法设计效率,实现超越人类专家和现有LLM方法的性能。
2026-03-09 cs.AI
HGT-Scheduler: Deep Reinforcement Learning for the Job Shop Scheduling Problem via Heterogeneous Graph Transformers
Institute for Simulation and Training(模拟与培训研究所);University of Central Florida(中央佛罗里达大学)
HGT-Scheduler通过异构图变换器和近端策略优化,改进作业车间调度问题的调度策略学习,实现更优的调度效果。
2026-03-06 cs.AI cs.ET cs.LG
Straight to Zero: Why Linearly Decaying the Learning Rate to Zero Works Best for LLMs
Cerebras Systems(Cerebras系统)
本研究发现线性衰减到零的学习率调度在训练大语言模型时效果最佳,相比其他调度方式具有显著优势。
2025-11-23 cs.AI cs.CL cs.LG
Smoothing DiLoCo with Primal Averaging for Faster Training of LLMs
Meta Superintelligence Labs(Meta超智能实验室)
GPA通过原始平均平滑DiLoCo,提升大语言模型训练速度,减少内存开销,优于AdamW和DiLoCo。
2026-02-27 cs.AI cs.LG stat.ML
Talaria: Session-Aware Serverless Serving of Hundred-Billion-Parameter LLMs
研究面向千亿参数语言模型的无服务器服务问题,提出会话感知的Talaria系统,通过联合放置和准入决策保证会话连续性,其路由器排序放置,软预留考虑返回,会话预填充等措施提升性能,实验显示相比其他调度器有显著加速。
2026-07-21 cs.AI cs.DC
Adapting LLMs for Minimal-edit Grammatical Error Correction
Adam Mickiewicz University(亚当·密茨杰夫大学)
针对大语言模型在最小编辑量英语语法错误纠正任务适配不足的问题,提出新型训练调度方法,在BEA-test集创下单模型SOTA,还处理了常用GEC数据集的标记化问题并分析其影响,开源了训练代码。
2025-06-16 cs.AI cs.CL
Starjob: Dataset for LLM-Driven Job Shop Scheduling
Université Paris Dauphine-PSL(巴黎多芬大学-PSL大学)
本文提出首个用于作业车间调度的监督数据集Starjob(13万实例),通过微调LLaMA 8B量化模型,在标准基准上超越传统规则和神经方法,平均提升达15.36%。
2025-03-27 cs.AI cs.LG
AgriRegion: Region-Aware Retrieval for High-Fidelity Agricultural Advice
North Carolina A\&T State University(北卡罗来纳A&T州立大学);The University of Alabama(阿拉巴马大学);North Carolina Agricultural and Technical State University(北卡罗来纳农业与技术州立大学);Amazon AWS(亚马逊AWS)
AgriRegion通过区域意识检索增强生成框架,提升农业建议的本地准确性与可靠性。
2025-12-10 cs.AI
From Amateur to Master: Infusing Knowledge into LLMs via Automated Curriculum Learning
Cerebras Systems(Cerebras系统)
大语言模型(LLM)擅长一般任务,但在经济学和心理学等专业领域表现不佳,这些领域需要深入的原则性理解。为了解决这个问题,我们引入了ACER(自动化课程增强方案),将通才模型转换为领域专家,而不会牺牲其广泛的功能。宏碁首先综合了一个全面的,教科书式的课程,通过生成一个主题的目录,然后创建问题-答案(QA)对指导布卢姆的分类。这确保了系统的主题覆盖和逐步增加的难度。由此产生的合成语料库用于持续的预训练与交错的课程表,调整学习内容和认知维度。使用Llama 3.2(1B和3B)的实验显示,在专门的MMLU子集中有显著的增益。在具有挑战性的领域,如微观经济学,在基线斗争,宏碁提高准确性5个百分点。在所有目标领域,我们观察到3个百分点的宏观平均改善。值得注意的是,ACER不仅可以防止灾难性遗忘,还可以促进积极的跨领域知识转移,将非目标领域的绩效提高0.7分。除了MMLU之外,ACER还将ARC和GPQA等知识密集型基准测试的性能提升了2个绝对点以上,同时在一般推理任务上保持稳定的性能。我们的研究结果表明,ACER提供了一个可扩展的和有效的配方关闭关键领域的差距在LLM。
2025-10-30 cs.AI cs.CL
MSSR: Memory-Aware Adaptive Replay for Continual LLM Fine-Tuning
MSSR通过估计样本级别的记忆强度并自适应地安排复习,有效缓解持续LLM微调中的灾难性遗忘问题,同时保持快速适应能力。
2026-03-10 cs.AI cs.CL cs.LG
Teaching According to Talents! Instruction Tuning LLMs with Competence-Aware Curriculum Learning
Tsinghua University(清华大学);Peng Cheng Laboratory(鹏城实验室);Cornell University(康奈尔大学);University of Illinois Chicago(伊利诺伊大学芝加哥分校);Guangming Laboratory(光明实验室)
针对当前课程微调方法因依赖静态难度指标导致课程僵化的问题,提出能力感知多视角课程指令微调框架CAMPUS,通过动态选择子课程、能力感知调整进度及多种难度调度,显著提升了LLM指令微调性能。
2025-11-03 cs.AI cs.CL
Omni-Thinker: Scaling Multi-Task RL in LLMs with Hybrid Reward and Task Scheduling
Huawei Noah’s Ark Lab, Montréal, Canada(华为诺亚实验室,加拿大蒙特利尔);McGill University and Mila - Québec AI Institute(麦吉尔大学和魁北克人工智能研究所);Huawei Noah’s Ark Lab, Beijing, China(华为诺亚实验室,中国北京)
本文提出 Omni-Thinker 统一强化学习框架,通过混合奖励与 BWT 引导的任务调度扩展 LLM 多任务能力,并在四个领域显著优于联合训练和模型合并。
2025-09-26 cs.AI cs.LG
Evaluating Large Language Models for Workload Mapping and Scheduling in Heterogeneous HPC Systems
Faculty of Mathematics and Computer Science, Georg-August-Universität Göttingen(数学与计算机科学学院,哥廷根乔治-奥古斯特大学)
本研究评估21个公开LLM在异构HPC工作负载映射调度任务上的表现,明确其组合优化推理能力边界,指出LLM更适合作为可解释决策副驾驶而非自主求解器。
2025-11-04 cs.AI cs.DC
Confidant: Customizing Transformer-based LLMs via Collaborative Edge Training
Zhejiang University(浙江大学)
本文提出Confidant框架,通过模型划分、流水线并行训练和后端调度器,在资源受限的移动边缘设备上高效定制LLM,实现最高45.3%内存减少和8.03倍推理加速。
2023-11-22 cs.AI cs.DC cs.LG
Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs
Rutgers University(罗格斯大学);Northwestern University(西北大学);UKP Lab, TU Darmstadt(德累斯顿技术大学UKP实验室);New Jersey Institute of Technology(新泽西理工学院);NEC Lab American(美国NEC实验室);University of North Carolina at Chapel Hill(北卡罗来纳大学教堂山分校)
研究LLM在面对难度增加的输入时内部表示的适应机制,发现任务难度提升导致最后隐藏层表示稀疏化,提出基于稀疏性的课程学习策略提升性能。
2026-11-05 cs.AI cs.CL
Chat AI: A Seamless Slurm-Native Solution for HPC-Based Services
GWDG Georg-August-Universität Göttingen(哥廷根大学格奥尔格-奥古斯特大学GWDG机构)
本文提出Chat AI架构,通过云VM上的Web服务安全接入HPC集群上的LLM后端,并原生集成Slurm调度器,利用调度空隙运行推理服务,同时借助SSH ForceCommand构建安全断路器,为商业LLM服务提供私密安全的替代方案。
2024-08-02 cs.AI cs.DC
RealMem: Benchmarking LLMs in Real-World Memory-Driven Interaction
Xidian University(西安电子科技大学);Zhejiang University(浙江大学);Peking University(北京大学);Shanghai Jiao Tong University(上海交通大学);Renmin University of China(中国人民大学);Sun Yat-sen University(中山大学);University of the Chinese Academy of Sciences(中国科学院大学)
RealMem是一个基于真实项目场景的基准,评估大语言模型在长期项目导向交互中的记忆管理能力。
2026-01-11 cs.AI cs.CL
Investigating the Potential of Using Large Language Models for Scheduling
Mercari
本文研究 LLM 在会议节目调度中的应用,结合零样本学习、整数规划与论文相似度衡量,发现仅凭标题的 LLM 聚类比 TFIDF 使用标题和摘要更接近人工分类,并公开了代码。
2024-06-04 cs.AI cs.LG
Towards Nepali-language LLMs: Efficient GPT training with a Nepali BPE tokenizer
Khwopa College of Engineering(科瓦普学院工程学院)
本研究提出基于GPT-2的尼泊尔语模型,通过优化学习率调度、批量扩展和架构改进,结合定制BPE分词器和FlashAttention,实现高效训练并生成连贯的尼泊尔新闻文本。
2025-12-16 cs.AI cs.CL
Exploring the Role of LLMs in HPC Programming: A Survey
Universitat Oberta de Catalunya (UOC)(开放大学加泰罗尼亚分校(UOC));Barcelona Supercomputing Center (BSC)(巴塞罗那超级计算中心(BSC))
本综述梳理了LLM在HPC编程五大类任务中的应用,指出通用LLM在串行等任务表现尚可但分布式范式不足,领域专用模型准确率更高但范围狭窄,LLM短期内无法取代HPC专家,将成为软件开发的强大合作者,二者融合是长期共同演化过程。
2026-08-28 cs.AI cs.DC
SISA: A Scale-In Systolic Array for GEMM Acceleration
Department of Computer Science;Engineering,\ University of Technology
针对LLM中非均匀矩阵带来的Systolic Array资源浪费问题,SISA通过将传统正方形阵列划分为水平矩形片,实现小/倾斜矩阵的高效执行,同时保留大GEMM的全阵操作,从而在代表LLM上实现8.52倍的速度提升和93%的EDP降低。
2026-03-31 cs.AI cs.AR
ELIS: Efficient LLM Iterative Scheduling System with Response Length Predictor
Cloud Research Team, Samsung SDS(三星SDS云研究团队)
针对 LLM 服务中的队头阻塞问题,本文提出 ELIS,利用 BGE 响应长度预测器和 ISRTF 迭代调度优化推理任务排序,并在 Kubernetes 与真实轨迹仿真中验证其最高可降低 19.6% 平均作业完成时间。
2025-05-14 cs.AI cs.DC cs.LG
Copiloting Diagnosis of Autism in Real Clinical Scenarios via LLMs
Zhejiang University(浙江大学)
针对大语言模型在真实自闭症临床诊断场景应用不足的问题,提出ADOS-Copilot框架平衡评分与解释,性能接近临床医生,并系统分析LLMs的优劣势,为其在精神健康领域的应用提供指导。
2024-10-10 cs.AI cs.CL cs.HC
Exploring System 1 and 2 communication for latent reasoning in LLMs
Meta
本研究探讨了大语言模型中潜在推理的双架构通信方法,发现联合微调比增加通道容量更有效,但需设计明确的目标和训练计划以提升推理能力。
2025-12-01 cs.AI cs.LG
AI for Distributed Systems Design: Scalable Cloud Optimization Through Repeated LLMs Sampling And Simulators
Jacopo Tagliabue(独立研究者)
本文提出结合 LLM 随机代码生成与领域模拟器确定性验证的迭代生成-验证循环,用于分布式系统调度策略设计,并在 Bauplan 运行时上初步验证了吞吐量提升。
2025-10-20 cs.AI cs.DB cs.DC
Progressive-View On-Policy Distillation for Regional-to-Global Transfer in Multimodal LLMs
提出渐进视角在线蒸馏(PVD),通过填充裁剪逐步将学生视角从区域转向整图,利用区域优势加权迁移教师优势,在多项基准上平均准确率达77.51,显著超越基线。
2026-09-29 cs.AI cs.CV
Automatic Building Code Review: A Case Study
Pacific Northwest National Laboratory(太平洋西北国家实验室);University of Wyoming(怀俄明大学)
针对人工建筑规范审查效率低、成本高的问题,提出融合BIM数据提取与RAG、MCP智能体流水线的自动化审查框架,经测试验证其可靠性与可落地性,推动ACR研究发展。
2025-10-03 cs.AI cs.SE
Jailbreak-as-a-Service++: Unveiling Distributed AI-Driven Malicious Information Campaigns Powered by LLM Crowdsourcing
Institute of Computing Technology, CAS(中国科学院计算技术研究所);University of Chinese Academy of Sciences(中国科学院大学);China People’s Public Security University(中国人民公安大学);Tongji University(同济大学);South China Normal University(华南师范大学);Tsing Hua University(清华大学)
Jailbreak-as-a-Service++研究通过LLM众包技术揭示分布式恶意信息活动,提出PoisonSwarm方法提升恶意任务生成效率并提出生态系统级防御需求。
2026-01-24 cs.AI cs.CL cs.LG
ReLE: A Scalable System and Structured Benchmark for Diagnosing Capability Anisotropy in Chinese LLMs
Sun Yat-sen University(中山大学);ReLE Benchmark Team(ReLE基准团队);NSFOCUS Technologies Co., Ltd.(NSFOCUS技术有限公司);HKUST-GZ(香港科技大学-广州);Huawei(华为);Ping An Property & Casualty Insurance Company of China, Ltd(平安财产保险股份有限公司)
ReLE通过可扩展系统和结构化基准诊断中文大语言模型的能力异质性,提升评估效率和准确性。
2026-01-24 cs.AI cs.CV
NotSoTiny: A Large, Living Benchmark for RTL Code Generation
Barcelona Supercomputing Center(巴塞罗那超级计算中心);Universitat Politecnica de Catalunya(加泰罗尼亚理工大学)
NotSoTiny是一个大规模、活体的RTL代码生成基准,通过评估LLM生成结构丰富且具有上下文意识的RTL代码的能力,以克服当前LLM在硬件设计中的限制并推动技术发展。
2025-12-23 cs.AI cs.AR
Dysen-VDM: Empowering Dynamics-aware Text-to-Video Diffusion with LLMs
National University of Singapore(新加坡国立大学);Skywork AI, Singapore(新加坡Skywork AI公司);Nanyang Technological University(南洋理工大学)
本文提出Dysen-VDM,利用大语言模型构建动态场景管理器,将文本动作转为动态场景图并编码为时空特征,提升文本到视频扩散模型的时序动态建模能力,在复杂动作场景中显著优于现有方法。
2024-03-19 cs.AI cs.CV
X-AuT: Progressive Audio-Encoder Compression for Speech LLMs with Cross-Scale Distillation
XPeng Inc.(小鹏汽车)
X-AuT通过渐进式层剪枝和跨尺度蒸馏压缩语音LLM的音频编码器,在Qwen3-ASR上以更少参数降低错误率,优于直接剪枝。
2026-09-11 cs.AI cs.SD
Variational Approach for Job Shop Scheduling
Republic of Korea Navy(韩国海军);Seoul National University(首尔国立大学)
本文提出变分图到调度器框架,通过解耦表示学习与策略优化,提升作业车间调度问题的训练稳定性与泛化能力。
2026-09-17 cs.AI cs.LG
Evaluating Metrics for Safety with LLM-as-Judges
Centre for Assuring Autonomy, University of York(自主性保障中心、约克大学);Bradford Royal Infirmary(布拉德福德皇家医院)
本文提出通过加权指标和置信度阈值来提升LLM作为裁判在关键信息流中的安全性和可靠性。
2025-12-17 cs.AI cs.CL