arXivDaily arXiv每日学术速递 周一至周五更新

AI 大模型

语言大模型 / LLM

大语言模型、预训练、指令微调、后训练和语言模型应用。

2026-09-01 至 2026-09-01 共收录 968 信号源:cs.CL, cs.AI, cs.LG

1. 预训练与数据 68 篇

2608.29803 2026-09-01 cs.CY cs.CL 新提交 92%

Do LLMs Change Their Minds Like Humans? Diagnosing Human--LLM Divergence in Single-Turn Persuasion Judgments

大型语言模型(LLMs)是否像人类一样改变想法?诊断单轮说服判断中人类与LLM的差异

Lin Chen, Yitong Chen, Yong Li

专题命中 预训练与数据 :LLM(title,title_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 该研究对比人类与LLM的单轮说服判断,发现二者仅轻微一致,LLMs处理说服性话语的方式与人类存在结构性差异,警示不能将LLM判断视为人类信念更新的忠实代理。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.28819 2026-09-01 cs.HC cs.DL 新提交 91%

Visible but Not Yet Curatable: Characterizing the Curatability of Compact and Derived Open LLM Artifacts

可见但尚未可整理:表征紧凑型与衍生型开源大语言模型(LLM)制品的可整理性

Yiyi Lu, Yilai Qian, Yucheng Jin

专题命中 预训练与数据 :LLM(title,title_cn);large language model(abstract);language model(abstract)

AI总结 该研究提出框架表征开源LLM紧凑型与衍生型制品的可整理性,发现仅6.1%的相关记录具备高可整理性,并为模型中心等机构提出改进建议。

Comments 11 pages, 5 figures. Accepted at the ACM/IEEE Joint Conference on Digital Libraries (JCDL 2026). Yiyi Lu and Yilai Qian contributed equally; Yucheng Jin is the corresponding author. Code and results: https://github.com/AndyLu666/VNYC-Open_Source_LLM_Study

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.22938 2026-09-01 cond-mat.mtrl-sci cs.CL cs.LG 版本更新 91%

Large language model-enabled automated data extraction for concrete materials informatics

基于大语言模型的混凝土材料信息学自动化数据提取

Zhanzhao Li, Kengran Yang, Qiyao He, Kai Gong

机构 * Department of Civil and Environmental Engineering, Rice University(Rice大学土木与环境工程系) Rice Advanced Materials Institute, Rice University(Rice大学先进材料研究所) Ken Kennedy Institute, Rice University(Rice大学肯尼迪研究所) Independent researcher(独立研究员)

专题命中 预训练与数据 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.CL、cs.LG

AI总结 本文提出一种基于大语言模型的自动化数据提取方法,用于从非结构化科学文献中提取混凝土材料数据,构建了最大的开放实验室数据库,提升了材料信息学的数据基础设施发展。

Comments 46 pages, including Supplementary Information; accepted for publication in npj Computational Materials

详情

展开后加载摘要…

URL PDF HTML 收藏
2508.09115 2026-09-01 cs.CL 版本更新 90%

SinLlama -- A Large Language Model for Sinhala

SinLlama —— 僧伽罗语专用大语言模型

H. W. K. Aravinda, Rashad Sirajudeen, Samith Karunathilake, Nisansa de Silva, Surangika Ranathunga, Rishemjit Kaur

机构 * Central Scientific Instruments Organisation, Academy of Scientific and Innovative Research(中央科学仪器组织,科学与创新研究院) School of Mathematical and Computational Sciences, Massey University(数学与计算科学学院,梅西大学)

专题命中 预训练与数据 :large language model(title,abstract);language model(title,abstract);LLM(abstract,abstract_cn);分类 cs.CL

AI总结 该研究针对僧伽罗语这类低资源语言被开源大模型忽视的问题,扩展Llama-3-8B得到支持僧伽罗语的SinLlama,其在文本分类任务中性能显著优于原模型。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.30980 2026-09-01 cs.CL cs.AI 新提交 90%

Evaluating and Improving LLM Self-Modeling

评估与改进大语言模型(LLM)的自我建模能力

Siqi Zeng, Andre N. Assis, Rowan Wang

机构 * Constellation(星群公司) Anthropic(Anthropic公司)

专题命中 预训练与数据 :LLM(title,title_cn);分类 cs.CL、cs.AI

AI总结 本研究针对LLM的自我建模能力,构建基准测试评估其水平,开发合成数据管道结合强化学习提升该能力,发现提升未体现一致内省。

Comments 89 pages, 25 figures. Published as a conference paper at EMNLP '26 (Main)

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.30827 2026-09-01 cs.CL 新提交 90%

Error-Type-Aware Loss Reweighting for Robust Named Entity Recognition with Noisy LLM Labels

面向含噪大语言模型标签的鲁棒命名实体识别的错误类型感知损失重加权

Elena Merdjanovska, Jonas Golde, Alan Akbik

机构 * Humboldt-Universität zu Berlin(柏林洪堡大学) Science of Intelligence(智慧科学研究院)

专题命中 预训练与数据 :LLM(title,summary_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 针对LLM标注NER数据集存在的异质噪声问题,提出错误类型感知损失重加权方法,无需额外资源即可提升模型F1值,在特定噪声水平下效果显著。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.24080 2026-09-01 cs.CL cs.AI 版本更新 90%

When Less Is More: An Empirical Study of Minimal Responses in Counseling Dialogues and the Behavior of LLMs

少即是多:心理咨询对话中极简回应与大语言模型(LLM)行为的实证研究

Zhiyang Qi

机构 * The University of Tokyo(东京大学)

专题命中 预训练与数据 :LLM(title_cn,summary_cn);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 本文通过实证研究发现,心理咨询对话中常见的极简回应在LLM生成内容中占比极低,商业LLM可按指令生成此类回应但难判断适用时机,专用模型表现差且基于LLM的评估易低估其价值。

Comments Accepted to EMNLP 2026 Main Conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2512.15052 2026-09-01 cs.CL cs.AI 版本更新 90%

SGM: Safety Glasses for Multimodal Large Language Models via Neuron-Level Detoxification

SGM: 通过神经层面的净化为多模态大语言模型提供安全眼镜

Hongbo Wang, AprilPyone MaungMaung, Isao Echizen

专题命中 预训练与数据 :large language model(title,abstract);language model(title,abstract);pretraining(abstract);分类 cs.CL、cs.AI

AI总结 SGM通过神经层面的净化技术,有效降低多模态大语言模型的毒性,同时保持生成流畅性和推理能力。

Comments Accepted to the EMNLP 2026 Main Conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2601.15236 2026-09-01 cs.CL 版本更新 89%

MAPLE: Metadata Conditioned LLM Pretraining for Locale-Aware Question Answering

具有元数据条件的大型语言模型用于本地化

Anjishnu Mukherjee, Ziwei Zhu, Antonios Anastasopoulos

机构 * Department of Computer Science, George Mason University(计算机科学系,乔治·马歇尔大学)

专题命中 预训练与数据 :pretraining(title,abstract);LLM(title);large language model(abstract);language model(abstract)

AI总结 本文提出通过元数据条件来提升大型语言模型的本地化能力,通过预训练和实验验证了其在不同区域表现的提升效果和效率优势。

Comments Published as a conference paper at EMNLP 2026 (Main)

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.30540 2026-09-01 eess.SP 新提交 89%

Foundation Models for Wireless Localization: Pretraining, Adaptation, and Utilization

用于无线定位的基础模型:预训练、适配与利用

Guangjin Pan, Jiajia Guo, Zheng Xing, Hui Chen, Chao-Kai Wen, Shi Jin, Henk Wymeersch

专题命中 预训练与数据 :foundation model(title,abstract);pretraining(title,abstract)

AI总结 针对现有无线定位方法的不足,本文提出基于基础模型的三阶段统一框架,通过大规模未标注数据学习可迁移表示,提升定位精度与跨环境泛化能力,并展望了相关研究方向。

Comments 4 pages, 1 table. This work has been submitted to the IEEE for possible publication

详情

展开后加载摘要…

URL PDF HTML 收藏
2605.30407 2026-09-01 cs.CL cs.AI cs.IR cs.LG 版本更新 89%

Exploring Autonomous Agentic Data Engineering for Model Specialization

探索用于模型专业化的自主智能体数据工程

Yujie Luo, Xiangyuan Ru, Jingsheng Zheng, Jingjing Wang, Yuqi Zhu, Jintian Zhang, Runnan Fang, Kewei Xu, Ye Liu, Zheng Wei, Jiang Bian, Zang Li, Shumin Deng

机构 * Zhejiang University(浙江大学) Platform and Content Group, Tencent(腾讯平台与内容部)

专题命中 预训练与数据 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);post-training(abstract)

AI总结 本文提出自主智能体数据工程任务,让LLM作为自主数据工程师,通过端到端数据策划驱动模型专业化,实验显示GPT-5.2通过迭代数据适应使学生模型性能提升57.29%。

Comments Accepted by EMNLP 2026 main conference

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.10690 2026-09-01 cs.CL 版本更新 89%

Can Released LLM Vocabularies Support Token-Level Estimation of Hidden Corpora?

已发布的大语言模型词汇表能否支持隐藏语料库的词元级估计?

Qingjie Zhang, Xingzhang Ren, Zixuan Chen, Jinfeng Li, YueFeng Chen, Yitong Yang, Hui Xue, Dayiheng Liu, Han Qiu

机构 * Tsinghua University(清华大学) Alibaba Group(阿里巴巴集团)

专题命中 预训练与数据 :LLM(title,summary_cn);pretraining(abstract);分类 cs.CL

AI总结 该研究针对隐藏语料库的词元级估计问题,提出分位数引导密度估计(QGDE)方法,利用已发布的LLM分词器词汇表实现了低误差的细粒度语料估计,为相关任务提供了新的有效信号来源。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.30674 2026-09-01 cs.LG cs.AI 新提交 88%

CoMPASS: Collaborative Molecular Property Prediction via Adaptive Small-Large Model Synergy

CoMPASS:通过自适应大小模型协同实现协同分子性质预测

Wentao Li, Jiangjie Qiu, Yijun Li, Leyi Zhao, Xiaonan Wang

机构 * Tsinghua University(清华大学)

专题命中 预训练与数据 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);prompting(abstract)

AI总结 CoMPASS是一种用于大小模型协同的检索校准框架,通过结合GAT与LLM的优势,在分子性质预测任务中提升了可修正不确定性区域的性能并限制了LLM的不当干预。

Comments 9 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.30817 2026-09-01 cs.CV cs.AI 新提交 88%

A Composition-Aware Pretraining Framework for Geospatial Foundation Models

面向地理空间基础模型的感知组成的预训练框架

Aryan Kashyap Naveen, Abhishek Srinivas, Pranav Moothedath, Shrutilipi Bhattacharjee

机构 * National Institute of Technology, Karnataka(卡纳塔克邦国家理工学院) Visa Inc(维萨公司) Greenlight

专题命中 预训练与数据 :foundation model(title,abstract);pretraining(title,abstract);分类 cs.AI

AI总结 该研究针对地理空间基础模型现有预训练方法无法捕捉卫星场景组成性的问题,提出感知组成的预训练框架,在多任务上优于更大参数规模的现有模型,在 ForestNet-12 数据集上取得 55.6% 的相对 mAP@10 提升。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.30392 2026-09-01 cs.LG 新提交 88%

Foundation Models Meet Agriculture: Challenges Beyond Pretraining

基础模型与农业:预训练之外的挑战

Vishal Nedungadi, Xingguo Xiong, Marc Rußwurm, Ioannis N. Athanasiadis

机构 * Wageningen University and Research(瓦赫宁根大学与研究中心) Zhejiang Academy of Agricultural Sciences(浙江省农业科学院) University of Bonn(波恩大学)

专题命中 预训练与数据 :foundation model(title,abstract);pretraining(title,abstract);分类 cs.LG

AI总结 本研究评估基础模型部署到农业任务的两大瓶颈,发现预训练-部署模态差距与农业任务空间结构特性导致模型泛化不稳定,为开发下一代领域感知基础模型提供路线图。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.30619 2026-09-01 cs.CL cs.AI 新提交 87%

Hidden Threat in Synthetic Data: Covert Targeted Bias Injection through Benign Text

合成数据中的隐藏威胁:通过良性文本注入隐蔽的针对性偏见

Minkyung Cho, Jihyo Kim, SeungWoo Song, Junghun Yuk, Minjoon Kee, Hoyun Song, KyungTae Lim

机构 * KAIST(韩国科学技术院) Dankook University(檀国大学)

专题命中 预训练与数据 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.CL、cs.AI

AI总结 该研究发现可通过语义良性的合成数据,利用潜意识学习机制向对齐LLM注入针对性社会偏见,同时保留模型通用任务能力,揭示了合成数据训练LLM的新安全风险,提出基于对数线性的评分或可用于筛查此类数据。

Comments To be published in EMNLP 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.29674 2026-09-01 cs.LG 新提交 86%

Creation begins with understanding: LLMs as strategy designers for privacy-preserving tabular data synthesis

创造始于理解:将大型语言模型(LLM)用作隐私保护型表格数据合成的策略设计者

Jinmeng Li, Quan Zhang, Hangting Ye, He Zhao, Firas Laakom, Dandan Guo, Jürgen Schmidhuber

机构 * School of Artificial Intelligence, Jilin University(吉林大学人工智能学院) Broad College of Business, Michigan State University(密歇根州立大学broad商学院) Commonwealth Scientific and Industrial Research Organisation (CSIRO)(英联邦科学与工业研究组织) Center of Excellence for Generative AI, King Abdullah University of Science and Technology (KAUST)(阿卜杜拉国王科技大学生成式人工智能卓越中心) The Swiss AI Lab, IDSIA-USI/SUPSI(瑞士人工智能实验室IDSIA-USI/SUPSI)

专题命中 预训练与数据 :LLM(title_cn,summary_cn);分类 cs.LG

AI总结 针对表格数据合成的隐私与结构问题,提出TabSSD方法,利用LLM设计合成流程,在12个数据集上实现多指标最优平衡,降低计算与专业门槛

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.29206 2026-09-01 cs.AI 新提交 86%

Benevolent Bias in Multi-Turn Human-Agent Dialogue

多轮人机对话中的善意偏见

Qianqi Liu, Jin Huang, Fethiye Irmak Dogan, Hatice Gunes

机构 * University of Cambridge(剑桥大学)

专题命中 预训练与数据 :LLM(summary_cn,abstract);large language model(abstract);language model(abstract);分类 cs.AI

AI总结 本研究针对人机对话中隐藏在积极语气后的善意偏见,构建了标注语料库并测试两类检测器,发现现有安全检测器难识别善意偏见,LLM评判器易误判,需关注对待方式差异以实现公平监控。

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.04483 2026-09-01 cs.CL 版本更新 86%

Voices Across Registers: Corpus-Conditioned Vernacular Jailbreaks against Aligned LLMs via Fanfiction Subgenres

分布外声音:同人小说子类型作为对齐LLM的通用白话越狱

Zhongze Luo, Ruihe Shi, Zhenshuai Yin, Haoyue Liu, Weixuan Wan, Xiaoying Tang

机构 * School of Science and Engineering, The Chinese University of Hong Kong (Shenzhen)(香港中文大学(深圳)科学与工程学院) The Shenzhen Future Network of Intelligence Institute (FNii-Shenzhen)(深圳未来网络智能研究院) The Guangdong Provincial Key Laboratory of Future Networks of Intelligence(广东省未来网络智能重点实验室) School of Microelectronics, Xi’an Jiaotong University(西安交通大学微电子学院)

专题命中 预训练与数据 :LLM(title_cn,summary_cn);分类 cs.CL

AI总结 本文发现安全训练覆盖不足的自然人类写作语域是对齐LLM的真正失败模式,并提出首个利用真实同人小说子类型作为通用攻击载体的越狱方法,显著提升攻击成功率。

Comments Accepted by EMNLP 2026 Main Conference, 25 pages

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.27954 2026-09-01 cs.CR cs.AI cs.LG 版本更新 86%

Not to Break, but to Attest: Adversarial Probes for Privacy-Preserving LLM Verification

不破坏,而是验证:用于隐私保护大语言模型验证的对抗探针

Cameron Wilding, Mina Shaker, Fatemeh Ganji

专题命中 预训练与数据 :LLM(title,abstract);large language model(abstract);language model(abstract);分类 cs.AI、cs.LG

AI总结 该研究提出基于zk-SNARK的隐私保护审计框架,构建三类互补探针验证大语言模型,实验表明黑盒场景下的基于token的探针灵敏度最优,且Groth16 zk-SNARK工作流具备良好实用性。

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.29930 2026-09-01 cs.CL 新提交 85%

Token Counts Are Not Model Lineage: A Frozen-Threshold Holdout Study of Black-Box LLM API Fingerprinting

Token计数并非模型谱系:黑盒大语言模型API指纹识别的冻结阈值保留研究

Bo Chen

机构 * Institute of Computing Technology, Chinese Academy of Sciences(中国科学院计算技术研究所)

专题命中 预训练与数据 :LLM(title,abstract_cn);large language model(abstract);language model(abstract);分类 cs.CL

AI总结 本研究通过24对端点的冻结阈值保留实验,验证了Token计数一致性可作为共享分词栈的指纹,但否定其作为模型家族谱系独立必要测试的用途。

Comments 10 pages, 2 figures

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.29591 2026-09-01 cs.CL 新提交 85%

How You Ask Shapes What You Get: A Theory-Seeded Measurement of Articulation in Advice-Seeking LLM Conversations

提问方式决定获取内容:基于理论的建议寻求型大语言模型对话中表达清晰度的测量

Juneha Baek, Suhyeon Lee, Donghyuk Shin

机构 * KAIST(韩国科学技术院)

专题命中 预训练与数据 :LLM(title,summary_cn);language model(abstract);分类 cs.CL

AI总结 该研究探究建议寻求型LLM对话中提问的表达清晰度是否为可与话题分离的潜在维度,从16447条提示词中提取出可复现的表达清晰度因子,发现其与模型回应存在关联,提出基准测试应按表达清晰度分层。

详情

展开后加载摘要…

URL PDF HTML 收藏
2604.11290 2026-09-01 cs.CL 版本更新 85%

Polyglot Teachers: Evaluating Language Models for Multilingual Synthetic Data Generation

多语言教师:评估语言模型用于多语言合成数据生成

Lester James V. Miranda, Ivan Vulić, Anna Korhonen

机构 * Language Technology Lab, University of Cambridge(剑桥大学语言技术实验室)

专题命中 预训练与数据 :language model(title,abstract);SFT(abstract,abstract_cn);分类 cs.CL

AI总结 本文评估了多语言教师模型的有效性,通过Polyglot Score衡量数据质量和学生模型表现,发现Gemma 3和Aya Expanse在不同学生模型家族中表现优异,数据质量如提示多样性、长度和响应流畅度对教学效果影响显著。

Comments Accepted to EMNLP 2026 Main Track. Website is in https://ljvmiranda921.github.io/polyglot-teachers/

详情

展开后加载摘要…

URL PDF HTML 收藏
2511.14086 2026-09-01 cs.CV cs.AI cs.CL 版本更新 85%

Error-Driven Scene Editing for 3D Grounding in Large Language Models

面向大语言模型中3D grounding的错误驱动场景编辑

Yue Zhang, Zun Wang, Han Lin, Jialu Li, Jianing Yang, Yonatan Bitton, Idan Szpektor, Mohit Bansal

机构 * UNC Chapel Hill(北卡罗来纳大学教堂山分校) University of Michigan(密歇根大学) Google Research(谷歌研究)

专题命中 预训练与数据 :large language model(title);language model(title);分类 cs.CL、cs.AI

AI总结 针对3D大语言模型的空间grounding偏差问题,提出错误驱动框架DEER-3D,通过结构化循环生成针对性反事实训练示例,在多基准上实现4%-6%的性能增益。

Comments Accepted by ECCV 2026. Code: https://github.com/zhangyuejoslin/Deer-3D

详情

展开后加载摘要…

URL PDF HTML 收藏
2407.20371 2026-09-01 cs.CY cs.AI cs.CL cs.LG 版本更新 85%

Gender, Race, and Intersectional Bias in Resume Screening via Language Model Retrieval

通过语言模型检索的简历筛选中的性别、种族及交叉性偏见

Kyra Wilson, Aylin Caliskan

专题命中 预训练与数据 :language model(title,abstract);large language model(abstract);分类 cs.CL、cs.AI、cs.LG

AI总结 本研究通过模拟求职者选拔的文档检索框架,发现Massive Text Embedding(MTE)模型在简历筛选中存在性别、种族及交叉性偏见,偏向白人姓名,黑人男性在所有案例中均受不利影响,为相关AI工具的公平性改进提供了依据。

Comments Proceedings of the 2024 AAAI/ACM Conference on AI, Ethics, and Society; code available at https://github.com/kyrawilson/Resume-Screening-Bias Revised 8/29/2026 to include errata description Revised 8/29/2026 to include description of errata

详情

展开后加载摘要…

URL PDF HTML 收藏
2607.26178 2026-09-01 cs.CL 版本更新 84%

DuplexGen: Adaptive Synthesis of Human-AI Turn-Taking Dialogues

DuplexGen:人机交替对话的自适应合成

Takyoung Kim, Kang-wook Kim, Sang Hoon Woo, Julia Hirschberg, Gunhee Kim, Dilek Hakkani-Tür

机构 * University of Illinois Urbana-Champaign(伊利诺伊大学厄巴纳-香槟分校) Seoul National University(首尔大学) Columbia University(哥伦比亚大学) University of California, Berkeley(加州大学伯克利分校) Georgia Institute of Technology(佐治亚理工学院)

专题命中 预训练与数据 :LLM(summary_cn,abstract);prompting(abstract);分类 cs.CL

AI总结 DuplexGen框架通过将LLM预测与少量槽级人类偏好标注校准,生成场景自适应交替发言对话,契合人类偏好的效果优于未校准方法,证明人类校准对交替发言合成场景特定性的关键作用。

Comments EMNLP 2026; Project website: https://duplexgen.github.io

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.30092 2026-09-01 cs.CL cs.AI 新提交 84%

Arkios: An Open Bilingual English-Nepali Language Model Trained From Scratch, with a Devanagari-Aware Tokenizer

Arkios:从零训练的开放英尼双语语言模型,带有天城文感知分词器

Sajal Regmi, Siddhartha Pudasaini, Chetan Phakami Pun

机构 * Karela Technologies Inc.(卡雷拉科技公司)

专题命中 预训练与数据 :language model(title);instruction tuning(abstract);pretraining(abstract);分类 cs.CL、cs.AI

AI总结 本文提出从零训练的10.4亿参数英尼双语语言模型Arkios,其在ARC数据集上表现优于同规模模型,揭示了低资源语言模型评估的格式偏差问题,并开源了模型权重。

Comments 7 pages, 6 tables. Companion paper (tokenizer): arXiv:2608.26449

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.29978 2026-09-01 cs.CL cs.LG cs.NE 新提交 84%

Evolutionary Soups: Evolving Mixture-of-Experts for Multi-Objective LLM Alignment

进化组合模型:面向多目标大语言模型对齐的进化型专家混合模型

Lingxiao Kong, Steffen Staab, Cong Yang, Oya Beyan, Zeyd Boukhers

机构 * Fraunhofer Institute for Applied Information Technology FIT(弗劳恩霍夫应用信息技术研究所FIT) University of Cologne(科隆大学) University of Stuttgart(斯图加特大学) University of Southampton(南安普顿大学) Soochow University(苏州大学) University Hospital of Cologne(科隆大学医院)

专题命中 预训练与数据 :LLM(title);large language model(abstract);language model(abstract);分类 cs.CL、cs.LG

AI总结 针对大语言模型多目标对齐需求,提出进化型专家混合框架,通过进化算法训练门控网络,在多任务上实现了优于基线的超体积、线性效用和切比雪夫效用,提升约20%。

Comments Accepted at EMNLP 2026 (Main Conference)

详情

展开后加载摘要…

URL PDF HTML 收藏
2606.00613 2026-09-01 cs.CL cs.AI 版本更新 84%

Linguistics-Aware Non-Distortionary LLM Watermarking

语言学感知的无失真LLM水印

Shinwoo Park, Hyejin Park, Hyeseon An, Yo-Sub Han

机构 * Yonsei University(延世大学) Rensselaer Polytechnic Institute(罗切斯特理工学院)

专题命中 预训练与数据 :LLM(title,title_cn);分类 cs.CL、cs.AI

AI总结 提出LUNA水印方法,通过语言自适应非失真二元锦标赛采样器,在保持文本质量的同时实现高检测性能,在12种设置中AUROC达0.9959且中位困惑度偏移仅0.045。

Comments EMNLP 2026

详情

展开后加载摘要…

URL PDF HTML 收藏
2608.30114 2026-09-01 cs.CL 新提交 83%

Manacá-1B: An Open, Reproducible Brazilian-Portuguese Language Model and a Tokenizer-Aware, Paired Evaluation

Manacá-1B:一个开源、可复现的巴西葡萄牙语语言模型及一种感知分词器的配对评估方法

Bruno Leonardo Santos Menezes, Carlos Leonardo Souza Cardoso, Fabio Andre Machado Porto

机构 * Laboratório Nacional de Computação Científica (LNCC)(国家科学计算实验室(LNCC))

专题命中 预训练与数据 :language model(title,abstract);pretraining(abstract);分类 cs.CL

AI总结 本研究针对巴西葡萄牙语开源语言模型复现难、缺乏不确定性度量对比的问题,发布17.2亿参数的Manacá-1B模型及可复现流程,揭示分词器转换的评估陷阱并提供修复方案,所有资源可复现论文结果。

Comments Preprint. Code: https://github.com/Instituto-IA-LNCC/manaca-1b-base ; model weights: https://huggingface.co/menezesbruno/manaca-1b-base

详情

展开后加载摘要…

URL PDF HTML 收藏