Yoshua Bengio

Adaptive teachers for amortized samplers

用于摊销采样器的自适应教师

Minsu Kim, Sanghyeok Choi, Taeyoung Yun, Emmanuel Bengio, Leo Feng, Jarrid Rector-Brooks, Sungsoo Ahn, Jinkyoo Park, Esmeralda S. Whitammer, Yoshua Bengio

AI总结 该研究针对摊销采样器的高效探索挑战，提出用自适应训练分布（教师）指导采样器（学生）训练，经多任务验证可提升样本效率与模式覆盖范围。

Comments ICLR 2025, 27 pages, 12 figures

Learning diverse attacks on large language models for robust red-teaming and safety tuning

针对大语言模型学习多样化攻击以用于鲁棒红队测试与安全调优

Seanie Lee, Minsu Kim, Lynn Cherif, David Dobre, Juho Lee, Sung Ju Hwang, Kenji Kawaguchi, Gauthier Gidel, Yoshua Bengio, Esmeralda S. Whitammer, Moksh Jain

机构 * KAIST（韩国科学技术院） ； Mila – Québec AI Institute（米拉-魁北克人工智能研究所） ； Université de Montréal（蒙特利尔大学） ； McGill University（麦吉尔大学） ； National University of Singapore（新加坡国立大学） ； University of Edinburgh（爱丁堡大学） ； CIFAR（加拿大高级研究所） 纠错

AI总结 该研究针对现有红队测试方法存在的模式崩塌或攻击有效性不足问题，提出GFlowNet微调加二次平滑的方法生成多样化攻击提示，其攻击对各类LLM有效且可迁移，用该攻击提示调优的模型对其他攻击方法具有鲁棒性。

Comments ICLR 2025; code: https://github.com/GFNOrg/red-teaming

PhyloGFN: Phylogenetic inference with generative flow networks

PhyloGFN：基于生成流网络的系统发育推断

Mingyang Zhou, Zichao Yan, Elliot Layne, Esmeralda S. Whitammer, Dinghuai Zhang, Moksh Jain, Mathieu Blanchette, Yoshua Bengio

AI总结 本文提出PhyloGFN，将生成流网络（GFlowNets）框架用于系统发育推断，在真实基准数据集上产生多样高质量进化假设，边际似然估计具竞争力，贴合目标分布优于变分推断方法。

Comments ICLR 2024

Amortizing intractable inference in large language models

摊销大型语言模型中难以处理的推理

Edward J. Hu, Moksh Jain, Eric Elmoznino, Younesse Kaddar, Guillaume Lajoie, Yoshua Bengio, Esmeralda S. Whitammer

AI总结 该研究针对大型语言模型的难以处理后验分布采样问题，提出用生成流网络（GFlowNets）的摊销贝叶斯推理方法微调LLM，可替代最大似然训练，还能高效适配需多步推理和工具使用的任务。

Comments ICLR 2024; 23 pages; code: https://github.com/GFNOrg/gfn-lm-tuning

Expected flow networks in stochastic environments and two-player zero-sum games

随机环境及两人零和博弈中的期望流网络

Marco Jiralerspong, Bilun Sun, Danilo Vucetic, Tianyu Zhang, Yoshua Bengio, Gauthier Gidel, Esmeralda S. Whitammer

AI总结 本文提出期望流网络（EFlowNets）扩展GFlowNets至随机环境，又提出对抗流网络（AFlowNets）用于两人零和博弈，前者在蛋白质设计任务中表现更优，后者在四子棋中找到超80%最优走法且优于AlphaZero。

Comments ICLR 2024; code: https://github.com/GFNOrg/AdversarialFlowNetworks

Delta-AI: Local objectives for amortized inference in sparse graphical models

Delta-AI：稀疏图模型中摊销推断的局部目标

Jean-Pierre Falet, Hae Beom Lee, Esmeralda S. Whitammer, Chen Sun, Dragos Secrieru, Thomas Jiralerspong, Dinghuai Zhang, Guillaume Lajoie, Yoshua Bengio

AI总结 研究人员提出Δ-AI算法，利用PGM稀疏性实现局部信用分配，基于GFlowNets风格损失实现离策略训练且加速，在合成PGM和稀疏因子结构隐变量模型上验证其有效性。

Comments ICLR 2024; 19 pages, code: https://github.com/GFNOrg/Delta-AI/

GFlowNets and variational inference

GFlowNets与变分推断

Esmeralda S. Whitammer, Salem Lahlou, Tristan Deleu, Xu Ji, Edward Hu, Katie Everett, Dinghuai Zhang, Yoshua Bengio

AI总结 本文建立变分推断与生成流网络的联系，证明特定情形下VI等价于GFlowNets特例，指出GFlowNets更适合离策略训练且利于捕获多模态分布多样性。

Comments ICLR 2023 final version; code: https://github.com/GFNOrg/GFN_vs_HVI