一套数学上优雅、逻辑上自洽的框架方法，为什么就是跑不成功？ 作者丨幸丽娟 编辑丨马晓宁 AI 训练有个很棘手的问题：数据越来越多，但质量参差不齐，直接往里倒反而可能把模型练坏。 那怎么办？ 2018年，一篇 ICML 论文提出了一个想法：让 AI 自己学会挑选训练数据。 这个想法后来有了名字，叫做 Meta-learning for Training-data Selection（MTS） ...

极简二次模型，还原 LLM 预训练的本质。 作者丨幸丽娟 编辑丨岑 峰 当大模型预训练还在靠一堆“炼丹术”般的启发式规则苦苦调参时，哈佛大学计算机科学系 Gordon McKay 教授 、Kempner 研究所联合主任 Sham Kakade 抛出了一项反直觉的研究：一个简单到离谱的二次模型，就能精准预测大语言模型在动态预训练中的绝大部分优化效果。 他在 ICML 2026 的特邀演讲《Ho...