作者：琰琰 去中心化：机器学习系统的最优解 理论下界：迭代复杂度的极限 ICML获奖者 雷锋网雷锋网雷锋网

本文提出了一个新的损失函数，混合交叉熵损失（Mixed CE），用于替代在机器翻译的两种训练方式（Teacher Forcing和 Scheduled Sampling）里常用的交叉熵损失函数（CE）。 Mixed CE实现简单，计算开销基本和标准的CE持平，并且在多个翻译数据的多种测试集上表现优于CE。这篇文章我们简要介绍Mixed CE的背景和一些主要的实验结果。 文章和附录：h...

原定于在奥地利维也纳召开的ICML 2021，受疫情影响已于近日在线上召开。根据官方消息，会议将在7月18日~7月24日内完成所有的日程。 本次会议共收到5513篇论文投稿，接收1184篇论文，其中包含1018篇短论文和166篇长论文，接收率为21.48%，近五年最低。 在接收的一千多篇论文中，组委会最终挑出了四篇论文，分别颁发了一个杰出论文奖，三个杰出论文提名奖。 杰出论文奖...

CV 在前，NLP 在后，迁移学习技术的应用为这两个领域所带来的进展和突破，不可谓不瞩目。 其中，预训练模型作为当下迁移学习的一种主流方法，让“从零开始训练一个新模型”的时代一去不复返。这类在大型数据集上训练好的模型进行微调后，便能够较好地适配类似的新目标任务，可以极大地节约时间和成本。 不过，天下没有免费的午餐，这种方法看似“一劳永逸”，也需要付出一定的代价，其中的一大问题便是，由...

经历了审稿过程延长，允许一稿多投和撤稿的ICML 2020 终于迎来了开奖！ 这届会议一共判了4990份“试卷”，1088位作者成功拿到了入场券。相比去年774篇收录，3424份提交申请，以及22.6%的接收率，虽然在录取的“绝对数量”上面有所增长，但是分母的增长，也带来了录取率的下降。 收录文章的完整列表，以及论文领域分布尚未在官网放出，所有结果只是给作者单独发了邮件。不过根据...

ICML作为国际机器学习大会在一些学者心中的地位很高，不仅因为它是所谓的顶会，更因为它在论文评审方面所做的一些开创性的工作。 比如去年率先提出要提交代码，今年又率先提出要规范实验步骤，这些举措让大家看到了，它的确是这个领域的引领者。 （雷锋网） 为了对新手投稿人友好，今年的ICML还公开了审稿人对每篇论文要填写的表格，让新手了解一下评审们都会怎么打分。 越来越完善的机制，让I...

近日，第36届国际机器学习大会(International Conference on Machine Learning)，在美国长滩会议中心隆重召开，该会议作为机器学习人工智能领域的两大顶级盛会之一，代表着热门科研领域的最前沿，具有广泛而深远的国际影响力。ICML 2019年一共在3424篇论文中录取774篇，录用率仅有22.6%。 魔视智能连同澳大利亚国立大学，莫纳什大学，以及NEC ...

雷锋网 AI 科技评论按：数据增强是提升图像识别模型性能的重要手段。伯克利 AI 研究院的一篇关于数据增强的论文便被 ICML 2019 收录为 oral 论文，该论文巧妙地运用基于种群的数据增强算法，在降低计算成本的情况下，既能提高学习数据增强策略的速度，又能提升模型的整体性能。伯克利 AI 研究院也在官方博客上对论文进行了解读，雷锋网 AI 科技评论编译如下。 将基于种群的增强算法...

雷锋网 AI 科技评论按，本文作者张拳石，上海交通大学副教授，研究方向为机器学习、计算机视觉，本文首发于知乎，雷锋网 AI 科技评论获其授权转载。以下为正文内容。 本来想把题目取为「从炼丹到化学」，但是这样的题目太言过其实，远不是近期可以做到的，学术研究需要严谨。但是，寻找适当的数学工具去建模深度神经网络表达能力和训练能力，将基于经验主义的调参式深度学习，逐渐过渡为基于一些评测指标定量指导...

大模型不会"反过来想"？ICML 2026 这9篇论文正在改写规则 Breaking the Reversal Curse in Autoregressive Language Models via Identity Bridge 自回归大语言模型能在复杂任务中表现出色，却在简单逻辑推理上屡屡翻车：学了"Alice的丈夫是Bob"，却答不出"Bob的妻子是Alice"。这就是"反转诅咒"...