注意力机制 - AIGC宇宙

被忽略的起点？Karpathy揭秘最初的注意力论文被Transformer光芒掩盖的故事

几个小时前，著名 AI 研究者、OpenAI 创始成员之一 Andrej Karpathy 发布了一篇备受关注的长推文，其中分享了注意力机制背后一些或许少有人知的故事。其中最值得注意的一个故事是真正首次提出注意力机制的论文其实是 Dzmitry Bahdanau、Kyunghyun Cho 和 Yoshua Bengio 的《Neural Machine Translation by Jointly Learning to Align and Translate》，这比《Attention is All you Need》还早 3 年，但很显然，这篇论文并没有收获后者那般的关注。 Karpathy 长推文的不完整截图实际上，这个故事来自 Dzmitry Bahdanau 发给 Karpathy 的一封邮件。