「Dreamer」大神Danijar Hafner离开谷歌，开启新篇章

近期，素有「Dreamer」之称的Danijar Hafner，宣布结束了他在谷歌近十年的职业生涯。

在离职前，Danijar担任Google DeepMind旧金山分部的资深研究科学家，致力于「构建能够理解世界并与世界互动的通用智能体」的宏伟目标。

作为谷歌世界模型领域的佼佼者，Danijar主导了Dreamer系列（包括Dreamer、DreamerV3、Dreamer4等）的开发工作。

Danijar在推文中透露：「今天是我在DeepMind的最后一天」，并回顾了在Google和DeepMind将近10年的工作经历，认为「一个重要的篇章走到了终点」。

他的职业生涯早期，多是以研究员身份参与谷歌研究院、DeepMind、Brain Team等团队的工作，从教育经历中也能窥见其职业发展的轨迹。

从2016年起，他就开始参与Brain团队的实习，并与James Davidson及Vincent Vanhoucke共事。

Danijar回忆道，当时团队在TensorFlow的静态图框架下进行调试和实验，因为尚无可运行的PPO实现。

随后，他在伦敦大学攻读硕士期间，于伦敦的DeepMind工作；而在多伦多大学攻读博士期间，则在多伦多的Brain Team工作了相当长一段时间。

他与该团队的另一位资深研究科学家Mohammad Norouzi共同开发了多个版本的Dreamer。

初识Transformer但「并未在意」

Danijar还记得Łukasz Kaiser首次向他们展示由「大型」LSTM生成的维基百科页面时的情景。

Google Brain团队于2018年发表了《Generating Wikipedia by Summarizing Long Sequences》，而Łukasz Kaiser正是该论文的作者之一，其主题就是端到端生成维基百科条目。

Danijar还提到他「错过」Transformer的一段插曲。当时，Ashish Vaswani曾兴奋地介绍这种新架构在计算效率上的优势，并建议他应用在强化学习上，但他并未在意（我当时没试）。后来这种架构被命名为Transformer。

Ashish Vaswani是AI领域颇具影响力的科学家与创业者，不仅是Essential AI的联合创始人，还因提出《Attention Is All You Need》的开创性论文而闻名。该论文提出了全新的简单网络架构Transformer，通过仅使用注意力机制实现更强的并行性和更快的训练速度。

深度学习研究

在伦敦大学攻读硕士期间，Danijar有机会参与深度强化学习和生成式模型的研究，并与Timothy Lillicrap（DeepMind）及Ian Fischer（Google Research）合作。这段经历促成了他们共同完成了PlaNet——一种基于模型的强化学习算法，能从像素观测学习潜在世界模型，并在潜空间中进行规划与动作选择。

随后，Danijar与Nicolas Heess及DeepMind的Adaptive Agents团队长期交流，系统梳理并实践Karl Friston的自由能原理（Free Energy Principle, FEP）。

开发Dreamer并获辛顿指导

在博士期间，Danijar的主要导师是Jimmy Ba，同时他还获得了辛顿（Jeffrey Hinton）的指导。这段时间他还在加州大学伯克利分校以联合培养博士生的身份开展研究。

他与Google Brain多伦多分部的资深研究科学家Mohammad Norouzi共同开发了多个版本的Dreamer。他们不仅参与各种合作项目，还一起庆祝了辛顿获得图灵奖的时刻。