快捷搜索:

Jeff Dean本科论文首次曝光!第一批90后出生时,他就在训练神经网络

Jeff Dean本科论文首次曝光!第一批90后出生时,他就在训练神经网络

2018-08-28 13:19 来源:量子位 开发 /计算机

原标题:Jeff Dean本科论文首次曝光!第一批90后出生时,他就在训练神经网络

夏乙 李根 发自 凹非寺



Jeff Dean本科论文首次曝光!第一批90后出生时,他就在训练神经网络



22岁时,你在干嘛?

这两天,现任Google AI掌门,传奇一般的Jeff Dean,再次收获膜拜和引发热议。全因他的本科毕业论文首次曝光。

这篇论文只有8页。

却成为1990年的最优等本科论文,被明尼苏达大学图书馆保存至今。

同时这篇论文表明,整整28年前,Jeff Dean已经在用C语言,为神经网络编写并行计算的代码。

拜Jeff Dean教的众人又沸腾了。

老论文,新热议

有位大概很年轻的网友,看了论文之后在HackerNews上发出感慨:不可思议,Jeff Dean在1990年就开始对神经网络感兴趣。

一句话,引来众多科普和追忆。总结起来,就是当时神经网络正当红。

有人感慨:“神经网络那时候是一件大事,在1980年代后期非常热门,那真是一段美好的时光。”

1990年,正值第二次AI寒冬之前,当时,神经网络、Prolog、LISP语言、模糊逻辑都正在流行,ANN还没有被SVM等超越,日本在AI领域还大有赶超美国之势。

后来成为Jeff Dean同事(实习生 ^_^)的神经网络之父Geoffrey Hinton,当时也已经有很多重要研究发表,反向传播也出现了。

Jeff Dean这篇论文提到的两种并行训练方法,就都是基于反向传播的。

网友@silverlake说,“我几乎与Dean同龄,我的本科项目是用遗传算法改进神经网络。当时人工智能很流行,但不久之后冬天来了。”

1990年代早期,对神经网络和机器学习来说是一段非常有趣的日子。当时物体识别、手写识别等都有出现,所有进展都在快速推进,但很快资金撤走了,项目全都陷入困顿。

“幸好后来GPU、深度反向传播的出现,数据量开始爆炸之后,神经网络卷土重来。”网友@dekhn说。而对于那些在第二次AI寒冬中坚守至今的人来说,显然已经得到了应有的回报。



Jeff Dean本科论文首次曝光!第一批90后出生时,他就在训练神经网络



回忆往事之外,不少人得出类似不忘初心,方得始终的结论。

比方Jeff Dean本科毕业论文中研究的问题,被指仍然是今天TensorFlow的重大问题之一。

“真正有趣和创新的早期工作,我认为这也解释了为什么TensorFlow不支持层内模型并行。令人惊讶的是,早期的经历对我们的影响有多大。”网友@scottlegrand2评价。

确实如此。实际上本科毕业之后,Jeff Dean并没有一直沿着AI的方向继续研究下去。随后他的兴趣转向编写高级面向对象语言的编译器,并且在这个领域取得博士学位。

“然而那一丝觉得神经网络很有意思的感觉,从来没有真正消失过”,于是后来Jeff Dean又在Google内部主导神经网络、人工智能的研究,并且和吴恩达、Greg Corrado共同发起成立了Google Brain项目并且担任负责人。

有人评价说,Jeff Dean是一位具有编译器优化专业知识的计算机科学家,而TensorFlow本质上是一种将神经网络加速,转化为与编译器优化相关问题的尝试。



Jeff Dean本科论文首次曝光!第一批90后出生时,他就在训练神经网络



当然,还有很多人注意到,这篇优秀毕业论文只有8页

“一如既往,Jeff Dean从不让人失望。在年轻的时候就解决了一个负责的问题,获得很好的结果,而且清楚简洁的描述了解决方案。”网友@halflings留言说,“我的论文得有60页,但价值不及这篇的千分之一。”

一个学术机构竟然允许提交这么简明的毕业论文,值得表扬。有人回忆起自己读研时的经历:几乎每个修改我论文的人都想加一堆废话。如果你想用一句话简单描述,就会被拒。导师能允许他、甚至鼓励他这么高效精简地沟通,对他真是太好了。

于是,大家开始好奇他导师是谁……

当然有答案。Jeff Dean本科毕业论文的导师,是Vipin Kumar。

Kumar教授现在依然在明尼苏达大学任教,研究数据挖掘、高性能计算和这些技术在气候、生态系统、医疗方面的应用。他还曾在1998年-2005年期间,担任美国陆军高性能计算研究中心(AHPCRC)主任。

Jeff Dean发推说,这篇论文他其实已经弄丢了,于是今年年初,他问当年在明尼苏达大学的导师Vipin Kumar还有没有这篇论文,当然,老师也没有……

他们又去问了学校的荣誉毕业生项目(Honors Program),得到的答案是,纸质论文全都没了。好在,图书馆扫描了一份PDF,才让这篇论文重见天日。

这篇论文在讲什么?

这篇已经快30岁的论文,是怎样并行训练神经网络的?

Jeff Dean探讨了两种基于反向传播来平行训练神经网络的方法。

第一种是模式分割法(pattern-partitioned approach),将整个神经网络表示在每一个处理器上,把各种输入模式划分到可用的处理器上;

您可能还会对下面的文章感兴趣: