从CFA到如今的Data Science/Deep Learning的学习已经有一年的时间了。期间经历了自我的兴趣、擅长事务的探索和试验,有放弃了的项目,有新开辟的路线,有有始无终的遗憾,也有还在继续的坚持。期间有数不清的弯路、失落,有无法一一道明的挫败和孤独,也有每日重复单调训练而积累起来的自信与欣喜。和朋友聊天让我意识到,将我目前所摸索到的一些材料和路径分享出来,使其他想要进入这个领域的人或者仅仅是兴趣爱好者能够少走一些弯路,大概是有些意义的。

 

因为Google Alpha Go的原因,Deep Learning成了一个火热的话题。然而,Deep Learning也仅仅是Machine Learning的一个细小分支;而Machine Learning中的很多发展、结论以及背后的本质思想,又是和statistics密不可分。过度关注Deep Learning而全然不顾Machine Learning的一些基本事实和其背后的一些statistics的动机,会让你仅仅是知其然,而无法达到知其所以然。更无法使你根据你所要解决的现实问题去调整、优化你的模型。仅仅是知道Deep Learning的过程,那是非常容易的,不过是在一堆线性的传播路径中加入一些非线性项,然后根据数据用gradient descent去更新参数罢了。然而,它们为什么可以起作用?哪些构架更有效?对于不同的问题,哪些非线性函数又更加有效?这就不是仅仅知道个过程就可以回答的了。你必须深入背后所隐藏的理论,通过不断地编写程序去实验、检验,才能够慢慢积累起一些直观,进而去探索、了解这些问题的答案。我不会允诺你任何的速成和捷径,因为那不符合人最基本的客观认识规律。但是,如果你真的很愿意进入这个领域,有着真正的热情,那么持续不断地每天至少3小时(考虑到8小时的工作时间无法撼动)的学习,3个月的时间应该能够让你建立起最起码的自信。

 

对于任何一个课题、一个领域、一个国家,想要真正了解它,你就必须了解它的运作方式和行事风格。而要了解这些看不见的运作方式和行事风格,你就必须了解它的文化。而要了解它的文化,你就必须了解它的历史。对于科学来说,其历史不仅仅是指一段历史的综述性介绍。更重要的是,你要亲自阅读那些重要历史节点的paper,去寻找最原始的idea是如何产生的。直接学习最前沿的材料,也许可以让你最快速地获取知识,让你能够立刻动手做事。因为这些材料已经经过了无数人的简化、优化和重组,让你可以用最快的速度进行吸收。然而,这些材料的一个缺陷在于,这些重组织会将最原始的想法抹去,只留下最后的完美建筑。所有的材料都是精巧的,然而你却找不到半点关于这个领域如何创建出来的线索(很多大师,诸如Gauss有着最强烈的这种癖好。更恶劣的代表是Laplace,不仅隐去行迹,还会加上一个注脚“容易得到”)。你完全不了解是什么启发了当初的创建者提出了这些思想,又是什么影响了期间的发展,使它变成现在这样。你又应该借鉴这背后的哪些想法和思想,去启发你对别的领域做出一些突破。所有这些线索都埋藏在历史的长河中。如果你无法耐住寂寞,脚踏实地去阅读历史节点的文献,去寻找背后的脉络,你对这个领域的认识和思考,就必然无法深入。这些基本的功夫,是之后一切发展的前提。

 

Deep Learning的发展史并不算太长,最早的关于backward propagation的文章First time back-propagation became popular发表在1986年。如果非要算上neural network的史前时期,第一篇关于感知机的文章Perceptron,也仅仅是在1957年,由Frank Rosenblatt发表。在这不长的历史中,这些历史节点的paper占据了最核心的地位。即便是今天的很多现代算法,比起它们“远古时期”的样子,也差不了多少。在这段30年左右的历史中,neural network却经历了几段波折和起伏。那些令人受挫的低潮期,就源自于人们对它以及它所代表的AI的过分期许。面对今天深度学习的又一次辉煌期,我们并不敢太确定,历史是否还会重演。而在这些冰河时期依旧坚持、并推动着neural network持续发展的人,就是今天供职于Google, Facebook以及Université de Montréal大学的Deep Learning的三巨头: Geoffrey E. Hinton, Yann LeCun, Yos