前言：（2022/2/10）
这是我2020/7写的一系列关于Nvidia的投资分析。过了一年多我回过头来再读这几篇文章，觉得还是有可读性。我原来是把它放在微信公众号上的，后来被永久封号了。我决定再把它贴出来，跟大家分享一下。
投资分析– 技术篇2：AI发展
林以（ylin30@gmail.com，2020/07/10）
引言
上一篇【1】给大家介绍了云计算的发展历程。我们接着讲AI的发展历程。
1、AI的发展事件和历程
AI的发展史很漫长，也很杂乱。图一中我给大家列出一些我个人觉得比较有意思的事件。对细节感兴趣的读者可以去读读AI wiki【4】和终极算法这本书【5】。
现代的AI可以认为是从图灵（后来吃毒苹果自杀了，苹果标志上被咬了一口就是纪念他的）1950年提出的图灵测试开始。这个测试是为了测一些号称AI的机器是否达到人的智商。而AI人工智能这个词是到了1956年在达特茅斯大学召开的第一个关于AI的学术研讨会【6】上才选定的。
AI研究到一直都很杂乱，到80前虽然没啥实用上的进展，但是理论层出不穷，比如60年代出现的神经网络（neural networks），还有它所依赖的重要技术反向传播（backpropagation）是70年出来的。1956–1974号称是“黄金年代（The golden years）”。
60、70年代大家都比较关心AI如何模仿人类，比如对人类语言的理解，如何下棋和游戏。但是显然大家低估了AI的难度，一直没啥效果。政府很失望，1974年研究经费被政府机构如DARPA、NRC砍了。1974–1980年于是成为AI的第一个冬天。
到了1980年CMU（卡耐基梅隆大学）为DEC公司搞了一个专家系统XCON，效果显著。加上日本这时候开始大力推第五代机器人项目，雄心壮志想设计出像人类一样的机器人，于是AI又火了起来。大家都去搞专家系统。1985年后期神经网络由于反向传播（backpropagation）的利用，也火了起来。但是当时局限于数据太少和硬件处理能力跟不上，没啥进展。
到了1987年AI又搞砸了。专家们发现专家系统维护起来非常麻烦。日本的第五代机器人项目也效果很烂（确实这事当时不靠谱，机器人到现在才有点模样）。加上87年发生了一个搞笑的事情，苹果和IBM硬件突飞猛进，科学家们刚刚花了大价钱买的机器相比新机器一下子没多少用了。政府又开始砍经费，于是1987年到1993年又进入AI的第二个寒冬。
到了1997年IBM的深蓝击败国际象棋大师，AI又火起来。
到了1999年，深度学习（Deep Learning）开始有了显著的进展。这是由于处理图像的显卡GPU的出现。大家发现GPU有多个核，很适合平行计算，比如神经网络里到处都需要的矩阵计算。【7】
2009年谷歌开始搞无人驾驶汽车项目。斯坦福的李飞飞教授搞了一个ImageNet数据库，装了1千4百万张图片，拿来训练神经网络。【7】
2011年，由于GPU的处理速度的提高，深度学习神经网络在有了很大的提升。2012年Google的吴恩达教授成功地用神经网络识别猫的图片。
2013年，伯克利的一个博士生贾清扬开发了AI软件框架Caffee。他后来去了Facebook，现在在阿里。2015年，谷歌推出了另外一个AI框架，TensorFlow。
2016年，AlphaGo攻破人类智商最后一个堡垒，围棋。。。
2、AI分类
2.1、AI v.s. 机器学习 v.s. 深度学习
很多人都听说过AI，机器学习（Machine Learning），深度学习（Deep Learning），但是不是很清楚它们的关系。其实深度学习是机器学习的一种（并且是最火热的一种），机器学习是AI的一种（并且是最火热的一种）。
机器学习和深度学习是最火热的，而且确实效果很好。机器学习简单来说，就是你想让机器帮你解决一个问题，先扔给机器一堆数据，它能学到规律。给它新的数据，它就能帮你解决问题。学习这个过程叫train，实际解决问题这个过程叫inference。
简单介绍一下，AI除了ML，还有Expert Systems，Robotics，Fuzzy Logic，Nature Language Processing。不过都干不过ML，我们就不谈了。Robotics是另类，像Boston Dynamics出的机器狗，外骨架属于这类的。
2.2、机器学习分类1 — training数据的类别
机器学习可以根据训练所用的数据是否打过标签（即表明数据的特性或者说类别）的方式来分为：
· 无监督学习（unsupervised learning）
- 训练数据不需要人工打标签，省了很多人力
· 监督学习（supervised learning）
- 所有训练需要人工打标签
- 大部分的机器学习算法都是这种，如下面会提到的神经网络CNN，RNN
· 半监督学习（semi-supervised learning）
- 只需要一部分数据打标签，以节省人力
- 对抗神经网络GAN可以跟半监督学习合起来用，虽然它原来是属于无监督学习的。
训练用的数据对机器学习的结果非常的重要。最近一个例子引发了很大的争论【9】。AI大牛Yann LeCun（2018年图灵奖获得者）研究的一个基于对抗神经网络GAN的算法PULSE，能够把模糊的人脸补清楚。但是好事之徒发现奥巴马的模糊相片竟然被补成了白人，见下图。LeCun解释说是因为训练用的数据是白人的照片为主，但是仍然被人不依不饶，LeCun心灰意冷不得不退出推特等社交媒体以免受攻击。
2.3、机器学习分类2 — 学派
机器学习还可以按照理论学派来分类。1950年以来科学家们一直在尝试各种机器学习的理论，比较有名的机器学习的流派有5个学派【5】：
· 符号学派 — 1980年代主导
- 主算法：决策树（decision tree），利用逻辑和心理，逆向演绎（inverse of deduction），
· 贝叶斯学派 — 1990年代主导
- 主算法：贝叶斯（Bayes），马尔可夫（Markov），基于概率和统计
· 联结学派 — 2010年左右开始主导
- 主算法：神经网络，模拟人脑神经元利用反向传播（backpropagation）
· 进化学派
- 主算法：遗传算法（Genetics），基于遗传学和进化论
· 类推学派 — 2000年代主导
- 主算法：支持向量机（SVM），基于数学优化
2.4、深度学习
深度学习是属于神经网络的联结学派。神经网络在最近几年里逐渐占了各种学派的上风，比如AlphaGo就是用的深度学习。它模拟人脑，由很多节点（类比人脑的神经元）组成。节点先组成层。层和层有连接，好比人类的脑神经。可以想象一下点和层越多，脑子更发达。所谓深度学习就是层数很多的神经网络。层数少的话（最多两层），就应该叫浅度学习（shallow learning）。神经网络一般分为全连接（Artificial或者Fully connected NN），卷积（Convolutional NN），循环（Recurrent NN）。各有各的合适的场景。
· 全连接神经网络（ANN）– 普适性较强【8】
· 卷积神经网络（CNN）- 主要用于图像识别【8】
· 循环神经网络（RNN）- 主要用于语音识别、NLP【8】
深度学习在一些比较复杂的问题上准确率上比传统的其它几个学派都高。像现在的人脸图像识别、语音语义识别、围棋、无人驾驶，以前没有太多的突破，直到深度学习出马。人们越来越看好它，用它来解决越来越多以前不可想像AI能做到的难题。
它最大的问题是:
· 需要非常多的数据进行训练
- 网络是由神经元和连接组成的。不同的网络模型除了架构上的区别，每个神经元和连接都有需要确定的参数。网络越复杂（层数，神经元数量，联结数量），需要的训练数据就越多。
· 训练需要的计算资源特别大
- 反向传播需要反复试错调整所有参赛到最优，其实它是个数学上的优化过程，比如梯度下降（Gradient Descent），需要收敛。
它的成功归功于GPU的应用。上面提到，GPU本来是图像显卡，它恰好是多核，很适合做并行计算，比如深度学习里无处不在的矩阵运算。GPU比CPU对深度学习的训练时间提升了不止一个量级。
深度学习还有一个问题是它基本上是黑箱操作，就算它给你的答案是对的，它无法告诉你为什么会是对的，让人很不放心。有做量化投资的基金用深度学习来选股，但是赚钱了你也不知道为啥？有一篇报道【10】说有基金尝试过，确实不停地赚钱，但是后来把这项目停了。因为基金经理害怕哪天它要是亏了，自己又给不了客户一个解释那怎么办好？
3、小结
AI发展了70年，一直没太大进展。直到最近几年深度学习神经网络导致了AI质的飞跃。它的推动力之一是AI找到了图像显卡GPU，大大提升了算力，使深度学习成为可用。我们下一篇接着讲GPU这个领域。
References：
1、林以，投资分析-技术篇1-云计算的发展
2、Nick Heath, Zdnet，What is AI? Everything you need to know about AI. 2/12/2018
3、林以，“看不见的手”-云计算、大数据和AI对商业的推动及其演变-硅谷篇，鹏华基金讲座系列之一，2018
4、Wikipedia，Timeline of AI
5、Pedro Domingos，The master algorithm，2017
6、The Dartmouth College summer AI conference，1956
7、Keith D. Foote, A brief history of deep learning, Dataversity, 2017
8、Missinglink.ai, The complete guide to rrtificial neural networks: concepts and models
9、Theverge.com, What a machine learning tool that turns Obama white can (and can’t) tell us about AI bias,6/23/2020
10、Markets Insider，The maker of one AI hedge fund panicked when he couldn’t explain how it made money,9/27/2017