AI研究，方向比努力更重要！

35年前的1988年4月，李开复使用统计方法进行语音识别，完胜专家系统方法！

26年前的1997年举办的国际象棋人机大赛，AI使用深度统计方法打败了人类冠军，再次说明AI使用统计方法比模仿 人类思考行为 更有效！

详情，见下面的两篇文章。

第一篇AI文章：李开复2017年8月16日的自述

1983-1988年，我正在卡内基·梅隆大学读计算机博士。

我正忙着暑期教书，秋天投身奥赛罗人机博弈。这是一种黑白棋游戏，正是这种游戏 机器第一次 真正意义上打败了人类冠军。

我的导师瑞迪教授Raj Reddy，是图灵奖得主、卡内基梅隆大学计算机系终身教授、美国工程院院士，从美国国防部得到了300万美元的经费，用来做 不指定语者、大词库、连续性的语音识别。

瑞迪教授希望机器能听懂 任何人的声音，而且 可以懂 上千个词汇，懂人们自然连续 说出的每一句话。

他计划采用专家系统来完成项目，因为这个方法 需要的数据不多。

专家系统是早期人工智能的一个重要分支，你可以把它看作是一类具有专门知识和经验的计算机智能程序系统，一般采用人工智能中的知识表示和知识推理技术来模拟 通常由领域专家才能解决的复杂问题。

但在这个语音识别项目，我不认同专家系统。我相信收集大量的相关数据，建立大型的数据库，然后对大的语音数据库 进行分类，有可能解决专家系统不能解决的问题。

再三思考后，我鼓足勇气，向瑞迪教授直接表达 我的想法。我对瑞迪说：我希望 转投统计学，用统计学来解决这个“不特定语者、大词汇、连续性语音识别”。

瑞迪教授耐心地听完我激情的回答后，用他那永远温和的声音 告诉我：“开复，你对专家系统和统计的观点，我是不同意的，但是我可以支持你 用统计的方法去做，因为我相信科学 没有绝对的对错，我们都是平等的。而且，我更相信一个有激情的人是可能找到 更好的解决方案的”。

那一刻，我的感动 无以伦比。因为对一个教授来说，学生要用自己的方法作出一个与他唱反调的研究。教授不但没有动怒，还给予充分的支持，这在很多地方是不可想象的。

1987年5月，我们大幅度地提升了训练的数据库，采用了新的建模方法，不但能够 用统计学的方法学习 每一个音，而且可以用统计学的方法学习 每两个音之间的转折。针对 有些音的样本不够，我又想出了一种generalized triphones方法来合并 其他的音。这三项工作 居然把机器的语音识别率从原来的40%提高到了80%！后来又提高到96%。这个成果撼动了整个学术领域，这不仅是当时计算机领域里最顶尖的科学成果，更铸就了当代的语音识别技术。

至此，统计学的方法用于语音识别初步被验证是正确的方向，也让大家都相信了我用的机器学习方法和隐马可夫模型算法，并且抛弃了不可行的专家系统方法，专家系统方法只能做到60%的识别率。

从此，所有以专家系统研究语音识别的人 全部转向了统计方法。

后来，《商业周刊》把我的发明选为1988年最重要的科学发明。

第2篇AI文章：人工智能研究，惨痛的教训

Richard Sutton，2019年3月13日

翻译：高章舜，2023年9月20日

长达70年的人工智能研究中可以得出的最大教训是，利用算力的方法最终是最有效的。最终的原因是摩尔定律，或者更确切地说，是摩尔定律对单位计算成本持续快速下降的归纳和总结。大多数人工智能研究，都假设所需的算力是恒定的情况下进行的。因此在这种情况下，利用人类知识将是提高性能的唯一方法。但是，AI研究项目耗时稍长一点，就不可避免地需要消耗更多的算力。为了在短期内 改进，研究人员 试图利用他们在该领域的人类知识。但从长远来看，唯一重要的是利用算力。这两者不一定矛盾，但实际上它们往往是对立的。花在前者的时间 就不能花在后者身上。而使用人类知识的方法往往使 方法复杂化，这种方法 比不上利用算力的方法，后者 更通用。人工智能研究人员 很晚才发现这一点，教训惨痛，现在盘点一下是有益的。

在国际象棋“人机大战”领域，1997年 击败世界冠军卡斯帕罗夫的方法是基于大规模的深度搜索。当时，大多数计算机国际象棋研究人员 对此感到郁闷，他们一直在寻求利用人类对国际象棋特殊结构的理解这一方法。当一种使用特殊硬件和软件的更简单、基于搜索的方法 被证明更有效时，这些基于人类知识的国际象棋研究人员 并不认输。他们说，靠算力的“蛮力”搜索 可能这次赢了，但这不是 一种通用策略，无论如何，这不是 人们下棋的方式。这些研究人员 希望基于人类知识的方法能够获胜，但结果却是：又一次的失败。

在围棋“人机大战”领域也出现了类似的研究模式，只不过是20年以后的事了。通过利用人类知识或比赛的特点来避免海量搜索，这样做的结果是：投入巨大，但没有效果；尤其是深度搜索被大规模地证明有效之后。尽管自我学习在1997年首次击败世界冠军的程序中没有发挥重要作用，但后来可以使用自我学习来学习价值函数，这一点更为重要。通过比赛的自我学习，以及一般的学习，就像搜索一样，可以进行 大量的计算。搜索和学习是人工智能研究中 使用大量计算的两种最重要的技术。在围棋的“人机大战”中，就像在国际象棋的“人机大战”中一样，AI研究人员最初的努力是利用人类的知识和理解，以避免 使用搜索，直到很久以后使用搜索和学习才战胜了人类选手，取得了更大的成功。

在语音识别 领域，早在20世纪70年代 就有一个由DARPA赞助的竞赛。参赛者 包括一系列利用人类知识的方法 — 单词的、音素的、人类发声的知识等。另一方法是使用隐马尔可夫模型(hmm)的新方法，这个方法本质上更偏向于统计，需要进行更多的计算。统计方法比基于人类知识的方法更有效。这导致了整个自然语言处理领域的重大变化，在几十年的时间里，统计和计算逐渐主导了这个领域。最近深度学习在语音识别领域的兴起是朝着这个方向迈出的最新一步。深度学习方法对人的知识依赖更少，但使用更多的算力，以及在庞大的训练集上学习，来产生更好的语音识别效果。就像在比赛中一样，AI研究人员总是 试图让计算机识别系统 按照研究人员的思维方式运行 — 他们试图 将这些知识放入系统中 — 但这适得其反，而且浪费了研究人员 大量时间。因为通过摩尔定律，大规模计算越来越可行，也找到了一种方法来充分利用这些强有力的算力。

在计算机视觉领域，也有类似的模式。早期的方法将视觉设想为搜索边缘、或广义圆柱体、或SIFT特征。但今天，早就不用这些方法了。现代深度学习神经网络只使用卷积和某些不变式，并且表现得更好。

这教训够大，我们还没有完全了解 这一领域，我们还在犯同样的错误。为了看到 这一点，我们必须理解 这些错误是如何发生的。我们必须吸取 痛苦的教训，从长远来看，人类知识思维方式在AI是走不通的。痛苦的教训是基于历史观察：

1)人工智能研究人员 经常试图将知识构建到他们的AI系统中；

2)这总是在短期内 有所帮助，并且使研究人员个人满意；

3)从长远来看，它会停滞不前，甚至会抑制进一步的进展；

4)突破性进展 最终会通过基于搜索和学习的可伸缩的计算方法来实现。

最终的成功是苦涩的，而且往往是不能完全理解的，因为违反了普通人的认知。

我们应该从这个惨痛的教训中学到的一件事是 通用方法的强大，这些方法 随着计算量的增加而不断扩展。在这种情况下，有两种方法似乎可以按需扩展：搜索和学习。

从痛苦中学到的第二个教训是，思想实际是极其复杂的；我们不该用偷懒的方法来考虑思想的内含，这些偷懒的方法如：仅仅考虑空间、物体、多个AI系统或简单的对称性，它们只是随意的、复杂的外部世界的一小部分，它们不应该被内置，因为它们的复杂性是无限的；相反，我们应该只构建能够发现和捕获这种复杂性的高一层次的方法。通过这些方法，可以找到很好的近似值，但对它们的搜索应该由我们的方法，而不是我们自己。我们希望人工智能系统能够像我们一样 去发现，而不是发现我们已经知道的东西。

英语原文：www.incompleteideas.net/IncIdeas/BitterLesson.html