LeCun引荐警觉炒作周期神经网络研讨是一场绵长的比赛

新智元报导

作者：Moshe Y. Vardi

编译：肖琴

【新智元导读】最新一期《ACM通讯》宣告专栏文章，以深度神经网络研讨起起伏伏的前史为例，提示人们“将研讨视为一场绵长的比赛，才有或许获得真实的打破”。

最新一期《ACM通讯》宣告专栏文章，以深度神经网络从备受置疑，到2018年Geoffrey Hinton、Yoshua Bengio和Yann LeCun获得图灵奖的一段绵长前史为例，提示人们“将研讨视为一场绵长的比赛，才有或许获得真实的打破”。

本文作者Moshe Y. Vardi是以色列闻名数学家和核算机科学家，美国莱斯大学核算机科学教授、Ken Kennedy信息技能研讨所所长。

Moshe Y. Vardi

Yann LeCun也在Twitter上引荐了这篇文章：

研讨是一场绵长的比赛，耐性和耐力都是必要的

坐落加州帕洛阿尔托的未来研讨所(IFTF)是一家美国智库。它成立于1968年，是兰德公司(RAND Corporation)的一个分支机构，旨在协助企业规划久远的未来。

罗伊·阿玛拉(Roy Amara)从1971年至1990年担任IFTF主席，他于2007年逝世。阿玛拉最闻名的是发明晰关于技能作用的阿玛拉规则(Amara's Law)：“人们总是高估一项科技所带来的短期效益，却又轻视它的长时间影响。”Gartner的“技能炒作周期”最能阐明这一规则，它的特征是“过高期望的峰值”，接着是“泡沫化的低谷期”，然后是“稳步爬高的光亮期”，最终是“本质出产的高原期”。

当我传闻2018年图灵奖被颁发Yoshua Bengio、Geoffrey Hinton和Yann LeCun，以赞誉他们“在概念和工程上的打破，使深度神经网络成为核算的要害组成部分”时，我不由想起阿玛拉规则。这个决议并不非常令人惊奇。究竟，很难幻想还有什么其他核算技能在曩昔十年中有如此有目共睹的体现和影响。引证图灵奖的布告：“近年来，深度学习办法一向是核算机视觉、语音辨认、自然语言处理和机器人技能等应用范畴获得惊人打破的重要原因。”

可是，为了将这一奉献置于恰当的前史背景中，有必要反思神经网络的悠长前史。1943年，神经生理学家沃伦·麦卡洛克(Warren McCulloch)和年青的数学家沃尔特·皮茨(Walter Pitts)写了一篇关于大脑神经元怎么作业的论文。他们用电路模拟了一个简略的神经网络。1958年，康奈尔大学的神经生物学家弗兰克·罗森布拉特(Frank Rosenblatt)发明晰感知器(Perceptron)，一个单层的神经网络。《纽约时报》报导称，感知器是“一台电子核算机的雏形，(水兵)期望它可以走路、说话、看、写、自我仿制，并意识到自己的存在。”不幸的是，感知器对错常有限的，这在Marvin Minsky和Seymour Papert 1969年的作品“Perceptrons”中得到了证明。炒作到达高峰后，随之而来的是幻灭的低谷。这个所谓的“第一个AI冬季”，除其他外，还体现在AI研讨经费的下降上，一向继续到上世纪80年代初。

1982年，加州理工学院的约翰·霍普菲尔德(John Hopfield)宣告了一篇论文（Neural networks and physical systems with emergent collective computational abilities，被称为Hopfield Network），其要点不是建模大脑，而是发明有用的设备。他用明晰的数学办法，展现了这样的网络是怎么作业的，以及它们能做什么。大约在同一时间，美国-日本协作在日本京都举办“协作/比赛神经网络联合会议”。随后，日本宣告“第五代项目”。美国期刊刊登了这篇报导，引发了人们对美国或许会落后的忧虑。不久，资金再次流入。神经信息处理系统大会(NIPS)于1987年举办。可是，炒作的新高峰之后，又一次呈现了幻灭的低谷。再次引证图灵奖的布告：“到21世纪初，LeCun、Hinton和Bengio是坚持这种办法的一小群人中的成员。”事实上，他们重新点燃AI社区对神经网络爱好的尽力开始遭到了质疑。这种幻灭导致了“第二个AI冬季”，一向继续到上世纪90年代。

直到本世纪初，改善的算法、改善的硬件(GPU)，以及非常大的数据集(ImageNet有1400万多个符号图画)结合起来，达成了令人形象深入的打破。而且很明显，很深(很多层的)机器视觉神经网络有明显在功率和速度方面具有明显的优势。Hinton和他的搭档们的主意带来了严重的技能进步，他们的办法现在现已该范畴的主导范式，并因而获得了2018年图灵奖。

这个故事的涵义是，研讨是一场绵长的比赛；耐性和耐力都是必要的。可是，我记住上世纪90年代初，在一个工业研讨实验室举办的一次研讨评价会议上，有人在数据发掘方面的开创性作业没有得到认可，由于“他现已做了两年了，现在还不清楚这项作业是否会有什么发展。”我与普林斯顿大学高档研讨院创始人Abraham Flexner有着相同的忧虑；在1939年宣告的《论无用常识的有用性》(The Usefulness of Useless Knowledge)一文中，Flexner探讨了一种风险的倾向，即为了所谓的实用主义而抛弃朴实的好奇心。

成功的研讨没有单一的公式。有时候，把注意力会集在眼前的问题上是有意义的，可是，通常情况下，将研讨视为一场绵长的比赛，才可以获得戏剧性的打破。

https://cacm.acm.org/magazines/2019/9/238955-the-long-game-of-research/fulltext