斯坦福Surya Ganguli：理解生物智能与创造人工智能

「我不理解造不出来的东西。」——理查德·费曼

智能的创生和理解

几百万年前，人类智能在非洲大陆首次出现，并且继续发展，最终在大约 10 万年前在智人的大脑中达到顶峰。作为现代人类，我们只能想象古代祖先在窥视夜空时所经历的事情，以思考物理现实的本质，以及在内心窥视自己思考自己心理现实的本质。在过去的几百年里，我们的物种通过发现控制空间、时间、物质和能量行为的基本数学定律，在发展对物理现实的精确理解方面取得了巨大的智力进步，现在已经在量子力学和广义相对论的大框架中被编纂。然而，我们正处于探索心理现实本质的最初阶段。尤其是人类智能是如何从 100 亿个突触连接的 1000 亿个 神经元 的湿物中产生的？ 神经科学 、心理学和认知科学的现代学科在过去 100 年中取得了重要进展，为攻克这一重大问题奠定了基础。

但是，当涉及到我们自己的智能时，仅仅理解它们是不够的。我们也非常希望在无生命系统中重现这些功能。事实上， 人工智能 （AI）的新兴领域，与 神经科学 、心理学和认知科学领域合作，在创造具有类似人类能力的机器方面取得了巨大进步。在这篇文章中，我将深入探讨 人工智能 、 神经科学 、心理学和认知科学以及数学、物理和社会科学中的交叉学科如何交织在一起以理解和创造智能系统的过程。

生物与人工之间的合作

• 在过去的 60 多年中，AI 受到神经科学 和心理学的深刻影响，并且确实得到了启发。以下是神经科学 、心理学和 AI 之间过去的相互关联的历史：
• 相对简单元素（神经元 ）的分布式网络能够实现大规模计算，并且现在以神经网络 的形式渗透到现代 AI 系统中。
• 各种降维 技术包括多维缩放和因子分析 ，最初是在心理测量学研究的背景下开发的。
• 著名的神经科学 家 Horace Barlow 提出了分解编码（factorized codes）的概念，这反过来激发了独立成分分析 （ICA）和当前的 AI 研究，目的在于分解出数据变异的独立因素。
• Tolman 在认知地图上的工作提供了证据：即使是老鼠也会形成世界的心理模型，并且可以使用这些模型进行规划 和导航。这巩固了内部模型形成作为动物智能的关键组成部分的思想，这一课题目前处于人工智能 研究的前沿。
• Hopfield 网络是理论神经科学 的一个模型，为分布式、内容可寻址的内存存储和检索提供了统一的框架，也启发了 Boltzmann 机的提出以及许多满足弱约束的分布作为 AI 计算模型的想法。
• 目前主宰机器视觉的深度卷积网络的关键成分直接受到大脑的启发。这些成分包括腹侧流中的分层视觉处理结构，表明「深度」的重要性；视网膜部位再现（retinotopy）是整个视觉皮层的组织原理，导致卷积的提出；简单和复杂细胞的发现启发了最大池化 等操作的提出；皮层内神经归一化现象的发现，促进了人工网络中的各种归一化阶段的提出。
• 稀疏编码的研究是为了理解初级视觉皮层中定向边缘检测 器的原理，如今稀疏编码成为现代 AI 系统中的基本构建块。
• 即时差分学习等算法现在已经成为强化学习 领域的基础，其灵感来自经典的动物条件反射实验。
• 反过来，强化学习 对基底神经节工作原理的解释产生了巨大影响，其中多巴胺能（dopaminergic）神经元 为基底神经节提供了最重要的奖励预测误差信号，从而推动了许多强化学习 算法的学习。
• 大脑中存储系统的模块化启发了现代记忆神经网络 ，它在一定程度上将存储器存储和执行控制电路的操作分开，决定何时从存储器读取和写入。
• 人类注意力系统启发了注意力神经网络 的提出，这些神经网络 可以被训练以动态地处理或忽略部分状态和输入。
• 语言学和认知科学中形式化语法生成的发展导致概率语法和 CS、AI 中的解析方法的发展。
• dropout 等现代正则化 技术受到神经动力学内在随机性的启发。

AI 未来的生物学启示

尽管当前 人工智能 系统在监督 模式识别 任务方面取得了显着的成功，但我们仍然要在很长时间里模仿人类智能。在这里，我从个人观点概述了一些研究方向，其中生物和 人工智能 领域可以携手前进。当然这些方向并非详尽无遗。

生物学式的信度分配

信度分配问题可能是 神经科学 和 人工智能 领域最大的开放性问题之一。假设你正在打网球而且发觉你正不正确地击球。你的 100 万亿个突触中哪一个应该受到指责？大脑如何在你的运动系统中专门找到并纠正真相关的突触组，尤其是在错误发生后几百毫秒内通过视觉系统传递错误时？在 AI 中，这种信度分配问题在许多情况下通过多层计算的反向传播来解决。然而，目前尚不清楚大脑如何解决这个问题。实际上大脑使用局部学习规则来解决：即每个突触仅使用物理上可用的信息来调整其强度，例如由突触连接的两个 神经元 的电活动、其他附近突触的连接强度，以及任何反映反映奖励和错误的神经递质输入。解释这种局部突触的规则是什么，以及它们如何工作可能对 AI 产生重大影响，带来学习上避免反向传播通信开销的神经形态芯片的易并行实现。

整合突触复杂性

生物和人工神经模型之间的主要区别在于我们模拟连接 神经元 突触的方式。在人工网络中，突触由单个标量值建模，利用乘法增益因子转换突触前 神经元 的输入来影响突触后 神经元 的输出。相反，每个生物突触都隐藏在极其复杂的分子信号通路中。例如，我们对最近事件记忆的海马突触各自包含数百种不同类型分子的化学反应网络，能够实现具有复杂时间处理能力的完整 动力系统 。

对于这种复杂性，理论家或工程师可能会试图简单地将其视为生物学上的混乱，只是进化过程中的偶然事件。然而，理论研究表明，这种突触复杂性可能确实对学习和记忆至关重要。事实上，在突触具有有限动态范围的记忆网络模型中，要求这样的突触本身就是具有复杂时间过滤特性的动态系统，以实现合理的网络存储容量。此外，人们最近在 AI 中探索了更智能的突触作为解决灾难性遗忘问题的一种方法（有序地学习两个任务的网络只能学习到第二个任务，因为学习第二个任务会改变突触 权重 ，抹去了学习第一个任务时获得的知识）。

更一般地说，我们当前的 人工智能 系统很可能通过忽略生物突触的动态复杂性而满足于在表格数据中取得重大的性能增益。但正如我们可以为网络添加空间深度以实现复杂的层次表征一样，我们可能还需要为突触添加动态深度以实现复杂的时间学习功能。

单个突触内的复杂分子状态可以帮助学习和记忆。

从系统级模块化大脑架构中获取线索

当前的 AI 系统涉及具有相对均匀的分层或循环架构的训练网络，其从随机初始化 权重 开始训练。但是，对于更复杂的任务来说，这可能难以解决。事实上，生物进化的道路截然不同。所有脊椎动物的最后共同祖先生活在 5 亿年前。从那以后，它的基础大脑一直在发展，大约 1 亿年前演化为哺乳动物大脑，乃至几百万年前的人类大脑。这种不间断的进化链导致了一个错综复杂的大脑结构，具有高度保守的计算元素和巨大的系统级模块化。事实上，我们目前基本缺乏工程设计原则，来解释像大脑这样的复杂传感、通信、控制和记忆网络如何在 5 亿年内不断扩大规模和复杂性，同时永远不会失去在动态环境中自适应运行的能力。因此，AI 从大脑的系统级结构中获取线索可能会非常有趣。

其中一个关键的系统属性是功能层面和解剖层面的模块化。大脑不像我们目前的 AI 架构那样是同质的，而是有不同的模块，如海马体（保存情节记忆和导航）、基底神经节（潜在的 强化学习 和动作选择区域）和小脑（自动化熟练的运动控制和通过 监督学习 获得更高层次的认知）。此外，人脑中的记忆系统（习惯记忆、运动技能、短期记忆、长期记忆、情景记忆、语义记忆）也是功能模块化的；不同的记忆型患者可能在一种类型的记忆中存在缺陷而在其他类型的记忆中没有缺陷。此外，在运动系统中，嵌套反馈回路结构占主导地位：简单的快速回路通过脊髓在 20 毫秒内实现自动运动校正；稍慢的智能回路通过运动皮层在 50 毫秒内实现更复杂的运动校正；最后，视觉反馈流过整个大脑，实现对运动错误的有意识纠正。最后一点，所有哺乳动物大脑的一个主要特征是由大量相对相似的 6 层皮质柱组成的新皮层，所有这些都被认为是在单个规范计算模块上实现变异。

总体而言，现代哺乳动物大脑的显着模块性，在 1 亿年独立进化的物种之间相对保守，表明这种系统级模块化可能有利于在 AI 系统中实施（功能原理，不限于生物细节），并且目前从零开始训练 神经网络 的方法可能不是走向通用人类智能的途径。实际上，系统级模块化（解剖和功能）的组合、隔离不同类型纠错的嵌套循环，以及更加动态复杂的突触可能都是解决上述信度分配问题的关键因素。

5 亿年的脊椎动物大脑进化创造了一个高度异构和模块化的计算系统。

无监督学习 、迁移学习 和课程设计

人工智能 系统与人类学习之间的另一个主要差异在于，拥有大量标记数据 人工智能 系统甚至可以达到人类级别的性能。例如，最近的 语音识别 系统在 11,940 小时的语音训练中进行了对齐转录。如果我们每天听和看另一个人类阅读文本两个小时，那么将需要花费 16 年才能收集到如此规模的数据集。AlphaGo Zero 练习了 490 万场自我对弈来击败人类围棋大师。如果一个人每天玩 Go 30 年，每天将必须玩 450 场比赛才能训练出 AlphaGo Zero。此外，最近关于 视觉问答 的数据集包含 0.25M 图像、0.76M 问题和 10M 答案。如果我们每天收到关于图像的 100 个问题的答案，那么我们需要 274 年的时间来收集这个规模的数据集。在所有这三种情况下，很明显人类接受的标记训练数据量要少得多，但他们可以识别语音、下围棋并很好地回答有关图像的问题。

弥合 人工智能 和生物智能之间差距的几个关键在于人类从未标记数据中学习的能力（无 监督学习 ），以及在解决先前任务时获得的强大 先验知识 ，并将这些知识迁移到新任务（ 迁移学习 ）。最后，人类社会建立了教育系统，涉及精心挑选的任务序列的设计，以促进知识获取（课程设计）。为了在人工系统中有效地实例化这些概念，我们需要更深入地理解和用数学形式化人类和其他动物如何进行无 监督学习 、知识如何在任务之间转移，以及如何优化课程。

Taskonomy：斯坦福大学开展的关于 26 项不同视觉任务之间迁移的研究。

建立理解、规划 和主动因果学习的世界模型

当前 AI 的成功很多是通过监督方法实现的，其中 AI 系统被动地接收输入，被告知正确的输出，并且它调整其 参数 以匹配每个输入-输出组合。相比之下，婴儿就像活跃的科学家一样考察周围的环境。例如，考虑下面的实验：通过戏法，我们可以让婴儿看到两个「魔法」物体：物体 A，它看起来穿过了墙壁；而物体 B，它在放手时不会掉落。现在给宝宝两个玩具，婴儿将专门尝试将物体 A 推过固体表面，然后放下物体 B 以查看它是否会掉落。这项非凡的实验表明，婴儿就像科学家一样思考和行动。特别是他们：（1）已经有了物理世界应该如何表现的内部模型；（2）注意违反世界模型的事件；（3）进行主动的实验以收集有关这些违规行为的进一步数据，从而自主根据当前的世界模型选择自己的训练数据。

因此，与大多数当前的 AI 系统不同，即使婴儿也具有学习和利用世界模型的卓越能力。我们需要在 神经科学 和 人工智能 方面进一步研究从经验中学习世界模型，使用这些世界模型进行 规划 （即，根据当前行动想象不同的未来），并据此作出决策。这种基于模型的 规划 和决策可能是当前无模型 强化学习 系统的有力辅助，无模型系统简单地将世界状态 映射 到数值或预期的未来奖励。这个方向的研究可以和 神经科学 携手并进，揭示动物的神经活动如何与想象的以及现实的未来相关。此外，好奇心等基本驱动因素可以形式化为 强化学习 系统，以促进学习和探索。更一般地，深入理解多个系统和促进动物和人类学习的内在生物驱动可能对加速人工系统的学习非常有益。

科学家发现婴儿的感官体验统计数据有了新的变化。

在后摩尔定律 时代实现节能计算

生物系统和人工系统之间的另一个数量级差异在于它们的能量消耗。人脑仅消耗 20 瓦的功率，而超级计算机则以兆瓦的功率运行。从这个意义上讲，我们甚至比灯泡更加暗淡！造成这种差异的一个关键原因可能是过度依赖数字计算本身。虽然数字革命推动了现代信息技术的兴起，但现在可能被认为是实现强 人工智能 过程中的次优技术遗产。原因是数字计算需要在计算的中间阶段以极高的可靠性翻转每一位。然而，热力学定律为每一个快速可靠的位翻转确定了相当大的能量成本，从而无法 shixian 高能效。

相比之下，使用细胞内的分子以及脑内 神经元 的生物计算看起来令人惊讶地嘈杂和不精确。然而，生物计算的每个中间步骤都足够可靠，以使最终答案足够好。此外，大脑可以智能地根据所需的通信速度向上或向下调节能量成本（正如手机处理器刚开始做的事情）。例如，考虑大脑中通过目标 神经元 的单个位（bit）的成本。它开始于囊泡的随机释放，其内容物以 1 毫米/秒的速度扩散到源 神经元 和目标 神经元 之间的空间，仅燃烧 2.3 毫微微焦耳（fJ）。这种慢速很好，因为 神经元 连接之间的空间只有 20 纳米。该化学信号被转换为无源电信号，其以 1 米/秒的速度流过 神经元 细胞体，燃烧 23fJ 以横穿约 10 微米。最后，它到达轴突终端并转换为长轴，沿着轴突每秒行进 100 米，燃烧 6000 fJ 行进 1 厘米。因此，在从化学信号传递到被动电信号时，大脑动态地将通信速度上调 1000 倍，以跨越增加 1000 倍的距离，从而导致能量消耗增加 10 倍。类似地，在从被动到主动电信号传输的过程中，大脑将通信速度提高 100 倍，以跨越增加 1000 倍的距离，从而导致能量消耗增加约 200 倍。

因此，只有在需要更高速度以及需要更高可靠性时，大脑才会消耗更多能量。相比之下，数字计算机在刚性同步时钟上运行，并且在每个时钟周期，许多晶体管必须可靠地翻转状态。总之，生物计算的明显混乱不一定是不可避免的混乱，而可能反映其高能效设计的理想原则。

Neurogrid：由斯坦福 Brains in Silicon Lab 开发的一种生物启发的 神经形态计算 机。

寻求生物和人工智能 的普遍规律

在 人工智能 系统设计中，一种经常被引用的无视生物学的争论涉及到飞机与鸟类的比较。毕竟，如果我们想要做出人造飞行机器，现在看来模仿羽毛和扑翼等生物成分来发明飞行器似乎是荒谬的。然而，仔细观察这个想法会发现更多的细微差别。飞行的一般问题涉及解决两个基本问题：（1）为了前进而产生推力，以及（2）升力的产生使我们保持在天空中。鸟类和飞机确实解决了非常不同的推力问题；鸟儿拍翅膀，飞机使用喷气发动机。然而，它们以完全相同的方式解决了升力问题，通过使用弯曲的翼形，在下方产生更高的气压。

实际上，我们知道空气动力学的一般物理定律控制着不同形状通过空气的运动，这产生了可计算的方法来预测产生的力，如升力和推力。而且，任何解决飞行问题的方法，都必须遵守空气动力学定律。虽然在空气动力学约束下对于飞行问题可能存在不同的可行解决方案，但是这种解决方案可以共享某些特性（即，用于产生升力的方法），同时在其他特性（即，产生推力的方法）方面不同。最后，在飞行器开发中可能还有进一步的工程灵感，可以从果蝇实施的生物控制法中获得。果蝇能够进行快速的空中机动，远远超过世界上最先进战斗机的能力。

更一般地说，在我们对物理世界的研究中，我们习惯于存在约束其行为的原则或规律。例如，正如空气动力学控制飞行物体的运动一样，广义相对论控制着空间和时间的曲率，量子力学控制着纳米世界的演化。我们认为，也可能存在一般原则或规律来约束智能行为如何从大型互连 神经元 网络的合作活动中产生。事实上，本文的作者曾经使用 动力系统 理论、统计力学、黎曼几何、随机矩阵理论、自由概率理论等技术来获得对生物和人工网络运作的概念性见解。然而，为了阐明约束非线性分布式电路中智能出现的一般规律和设计原则，还需要进一步的工作，包括开发新概念、分析方法和工程能力。最终，就像鸟类、飞机和空气动力学的故事一样，创造智能机器的问题可能存在多种解决方案，其中一些组件在生物解决方案和人工解决方案之间共享，而其他组件则可能不同。通过寻求一般的智能定律，我们可以更有效地理解和遍历这个解决方案空间。

原文链接：https://hai.stanford.edu/news/the_intertwined_quest_for_understanding_biological_intelligence_and_creating_artificial_intelligence/