亚马逊推出AI芯片、定制CPU：入局芯片军备竞赛

「Inferentia 将会是一款超高吞吐量、低延迟、性能强大，且功耗比极佳的处理器，」 AWS 首席执行官 Andy Jassy 在发布中介绍道。

对于 亚马逊 来说，这或许是必然要走的一步。来自 Constellation Research 的分析师 Holger Mueller 对此表示， 亚马逊 在自研芯片上远远落后于其他巨头，但这一步颇具意义，在未来这家公司或许会尝试不同的 机器学习 方法。

Inferentia 支持 INT8、FP16 等流行框架以及混合精度。此外，它也支持 Tensor Flow、Caffe2 和 ONNX 等 机器学习 框架。

当然，作为 亚马逊 的产品，它也支持处理 AWS 产品中的数据，例如 EC2、SageMaker，以及今天公布的 Elastic 推理引擎 。这款产品专为推理而设计，这方面与专为训练 机器学习 模型设计的谷歌 TPU 不同。Jassy 表示，目前为 机器学习 计算设计加速器的芯片公司——如其中最大的英伟达——已经投入巨大精力对于模型训练进行优化，这就是 AWS 决定专注于设计更好的推理芯片的原因。

亚马逊 称，若在已训练模型的基础上进行推理任务，Inferentia 芯片可以担负 90% 的算力。通过使用 Amazon Elastic Inference，开发者们可以通过将 GPU 驱动的推理加速功能附加到 Amazon EC2 和 Amazon SageMaker 实例上，将推理成本降低多至 75％左右。

亚马逊 Inferentia 机器学习 芯片的原型，这款芯片由 Annapurna Labs 设计。图片来自亚马逊 副总裁、杰出工程师 James Hamilton。

与 亚马逊 此前的定制 Arm 处理器 Graviton 一样，Inferentia 是这家公司在 2015 年收购的以色列创业公司 Annapurna 的帮助下设计的。在 Inferentia 之前不久， 亚马逊 还发布了 Graviton 芯片——这是一款基于 ARM Cortex-A72 架构的定制化 CPU 处理器，其最高时钟速度为 2.3GHz。

开启科技巨头自研 机器学习 芯片风潮的公司是谷歌。2016 年，谷歌就正式发布了 TPU（其时谷歌已在内部使用 TPU 超过一年时间了），时至今天，TPU 已经发展到了第三代。这款产品的算力也已经成为谷歌云服务的一部分，可为所有开发者提供算力支持。 亚马逊 的最大竞争对手微软 Azure 尚未推出自己的处理器。当然，所有三家公司的 机器学习 云服务算力主要基于英伟达 GPU。此外， AWS 和 Azure 还提供用于 机器学习 的 FPGA 服务。

虽然 亚马逊 今天对外发布了此芯片，但 AWS CEO Andy Jassy 表示 Inferentia 在明年之前不会上线。在发布会上， 亚马逊 也没有公布有关这款芯片的更多技术细节。该公司表示，每块 Inferentia 芯片可提供「提供数百 TOPS」的推理吞吐量...... 为获得更高性能，可以将多个 AWS Inferentia 芯片并联实现数千 TOPS 的吞吐量。

目前的 AI 专用芯片在性能指标上最为强大的是华为今年 10 月推出的 昇腾 910，据称其半精度（FP16）算力可达 256TFLOPS，最大功耗为 350W。

在云服务方面， 亚马逊 正在成为行业领导者，而其推出的 AI 芯片与定制化 CPU，势必更将巩固这家公司的领先地位。

参考链接：https://techcrunch.com/2018/11/28/aws-announces-new-inferentia-machine-learning-chip/