80页笔记看遍机器学习基本概念、算法、模型，帮新手少走弯路

本文要介绍的是一份长约 80 页的学习笔记，旨在总结 机器学习 的一系列基本概念（如 梯度下降 、反向传播等），不同的 机器学习 算法和流行模型，以及一些作者在实践中学到的技巧和经验。

如果你是一个刚刚入门 机器学习 领域的人，这份学习笔记或许可以帮你少走很多弯路；如果你不是学生，这些笔记还可以在你忘记某些模型或算法时供你快速查阅。必要时，你可以使用 Ctrl+F 搜索自己想知道的概念。

• 笔记链接：

  https://createmomo.github.io/2018/01/23/Super-Machine-Learning-Revision-Notes/#tableofcontents

笔记共分为以下六大部分：

1. 激活函数

2. 梯度下降

3. 参数

4. 正则化

5. 模型

6. 实用窍门

在第一部分「 激活函数 」中，作者提供了 Sigmoid、tanh、Relu、Leaky Relu 四种常用的 机器学习 激活函数 。

第二部分「 梯度下降 」又分为计算图、反向传播、L2 正则化 梯度、梯度消失和梯度爆炸等 12 个小节：

为了帮助读者理解，作者举了一些例子，并对很多内容进行了可视化的展示：

梯度下降

此外，作者还对代码中用到的一些符号进行了详细解释，对于新手来说非常友好：

笔记的第三部分是 机器学习 中的 参数 ，又分为可学习 参数 和超 参数 、 参数 初始化、超 参数 调优等几个小节。

为了防止新手走弯路，作者在「 参数 初始化」部分的开头就提醒道：其实， TensorFlow 等 机器学习 框架已经提供了鲁棒的 参数 初始化功能。类似的提醒在笔记中还有很多。

笔记的第四部分是 正则化 ，包含 L2 正则化 、L1 正则化 、Dropout、早停四个小节。

第五部分是整份笔记的重中之重，详细描述了 逻辑回归 、多类分类（Softmax 回归）、 迁移学习 、 多任务学习 、 卷积神经网络 （CNN）、序列模型、Transformer 和 BERT 等八大类 机器学习 模型。并且，八大类模型下面又分为各个小类进行详解，具体如下所示：

解释相对简单的前四类机器学习 模型。

解释最为详尽的卷积神经网络 （CNN），包括 Filter/Kernel、LeNet-5、AlexNet、ResNet、目标检测 、人脸验证 以及神经风格迁移等。

序列模型，包括常见的循环神经网络模型（RNN）、Gated Recurrent Unit（GRU）、LSTM、双向 RNN、深度 RNN 示例、词嵌入、序列到序列翻译模型示例等。

Transformer 和 BERT 模型。

笔记最后一部分给出了一些「实用窍门」，包括训练/开发/测试数据集、不匹配的数据分布、输入归一化以及误差分析等 6 方面内容。其中有些窍门来自 Deep Learning AI 等在线课程，还有一部分是作者自己总结得到的。

作者的其他笔记

除了这份 机器学习 笔记之外，作者之前还整理过概率图模型、BiLSTM 上面的 CRF 层等相关笔记。详细目录如下：

作者整理的概率图模型复习笔记。

作者整理的 BiLSTM 上的 CRF 层相关笔记。