深度学习AI圣经读书笔记

随便瞎看的，内容太多太难，一直看不懂也看不下去，每个名词都是不认识的专有名词，难受≧ ﹏ ≦

1、监督学习

one-hot编码向量：

what---

One-Hot编码，又称为一位有效编码，主要是采用N位状态寄存器来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候只有一位有效。

One-Hot编码是分类变量作为二进制向量的表示。这首先要求将分类值映射到整数值。然后，每个整数值被表示为二进制向量，除了整数的索引之外，它都是零值，它被标记为1。

how---

比如共有5个类，那么就有5个编码：

[1 0 0 0 0]

[0 1 0 0 0]

[0 0 1 1 1]

[0 0 0 1 0]

[0 0 0 0 1]

why---

One hot 编码进行数据的分类更准确，许多机器学习算法无法直接用于数据分类。数据的类别必须转换成数字，对于分类的输入和输出变量都是一样的。

我们想让网络更具表现力，为每个可能的标签值提供概率式数字。这有助于进行问题网络建模。当输出变量使用one-hot编码时，它可以提供比单个标签更准确的一组预测。
 

k-近邻

作为一个非参数学习算法，k-近邻能达到非常高的容量。例如，假设我们有一个用0-1 误差度量性能的多分类任务。在此设定中，当训练样本数目趋向于无穷大时，1-最近邻收敛到两倍贝叶斯误差。超出贝叶斯误差的原因是它会随机从等距离的临近点中随机挑一个。而存在无限的训练数据时，所有测试点x 周围距离为零的邻近点有无限多个。如果我们使用所有这些临近点投票的决策方式，而不是随机挑选一个，那么该过程将会收敛到贝叶斯错误率。k-最近邻的高容量使其在训练样本数目大时能够获取较高的精度。然而，它的计算成本很高，另外在训练集较小时泛化能力很差。k-近邻的一个弱点是他不能学习出哪个特征比其他更具识别力。