深度学习中的Normalization模型（附实例&公式）

本文以非常宏大和透彻的视角分析了深度学习中的多种Normalization模型，从一个新的数学视角分析了BN算法为什么有效。

[ 导读 ]不管是传统机器学习，还是当前火热的深度学习，Normalization技术都是能够提升算法性能的大杀器。本文以非常宏大和透彻的视角分析了深度学习中的多种Normalization模型，包括大家熟悉的Batch Normalization (BN)和可能不那么熟悉的 Normalization (LN)、Instance Normalization (IN) 及Group Normalization (GN)模型；用生动形象的例子阐述了这些Normalization模型之间的区别和联系；并在一个统一的数学框架下分析了它们的性质；最后从一个新的数学视角分析了BN算法为什么有效。

1、从Mini