Group Normalization

Group Normalization

背景

batch-normalization虽然好，但是依赖于一个大的batch，这对很多问题会急剧消耗空间。比如一些检测、分割问题，需要处理高分辨率的图片，这时一个样本存储的空间就已经比较大，一个Batch也就有1～2个样本，这样导致效果不会太好。而GN(group normalization)则与BATCH大小无关，能应付小batch的情况

一张图

图中C表示channel，N表示每一个batch的数量，H×W的意思是把图像铺成一条直线放于H×W轴上。
对蓝色块里面的元素求均值和方差。

效果

按论文里实验，在小批量的时候效果比bn好，正常批量时和bn效果差不多，在其他一些RNN的任务甚至比一些变种还要好

实现