Kaggle知识点：数据扩增方法

• 数据扩增为什么有用？

在深度学习模型的训练过程中，数据扩增是必不可少的环节。现有深度学习的参数非常多，CNN模型可训练的参数量基本上都是万到百万级别，而训练集样本的数量很难有这么多。

其次数据扩增可以扩展样本空间，假设现在的分类模型需要对汽车进行分类，左边的是汽车A，右边为汽车B。如果不适用任何数据扩增方法，CNN模型会从汽车车头的角度来进行判别，而不是汽车具体的区别。

• 数据扩增怎么做？

数据扩增是对读取进行数据增强的操作，所以需要在数据读取的时候完成。

此外由于数据扩增有一定的随机性，相同的图片经过数据扩增可能得到不同的图片。下面是Pytoch进行读取和数据扩增的方法：

class QRDataset(Dataset):
    def __init__(self, img_path, img_label, transform=None):
        self.img_path = img_path
        self.img_label = img_label 
        if transform is not None:
            self.transform = transform
        else:
            self.transform = None


    def __getitem__(self, index):
        start_time = time.time()
        img = Image.open(self.img_path[index]).convert('RGB')


        if self.transform is not None:
            img = self.transform(img)
        return img,torch.from_numpy(np.array(self.img_label[index]))


    def __len__(self):
        return len(self.img_path)

• 有哪些数据扩增方法？

对于图像分类，数据扩增一般不会改变标签；对于物体检测，数据扩增会改变物体坐标位置；对于图像分割，数据扩增会像素标签；

同时为了深入浅出的讲解数据扩增方法，本文选择以图像分类为例，列举各种数据扩增方法。其他视觉任务可以以此类推，举一反三。

• torchvision

https://github.com/pytorch/vision

• imgaug

https://github.com/aleju/imgaug

• albumentations

https://albumentations.readthedocs.io

下文我将现有的数据扩增方法分成两种：基础数据扩增方法和进阶数据扩增方法。

• transforms.CenterCrop

  对图片中心进行裁剪；

• transforms.ColorJitter

  对图像颜色的对比度、饱和度和零度进行变换；

• transforms.FiveCrop

  对图像四个角和中心进行裁剪得到五分图像；

• transforms.Grayscale

  对图像进行灰度变换；

• transforms.Pad

  使用固定值进行像素填充；

• transforms.RandomAffine

  随机仿射变换；

• transforms.RandomCrop

  随机区域裁剪；

• transforms.RandomHorizontalFlip

  随机水平翻转；

• transforms.RandomRotation

  随机旋转；

• transforms.RandomVerticalFlip

• 随机垂直翻转；

进阶数据扩增方法包括标签不一致的数据扩增方法（需要手动实现）和一些像素cutout的方法（在albumentations库可以找到）。

其中Cutout是比较很常见的，在albumentations中有狠多实现：

• transforms.GridDropout

• transforms.Cutout

• transforms.CoarseDropout

• transforms.MaskDropout

• transforms.GridMask

标签不一致的方法需要对两张图进行像素差值或者区域差值，其中最为典型的是Mixup、CutMix和Attentive CutMix。

Mixup是直接进行两张图像素的差值，标签也进行差值；CutMix是使用Cutout的区域进行像素填充；Attentive CutMix使用模型预测的激活区域进行像素填充。Attentive CutMix是20年比较新的论文，只在CIFAR数据集上进行了验证，时间复杂度较高。

• CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features

• GridMask Data Augmentation

• Attentive CutMix: An Enhanced Data Augmentation Approach for Deep Learning Based Image Classification