王荣胜

数据增强及实现

什么是数据增强

Data Augmentation ,基于有限的数据生成更多等价(同样有效)的数据,丰富训练数据的分布,使通过训练集得到的模型泛化能力更强。

数据增强分类

数据增强可以分为两类,一类是离线增强,一类是在线增强。

  1. 离线增强 : 直接对数据集进行处理,数据的数目会变成增强因子乘以原数据集的数目,这种方法常常用于数据集很小的时候。
  2. 在线增强 : 这种增强的方法用于,获得 batch 数据之后,然后对这个 batch 的数据进行增强,如旋转、平移、翻折等相应的变化,由于有些数据集不能接受线性级别的增长,这种方法长用于大的数据集,很多机器学习框架已经支持了这种数据增强方式,并且可以使用 GPU 优化计算。

数据增强作用

  • 数据增强让有限的数据产生更多的数据,增加训练样本的数量以及多样性(噪声数据),提升模型鲁棒性。神经网络需要大量的参数,许许多多的神经网路的参数都是数以百万计,而使得这些参数可以正确工作则需要大量的数据进行训练,但在很多实际的项目中,我们难以找到充足的数据来完成任务。
  • 随机改变训练样本可以降低模型对某些属性的依赖,从而提高模型的泛化能力。

数据增强方法

  1. 旋转|反射变换(Rotation/reflection):随机旋转图像一定角度; 改变图像内容的朝向;
  2. 翻转变换(flip): 沿着水平或者垂直方向翻转图像;
  3. 缩放变换(zoom): 按照一定的比例放大或者缩小图像;
  4. 平移变换(shift): 在图像平面上对图像以一定方式进行平移; 可以采用随机或人为定义的方式指定平移范围和平移步长, 沿水平或竖直方向进行平移. 改变图像内容的位置;
  5. 尺度变换(scale): 对图像按照指定的尺度因子, 进行放大或缩小; 或者参照SIFT特征提取思想, 利用指定的尺度因子对图像滤波构造尺度空间. 改变图像内容的大小或模糊程度;
  6. 对比度变换(contrast): 在图像的HSV颜色空间,改变饱和度S和V亮度分量,保持色调H不变. 对每个像素的S和V分量进行指数运算(指数因子在0.25到4之间), 增加光照变化;
  7. 噪声扰动(noise): 对图像的每个像素RGB进行随机扰动, 常用的噪声模式是椒盐噪声和高斯噪声;
  8. 颜色变换(color): 在训练集像素值的RGB颜色空间进行PCA, 得到RGB空间的3个主方向向量,3个特征值, p1, p2, p3, λ1, λ2, λ3. 对每幅图像的每个像素Ixy=[IRxy,IGxy,IBxy]T进行加上如下的变化:[p1,p2,p3][α1λ1,α2λ2,α3λ3]T;其中:αi是满足均值为0,方差为0.1的随机变量。

数据增强实现

多框架实现

包含PIL、tensorflow、pytorch、keras实现

深度学习中的数据增强与实现

单独实现

import matplotlib.pyplot as plt
from PIL import Image,ImageChops,ImageEnhance
import numpy as np
import skimage
%matplotlib inline

plt.rc('font', family='SimHei', size=13)

img_path='./test.jpg'
img_data = Image.open(img_path)

翻转

# 竖直翻转
image_1 = np.array(img_data)
img2 = image_1[::-1, :, :]
plt.subplot(1, 2, 1)
plt.imshow(img2)
plt.title("竖直翻转")

# 水平翻转
img3 = image_1[:, ::-1, :]
plt.subplot(1, 2, 2)
plt.imshow(img3)
plt.title("水平翻转")

plt.show()
1

裁剪

img = img_data.crop((200, 100, 800, 500))  # 参数为坐标左上右下
plt.subplot(1, 2, 2)
plt.imshow(img)
plt.title("PIL")
plt.show()
2

旋转

img = img_data.rotate(90)  # 逆时针旋转
plt.subplot(1, 2, 2)
plt.title("PIL")
plt.imshow(img)
plt.show()
3

缩放变形

plt.subplot(1,2,1)
plt.title("original")
plt.imshow(img_data)

img = img_data.crop((200, 100, 800, 500))
img = img.resize((1000,600),resample=Image.LANCZOS)
plt.subplot(1,2,2)
plt.title("scale")
plt.imshow(img)
plt.show()
4

平移变换

plt.subplot(1,2,1)
plt.title("original")
plt.imshow(img)

img = ImageChops.offset(img_data,200,100)
plt.subplot(1,2,2)
plt.title("scale")
plt.imshow(img)
plt.show()
5

颜色变换

# 调整图像的饱和度
random_factor1 = np.random.randint(5, 20) / 10.  # 随机因子
color_image = ImageEnhance.Color(img_data).enhance(random_factor1)  
# 调整图像的亮度
random_factor2 = np.random.randint(5, 21) / 10.
brightness_image = ImageEnhance.Brightness(img_data).enhance(random_factor2)  
# 调整图像对比度
random_factor3 = np.random.randint(5, 20) / 10.
contrast_image = ImageEnhance.Contrast(img_data).enhance(random_factor3)
# 调整图像的锐度
random_factor4 = np.random.randint(5, 20) / 10.
sharp_image = ImageEnhance.Sharpness(img_data).enhance(random_factor4)  

plt.subplot(2,2,1)
plt.title("饱和度")
plt.imshow(color_image)

plt.subplot(2,2,2)
plt.title("亮度")
plt.imshow(brightness_image)

plt.subplot(2,2,3)
plt.title("对比度")
plt.imshow(contrast_image)

plt.subplot(2,2,4)
plt.title("锐度")
plt.imshow(sharp_image)
6

噪声变换

img = np.array(img_data)

plt.subplot(1, 2, 1)
plt.title("origin")
plt.imshow(img_data)

img_noise = skimage.util.random_noise(img, mode="gaussian")

plt.subplot(1, 2, 2)
plt.title("gaussian")
plt.imshow(img_noise)

plt.show()
7

更丰富的噪声变换

import numpy as np
from PIL import Image
import matplotlib.pyplot as plt
import math
import random
import cv2
import scipy.misc
import scipy.signal
import scipy.ndimage

def medium_filter(im, x, y, step):
    sum_s=[]
    for k in range(-int(step/2),int(step/2)+1):
        for m in range(-int(step/2),int(step/2)+1):
            sum_s.append(im[x+k][y+m])
    sum_s.sort()
    return sum_s[(int(step*step/2)+1)]

def mean_filter(im, x, y, step):
    sum_s = 0
    for k in range(-int(step/2),int(step/2)+1):
        for m in range(-int(step/2),int(step/2)+1):
            sum_s += im[x+k][y+m] / (step*step)
    return sum_s

def convert_2d(r):
    n = 3
    # 3*3 滤波器, 每个系数都是 1/9
    window = np.ones((n, n)) / n ** 2
    # 使用滤波器卷积图像
    # mode = same 表示输出尺寸等于输入尺寸
    # boundary 表示采用对称边界条件处理图像边缘
    s = scipy.signal.convolve2d(r, window, mode='same', boundary='symm')
    return s.astype(np.uint8)

# def convert_3d(r):
#     s_dsplit = []
#     for d in range(r.shape[2]):
#         rr = r[:, :, d]
#         ss = convert_2d(rr)
#         s_dsplit.append(ss)
#     s = np.dstack(s_dsplit)
#     return s


def add_salt_noise(img):
    rows, cols, dims = img.shape 
    R = np.mat(img[:, :, 0])
    G = np.mat(img[:, :, 1])
    B = np.mat(img[:, :, 2])

    Grey_sp = R * 0.299 + G * 0.587 + B * 0.114
    Grey_gs = R * 0.299 + G * 0.587 + B * 0.114

    snr = 0.9
    mu = 0
    sigma = 0.12
    
    noise_num = int((1 - snr) * rows * cols)

    for i in range(noise_num):
        rand_x = random.randint(0, rows - 1)
        rand_y = random.randint(0, cols - 1)
        if random.randint(0, 1) == 0:
            Grey_sp[rand_x, rand_y] = 0
        else:
            Grey_sp[rand_x, rand_y] = 255
    
    Grey_gs = Grey_gs + np.random.normal(0, 48, Grey_gs.shape)
    Grey_gs = Grey_gs - np.full(Grey_gs.shape, np.min(Grey_gs))
    Grey_gs = Grey_gs * 255 / np.max(Grey_gs)
    Grey_gs = Grey_gs.astype(np.uint8)

    # 中值滤波
    Grey_sp_mf = scipy.ndimage.median_filter(Grey_sp, (8, 8))
    Grey_gs_mf = scipy.ndimage.median_filter(Grey_gs, (8, 8))

    # 均值滤波
    n = 3
    window = np.ones((n, n)) / n ** 2
    Grey_sp_me = convert_2d(Grey_sp)
    Grey_gs_me = convert_2d(Grey_gs)

    plt.subplot(321)
    plt.title('Grey salt and pepper noise')
    plt.imshow(Grey_sp, cmap='gray')
    plt.subplot(322)
    plt.title('Grey gauss noise')
    plt.imshow(Grey_gs, cmap='gray')

    plt.subplot(323)
    plt.title('Grey salt and pepper noise (medium)')
    plt.imshow(Grey_sp_mf, cmap='gray')
    plt.subplot(324)
    plt.title('Grey gauss noise (medium)')
    plt.imshow(Grey_gs_mf, cmap='gray')

    plt.subplot(325)
    plt.title('Grey salt and pepper noise (mean)')
    plt.imshow(Grey_sp_me, cmap='gray')
    plt.subplot(326)
    plt.title('Grey gauss noise (mean)')
    plt.imshow(Grey_gs_me, cmap='gray')
    plt.show()

    


def main():
    img = np.array(Image.open('./test.jpg'))
    add_salt_noise(img)



if __name__ == '__main__':
    main()
8

遮挡

paste_data = Image.open("./demo.png")
img_data.paste(paste_data,(200,300,200+paste_data.size[0],300+paste_data.size[1]))
小白
本文作者:王荣胜 |「邮箱 」| 「QQ」 | 「QQ群
文章出处:https://sqdxwz.top/
版权声明:本文章采用「知识共享署名-相同方式共享 4.0 国际许可协议」许可。
腾讯云新客专属福力
Powered by 王荣胜 | | 载入天数...载入时分秒...
Google     Server provider     jsDelivr    
正在加载今日诗词....