TensorFlow实现数据增强的示例代码

金顺祥

电脑环境：
语言环境：Python 3.8.0
编译器：Jupyter Notebook
深度学习环境：tensorflow 2.17.0

一、前期工作


1.设置GPU（如果使用的是CPU可以忽略这步）

1. import tensorflow as tf
   
2. 
   
3. gpus = tf.config.list_physical_devices("GPU")
   
4. 
   
5. if gpus:
   
6.     tf.config.experimental.set_memory_growth(gpus[0], True)  #设置GPU显存用量按需使用
   
7.     tf.config.set_visible_devices([gpus[0]],"GPU")
   
8. 
   
9. # 打印显卡信息，确认GPU可用
   
10. print(gpus)

复制代码

2、加载数据

1. data_dir   = "./365-8-data/"
   
2. img_height = 224
   
3. img_width  = 224
   
4. batch_size = 32
   
5. 
   
6. train_ds = tf.keras.preprocessing.image_dataset_from_directory(
   
7.     data_dir,
   
8.     validation_split=0.3,
   
9.     subset="training",
   
10.     seed=12,
    
11.     image_size=(img_height, img_width),
    
12.     batch_size=batch_size)

复制代码

1. Found 3400 files belonging to 2 classes.Using 2380 files for training.

复制代码

1. val_ds = tf.keras.preprocessing.image_dataset_from_directory(
   
2.     data_dir,
   
3.     validation_split=0.3,
   
4.     subset="training",
   
5.     seed=12,
   
6.     image_size=(img_height, img_width),
   
7.     batch_size=batch_size)

复制代码

1. Found 3400 files belonging to 2 classes.Using 1020 files for validation.

复制代码

由于原始数据集不包含测试集，因此需要创建一个。使用 tf.data.experimental.cardinality 确定验证集中有多少批次的数据，然后将其中的 20% 移至测试集。

1. val_batches = tf.data.experimental.cardinality(val_ds)
   
2. test_ds     = val_ds.take(val_batches // 5)
   
3. val_ds      = val_ds.skip(val_batches // 5)
   
4. 
   
5. print('Number of validation batches: %d' % tf.data.experimental.cardinality(val_ds))
   
6. print('Number of test batches: %d' % tf.data.experimental.cardinality(test_ds))

复制代码

1. Number of validation batches: 26Number of test batches: 6

复制代码

1. tf.data.experimental.cardinality 

复制代码

函数是一个用于确定

1. tf.data.Dataset

复制代码

对象中包含的元素数量的实验性功能。然而，需要注意的是，这个函数并不总是能够返回确切的元素数量，特别是对于无限数据集或包含复杂转换的数据集。
数据一共有猫、狗两类：

1. class_names = train_ds.class_names
   
2. print(class_names)

复制代码

1. [‘cat’, ‘dog’]

复制代码

数据归一化：

1. AUTOTUNE = tf.data.AUTOTUNE
   
2. 
   
3. def preprocess_image(image,label):
   
4.     return (image/255.0,label)
   
5. 
   
6. # 归一化处理
   
7. train_ds = train_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
   
8. val_ds   = val_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
   
9. test_ds  = test_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)
   
10. 
    
11. train_ds = train_ds.cache().prefetch(buffer_size=AUTOTUNE)
    
12. val_ds   = val_ds.cache().prefetch(buffer_size=AUTOTUNE)

复制代码

数据可视化：

1. plt.figure(figsize=(15, 10))  # 图形的宽为15高为10
   
2. 
   
3. for images, labels in train_ds.take(1):
   
4.     for i in range(8):
   
5.         
   
6.         ax = plt.subplot(5, 8, i + 1)
   
7.         plt.imshow(images[i])
   
8.         plt.title(class_names[labels[i]])
   
9.         
   
10.         plt.axis("off")

复制代码

二、数据增强

我们可以使用

1. tf.keras.layers.experimental.preprocessing.RandomFlip 

复制代码

与

1. tf.keras.layers.experimental.preprocessing.RandomRotation 

复制代码

进行数据增强，当然还有其他的增强函数（新版本的tf增强函数调用函数不同）：

• tf.keras.layers.experimental.preprocessing.RandomFlip：水平和垂直随机翻转每个图像。
  
• tf.keras.layers.experimental.preprocessing.RandomRotation：随机旋转每个图像。
  
• tf.keras.layers.experimental.preprocessing.RandomZoom：随机裁剪和重新调整大小来模拟缩放效果。
  
• tf.keras.layers.experimental.preprocessing.RandomContrast：调整图像的对比度。
  
• tf.keras.layers.experimental.preprocessing.RandomBrightness：调整图像的亮度。
  

1. data_augmentation = tf.keras.Sequential([
   
2.   tf.keras.layers.experimental.preprocessing.RandomFlip("horizontal_and_vertical"),
   
3.   tf.keras.layers.experimental.preprocessing.RandomRotation(0.2),
   
4. ])

复制代码

第一个层表示进行随机的水平和垂直翻转，而第二个层表示按照 0.2 的弧度值进行随机旋转。
增加一张图片为一个批次：

1. # Add the image to a batch.
   
2. image = tf.expand_dims(images[i], 0)

复制代码

1. plt.figure(figsize=(8, 8))
   
2. for i in range(9):
   
3.     augmented_image = data_augmentation(image)
   
4.     ax = plt.subplot(3, 3, i + 1)
   
5.     plt.imshow(augmented_image[0])
   
6.     plt.axis("off")

复制代码

更多的数据增强方式可以参考：链接: link

三、增强方式

方法一：将其嵌入model中

1. model = tf.keras.Sequential([
   
2.   data_augmentation,
   
3.   layers.Conv2D(16, 3, padding='same', activation='relu'),
   
4.   layers.MaxPooling2D(),
   
5. ])

复制代码

这样做的好处是：

• 数据增强这块的工作可以得到GPU的加速（如果你使用了GPU训练的话）
  注意：只有在模型训练时（Model.fit）才会进行增强，在模型评估(Model.evaluate)以及预测(Model.predict)时并不会进行增强操作。
  

方法二：在Dataset数据集中进行数据增强

1. batch_size = 32
   
2. AUTOTUNE = tf.data.AUTOTUNE
   
3. 
   
4. def prepare(ds):
   
5.     ds = ds.map(lambda x, y: (data_augmentation(x, training=True), y), num_parallel_calls=AUTOTUNE)
   
6.     return ds
   
7. 
   
8. train_ds = prepare(train_ds)

复制代码

四、训练模型

1. model = tf.keras.Sequential([
   
2.   layers.Conv2D(16, 3, padding='same', activation='relu'),
   
3.   layers.MaxPooling2D(),
   
4.   layers.Conv2D(32, 3, padding='same', activation='relu'),
   
5.   layers.MaxPooling2D(),
   
6.   layers.Conv2D(64, 3, padding='same', activation='relu'),
   
7.   layers.MaxPooling2D(),
   
8.   layers.Flatten(),
   
9.   layers.Dense(128, activation='relu'),
   
10.   layers.Dense(len(class_names))
    
11. ])
    
12. 
    
13. model.compile(optimizer='adam',
    
14.               loss=tf.keras.losses.SparseCategoricalCrossentropy(from_logits=True),
    
15.               metrics=['accuracy'])
    
16.               
    
17. epochs=20
    
18. history = model.fit(
    
19.   train_ds,
    
20.   validation_data=val_ds,
    
21.   epochs=epochs
    
22. )

复制代码

1. Epoch 1/2075/75 ━━━━━━━━━━━━━━━━━━━━ 399s 5s/step - accuracy: 0.5225 - loss: 293.7218 - val_accuracy: 0.6775 - val_loss: 0.5858Epoch 2/2075/75 ━━━━━━━━━━━━━━━━━━━━ 73s 376ms/step - accuracy: 0.7183 - loss: 0.5656 - val_accuracy: 0.8080 - val_loss: 0.4210..............Epoch 20/2075/75 ━━━━━━━━━━━━━━━━━━━━ 25s 329ms/step - accuracy: 0.9430 - loss: 0.1563 - val_accuracy: 0.9263 - val_loss: 0.2544 

复制代码

1. loss, acc = model.evaluate(test_ds)
   
2. print("Accuracy", acc)

复制代码

1. 6/6 ━━━━━━━━━━━━━━━━━━━━ 1s 100ms/step - accuracy: 0.9310 - loss: 0.1482Accuracy 0.921875

复制代码

五、自定义增强函数

1. import random
   
2. # 这是大家可以自由发挥的一个地方
   
3. def aug_img(image):
   
4.     seed = (random.randint(0,9), 0)
   
5.     # 随机改变图像对比度
   
6.     stateless_random_brightness = tf.image.stateless_random_contrast(image, lower=0.1, upper=1.0, seed=seed)
   
7.     return stateless_random_brightness

复制代码

1. image = tf.expand_dims(images[3]*255, 0)
   
2. print("Min and max pixel values:", image.numpy().min(), image.numpy().max())

复制代码

1. Min and max pixel values: 2.4591687 241.47968

复制代码

1. plt.figure(figsize=(8, 8))
   
2. for i in range(9):
   
3.     augmented_image = aug_img(image)
   
4.     ax = plt.subplot(3, 3, i + 1)
   
5.     plt.imshow(augmented_image[0].numpy().astype("uint8"))
   
6. 
   
7.     plt.axis("off")

复制代码

将自定义增强函数应用到我们数据上

1. AUTOTUNE = tf.data.AUTOTUNEimport random
   
2. # 这是大家可以自由发挥的一个地方
   
3. def aug_img(image):
   
4.     seed = (random.randint(0,9), 0)
   
5.     # 随机改变图像对比度
   
6.     stateless_random_brightness = tf.image.stateless_random_contrast(image, lower=0.1, upper=1.0, seed=seed)
   
7.     return stateless_random_brightnessdef preprocess_image(image, label):    image = image / 255.0    image = aug_img(image)    return (image, label)# 归一化处理train_ds = train_ds.map(preprocess_image, num_parallel_calls=AUTOTUNE)train_ds = train_ds.cache().prefetch(buffer_size=AUTOTUNE)

复制代码

六、总结

本次学习了使用两种方式的数据增强提高模型性能以及自定义数据增强函数。
到此这篇关于TensorFlow实现数据增强的示例代码的文章就介绍到这了,更多相关TensorFlow 数据增强内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！

来源:https://www.jb51.net/python/326549k4b.htm
免责声明：由于采集信息均来自互联网，如果侵犯了您的权益，请联系我们【E-Mail:cb@itdo.tech】 我们会及时删除侵权内容，谢谢合作！