cls_transforms.py 20 KB

123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255256257258259260261262263264265266267268269270271272273274275276277278279280281282283284285286287288289290291292293294295296297298299300301302303304305306307308309310311312313314315316317318319320321322323324325326327328329330331332333334335336337338339340341342343344345346347348349350351352353354355356357358359360361362363364365366367368369370371372373374375376377378379380381382383384385386387388389390391392393394395396397398399400401402403404405406407408409410411412413414415416417418419420421422423424425426427428429430431432433434435436437438439440441442443444445446447448449450451452453454455456457458459460461462463464465466467468469470471472473474475476477478479480481482483484485486487488489490491492493494495496497498499500501502503504505506507508509510511512513514515516517518519520521522523524525526527528529530531532533534535536537538539540541542543
  1. # copyright (c) 2020 PaddlePaddle Authors. All Rights Reserve.
  2. #
  3. # Licensed under the Apache License, Version 2.0 (the "License");
  4. # you may not use this file except in compliance with the License.
  5. # You may obtain a copy of the License at
  6. #
  7. # http://www.apache.org/licenses/LICENSE-2.0
  8. #
  9. # Unless required by applicable law or agreed to in writing, software
  10. # distributed under the License is distributed on an "AS IS" BASIS,
  11. # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  12. # See the License for the specific language governing permissions and
  13. # limitations under the License.
  14. from .ops import *
  15. from .imgaug_support import execute_imgaug
  16. import random
  17. import os.path as osp
  18. import numpy as np
  19. from PIL import Image, ImageEnhance
  20. import paddlex.utils.logging as logging
  21. class ClsTransform:
  22. """分类Transform的基类
  23. """
  24. def __init__(self):
  25. pass
  26. class Compose(ClsTransform):
  27. """根据数据预处理/增强算子对输入数据进行操作。
  28. 所有操作的输入图像流形状均是[H, W, C],其中H为图像高,W为图像宽,C为图像通道数。
  29. Args:
  30. transforms (list): 数据预处理/增强算子。
  31. Raises:
  32. TypeError: 形参数据类型不满足需求。
  33. ValueError: 数据长度不匹配。
  34. """
  35. def __init__(self, transforms):
  36. if not isinstance(transforms, list):
  37. raise TypeError('The transforms must be a list!')
  38. if len(transforms) < 1:
  39. raise ValueError('The length of transforms ' + \
  40. 'must be equal or larger than 1!')
  41. self.transforms = transforms
  42. # 检查transforms里面的操作,目前支持PaddleX定义的或者是imgaug操作
  43. for op in self.transforms:
  44. if not isinstance(op, ClsTransform):
  45. import imgaug.augmenters as iaa
  46. if not isinstance(op, iaa.Augmenter):
  47. raise Exception(
  48. "Elements in transforms should be defined in 'paddlex.cls.transforms' or class of imgaug.augmenters.Augmenter, see docs here: https://paddlex.readthedocs.io/zh_CN/latest/apis/transforms/"
  49. )
  50. def __call__(self, im, label=None, vdl_writer=None, step=0):
  51. """
  52. Args:
  53. im (str/np.ndarray): 图像路径/图像np.ndarray数据。
  54. label (int): 每张图像所对应的类别序号。
  55. vdl_writer (visualdl.LogWriter): VisualDL存储器,日志信息将保存在其中。
  56. 当为None时,不对日志进行保存。默认为None。
  57. step (int): 数据预处理的轮数,当vdl_writer不为None时有效。默认为0。
  58. Returns:
  59. tuple: 根据网络所需字段所组成的tuple;
  60. 字段由transforms中的最后一个数据预处理操作决定。
  61. """
  62. if isinstance(im, np.ndarray):
  63. if len(im.shape) != 3:
  64. raise Exception(
  65. "im should be 3-dimension, but now is {}-dimensions".
  66. format(len(im.shape)))
  67. else:
  68. try:
  69. im = cv2.imread(im).astype('float32')
  70. except:
  71. raise TypeError('Can\'t read The image file {}!'.format(im))
  72. im = cv2.cvtColor(im, cv2.COLOR_BGR2RGB)
  73. if vdl_writer is not None:
  74. vdl_writer.add_image(tag='0. origin image',
  75. img=im,
  76. step=step)
  77. op_id = 1
  78. for op in self.transforms:
  79. if isinstance(op, ClsTransform):
  80. outputs = op(im, label)
  81. im = outputs[0]
  82. if len(outputs) == 2:
  83. label = outputs[1]
  84. else:
  85. import imgaug.augmenters as iaa
  86. if isinstance(op, iaa.Augmenter):
  87. im = execute_imgaug(op, im)
  88. outputs = (im, )
  89. if label is not None:
  90. outputs = (im, label)
  91. if vdl_writer is not None:
  92. tag = str(op_id) + '. ' + op.__class__.__name__
  93. vdl_writer.add_image(tag=tag,
  94. img=im,
  95. step=step)
  96. op_id += 1
  97. return outputs
  98. def add_augmenters(self, augmenters):
  99. if not isinstance(augmenters, list):
  100. raise Exception(
  101. "augmenters should be list type in func add_augmenters()")
  102. transform_names = [type(x).__name__ for x in self.transforms]
  103. for aug in augmenters:
  104. if type(aug).__name__ in transform_names:
  105. logging.error("{} is already in ComposedTransforms, need to remove it from add_augmenters().".format(type(aug).__name__))
  106. self.transforms = augmenters + self.transforms
  107. class RandomCrop(ClsTransform):
  108. """对图像进行随机剪裁,模型训练时的数据增强操作。
  109. 1. 根据lower_scale、lower_ratio、upper_ratio计算随机剪裁的高、宽。
  110. 2. 根据随机剪裁的高、宽随机选取剪裁的起始点。
  111. 3. 剪裁图像。
  112. 4. 调整剪裁后的图像的大小到crop_size*crop_size。
  113. Args:
  114. crop_size (int): 随机裁剪后重新调整的目标边长。默认为224。
  115. lower_scale (float): 裁剪面积相对原面积比例的最小限制。默认为0.08。
  116. lower_ratio (float): 宽变换比例的最小限制。默认为3. / 4。
  117. upper_ratio (float): 宽变换比例的最大限制。默认为4. / 3。
  118. """
  119. def __init__(self,
  120. crop_size=224,
  121. lower_scale=0.08,
  122. lower_ratio=3. / 4,
  123. upper_ratio=4. / 3):
  124. self.crop_size = crop_size
  125. self.lower_scale = lower_scale
  126. self.lower_ratio = lower_ratio
  127. self.upper_ratio = upper_ratio
  128. def __call__(self, im, label=None):
  129. """
  130. Args:
  131. im (np.ndarray): 图像np.ndarray数据。
  132. label (int): 每张图像所对应的类别序号。
  133. Returns:
  134. tuple: 当label为空时,返回的tuple为(im, ),对应图像np.ndarray数据;
  135. 当label不为空时,返回的tuple为(im, label),分别对应图像np.ndarray数据、图像类别id。
  136. """
  137. im = random_crop(im, self.crop_size, self.lower_scale,
  138. self.lower_ratio, self.upper_ratio)
  139. if label is None:
  140. return (im, )
  141. else:
  142. return (im, label)
  143. class RandomHorizontalFlip(ClsTransform):
  144. """以一定的概率对图像进行随机水平翻转,模型训练时的数据增强操作。
  145. Args:
  146. prob (float): 随机水平翻转的概率。默认为0.5。
  147. """
  148. def __init__(self, prob=0.5):
  149. self.prob = prob
  150. def __call__(self, im, label=None):
  151. """
  152. Args:
  153. im (np.ndarray): 图像np.ndarray数据。
  154. label (int): 每张图像所对应的类别序号。
  155. Returns:
  156. tuple: 当label为空时,返回的tuple为(im, ),对应图像np.ndarray数据;
  157. 当label不为空时,返回的tuple为(im, label),分别对应图像np.ndarray数据、图像类别id。
  158. """
  159. if random.random() < self.prob:
  160. im = horizontal_flip(im)
  161. if label is None:
  162. return (im, )
  163. else:
  164. return (im, label)
  165. class RandomVerticalFlip(ClsTransform):
  166. """以一定的概率对图像进行随机垂直翻转,模型训练时的数据增强操作。
  167. Args:
  168. prob (float): 随机垂直翻转的概率。默认为0.5。
  169. """
  170. def __init__(self, prob=0.5):
  171. self.prob = prob
  172. def __call__(self, im, label=None):
  173. """
  174. Args:
  175. im (np.ndarray): 图像np.ndarray数据。
  176. label (int): 每张图像所对应的类别序号。
  177. Returns:
  178. tuple: 当label为空时,返回的tuple为(im, ),对应图像np.ndarray数据;
  179. 当label不为空时,返回的tuple为(im, label),分别对应图像np.ndarray数据、图像类别id。
  180. """
  181. if random.random() < self.prob:
  182. im = vertical_flip(im)
  183. if label is None:
  184. return (im, )
  185. else:
  186. return (im, label)
  187. class Normalize(ClsTransform):
  188. """对图像进行标准化。
  189. 1. 对图像进行归一化到区间[0.0, 1.0]。
  190. 2. 对图像进行减均值除以标准差操作。
  191. Args:
  192. mean (list): 图像数据集的均值。默认为[0.485, 0.456, 0.406]。
  193. std (list): 图像数据集的标准差。默认为[0.229, 0.224, 0.225]。
  194. """
  195. def __init__(self, mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]):
  196. self.mean = mean
  197. self.std = std
  198. def __call__(self, im, label=None):
  199. """
  200. Args:
  201. im (np.ndarray): 图像np.ndarray数据。
  202. label (int): 每张图像所对应的类别序号。
  203. Returns:
  204. tuple: 当label为空时,返回的tuple为(im, ),对应图像np.ndarray数据;
  205. 当label不为空时,返回的tuple为(im, label),分别对应图像np.ndarray数据、图像类别id。
  206. """
  207. mean = np.array(self.mean)[np.newaxis, np.newaxis, :]
  208. std = np.array(self.std)[np.newaxis, np.newaxis, :]
  209. im = normalize(im, mean, std)
  210. if label is None:
  211. return (im, )
  212. else:
  213. return (im, label)
  214. class ResizeByShort(ClsTransform):
  215. """根据图像短边对图像重新调整大小(resize)。
  216. 1. 获取图像的长边和短边长度。
  217. 2. 根据短边与short_size的比例,计算长边的目标长度,
  218. 此时高、宽的resize比例为short_size/原图短边长度。
  219. 3. 如果max_size>0,调整resize比例:
  220. 如果长边的目标长度>max_size,则高、宽的resize比例为max_size/原图长边长度;
  221. 4. 根据调整大小的比例对图像进行resize。
  222. Args:
  223. short_size (int): 调整大小后的图像目标短边长度。默认为256。
  224. max_size (int): 长边目标长度的最大限制。默认为-1。
  225. """
  226. def __init__(self, short_size=256, max_size=-1):
  227. self.short_size = short_size
  228. self.max_size = max_size
  229. def __call__(self, im, label=None):
  230. """
  231. Args:
  232. im (np.ndarray): 图像np.ndarray数据。
  233. label (int): 每张图像所对应的类别序号。
  234. Returns:
  235. tuple: 当label为空时,返回的tuple为(im, ),对应图像np.ndarray数据;
  236. 当label不为空时,返回的tuple为(im, label),分别对应图像np.ndarray数据、图像类别id。
  237. """
  238. im_short_size = min(im.shape[0], im.shape[1])
  239. im_long_size = max(im.shape[0], im.shape[1])
  240. scale = float(self.short_size) / im_short_size
  241. if self.max_size > 0 and np.round(scale *
  242. im_long_size) > self.max_size:
  243. scale = float(self.max_size) / float(im_long_size)
  244. resized_width = int(round(im.shape[1] * scale))
  245. resized_height = int(round(im.shape[0] * scale))
  246. im = cv2.resize(
  247. im, (resized_width, resized_height),
  248. interpolation=cv2.INTER_LINEAR)
  249. if label is None:
  250. return (im, )
  251. else:
  252. return (im, label)
  253. class CenterCrop(ClsTransform):
  254. """以图像中心点扩散裁剪长宽为`crop_size`的正方形
  255. 1. 计算剪裁的起始点。
  256. 2. 剪裁图像。
  257. Args:
  258. crop_size (int): 裁剪的目标边长。默认为224。
  259. """
  260. def __init__(self, crop_size=224):
  261. self.crop_size = crop_size
  262. def __call__(self, im, label=None):
  263. """
  264. Args:
  265. im (np.ndarray): 图像np.ndarray数据。
  266. label (int): 每张图像所对应的类别序号。
  267. Returns:
  268. tuple: 当label为空时,返回的tuple为(im, ),对应图像np.ndarray数据;
  269. 当label不为空时,返回的tuple为(im, label),分别对应图像np.ndarray数据、图像类别id。
  270. """
  271. im = center_crop(im, self.crop_size)
  272. if label is None:
  273. return (im, )
  274. else:
  275. return (im, label)
  276. class RandomRotate(ClsTransform):
  277. def __init__(self, rotate_range=30, prob=0.5):
  278. """以一定的概率对图像在[-rotate_range, rotaterange]角度范围内进行旋转,模型训练时的数据增强操作。
  279. Args:
  280. rotate_range (int): 旋转度数的范围。默认为30。
  281. prob (float): 随机旋转的概率。默认为0.5。
  282. """
  283. self.rotate_range = rotate_range
  284. self.prob = prob
  285. def __call__(self, im, label=None):
  286. """
  287. Args:
  288. im (np.ndarray): 图像np.ndarray数据。
  289. label (int): 每张图像所对应的类别序号。
  290. Returns:
  291. tuple: 当label为空时,返回的tuple为(im, ),对应图像np.ndarray数据;
  292. 当label不为空时,返回的tuple为(im, label),分别对应图像np.ndarray数据、图像类别id。
  293. """
  294. rotate_lower = -self.rotate_range
  295. rotate_upper = self.rotate_range
  296. im = im.astype('uint8')
  297. im = Image.fromarray(im)
  298. if np.random.uniform(0, 1) < self.prob:
  299. im = rotate(im, rotate_lower, rotate_upper)
  300. im = np.asarray(im).astype('float32')
  301. if label is None:
  302. return (im, )
  303. else:
  304. return (im, label)
  305. class RandomDistort(ClsTransform):
  306. """以一定的概率对图像进行随机像素内容变换,模型训练时的数据增强操作。
  307. 1. 对变换的操作顺序进行随机化操作。
  308. 2. 按照1中的顺序以一定的概率对图像在范围[-range, range]内进行随机像素内容变换。
  309. Args:
  310. brightness_range (float): 明亮度因子的范围。默认为0.9。
  311. brightness_prob (float): 随机调整明亮度的概率。默认为0.5。
  312. contrast_range (float): 对比度因子的范围。默认为0.9。
  313. contrast_prob (float): 随机调整对比度的概率。默认为0.5。
  314. saturation_range (float): 饱和度因子的范围。默认为0.9。
  315. saturation_prob (float): 随机调整饱和度的概率。默认为0.5。
  316. hue_range (int): 色调因子的范围。默认为18。
  317. hue_prob (float): 随机调整色调的概率。默认为0.5。
  318. """
  319. def __init__(self,
  320. brightness_range=0.9,
  321. brightness_prob=0.5,
  322. contrast_range=0.9,
  323. contrast_prob=0.5,
  324. saturation_range=0.9,
  325. saturation_prob=0.5,
  326. hue_range=18,
  327. hue_prob=0.5):
  328. self.brightness_range = brightness_range
  329. self.brightness_prob = brightness_prob
  330. self.contrast_range = contrast_range
  331. self.contrast_prob = contrast_prob
  332. self.saturation_range = saturation_range
  333. self.saturation_prob = saturation_prob
  334. self.hue_range = hue_range
  335. self.hue_prob = hue_prob
  336. def __call__(self, im, label=None):
  337. """
  338. Args:
  339. im (np.ndarray): 图像np.ndarray数据。
  340. label (int): 每张图像所对应的类别序号。
  341. Returns:
  342. tuple: 当label为空时,返回的tuple为(im, ),对应图像np.ndarray数据;
  343. 当label不为空时,返回的tuple为(im, label),分别对应图像np.ndarray数据、图像类别id。
  344. """
  345. brightness_lower = 1 - self.brightness_range
  346. brightness_upper = 1 + self.brightness_range
  347. contrast_lower = 1 - self.contrast_range
  348. contrast_upper = 1 + self.contrast_range
  349. saturation_lower = 1 - self.saturation_range
  350. saturation_upper = 1 + self.saturation_range
  351. hue_lower = -self.hue_range
  352. hue_upper = self.hue_range
  353. ops = [brightness, contrast, saturation, hue]
  354. random.shuffle(ops)
  355. params_dict = {
  356. 'brightness': {
  357. 'brightness_lower': brightness_lower,
  358. 'brightness_upper': brightness_upper
  359. },
  360. 'contrast': {
  361. 'contrast_lower': contrast_lower,
  362. 'contrast_upper': contrast_upper
  363. },
  364. 'saturation': {
  365. 'saturation_lower': saturation_lower,
  366. 'saturation_upper': saturation_upper
  367. },
  368. 'hue': {
  369. 'hue_lower': hue_lower,
  370. 'hue_upper': hue_upper
  371. }
  372. }
  373. prob_dict = {
  374. 'brightness': self.brightness_prob,
  375. 'contrast': self.contrast_prob,
  376. 'saturation': self.saturation_prob,
  377. 'hue': self.hue_prob,
  378. }
  379. for id in range(len(ops)):
  380. params = params_dict[ops[id].__name__]
  381. prob = prob_dict[ops[id].__name__]
  382. params['im'] = im
  383. if np.random.uniform(0, 1) < prob:
  384. im = ops[id](**params)
  385. im = im.astype('float32')
  386. if label is None:
  387. return (im, )
  388. else:
  389. return (im, label)
  390. class ArrangeClassifier(ClsTransform):
  391. """获取训练/验证/预测所需信息。注意:此操作不需用户自己显示调用
  392. Args:
  393. mode (str): 指定数据用于何种用途,取值范围为['train', 'eval', 'test', 'quant']。
  394. Raises:
  395. ValueError: mode的取值不在['train', 'eval', 'test', 'quant']之内。
  396. """
  397. def __init__(self, mode=None):
  398. if mode not in ['train', 'eval', 'test', 'quant']:
  399. raise ValueError(
  400. "mode must be in ['train', 'eval', 'test', 'quant']!")
  401. self.mode = mode
  402. def __call__(self, im, label=None):
  403. """
  404. Args:
  405. im (np.ndarray): 图像np.ndarray数据。
  406. label (int): 每张图像所对应的类别序号。
  407. Returns:
  408. tuple: 当mode为'train'或'eval'时,返回(im, label),分别对应图像np.ndarray数据、
  409. 图像类别id;当mode为'test'或'quant'时,返回(im, ),对应图像np.ndarray数据。
  410. """
  411. im = permute(im, False).astype('float32')
  412. if self.mode == 'train' or self.mode == 'eval':
  413. outputs = (im, label)
  414. else:
  415. outputs = (im, )
  416. return outputs
  417. class ComposedClsTransforms(Compose):
  418. """ 分类模型的基础Transforms流程,具体如下
  419. 训练阶段:
  420. 1. 随机从图像中crop一块子图,并resize成crop_size大小
  421. 2. 将1的输出按0.5的概率随机进行水平翻转
  422. 3. 将图像进行归一化
  423. 验证/预测阶段:
  424. 1. 将图像按比例Resize,使得最小边长度为crop_size[0] * 1.14
  425. 2. 从图像中心crop出一个大小为crop_size的图像
  426. 3. 将图像进行归一化
  427. Args:
  428. mode(str): 图像处理流程所处阶段,训练/验证/预测,分别对应'train', 'eval', 'test'
  429. crop_size(int|list): 输入模型里的图像大小
  430. mean(list): 图像均值
  431. std(list): 图像方差
  432. """
  433. def __init__(self,
  434. mode,
  435. crop_size=[224, 224],
  436. mean=[0.485, 0.456, 0.406],
  437. std=[0.229, 0.224, 0.225]):
  438. width = crop_size
  439. if isinstance(crop_size, list):
  440. if crop_size[0] != crop_size[1]:
  441. raise Exception(
  442. "In classifier model, width and height should be equal, please modify your parameter `crop_size`"
  443. )
  444. width = crop_size[0]
  445. if width % 32 != 0:
  446. raise Exception(
  447. "In classifier model, width and height should be multiple of 32, e.g 224、256、320...., please modify your parameter `crop_size`"
  448. )
  449. if mode == 'train':
  450. # 训练时的transforms,包含数据增强
  451. transforms = [
  452. RandomCrop(crop_size=width), RandomHorizontalFlip(prob=0.5),
  453. Normalize(
  454. mean=mean, std=std)
  455. ]
  456. else:
  457. # 验证/预测时的transforms
  458. transforms = [
  459. ResizeByShort(short_size=int(width * 1.14)),
  460. CenterCrop(crop_size=width), Normalize(
  461. mean=mean, std=std)
  462. ]
  463. super(ComposedClsTransforms, self).__init__(transforms)