轻松学Pytorch –Mask-RCNN图像实例分割
前面介绍了torchvison框架下Faster-RCNN对象检测模型使用与自定义对象检测的数据集制作与训练。在计算机视觉所要面对的任务中,最常见的就是对象检测、图像语义分割跟实例分割,torchvision支持Mask-RCNN模型的调用与自定义数据训练,可以同时实现对象检测与实例分割任务。本文主要跟大家分享一下如何使用mask-rcnn网络实现对象检测与实例分割,下一篇将会介绍如何制作数据集训练Mask-RCNN网络。
Mask-RCNN网络模型
Faster-RCNN网络主要由三个部分组成分别是backbone的卷积网络、实现Boxes选择的区域推荐网络RPN、最终的分类回归。Mask-RCNN简单说就是在RPN之后得到对齐ROI对齐区域,完成了一个全卷积的像素分割分支,Mask-RCNN的网络结构如下:
在推理阶段,模型输出下列字典选项:
boxes:预测矩形的左上角与右下角坐标(x1,y1,x2,y2) [Nx4] labels: 预测每个对象标签 scores:预测每个对象的得分,在0~1之间,大于阈值T的即为预测输出 masks:预测每个实例对象的mask,mask>0.5作为最终分类mask。[Nx1xHxW]
使用Mask-RCNN实现实例分割
Pytorch中使用Mask-RCNN实现实例分割,是基于torchvision的预训练模型库,首先需要下载预训练模型,并检查是否可以支持GPU推理,相关的代码如下:
model = torchvision.models.detection.maskrcnn_resnet50_fpn(pretrained=True)
model.eval()
transform = torchvision.transforms.Compose([torchvision.transforms.ToTensor()])
# 使用GPU
train_on_gpu = torch.cuda.is_available()
if train_on_gpu:
model.cuda()
基于输入图像,实现Mask-RCNN模型推理预测,得到对象与实例分割mask的代码如下:
1 frame = cv.imread("D:/images/master.jpg")
2 blob = transform(frame)
3 c, h, w = blob.shape
4 input_x = blob.view(1, c, h, w)
5 output = model(input_x.cuda())[0]
6 boxes = output['boxes'].cpu().detach().numpy()
7 scores = output['scores'].cpu().detach().numpy()
8 labels = output['labels'].cpu().detach().numpy()
9 masks = output['masks'].cpu().detach().numpy()
对推理预测得到四个输出结果,分别进行解析,其中score阈值为0.5,mask采用soft版本,对大于0.5分割为当前对象像素,这部分的代码实现如下:
1 index = 0
2 color_mask = np.zeros((h, w, c), dtype=np.uint8)
3 mv = cv.split(color_mask)
4 for x1, y1, x2, y2 in boxes:
5 if scores[index] > 0.5:
6 cv.rectangle(frame, (np.int32(x1), np.int32(y1)),
7 (np.int32(x2), np.int32(y2)), (0, 255, 255), 1, 8, 0)
8 mask = np.squeeze(masks[index] > 0.5)
9 np.random.randint(0, 256)
10 mv[2][mask == 1], mv[1][mask == 1], mv[0][mask == 1] =
11 [np.random.randint(0, 256), np.random.randint(0, 256), np.random.randint(0, 256)]
12
13 label_id = labels[index]
14 label_txt = coco_names[str(label_id)]
15 cv.putText(frame, label_txt, (np.int32(x1), np.int32(y1)), cv.FONT_HERSHEY_PLAIN, 1.0, (0, 0, 255), 1)
16 index += 1
其中对实例分割的对象像素进行随机颜色填充,完成彩色mask图像生成。最终把彩色mask图像与输入图像进行叠加,得到实例分割输出结果如下:
1 color_mask = cv.merge(mv)
2 result = cv.addWeighted(frame, 0.5, color_mask, 0.5, 0)
3 cv.imshow("intances segmentation demo", result)
4 cv.imwrite("D:/master_test.png", result)
这里,我测试了三张图像,结果分别如下:
Mask-RCNN实例分割对象提取与背景替换
这个是很久以前我写过一个无人机的Mask-RCNN检测时候,别人问我的问题,其实这个就是很简单的OpenCV操作就可以很好的提取出来这些ROI图像,代码实现如下:
1 # 简单背景替换
2 back_ground = np.zeros_like(frame)
3 back_ground[:,:,:] = (255, 0, 255)
4 for row in range(h):
5 for col in range(w):
6 b, g, r = color_mask[row, col]
7 if b > 0 or g > 0 or r > 0:
8 back_ground[row, col] = (0, 0, 0)
9 temp = cv.add(back_ground, frame, mask=mv[0])
10 dst = cv.add(back_ground, temp)
11 cv.imshow("background replacement", dst)
12 cv.waitKey(0)
13 cv.destroyAllWindows()
运行结果如下:
- 增量数据丢失的原因分析(r8笔记第26天)
- Java全栈开发Spring学习第三天
- 一个oracle bug的简单验证(r8笔记第45天)
- 批量导出csv文件的基本尝试(r8笔记第44天)
- Golang 中的并发限制与超时控制
- 一条简单的报警信息发现的oracle bug(r8笔记第42天)
- 一条insert语句导致的性能问题分析(一)(r8笔记第40天)
- 一条insert语句导致的性能问题分析(二)(r8笔记第43天)
- dataguard中的密码文件管理(r8笔记第39天)
- Mybatis_day02
- Golang构建HTTP服务(一)--- net/http库源码笔记
- Golang构建HTTP服务(二)--- Handler,ServeMux与中间件
- 使用Let's Encrypt的SSL证书配置HTTPS手记
- Mybatis_day01
- JavaScript 教程
- JavaScript 编辑工具
- JavaScript 与HTML
- JavaScript 与Java
- JavaScript 数据结构
- JavaScript 基本数据类型
- JavaScript 特殊数据类型
- JavaScript 运算符
- JavaScript typeof 运算符
- JavaScript 表达式
- JavaScript 类型转换
- JavaScript 基本语法
- JavaScript 注释
- Javascript 基本处理流程
- Javascript 选择结构
- Javascript if 语句
- Javascript if 语句的嵌套
- Javascript switch 语句
- Javascript 循环结构
- Javascript 循环结构实例
- Javascript 跳转语句
- Javascript 控制语句总结
- Javascript 函数介绍
- Javascript 函数的定义
- Javascript 函数调用
- Javascript 几种特殊的函数
- JavaScript 内置函数简介
- Javascript eval() 函数
- Javascript isFinite() 函数
- Javascript isNaN() 函数
- parseInt() 与 parseFloat()
- escape() 与 unescape()
- Javascript 字符串介绍
- Javascript length属性
- javascript 字符串函数
- Javascript 日期对象简介
- Javascript 日期对象用途
- Date 对象属性和方法
- Javascript 数组是什么
- Javascript 创建数组
- Javascript 数组赋值与取值
- Javascript 数组属性和方法
- 揭开MySQL“锁”的神秘面纱
- 从0到1开发测试平台(九)后端对接口response的封装
- 在 Mac OS X 上安装和配置 Wine
- 性能测试之nginx访问日志分析
- Pytest之断言
- R语言单因素方差分析简单小例子
- 回炉重造:计算图
- CenterNet的骨干网络之DLASeg
- 一份朴实无华的移动端盒子滤波算法优化笔记
- [译]基于以太坊和USDC搭建去中心化金融系统
- 使用Substrate开发区块链存证dApp
- Flutter Dojo设计之道——如何打造一个通用的Playground
- [译]构建去中心化智能合约编程货币
- 你不知道c语言写的程序要多块——以NGS fastq文件reads计数为例
- JVM系列之:从汇编角度分析Volatile