使用MMDetection对视频进行目标检测和处理

释放双眼,带上耳机,听听看~!
本文介绍了如何使用MMDetection对视频进行目标检测和处理,包括模型引入、查看图片、视频每帧处理以及处理每帧的详细步骤。通过本文的介绍,你可以了解到利用MMDetection进行视频处理的基本流程和方法。

前言

在参加 OpenMMLab AI 实战营中,有个作业要求利用 MMDetection (目标检测工具包)训练模型,然后利用这个模型对一段小视频进行处理 (保留 mask 部分的彩色, 背景部分取灰)。文章的素材当然也来自实战营啦。这里主要讲一下处理视频的过程,训练模型的过程略过。

一、模型引入

from mmdet.apis import init_detector
model = init_detector(config="../work_dir/balloon.py", checkpoint="../work_dir/latest.pth")

这里 config 为训练模型的配置文件,checkpoint 为训练完保存的模型文件

二、查看图片

要利用 MMDetection 处理视频,就要先知道如何查看模型处理完之后的图片

from mmdet.apis import inference_detector, show_result_pyplot
img_path = "../data/balloon/val/3825919971_93fb1ec581_b.jpg"
result = inference_detector(model, img_path)
show_result_pyplot(model, img_path, result, score_thr=0.85)

结果如下:

使用MMDetection对视频进行目标检测和处理

三、视频每帧

我们处理视频,很容易可以想到讲视频拆穿一帧一帧处理,一帧就是一张图片,这里利用 mmcv 对视频进行处理

import mmcv
v = mmcv.VideoReader("test_video.mp4")
v.cvt2frames("frame_dir/in")

使用MMDetection对视频进行目标检测和处理
在处理后我们可以得到 150 张图片
使用MMDetection对视频进行目标检测和处理

四、处理每帧

0、理解 inference_detector

使用MMDetection对视频进行目标检测和处理
inference_detector 函数传入一个 model 既训练的模型,和一张或几张图片,重点在于 returns ,返回在这说的不是很清楚,单个返回的是 bbox, segm, 即边框和分割信息

result = inference_detector(model, img)
bbox, segm = result
bbox = np.array(bbox[0]) # bbox 为列表
print(bbox.shape) # (23, 5)
segm = np.array(segm[0])
print(segm.shape) # (23, 1024, 683)

这里的 23 代表检测到 23 个目标
bbox 中含有的信息为 (x, y, w, h, n)即距离左上角的宽度和长度、框的长度和宽度、概率
segm 中 (1024, 683)为图片宽度和高度,值为 Bool, true 则为 mask, false 则为背景
另外,可以看到这里引入了 numpy,一方面是为了处理方便,一方面是为了加快速度

1、处理图片

score_thr = 0.85
balloon_cnt = bbox[bbox[:, -1] > score_thr].shape[0]
data = mmcv.imread(img_path)  # -> ndarray
tmp = data.copy()
# Gray = (Red * 0.3 + Green * 0.59 + Blue * 0.11)
# 'bgr'
data[:, :, 0] = data[:, :, 2] * 0.3 + data[:, :, 1] * 0.59 + data[:, :, 0] * 0.11
data[:, :, 1] = data[:, :, 0]
data[:, :, 2] = data[:, :, 0]
for balloon in segm[:balloon_cnt]:
    data[balloon] = tmp[balloon]
mmcv.imwrite(data, "out.jpg")

这里首先判断了一下为目标(这里是 balloon 气球)大于 0.85 概率的数量,接着对整张图片进行灰度计算 (这里要注意 mmcv.imread() 返回的通道为 bgr ),最后将含有目标的部分用原来的数值替代,最后利用mmcv 保存图片
结果如下:

使用MMDetection对视频进行目标检测和处理

五、拼接图片

上面我们将视频拆成图片,最后我们当然要将图片拼接成视频啦

mmcv.frames2video(frame_dir="frame_dir/out", video_file="video_out.mp4")

利用 mmcv 一行代码搞定

最后

最后看看结果吧
使用MMDetection对视频进行目标检测和处理
使用MMDetection对视频进行目标检测和处理

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

将ChatGPT嵌入代码业务的方法

2023-12-22 13:19:14

AI教程

如何使用nanoGPT训练鲁迅风格的文字

2023-12-22 13:32:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索