当前位置:首页> AI教程> 智慧交通项目实战:OCR车牌检测与识别

智慧交通项目实战:OCR车牌检测与识别

释放双眼,带上耳机,听听看~!
本文章介绍了智慧交通项目实战中的OCR车牌检测与识别,包括项目背景、车牌检测基于YOLOv5的流程和车牌识别基于CRNN和LPRNet的流程。

智慧交通项目实战:OCR车牌检测与识别

👨‍💻作者简介: CSDN、阿里云人工智能领域博客专家,新星计划计算机视觉导师,百度飞桨PPDE,专注大数据与AI知识分享。✨公众号:GoAI的学习小屋 ,免费分享书籍、简历、导图等,更有交流群分享宝藏资料,关注公众号回复“加群”或➡️点击链接 加群。

🎉专栏推荐: 点击访问➡️ 《计算机视觉》 总结目标检测、图像分类、分割OCR、等方向资料。 点击访问➡️ 《深入浅出OCR》: 对标全网最全OCR教程,含理论与实战总结。

【智慧交通项目实战】 OCR车牌检测与识别项目实战(一):项目总览

💚导读:本项目为新系列【智慧交通项目实战】《OCR车牌检测和识别》(一),该系列将分为多篇文章展开分别对项目流程、数据集、检测、识别算法、可视化进行详细介绍,本篇为该系列第一篇,将着重介绍本次项目开源的CCPD车牌数据集,,用于本次车牌检测和识别模型算法开发,后续系列文章将陆续更新。

智慧交通项目实战:OCR车牌检测与识别

本系列项目目录,后续将更新对应文章:

1.智慧交通预测系统(PaddleOCR版本)

参考:blog.csdn.net/qq_36816848…

2.OCR车牌检测+识别

本篇项目, 代码暂未公开,需要代码和指导可加群联系。

3.车辆检测

后续更新

智慧交通项目实战:OCR车牌检测与识别

1.项目背景:

车牌识别技术是智能交通的重要环节,目前已广泛应用于例如停车场、收费站等等交通设施中,提供高效便捷的车辆认证的服务,其中较为典型的应用场景为卡口系统。车牌识别即识别车牌上的文字信息,属于光学字符识别(OCR)的一项子任务。
![请添加图片描述](img-blog.csdnimg.cn/c00c0fd0a41… =500×350)

智慧交通项目实战:OCR车牌检测与识别

项目流程:

1.基于YOLOv5的车牌检测

YOLOv5训练代码和测试代码(Pytorch)

  1. 整套YOLOv5项目工程,含训练代码train.py和测试代码demo.py
  2. 支持高精度版本yolov5s训练和测试
  3. 支持轻量化版本yolov5训练和测试
  4. 根据本篇博文说明,简单配置即可开始训练:train.py
  5. 源码包含了训练好的yolov5及其他模型,配置好环境,可直接运行demo.py
  6. 测试代码demo.py支持图片,视频和摄像头测试

2.基于CRNN和LPRNet的车牌识别

支持如下:

  • 1.单行蓝牌
  • 2.单行黄牌
  • 3.新能源车牌
  • 4.白色警用车牌
  • 5.教练车牌
  • 6.武警车牌
  • 7.双层黄牌
  • 8.双层白牌
  • 9.使馆车牌
  • 10.港澳粤Z牌
  • 11.双层绿牌
  • 12.民航车牌

2.车牌号码说明

绿牌和蓝牌区别如下:

颜色区别: 小型新能源车牌采用“渐变绿”的配色,大型新能源车牌采用“黄绿双拼色”,绿牌的字体颜色为黑色;而传统燃油车蓝牌则采用“纯蓝色”设计,字体颜色为白色;
号码编排:普通蓝牌共有7位字符;新能源车牌有8位字符;新能源绿牌的号码共有6位数,其中小型新能源汽车牌照的字母设计在第一位,大型新能源汽车牌照的字母设计在最后一位。其中车牌首字母为“D/A/B/C/E”的,代表“纯电动车”;首字母为“F/G/H/J/K”的,代表“非纯电动汽车”。而普通燃油车蓝牌的号码只有5位数,首字母或数字一般不代表任何含义,只有部分地区会给营运类车型划分特定字母。

智慧交通项目实战:OCR车牌检测与识别

以下为统计后本次车牌识别用到的字典文件:

省份:[“皖”, “沪”, “津”, “渝”, “冀”, “晋”, “蒙”, “辽”, “吉”, “黑”, “苏”, “浙”, “京”, “闽”, “赣”, “鲁”, “豫”, “鄂”, “湘”, “粤”, “桂”, “琼”, “川”, “贵”, “云”, “藏”, “陕”, “甘”, “青”, “宁”, “新”]
地市:[‘A’, ‘B’, ‘C’, ‘D’, ‘E’, ‘F’, ‘G’, ‘H’, ‘J’, ‘K’, ‘L’, ‘M’, ‘N’, ‘P’, ‘Q’, ‘R’, ‘S’, ‘T’, ‘U’, ‘V’, ‘W’,‘X’, ‘Y’, ‘Z’]
车牌字典:[‘A’, ‘B’, ‘C’, ‘D’, ‘E’, ‘F’, ‘G’, ‘H’, ‘J’, ‘K’, ‘L’, ‘M’, ‘N’, ‘P’, ‘Q’, ‘R’, ‘S’, ‘T’, ‘U’, ‘V’, ‘W’, ‘X’,‘Y’, ‘Z’, ‘0’, ‘1’, ‘2’, ‘3’, ‘4’, ‘5’, ‘6’, ‘7’, ‘8’, ‘9’]

3.车牌数据集CCPD

(1)车牌数据集CCPD说明

![CCPD2020](img-blog.csdnimg.cn/82c2cee483c… =400×380)

智慧交通项目实战:OCR车牌检测与识别

CCPD (Chinese City Parking Dataset, ECCV)是中国城市车牌数据集,共有两个:
CCPD2019 : 主要是蓝牌数据,约34W,大小为12G左右;
CCPD2020 : 主要是新能源绿牌数据,约1万. 大小为800M左右;

CCPD官方原始数据集下载地址:github.com/detectRecog…

CCPD2019数据集包含将近30万张图片、图片尺寸为720x1160x3,共包含8种类型图片,每种类型、数量及类型说明如下表:

类型 图片数 说明
ccpd_base 199998 正常车牌
ccpd_challenge 10006 比较有挑战的车牌
ccpd_db 20001 光线较暗或较亮车牌
ccpd_fn 19999 距离摄像头较远或较近
ccpd_np 3036 没上牌的新车
ccpd_rotate 9998 水平倾斜20-50度,垂直倾斜-10-10度
ccpd_tilt 10000 水平倾斜15-45度,垂直倾斜-15-45度
ccpd_weather 9999 雨天、雪天或大雾的车牌
总共283037张车牌图像

![在这里插入图片描述](img-blog.csdnimg.cn/df9d095abf0… =500×310)

智慧交通项目实战:OCR车牌检测与识别
CCPD2019车牌数据集拍摄的车牌照片的环境复杂多变,包括了倾斜、模糊、雨天、雪天等多个场景的数据,并且大部分图片有且仅含有一个车牌;由于采集人员主要在安徽省城市的停车场进行采集,*导致大部分数据都是含【皖】的车牌图片*,而其他省份的车牌比较少,而一些特殊车牌的数据就几乎没有,比如【挂使领民航危险品】这些车牌几乎没有。下表给出CCPD数据各个省份的车牌数据统计:

智慧交通项目实战:OCR车牌检测与识别

(2)车牌数据集CCPD标注格式

CCPD数据集没有专门的标注文件,每张图像的文件名就是对应的数据标注(label)。CCPD车牌数据集图片文件名包括车牌四个角点,车牌水平和垂直角度以及车牌号码等信息。

具体字段解释参考:

如图片【025-95_113-154&383_386&473-386&473_177&454_154&383_363&402-0_0_22_27_27_33_16-37-15.jpg】,其文件名的含义如下:

  1. 025:车牌区域占整个画面的比例;
  2. 95_113: 车牌水平和垂直角度, 水平95°, 竖直113°
  3. 154&383_386&473:标注框左上、右下坐标,左上(154, 383), 右下(386, 473)
  4. 86&473_177&454_154&383_363&402:标注框四个角点坐标,顺序为右下、左下、左上、右上
  5. 0_0_22_27_27_33_16:车牌号码映射关系如下: 第一个0为省份 对应省份字典provinces中的’皖’,;第二个0是该车所在地的地市一级代码,对应地市一级代码字典alphabets的’A’;后5位为字母和文字, 查看车牌号ads字典,如22为Y,27为3,33为9,16为S,最终车牌号码为皖AY339S

(3)车牌数据集CCPD可视化效果(Python)

通过解析图片的python脚本,调用parser_annotations(image_file)函数,即可返回标注信息,并可视化车牌标注的结果

代码需要用到pybaseutils工具,请使用pip安装即可:pip install pybaseutils

# -*-coding: utf-8 -*-

import os
import cv2
import numpy as np
from tqdm import tqdm
from pybaseutils import file_utils, image_utils
 
 
def get_plate_licenses(plate):

    provinces = ["皖", "沪", "津", "渝", "冀", "晋", "蒙", "辽", "吉", "黑", "苏", "浙", "京", "闽", "赣", "鲁", "豫", "鄂", "湘", "粤",
                 "桂", "琼", "川", "贵", "云", "藏", "陕", "甘", "青", "宁", "新", "警", "学", "O"]
    alphabets = ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'J', 'K', 'L', 'M', 'N', 'P', 'Q', 'R', 'S', 'T', 'U', 'V',
                 'W', 'X', 'Y', 'Z', 'O']
    ads = ['A', 'B', 'C', 'D', 'E', 'F', 'G', 'H', 'J', 'K', 'L', 'M', 'N', 'P', 'Q', 'R', 'S', 'T', 'U', 'V', 'W', 'X',
           'Y', 'Z', '0', '1', '2', '3', '4', '5', '6', '7', '8', '9', 'O']
    result = [provinces[int(plate[0])], alphabets[int(plate[1])]]
    result += [ads[int(p)] for p in plate[2:]]
    result = "".join(result)
    # 新能源车牌的要求,如果不是新能源车牌可以删掉这个if
    # if result[2] != 'D' and result[2] != 'F' 
    #         and result[-1] != 'D' and result[-1] != 'F':
    #     print(plate)
    #     print("Error label, Please check!")
    print(plate, result)
    return result
 
 
def parser_annotations(image_file):
    """
    :param image_file: 图片路径
    :return: 返回标注信息info
    """
    filename = os.path.basename(image_file)
    try:
        annotations = filename.split("-")
        rate = annotations[0]  # 车牌区域占整个画面的比例;
        angle = annotations[1].split("_")  # 车牌水平和垂直角度, 水平95°, 竖直113°
        box = annotations[2].replace("&", "_").split("_")  # 标注框左上、右下坐标,左上(154, 383), 右下(386, 473)
        point = annotations[3].replace("&", "_").split("_")  # 标注框四个角点坐标,顺序为右下、左下、左上、右上
        plate = annotations[4].split("_")  # licenses 标注框四个角点坐标,顺序为右下、左下、左上、右上
        plate = get_plate_licenses(plate)
        box = [int(b) for b in box]
        point = [int(b) for b in point]
        point = np.asarray(point).reshape(-1, 2)
        bboxes = [box]
        angles = [angle]
        points = [point]
        plates = [plate]
        labels = ["plate"] * len(bboxes)
    except Exception as e:
        bboxes = []
        points = []
        labels = []
        plates = []
        angles = []
    info = {"filename": filename, "bboxes": bboxes, "points": points,
            "labels": labels, "plates": plates, "angles": angles}
    return info
 
 
def save_plate_licenses(image, bboxes, plates, out_dir, name=""):
    crops = image_utils.get_bboxes_crop(image, bboxes)
    for i in range(len(crops)):
        label = plates[i]
        # image_id = file_utils.get_time(format="p")
        file = os.path.join(out_dir, "{}_{}_{:0=3d}.jpg".format(label, name, i))
        file_utils.create_file_path(file)
        cv2.imwrite(file, crops[i])
 
 
def converter_CCPD2voc(image_dir, vis=True):
    """
    将CCPD数据集转换为VOC数据格式(xmin,ymin,xmax,ymax)
    :param image_dir: BITVehicle数据集图片(*.jpg)根目录
    :param annot_file: BITVehicle数据集标注文件VehicleInfo.mat
    :param out_voc: 输出VOC格式数据集目录
    :param vis: 是否可视化效果
    """
    print("image_dir :{}".format(image_dir))
    class_set = []
    image_list = file_utils.get_images_list(image_dir)
    for i, image_file in enumerate(tqdm(image_list)):
        info = parser_annotations(image_file)
        labels = info["labels"]
        bboxes = info["bboxes"]
        points = info["points"]
        plates = info["plates"]
        angles = info["angles"]
        image_name = info["filename"]
        print("i={},plates:{},angles(水平,垂直角度):{}".format(os.path.basename(image_file), plates, angles))
        if len(labels) == 0:
            continue
        image_name = os.path.basename(image_name)
        img_postfix = image_name.split(".")[-1]
        image_id = image_name[:-len(img_postfix) - 1]
        class_set = labels + class_set
        class_set = list(set(class_set))
        if not os.path.exists(image_file):
            print("not exist:{}".format(image_file))
            continue
        image = cv2.imread(image_file)
        if vis:
            image = image_utils.draw_image_bboxes_text(image, bboxes, plates, color=(255, 0, 0), thickness=3,
                                                       fontScale=1.2, drawType="chinese")
            # image = image_utils.draw_image_points_lines(image, points=points[0], line_color=(0, 0, 255))
            image_utils.cv_show_image("det", image, use_rgb=False, delay=0)
    print("class_set:{}".format(class_set))
 
 
if __name__ == "__main__":
    image_dir = "./dataset/CCPD2020/ccpd_green/train"
    converter_CCPD2voc(image_dir, vis=True)

文章参考 :

aistudio.baidu.com/aistudio/pr…
blog.csdn.net/guyuealian/…

本网站的内容主要来自互联网上的各种资源,仅供参考和信息分享之用,不代表本网站拥有相关版权或知识产权。如您认为内容侵犯您的权益,请联系我们,我们将尽快采取行动,包括删除或更正。
AI教程

Poe与Midjourney:艺术化AI图像生成的比较

2023-11-20 16:58:14

AI教程

深入理解DeepSort多目标追踪算法的代码讲解

2023-11-20 17:10:14

个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索