本博客内容主要基于AidLux实现,也是参加《Aidlux智慧安防AI实战训练营》的心得
AidLux是基于ARM架构的跨生态(Android/鸿蒙+Linux)一站式AIoT应用开发和部署平台
随着现代科技的不断发展,人工智能将对各行各业带去不小冲击,在人防、物防、技防的大安防市场,人工智能也在发挥着作用,已经成为了一个流行趋势并且将是未来的发展方向。此次训练营便是去实现其中的一个小场景。
行人流量统计
1. 项目概述
在火车站、机场、地铁站、景区等公共场所,需要实时检测人流数量,当人流密度过高时及时预警,并实施导流、限流等措施,防止安全隐患。
在人流密度较高的公共场所,使用 Yolov5 + ByteTrack
的多目标跟踪方案,可以实现不同场景下的人流数量统计,帮助场所的工作人员相应的管理方案。
2. 实现效果
3. 环境配置
要想实现本项目,首先得做好环境的配置
-
3.1 下载AidLux
各大安卓手机的应用商城,搜索Aidlux即可
下载安装,并注册登录 -
3.2 AidLux电脑投影
打开电脑浏览器地址,输入Cloud_ip
里相应的ip,登录密码默认aidlux
即可进入电脑端页面
-
3.3 VSCode及相关插件的下载安装
进入 VSCode官网 选择合适的版本进行下载安装,安装时下面两项记得勾选
接下来安装Python、SSH插件
由于会用到 opencv,所以在菜单栏terminal → new terminal
或者使用快捷键 Ctrl + Shift + `打开终端输入
pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/sim ple
,即可快速下载安装成功。当然本身有基础,本机已装有Python环境的同学,直接打开或创建一个python文件,选择自己本机环境即可
-
3.4 PC端使用VSCode远程调试AidLux
首先上传本地项目文件到AidLux(打开文件浏览器,进入home
,最后上传文件)
接下来进行 ssh 连接的配置
选择上传文件的路径,跳出的窗口中,再输入密码aidlux
,即可打开我们已经上传的Lesson5_code文件夹
完成上述操作后,即可进行代码操作啦,对了记得把 Python 解释器换成AidLux
上的Python
进行到这,所有的配置流程就结束了
4. 实现步骤
- 4.1 检测行人
行人检测主要使用目标检测算法YOLOv5
,具体的模型训练实现可以查看江大白老师的文章:深入浅出Yolov5之自有数据集训练超详细教程
也可以在各大平台上搜索YOLOv5训练获取相应教程
由于是在AidLux平台进行部署,所以需要使用export.py
将pt文件
转成tflite文件
模型初始化及加载,其中主要⽤到两个函数接⼝,⼀个是aidlite_gpu.aidlite()
和aidlite.ANNMode()
# aidlux相关 from cvs import * import aidlite_gpu from utils import detect_postprocess, preprocess_img, draw_detect_res import time import cv2 # AidLite初始化:调用AidLite进行AI模型的加载与推理,需导入aidlite aidlite = aidlite_gpu.aidlite() # Aidlite模型路径 model_path = '/home/lesson4_codes/aidlux/yolov5n_best-fp16.tflite' # 定义输入输出shape in_shape = [1 * 640 * 640 * 3 * 4] out_shape = [1 * 25200 * 6 * 4] # 加载Aidlite检测模型:支持tflite, tnn, mnn, ms, nb格式的模型加载 aidlite.ANNModel(model_path, in_shape, out_shape, 4, 0)
- 4.2 行人追踪
行人的跟踪主要采用了目标追踪算法Bytetrack
,
算法原理可查看:目标跟踪之 MOT 经典算法:ByteTrack 算法原理以及多类别跟踪 - 4.3 行人流量统计
- 绘制监测区域
# 1.绘制行人流量统计线 lines = [[186, 249], [1235, 366]] cv2.line(res_img, lines[0], lines[1], (255, 255, 0), 3)
- 设置人体监测点
# 2.计算得到人体下方中心点的位置(人体检测监测点调整) pt = [tlwh[0] + 1 / 2 * tlwh[2], tlwh[1] + 1 / 2 * tlwh[3]]
- 行人区域位置判断
# utils.py def is_passing_line(point, polyline): # 在直线下方,status =-1 # 在直线上方,status =1 status = 1 # 点映射在直线的高度 poly_x = ((polyline[1][0] - polyline[0][0]) * (point[1] - polyline[0][1])) / (polyline[1][1] - polyline[0][1]) + \ polyline[0][0] if point[0] > poly_x: status = -1 return status
# 3. 人体和违规区域的判断(人体状态追踪判断) track_info = is_passing_line(pt, lines) if tid not in track_id_status.keys(): track_id_status.update( {tid:[track_info]}) else: if track_info != track_id_status[tid][-1]: track_id_status[tid].append(track_info)
- 统计计数
# 4. 判断是否有track_id越界,有的话保存成图片 # 当某个track_id的状态,上一帧是-1,但是这一帧是1时,说明越界了 if track_id_status[tid][-1] == 1 and len(track_id_status[tid]) > 1: # 判断上一个状态是否是-1,是否的话说明越界,为了防止继续判别,随机的赋了一个3的值 if track_id_status[tid][-2] == -1: track_id_status[tid].append(3) # cv2.imwrite("overstep.jpg", res_img) person_up += 1 if track_id_status[tid][-1] == -1 and len(track_id_status[tid]) > 1: if track_id_status[tid][-2] == 1: track_id_status[tid].append(-3) person_down += 1
- 系统提醒
关注喵提醒
微信公众号,注册账号,选择菜单栏的提醒
,选择新建
,填写相关信息并保存,会生成对应的喵码
和网址
,将喵码
填入下列代码中的id
即可接收相关信息# 5.越界识别+喵提醒 # 填写对应的喵码 id = 'tP48aPC' # 填写喵提醒中,发送的消息,这里放上前面提到的图片外链 text = "有人越界识别!!" ts = str(time.time()) # 时间戳 type = 'json' # 返回内容格式 request_url = "http://miaotixing.com/trigger?" headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/87.0.4280.67 Safari/537.36 Edg/87.0.664.47'} result = requests.post(request_url + "id=" + id + "&text=" + text + "&ts=" + ts + "&type=" + type,headers=headers)
- 绘制监测区域
通过上述的操作后,即可完成规定区域内的人流量统计了
5. AidLux使用心得
通过对AidLux学习,不难发现AidLux的部署对于刚上手的小伙伴用起来还是相对友好且容易,只需使用Python即可完成整个流程的实现。Aidlux将整个开发流程通过Aidlux平台,将PC端编写的代码,快速应用到Android系统上,大大降低了传统模型部署时繁琐的流程,减少了人员的消耗。