Lnton羚通视频分析算法开发平台关于AI智能识别操作行为流程规范识别算法分析展示

Lnton羚通的算法算力云平台是一款优秀的解决方案，具有突出的特点。它提供高性能、高可靠性、高可扩展性和低成本的特性，使用户能够高效地执行复杂计算任务。此外，平台还提供丰富的算法库和工具，并支持用户上传和部署自定义算法，提升了平台的灵活性和个性化能力。

AI工人操作行为流程规范识别算法使用YOLOv8+Python网络模型框架。该算法实时分析作业人员的操作行为，并根据设定的算法规则判断其是否符合SOP流程的标准要求。YOLO即You Only Look Once，它通过将候选区和目标分类合二为一，能够一次性地确定图像中的对象及其位置，而不是传统方法那样对候选区域进行多次扫描。Yolo模型采用预定义预测区域的方法进行目标检测。具体来说，它将原始图像划分为7x7=49个网格(grid)，每个网格允许预测出两个边框(bounding box)，共计98个bounding box。我们可以将其理解为98个预测区域，粗略地覆盖了整个图片区域，在这98个预测区域中进行目标检测。

与当前主流的实时目标检测器不同，YOLOv8的发展方向是同时支持移动GPU和从边缘到云端的GPU设备。除了架构优化外，该研究还专注于训练过程的优化，特别关注了一些优化模块和方法。这可能会增加训练成本以提高目标检测的准确性，但不会增加推理成本。研究团队将这些提出的模块和方法称为可训练的“bag-of-freebies”。在模型重参数化方面，研究团队使用梯度传播路径的概念分析了适用于不同网络层的重参数化策略，并提出了有计划的重参数化模型。此外，研究团队发现在使用动态标签分配技术时，具有多个输出层的模型训练时会出现新问题：“如何为不同分支的输出分配动态目标？”为解决这个问题，研究团队提出了一种名为从粗粒度到细粒度（coarse-to-fine）的引导式标签分配方法。

相比于YOLOR、YOLOX、Scaled-YOLOv8、YOLOv7、DETR等多种目标检测器，YOLOv8在速度和精度上表现更优。在5 FPS到160 FPS范围内，YOLOv8的速度和精度都超过了所有已知的目标检测器。在V100上，以30 FPS的速度实现了56.8% AP的最高精度。YOLOv8是在MS COCO数据集上从头开始训练的，没有使用其他数据集或预训练权重。

相对于其他类型的工具，YOLOv8-E6目标检测器（56 FPS V100，55.9% AP）比基于transformer的检测器SWINL Cascade-Mask R-CNN（9.2 FPS A100，53.9% AP）在速度上提高了509%，在精度上提高了2%；比基于卷积的检测器ConvNeXt-XL Cascade-Mask R-CNN（8.6 FPS A100, 55.2% AP）在速度上提高了551%，在精度上提高了0.7%。

虽然Yolo的源码是用C实现的，但在Github上有很多开源的TensorFlow复现版本。在这里，我们参考了gliese581gg的实现来分析Yolo的推理过程中的细节。我们的代码将构建一个端到端的Yolo预测模型，并利用已经训练好的权重文件，你可以使用真实的图片来测试检测效果。

首先，我们定义Yolo的模型参数：

    class Yolo(object):
        def __init__(self, weights_file, verbose=True):
            self.verbose = verbose
            # detection params
            self.S = 7  # cell size
            self.B = 2  # boxes_per_cell
            self.classes = ["aeroplane", "bicycle", "bird", "boat", "bottle",
                            "bus", "car", "cat", "chair", "cow", "diningtable",
                            "dog", "horse", "motorbike", "person", "pottedplant",
                            "sheep", "sofa", "train","tvmonitor"]
            self.C = len(self.classes) # number of classes
            # offset for box center (top left point of each cell)
            self.x_offset = np.transpose(np.reshape(np.array([np.arange(self.S)]*self.S*self.B),
                                                  [self.B, self.S, self.S]), [1, 2, 0])
            self.y_offset = np.transpose(self.x_offset, [1, 0, 2])

            self.threshold = 0.2  # confidence scores threhold
            self.iou_threshold = 0.4
            #  the maximum number of boxes to be selected by non max suppression
            self.max_output_size = 10

Lnton羚通的算法算力云平台具有突出的特点，包括高性能、高可靠性、高可扩展性和低成本。用户可以通过该云平台获得高效、强大的算法计算服务，快速、灵活地执行各种复杂的计算模型和算法，涉及机器学习、人工智能、大数据分析和图像识别等广泛领域。此外，云平台还提供丰富的算法库和工具，支持用户上传和部署自己的算法模型，以满足不同用户的需求。