iOS MachineLearning 系列（5）—— 视频中的物体运动追踪

本系列的前面几篇文章中，我们将静态图片分析相关的API做了详尽的介绍。在Vision框架中，还提供了视频中物体追踪的能力。

仔细想来，其实视频的分析和静态图片的分析本质上并无太大的区别，我们可以将视频拆解成图片帧，之后再对图片进行静态分析。将所有图片帧的分析结果反馈到视频上，即实现了对视频的分析能力。

视频中物体运动的跟踪常在一些AR游戏中应用，这些现实增强类的应用常常需要实时追踪显示中的物体。

1 - 先看一个简单的示例

我们以矩形区域追踪为例，与前面文章介绍的静态分析类似，运动追踪实现的核心点也只有三个：

1. 请求操作句柄。

2. 构建请求。

3. 处理分析请求的回调。

首先我们先来构建操作句柄：

lazy var handler = VNSequenceRequestHandler()

构建请求：

lazy var request: VNTrackRectangleRequest = {    
    let req = VNTrackRectangleRequest(rectangleObservation: observation) { result, error in
        // 处理结果
        if let error {
            print(error)
        }
        // 处理结果
        self.handleResult(request: result as! VNTrackRectangleRequest)
    }
    // 选择快速模式
    req.trackingLevel = .fast
    return req
}()

在构建请求时，需要我们传入一个初始的描述矩形区域的VNRectangleObservation对象，之后的追踪会以参数为对象。VNRectangleObservation的构建示例如下：

// 预检测得到的
var observation = VNRectangleObservation(boundingBox: CGRect(x: 0.3728713095188141, y: 0.833836019039154, width: 0.16493645310401917, height: 0.07572066783905029))

需要注意，这里的数据是我使用静态分析预先处理视频首帧得到的，实际应用中，我们也可以先对首帧进行静态分析，找到要追踪的矩形区域。

之外，我们还需要对视频资源进行一些处理，简单来说，即是解析视频帧，之后逐帧进行分析，示例代码如下：

func readVideo() {
    // 视频路径
    let videoURL = URL(fileURLWithPath: Bundle.main.path(forResource: "video1", ofType: ".mp4")!)
    // 读取视频资源
    let videoAsset = AVURLAsset(url: videoURL)
    // 创建视频资源解析器
    let videoProcessor = AVAssetImageGenerator(asset: videoAsset)
    videoProcessor.requestedTimeToleranceBefore = CMTime.zero
    videoProcessor.requestedTimeToleranceAfter = CMTime.zero
    // 获取视频时长
    let durationSeconds: Float64 = CMTimeGetSeconds(videoAsset.duration)
    // 存储要截取的视频帧时间点
    var times = [NSValue]()
    // 以每秒60帧为标准，获取总帧数
    let totalFrames: Float64 = durationSeconds * 60
    // 定义 CMTime 即请求缩略图的时间间隔
    for i in 0...Int(totalFrames) {
       let timeFrame = CMTimeMake(value: Int64(i), timescale: 60)
       let timeValue = NSValue(time: timeFrame)
       times.append(timeValue)
    }
    // 进行图片解析
    videoProcessor.generateCGImagesAsynchronously(forTimes: times) { time, cgImage, actualTime, resultCode, error  in
        if let cgImage = cgImage {
            let image = UIImage(cgImage: cgImage)
            self.images.append(image)
        }
    }
}

当所有视频帧处理完成后，我们即可以对其进行矩形追踪，示例方法如下：

func start() {
    var count = 0
    // 这里定时器的作用是逐帧的刷新页面，同时进行追踪
    Timer.scheduledTimer(withTimeInterval: 0.03, repeats: true) { t in
        if count < self.images.count {
            // 设置页面展示的图片
            self.imageView.image = self.images[count]
            // 将inputObservation设置为上一次的分析结果
            self.request.inputObservation = self.observation
            // 进行追踪分析
            try? self.handler.perform([self.request], on: self.images[count].cgImage!, orientation: .up)
            count += 1
        } else {
            // 当循环结束时，设置isLastFrame表情请求已经到了最后一帧
            self.request.isLastFrame = true
            // 停止定时器
            t.invalidate()
            print("end")
        }
    }
    print(images.count)
}

需要注意，追踪分析的本质是对矩形区域的前后状态进行比较，将其运行情况进行分析。因此，每次进行分析请求时需要将上一次的结果作为inputObservation进行输入，当视频结束时，设置起isLastFrame来结束分析，释放资源。

最后，分析结果的处理很简单：

func handleResult(request: VNTrackRectangleRequest) {
    print(request.results)
    for r in request.results ?? [] {
        guard let result = r as? VNRectangleObservation else {
            return
        }
        observation = result
        var box = result.boundingBox
        // 坐标系转换
        box.origin.y = 1 - box.origin.y - box.size.height
        print("box:", result.boundingBox)
        DispatchQueue.main.async {
            let size = self.imageView.frame.size
            self.boxView.frame = CGRect(x: box.origin.x * size.width, y: box.origin.y * size.height, width: box.size.width * size.width, height: box.size.height * size.height)
        }
    }
}

其中，box是我们定义好的一个UIView蒙层，用来表示追踪的结果，效果如下GIF图所示：

其中，白色的色块是原始视频中的矩形物体，红色的色块是我们的追踪结果。

2 - 几个重要的类

VNSequenceRequestHandle类无需多说了，它的作用就是发起请求，其与VNImageRequestHandler类的最大区别在于VNSequenceRequestHandle在创建对象时无需设置一个图片资源，VNSequenceRequestHandle主要是用来分析一系列图片的，因此其是在请求执行时设置图片资源的。

VNTrackRectangleRequest类用来创建矩形区域追踪请求，继承自VNTrackingRequest类，VNTrackingRequest的定义如下：

open class VNTrackingRequest : VNImageBasedRequest {
    // 输入追踪区域的Observation对象 每次根据中要刷新
    open var inputObservation: VNDetectedObjectObservation
    // 追踪模式
    open var trackingLevel: VNRequestTrackingLevel
    // 是否是最后一帧，如果设置为true，将停止后续分析
    open var isLastFrame: Bool
}

其中trackingLevel用了设置追踪的算法模式：

public enum VNRequestTrackingLevel : UInt, @unchecked Sendable {
    // 精准优先
    case accurate = 0
    // 速度优先
    case fast = 1
}

更多时候，我们要追踪的物体可能不是规则的矩形，也可能是会进行翻转和形变的物体，例如行驶中的汽车，飞行中的足球，奔跑中的人等。对于这类需求，我们需要使用VNTrackObjectRequest来进行追踪，其用法与VNTrackRectangleRequest几乎完全一致，这里就不再赘述，示例代码可以在下面找到：

https://github.com/ZYHshao/MachineLearnDemo