iOS MachineLearning 系列（4）—— 静态图像分析之物体识别与分类

iOS MachineLearning 系列（4）—— 静态图像分析之物体识别与分类

本系列的前几篇文件，详细了介绍了Vision框架中关于静态图片区域识别的内容。本篇文章，我们将着重介绍静态图片中物体的识别与分类。物体识别和分类也是Machine Learning领域重要的应用。通过大量的图片数据进行训练后，模型可以轻易的分析出图片的属性以及图片中物体的属性。

1 - 文字识别

文字识别是应用非常广泛的一种图片识别技术。在Vision框架中，使用VNRecognizeTextRequest来进行文字识别，并且其支持多种语言，且有不错的识别精度。VNRecognizeTextRequest的创建示例如下：

private lazy var recognizeTextRequest: VNRecognizeTextRequest = {
    let textDetectionRequest = VNRecognizeTextRequest { request, error in
        DispatchQueue.main.async {
            self.drawTask(request: request as! VNRecognizeTextRequest)
        }
    }
    // 设置语言
    textDetectionRequest.recognitionLanguages = ["zh-Hans"]
    // 设置识别级别 accurate为最精准 fast为最快速
    textDetectionRequest.recognitionLevel = .accurate
    // 设置是否使用语言矫正
    textDetectionRequest.usesLanguageCorrection = true
    // 获取所支持的语言
    let set = try? textDetectionRequest.supportedRecognitionLanguages()
    print(set)
    return textDetectionRequest
}()

可以通过对VNRecognizeTextRequest实例进行配置来调整识别精度，识别的语言，是否进行矫正的选项，VNRecognizeTextRequest类的定义如下：

open class VNRecognizeTextRequest : VNImageBasedRequest, VNRequestProgressProviding {
    // 所支持的语言列表
    open class func supportedRecognitionLanguages(for recognitionLevel: VNRequestTextRecognitionLevel, revision requestRevision: Int) throws -> [String]
    open func supportedRecognitionLanguages() throws -> [String]
    // 识别过程中所使用的语言
    open var recognitionLanguages: [String]
    // 自定义的词汇，在识别单词时，自定义的词汇优先级会高于默认词典
    open var customWords: [String]
    // 识别等级，精度优先会更加消耗性能
    //  accurate: 精度优先 fast: 速度优先
    open var recognitionLevel: VNRequestTextRecognitionLevel
    // 设置是否使用自动矫正，自动矫正会更加消耗性能
    open var usesLanguageCorrection: Bool
    // 设置是否自动识别语言类型，当不确定输入的语种时，可以设置其自动识别，会更消耗性能
    open var automaticallyDetectsLanguage: Bool
    // 设置可识别文本的最小高度（为相对原图的比例值）
    open var minimumTextHeight: Float
    // 结果数组
    open var results: [VNRecognizedTextObservation]? { get }
}

VNRecognizeTextRequest的识别结果为VNRecognizedTextObservation类，此类也是继承自VNRectangleObservation的，因此我们也同时可以获取到所识别的文本所在原图的位置。VNRecognizedTextObservation类的定义如下：

open class VNRecognizedTextObservation : VNRectangleObservation {
    // 获取候选结果
    open func topCandidates(_ maxCandidateCount: Int) -> [VNRecognizedText]
}

topCandidate会返回一组候选结果，其参数设置最多返回的候选结果个数，需要注意此参数所支持的最大值为10。候选结果是指对于同一段文字，可能会识别出多个相似的结果，最终识别的文本结果VNRecognizedText类的定义如下：

open class VNRecognizedText : NSObject, NSCopying, NSSecureCoding, VNRequestRevisionProviding {
    // 识别出的文本字符串
    open var string: String { get }
    // 本次识别结果的可信度（0-1之间）
    open var confidence: VNConfidence { get }
}

对于confidence可信度属性来说，越接近1，可信度越高。

下图演示了照片中文本的识别效果：

可以看到，Vision对于中文印刷体的识别能力还是比较准确的。

目前，所支持识别的语种列举如下：

en-US：美式英语
fr-FR：法语
it-IT：意大利语
de-DE：德语
es-ES：西班牙语
pt-BR：葡萄牙语
zh-Hans：简体中文
zh-Hant：繁体中文
yue-Hans：粤语简体
yue-Hant：粤语繁体
ko-KR：韩语
ja-JP：日语
ru-RU：俄语
uk-UA：乌克兰语

2 - 动物识别

虽说是动物识别，但其实目前的API仅仅支持猫和狗的识别。使用VNRecognizeAnimalsRequest类来创建动物识别请求：

open class VNRecognizeAnimalsRequest : VNImageBasedRequest {
    // 获取所支持识别的动物种类
    open class func knownAnimalIdentifiers(forRevision requestRevision: Int) throws -> [VNAnimalIdentifier]
    open func supportedIdentifiers() throws -> [VNAnimalIdentifier]
    // 结果列表
    open var results: [VNRecognizedObjectObservation]? { get }
}

识别的结果VNRecognizedObjectObservation类也是继承自VNDetectedObjectObservation，其会包装所识别的动物所在图片中的区域，且VNRecognizedObjectObservation类中会封装一组VNClassificationObservation对象，如下：

open class VNRecognizedObjectObservation : VNDetectedObjectObservation {
    // 识别的动物标签
    open var labels: [VNClassificationObservation] { get }
}

VNClassificationObservatio类即表示识别出的物体具体的标签，定义如下：

open class VNClassificationObservation : VNObservation {
    // 标签字符串
    open var identifier: String { get }
}

对于VNRecognizeAnimalsRequest请求来说，此标签的值可能为Cat或Dog。识别效果如下图：

3 - 图片物体分类

图片物体分类是指对静态图片继续分析，将其中可能存在的物体分析出来。使用VNClassifyImageRequest创建图片物体分析请求。此类非常简单，没有太多需要配置的，定义如下：

open class VNClassifyImageRequest : VNImageBasedRequest {
    // 获取支持识别的物体
    open class func knownClassifications(forRevision requestRevision: Int) throws -> [VNClassificationObservation]
    open func supportedIdentifiers() throws -> [String]
    // 结果数组
    open var results: [VNClassificationObservation]? { get }
}

VNClassifyImageRequest所支持识别的物体种类非常多，有千余种，这里就不再列举。其识别后的结果也是VNClassificationObservation类，其内部的identifier表示所识别出的物体的标签。

需要注意，对于略微复杂的图片来说，识别的结果可能非常多，我们需要根据需求来设置一个可信度的阈值，只有达到此可信度的才被采用，例如：

private func drawTask(request: VNClassifyImageRequest) {
    boxViews.forEach { v in
        v.removeFromSuperview()
    }
    for result in request.results ?? []  where result.confidence > 0.8 {  
        // 解析出文本
        textView.text = textView.text.appending(result.identifier + "\n")
    }
}

识别效果如下图所示：

可以看到，我们选择了大于0.8可信度的结果，所识别出的关键字有：建筑，加工木材，动物，哺乳动物，犬类，狗，博美。（不知为何对猫的识别度很差）

本中所涉及到的代码，都可以在如下 Demo 中找到：

https://github.com/ZYHshao/MachineLearnDemo

到此，我们已经将静态图片的分析做了详尽的介绍，相信很多AI能力都是开发中会使用到的。本系列后面文章，将介绍对象追踪的相关API的用法。