内容审核入门逻辑

在不同公司，对审核类职位的划分标准不同，比如有内容安全审核、内容推荐审核、内容质量审核等类似职位。虽然在侧重点和具体操作上有所不同，但有许多逻辑都是共通的。为了避免文章过于复杂，我们在这里侧重最常见的内容安全审核。

不管是什么内容的审核，都应该包含以下四个基础模块：机器审核、人工审核、用户投诉审核、结果复审。

机器审核，是按照制定好的规则或机器学习算法对内容进行审核，通常，成熟的审核系统能将95%甚至99%以上的内容都自动审核并做出处理。确定有问题的会被自动删除，难以判断是否有问题的会被标注，进入人工审核程序。

人工审核，虽然用户投诉审核和结果复审大多时候也是人工审核，但这里所说的人工审核，特指审核机器无法判别的内容，通常占平台内容数量的比例不超过5%，但对于一些大型的内容平台，绝对数量已经很多了。在内容爆炸的时代，我们看到许多平台在全国都有多个审核中心，每个审核中心的员工数量都成千甚至上万。

用户投诉审核，是前两者的弥补，有很多违规内容以前没有出现过，所以不在规则可以过滤的范围内，或者非常隐蔽，规则难以严格过滤。用户的投诉是发现新问题的重要渠道。通过知乎的危机事件，我们更应该重视对投诉的审核，并及时据此对机器审核做出补充。

结果复审，通常采取抽查方式，比如通过复审机器删除的内容，看规则或算法是否过于严格；比如通过查看人工删除和通过的内容，看员工的工作是否按要求执行；比如通过内容的整体巡查，看是否存在新的问题未被注意到。

在文字类内容平台，比如知乎、简书、豆瓣亦或是游戏聊天平台和论坛，机器审核主要是基于关键词过滤的逻辑，逻辑比较简单，但也没有想象的那么简单。

越是大规模数据的平台，内容审核的方向和判断越是保守，这不止由于风险管理的考虑，还包含一些现实原因。一些规则和算法无法做到精准的一刀切原则并无误伤，因而在某些情况下审核的标准对很多内容就显得过于严格。

对于运营或产品工作者来说，文本类AI模型的过滤效果在市场实操中的反馈和数据表现都较为成熟，因此在游戏运营与反灰产的实际工作中，企业可以考虑介入第三方服务，从而让成本下降的同时保证审核机制的实施更新与表现完善。