人工智能是怎样辨认一张黄图的？

我们以图 4 为例，经过不同层次的f运算得到的结果，如下图6：

（图6： 不同网络层次特征结果）

每一个层次的f可能会得到许多特征结果，有一些是模型对应特征的响应（对应图中有高亮的部分），有一些没有响应（图中黑色部分）。最终经过所有层级的f运算所得结果经过Sigmoid函数映射到0- 1 之间，得到的就是y值了。y越接近1，那么它命中类别的概率就越大。演化到多分类的问题上，y就是一个多维度的数，理论上每个维度都可以得到一个0- 1 之前的值，我们按照一定算法选择某一个维度的y作为结果输出即可（一般按照y值大的）。

第四步：验证。经过前面 3 步运算我们得到了f。（其实是n层神经网络的参数，也就是所谓的“黄图”模型）。f的可视化结果可以参看图7（以GoogLeNet为例），图 7 展示了 10 个224* 224 的RGB图片作为输入，在第二个卷积层的时候就需要64*3*3*64= 36864 个f的参数。当然这个是在计算一个非常简单的图示情况下的数据量，实际情况的输入数据和网络深度都要远远大于图片所展示的。我们常说的算法调参，就是指调整这些f的上万甚至上百万个参数。

（图7 ：神经网络结构模型）

接下来我们需要有一个验证的图片集来测试f的效果。由于f是根据训练集生成的，那么直接用训练集不足以反映它在真实环境下的效果。得益于我们大量的历史样本数据集，我们专门挑选一些图片作为验证使用。通过一个自动化的测试平台不停地对迭代出来的f做验证。在准确率达到更优的程度之后再更新上线。

人工智能鉴黄现状

我们经过不断迭代，得到了越来越精准的f（模型），在验证图集上也达到了99.8%以上的准确率。那么，我们就可以高枕无忧了么？恐怕还不行。

首先我们考虑真实世界里的场景：虽然互联网产品类型多样，但产品里面黄图的比例往往很小，一般都是万里挑一甚至是十万分之一的级别（明目张胆玩情色的产品在中国活不久）。我们假设10k张图像中有 1 张是黄图，我们的系统准确率为99.9%，即1k张图像会判错一张，那么我们计算伪阳性率（False Positive Rate），即判断为违禁图像集合中正常样本的比例为：

即 11 张判定为黄图的结果里面竟有 10 张是误判！不过用户也不用过分担心，统计为误判的图像，多数情况属于一些边界的情况，实际使用效果会更好。

其次，深度学习的模型会有一些奇怪的行为表现，比如相关论文（[1]Goodfellow, Ian J., Jonathon Shlens, and Christian Szegedy. "Explainingand harnessing adversarial examples." arXiv preprint arXiv:1412.6572(2014).）里面描述的情况（图8）

（图8）

一张原本能被正确识别的大熊猫图像，在添加人眼几乎不可辨认的微小变化之后，竟然以99.3%的置信度被判别为长臂猿。

是神经网络结构有问题吗？不是，这个实验是基于获得ILSVRC竞赛冠军的GoogLeNet网络进行的。

是训练数据的问题吗？也不是，网络是基于目前最大的物体识别分类数据集ImageNet训练的。

也就是说，对于一个卷积神经网络，出现难以解释的正常图像误判是普遍现象。即便是在实际应用或比赛中取得满意效果和优异成绩的算法，也会犯反人类直觉的“低级”错误。

基于以上的原因，在真实的场景下，我们往往采取机器审核+人工审核的方式来做到双重保险。

结语

以上通过尽量简单的描述说明了网易云安全（易盾）反垃圾系统在识别黄图这个工作中所作的努力和成果。但是也提到了许多的挑战，比如反人类直觉的低级误判问题，对于边界条件的图片识别准确率问题等。技术的进步是无止境的，网易云安全（易盾）实验室的算法工程师们也一直在努力。目前，网易云安全（易盾）已经面向企业市场，我们每天会为中国的互联网过滤 1 亿条左右的有害信息。除了智能鉴黄，网易云安全（易盾）同时开放有广告过滤、暴恐识别、谣言检测等内容安全服务，验证码、营销反作弊、应用加固等业务安全服务，以及DDoS 防护、SSL 证书管理等网络安全服务。（文 | 网易云安全CTO  朱浩齐）

（编辑：厦门网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!