2018，一文看尽AI发展真相

10月13日，谷歌AI团队新发布的BERT模型，在机器阅读理解顶级水平测试SQuAD1.1中表现出惊人的成绩：全部两个衡量指标上全面超越人类！并且还在11种不同NLP测试中创出最佳成绩，包括将GLUE基准推至80.4％（绝对改进7.6％），MultiNLI准确度达到86.7%（绝对改进率5.6％）等。

谷歌团队的Thang Luong直接定义：BERT模型开启了NLP的新时代！

BERT的新语言表示模型，它代表Transformer的双向编码器表示。与最近的其他语言表示模型不同，BERT旨在通过联合调节所有层中的上下文来预先训练深度双向表示。因此，预训练的BERT表示可以通过一个额外的输出层进行微调，适用于广泛任务的最先进模型的构建。

如前文所述，BERT在11项NLP任务中刷新了性能表现记录！在此举出其中一项结果。

GLUE测试结果，由GLUE评估服务器给出。每个任务下方的数字表示训练样例的数量。“平均”一栏中的数据与GLUE官方评分稍有不同，因为我们排除了有问题的WNLI集。BERT 和OpenAI GPT的结果是单模型、单任务下的数据。所有结果来自http://gluebenchmark.com/leaderboard和http://blog.openai.com/language-unsupervised/

SQuAD 结果。BERT 集成是使用不同预训练检查点和微调种子（fine-tuning seed）的 7x 系统。

CoNLL-2003 命名实体识别结果。超参数由开发集选择，得出的开发和测试分数是使用这些超参数进行五次随机重启的平均值。

总体而言，BERT模型在NLP领域中的多项任务取得目前最佳效果，包括分类、语义相似度、语法、电影评论、语义等价、问答、实体识别等等。

常识推理

在常识推理方面（Commensense Inference），目前取得最先进水平的是Antonio Lieto等人于2017年发布的文章：Dual PECCS: a cognitive system for conceptual representation and categorization。

当然，该篇文章的结果在概念分类准确率（Concept Categorization Accuracy）上目前最佳，为89；但在Dev和Test准确率方面，目前依旧BERT模型结果最佳，分别为86.6和86.3。

机器翻译

在机器翻译任务中（Machine Translation），目前取得最佳结果来自于Zhen Yang等人于今年4月在Arxiv上发布的文章：

该文章的算法主要结合了Transformer+BR-CSGAN，在BLEU上取得的评分结果为43.01，为目前最佳结果。

自然语言推断

在自然语言推断（Natural Language Inference）任务中，目前最佳结果来自于Yichen Gong等人于今年5月在Arxiv上发布的文章：

该论文采用的算法是DIIN，在准确率方面目前为89.84，目前处于最佳水平。

以上是计算机视觉和自然语言处理两个领域的最新发展情况。想要了解AI其它领域中各任务目前取得的最佳结果可以参考如下链接：http://www.stateoftheart.ai/。

本文来自微信公众号：新智元报道（ID：AI_era），来源：stateoftheart.ai，编辑：文强、三石、元子。

（编辑：厦门网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!