从经典结构到改进方法，神经网络语言模型综述

长短期记忆(LSTM)RNN 解决了这个问题。Sundermeyer 等人于 2012 年将 LSTM 引入到了 LM 中，并且提出了 LSTM-RNNLM。除了记忆单元和 NN 的部分，LSTM-RNNLM 的架构几乎与 RNNLM 是一样的。为了控制信息的流动，他们将三种门结构(包括输入门、输出门和遗忘门)加入到了 LSTM 的记忆单元中。LSTM-RNNLM 的常规架构可以写作：

其中，i_t，f_t，o_t 分别代表输入门、遗忘门和输出门。c_t 是单元的内部记忆状态。s_t 是隐藏状态单元。U_i、U_f、U_o、U、W_i、W_f、W_o、W、V_i、V_f、V_o 以及 V 都是权值矩阵。b_i、b_f、b_o、b 以及 d 是偏置。f 是激活函数，σ 是各个门的激活函数(通常为 sigmoid 函数)。

对比上述三种经典的 LM，RNNLM(包括 LSTM-RNNLM)的性能要优于 FFNNLM，而且 LSTM-RNNLM 一直是最先进的 LM。当下的 NNLM 主要都是以 RNN 或 LSTM 为基础的。

改进的技术

1. 降低困惑度的方法

为了降低困惑度，人们将一些新的结构和更有效的信息引入到了经典的 NNLM 模型中(尤其是 LSTM-RNNLM)。受到语言学和人类处理自然语言的方式的启发，研究者们提出了一些新的、有效的方法，包括基于字符的(character-aware)模型、因式分解模型、双向模型、缓存模型、注意力机制，等等。

(1) 基于字符的(Character-Aware)模型

在自然语言中，一些形式相似的词往往具有相同或相似的意思。例如，「superman」中的「man」和「policeman」中的「man」有着相同的含义。Mikolov 等人于 2012 年在字符级别上对 RNNLM 和 FFNNLM 进行了探究。字符级 NNLM 可以被用来解决集外词(OOV)问题，由于字符特征揭示了单词之间的结构相似性，因此对不常见和未知单词的建模有所改进。由于使用了带有字符级输出的小型 Softmax 层，字符级 NNLM 也减少了训练参数。然而，实验结果表明，训练准确率高的字符级 NNLM 是一项具有挑战性的工作，其性能往往不如单次级的 NNLM。这是因为字符级 NNLM 必须考虑更长的历史数据才能正确地预测下一个单词。

人们已经提出了许多将字符级和单词级信息相结合的解决方案，它们通常被称为基于字符(character-aware)的语言模型。一种方法是逐个单词组织字符级特征，然后将它们用于单词级语言模型。Kim 等人于 2015 年提出了用于提取单词字符级特征的卷积神经网络以及用于在一个时间步内接收这些字符级特征的 LSTM。Hwang 和 Sung 于 2016 年使用一个分层 RNN 架构解决了字符级 NNLM 的问题，该架构包含具有不同时间规模的多个模块。

另一种解决方案是同时将字符级别和单词级别的特征输入给 NNLM。Miyamoto 和 Cho 等人于 2016 年提出使用 BiLSTM 从单词中提取出的字符特征向量对单词的特征向量进行插值，并且将插值向量输入给 LSTM。Verwimp 等人于 2017 年提出了一种「字符-单词」LSTM-RNNLM，它直接将字符和单词级别的特征向量连接起来，然后将连接结果输入给网络。基于字符的 LM 直接使用字符级 LM 作为字符特征提取器，应用于单词级 LM。这样一来，LM 就具有丰富的用于预测的「字符-单词」信息。

(2) 因式分解模型

NNLM 基于 token 定义了单词的相似度。然而，相似度还可以根据单词的形式特征(词缀、大写字母、连字符，等等)或者其它的注释(如词性标注(POS))导出。受到因式分解 LM 的启发，Alexandrescu 和 Kirchhoff 等人于 2016 年提出了一种因式分解 NNLM，这是一种新型的神经概率 LM，它可以学习从单词和特定的单词特征到连续空间的映射。

因式分解模型使得模型可以总结出具有相同特征的单词类别。在神经网络训练时应用因子代替单词 token 可以更好地学习单词的连续表征，可以表征集外词，也可以降低 LM 的困惑度。然而，对不同的因子的选择和不同的上游 NLP 任务、语言模型的应用是相关的。除了对各个因子分别进行实验外，没有其他方法可以用于因子的选择。因此，对于特定的任务，需要有一种高效的因子选择方法。同时，必须建立带有因子标签的语料库。

(3) 双向模型

传统的单向 NN 只能根据过去的输入预测输出。我们可以以未来的数据为条件，建立一个双向的 NN。Graves 等于 2013 年、Bahdanau 等人于 2014 年将双向 RNN 和 LSTM 神经网络(BiRNN 和 BiLSTM)引入了语音识别或其它的 NLP 任务。BiRNN 通过在两个方向处理输入数据来使用过去和未来的上下文。目前双向模型最火的工作当属 Peter 等人于 2018 年提出的 ELMo 模型，这是一种基于 BiLSTM-RNNLM 的新型深度上下文单词表示。预训练的 ELMo 模型的嵌入层的向量是通过词汇表中的单词学习到的表征向量。这些表征被添加到了现有的模型的嵌入层中，并且在 6 个具有挑战性的 NLP 任务中显著提升了目前最先进的模型的性能。

（编辑：厦门网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!