从经典结构到改进方法，神经网络语言模型综述
发布时间：2019-07-24 12:44:55 所属栏目：建站 来源：机器之心编译
导读：作为自然语言处理(NLP)系统的核心组成部分，语言模型可以提供词表征和单词序列的概率化表示。神经网络语言模型(NNLM)克服了维数的限制，提升了传统语言模型的性能。本文对 NNLM 进行了综述，首先描述了经典的 NNLM 的结构，然后介绍并分析了一些主要的改进
|
其中 U、W、V 是权值矩阵;b、d 分别是状态层和输出层的偏置。在 Mikolov 2010 年和 2011 年发表的论文中，f 代表 sigmoid 函数，g 代表 Softmax 函数。RNNLM 可以通过基于时间的反向传播算法(BPTT)或截断式 BPTT 算法来训练。根据他们的实验结果，RNNLM 在困惑度(PPL)方面要显著优于 FFNNLM 和 N 元语言模型。
图 2：Mikolov 等人于 2010 年和 2011 年提出的 RNNLM。 尽管 RNNLM 可以利用素有的上下文进行预测，但是训练模型学习长期依赖仍然是一大挑战。这是因为，在 RNN 的训练过程中，参数的梯度可能会发生梯度消失或者梯度爆炸，导致训练速度变慢或使得参数值无穷大。 3. LSTM-RNN 语言模型 （编辑：厦门网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
