点击上方“AI公园”，关注公众号，选择加“星标“或“置顶”
作者：Less Wright
编译：ronghuaiyang
导读
这是来自Google和Toyota的新NLP模型，超越Bert，参数小了18倍。
TL;DR = 你以前的NLP模型参数效率低下，而且有些过时。祝你有美好的一天。
谷歌Research和丰田技术研究所(Toyota Technological Institute)联合发布了一篇新论文，向全世界介绍了BERT的继任者——ALBERT。(“ALBERT:A Lite BERT for Self-supervised Learning of Language Representations”)。
ALBERT在SQuAD和RACE测试上创造了新的SOTA，并在比赛中以+14.5%的优势击败BERT。
ALBERT的最终结果(为GLUE，RACE，SQuAD创造了新的SOTA)方面给人留下了深刻的印象，但是…真正令人惊讶的是模型/参数大小的显著减少。
两个关键架构的更改和一个训练更改的组合使ALBERT的表现都更好，并极大地减少了模型的大小。看看下面的模型大小的比较——BERT x-large有12.7亿个参数，而ALBERT x-large有5900万个参数！
同样大小的网络(隐藏/层)，BERT的参数是12.7亿，而ALBERT的参数是59M…缩小了~21.5x。
在这篇文章中有很多内容需要解释，我将尝试深入研究下面的所有重点。
对于NLP来说，更大的模型总是更好吗?不…
让我们从NLP的一个要点开始——过去的一年，NLP已经取得了进展，通过扩展transformer类型的模型，每一个较大的模型，通过简单地构建一个越来越大的预训练模型，逐步提高最终任务的准确性。在原始的BERT论文中，他们发现更大的隐藏尺寸、更多的隐藏层和更多的注意力头导致了渐进的改进，并测试了多达1024大小的隐藏层。
迄今为止最大的NLP模型是NVIDIA最近发布的Megatron，这是一个巨大的80亿参数模型，超过BERT的24倍，接近OpenAI的GPT-2的6倍。Megatron 在512个GPU的环境下接受了9天的训练。
然而，存在一个临界点或饱和点，即越大并不总是越好，ALBERT的作者表明，他们最大的模型BERT X-Large，隐藏层大小为2048以及4倍于原BERT large的参数，实际上性能下降了近20%。
越大并不总是越好——将隐藏层大小加倍，参数大小增加4倍，但是BERT在RACE数据集上的准确性降低了。
这类似于计算机视觉层深度的峰值效应。对计算机视觉来说，按比例增加层的深度可以提高到一定程度，然后下降。例如，ResNet -1000并不比ResNet152好，即使它有6.5倍数量的层。换句话说，存在一个饱和点，在这个点上，训练的复杂性压倒并降低了来自额外网络能力的收益。
因此，考虑到这一点，ALBERT的创造者开始改进架构和训练方法，以得到更好的结果，而不是仅仅构建一个“更大的BERT”。
什么是ALBERT?
ALBERT的核心架构类似于bert，因为它使用了transformer编码器架构，同时还有GELU激活。在论文中，他们也使用了与原BERT相同的30K的词汇量。(V = 30000)。然而，ALBERT做了三个重要的改变：
架构改进，更有效地使用参数：
1 — 嵌入分解参数化
ALBERT的作者注意到，对于BERT、XLNet和RoBERTa，WordPiece Embedding的大小(E)直接与隐含层大小(H)联系在一起。
然而，ALBERT的作者指出，WordPiece Embedding是用来学习上下文独立表示的。隐含层嵌入是为了学习上下文依赖表示的。
BERT的能力很大程度上依赖于通过隐藏层学习上下文相关的表示。如果你将H和E结合起来，并且NLP需要大V (vocab)，那么你的嵌入矩阵E，实际上是V*E，必须与H(隐藏层)一起扩展，因此你最终得到的模型可以有数十亿个参数，但其中大多数在训练中很少更新。
因此，绑定在不同目的下工作的两个项目意味着低效的参数。
因此，将两者分开，可以更有效地使用参数，因此H(上下文相关)应该总是大于E(上下文无关)。
为此，ALBERT将嵌入参数分成两个更小的矩阵。因此，不是将独热向量直接投射到H中，而是将独热向量投射到一个更小、更低维的矩阵E中……然后投影到H隐藏空间。
因此，参数由大的O (V*H)简化为小的O (V*E + E*H)。
2 — 跨层参数共享
ALBERT通过跨层共享所有参数进一步提高了参数效率。这意味着前馈网络参数和注意力参数都是共享的。
因此，与BERT相比，ALBERT从一层到另一层的转换更平滑，作者注意到这种权值共享有助于稳定网络参数。
训练的变换 — SOP，句子顺序预测：
ALBERT确实使用了MLM(掩码语言模型)，就像BERT一样，使用最多3个单词掩码(n-gram max 3)。
然而，BERT除了MLM，还使用了NSP，即下一句话预测。ALBERT开发了自己的训练方法，称为SOP。
为什么不用NSP？值得注意的是，RoBERTa的作者指出，原BERT中使用的下一个句子预测(NSP)损失不是非常有效，所以就不用了。ALBERT作者从理论上解释了为什么NSP不是那么有效，但是他们利用NSP开发了SOP -句子顺序预测。
ALBERT认为，NSP(下一个句子预测)将话题预测和连贯预测混为一谈。作为参考，NSP使用了两个句子——正样本匹配是第二个句子来自同一个文档，负样本匹配是第二个句子来自另一个文档。
相比之下，ALBERT的作者认为句子间的连贯是真正需要关注的任务/损失，而不是主题预测，因此SOP是这样做的:
使用了两个句子，都来自同一个文档。正样本测试用例是这两句话的顺序是正确的。负样本是两个句子的顺序颠倒。
这避免了主题预测的问题，并帮助ALBERT学习更细粒度的语篇或句子间衔接。
当然，结果不言自明。
如何我们把ALBERT放大呢？
根据前面提到的关于扩展大小导致收益减小的注意事项，ALBERT的作者们进行了他们自己的ALBERT扩展测试，发现了层深度和宽度(隐藏大小)的峰值点。因此，作者推荐12层模型用于ALBERT风格的交叉参数共享。
ALBERT发现删除dropout，增加数据可以提高性能：
这个非常符合计算机视觉已经发现的结论，ALBERT的作者报告说，不使用dropout得到了性能提升，当然，使用了更多的数据进行了训练。
总结：
ALBERT在几个benchmarks上刷新了SOTA。这是一个惊人的突破，它建立在一年前BERT所做的伟大工作上，并在多个方面推进了NLP。尤其令人振奋的是，人工智能的未来不仅基于添加更多的GPU和简单地构建更大的训练模型，而且还将从改进的架构和参数效率方面取得进展。
作者指出，ALBERT未来的工作是提高其计算效率，可能是通过分散注意力或分块注意力。因此，希望在未来更多的来自ALBERT的进展 !
Github和ALBERT的官方来源？我找不到ALBERT的官方版本发布到github，或者通过开源方式发布，这篇文章也没有提到。希望在不久的将来能够实现。
非官方的TensorFlow版本：https://github.com/brightmart/albert\_zh?source=post\_page-----df8f7b58fa28----------------------
论文链接：https://arxiv.org/abs/1909.11942v1
— END—
请长按或扫描二维码关注本公众号
喜欢的话，请给我个好看吧**！
**
本文分享自微信公众号 - AI公园（AI_Paradise）。
如有侵权，请联系 support@oschina.cn 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
