应用场景：应用于语音识别语音翻译机器翻译RNNRNN（RecurrentNeuralNetworks,循环神经网络）不仅会学习当前时刻的信息，也会依赖之前的序列信息。由于其特殊的网络模型结构解决了信息保存的问题。所以RNN对处理时间序列和语言文本序列问题有独特的优势。递归神经网络都具有一连串重复神经网络模

除了前面介绍的权重衰减以外，深度学习模型常常使用丢弃法（dropout）来应对过拟合问题。方法与原理为了确保测试模型的确定性，丢弃法的使用只发生在训练模型时，并非测试模型时。当神经网络中的某一层使用丢弃法时，该层的神经元将有一定概率被丢弃掉。设丢弃概率为$p$。具体来说，该层任一神经元在应用激活函数后，有$p$的概率自乘0，有

2019年上半年收集到的人工智能图神经网络干货文章「AI初识境」从头理解神经网络内行与外行的分水岭(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fblog.csdn.net%2Fweixin_42137700%2Farticle%2Fdetails%2F90514451)人

郑重声明：原文参见标题，如有侵权，请联系作者，将会撤销发布！Abstract:我们提出了一种新的方法，通过端到端的训练策略来学习深度架构中的可压缩表征。我们的方法是基于量化和熵的软（连续）松弛，我们在整个训练过程中对它们的离散对应体进行了退火。我们在两个具有挑战性的应用中展示了这种方法：图像压缩和神经网络压缩。虽然这些任务通常是用不同的方法来处理的

点击上方“逆锋起笔”，关注领取视频教程☞程序员进阶必备资源免费送「各种技术！」☜(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzUyMzM2ODUwMA%3D%3D%26mid%3D2247486226%26id

点击上方“逆锋起笔”，关注领取视频教程☞程序员进阶必备资源免费送「各种技术！」☜(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzUyMzM2ODUwMA%3D%3D%26mid%3D2247486226%26id

PyTorch已为我们实现了大多数常用的非线性激活函数，我们可以像使用任何其他的层那样使用它们。让我们快速看一个在PyTorch中使用ReLU激活函数的例子：在上面这个例子中，输入是包含两个正值、两个负值的张量，对其调用ReLU函数，负值将取为0，正值则保持不变。现在我们已经了解了构建神经网络架构的大部分细节，我们来构建一个可用于解决真实问题的深度学习架构。

递归神经网络（RNN）RNN是最强大的模型之一，它使我们能够开发如分类、序列数据标注、生成文本序列（例如预测下一输入词的SwiftKeykeyboard应用程序），以及将一个序列转换为另一个序列（比如从法语翻译成英语的语言翻译）等应用程序。大多数模型架构（如前馈神经网络）都没有利用数据的序列特性。例如，我们需要数据呈现出向量中每个样例的特征，如表示句子、段

PyTorch已为我们实现了大多数常用的非线性激活函数，我们可以像使用任何其他的层那样使用它们。让我们快速看一个在PyTorch中使用ReLU激活函数的例子：在上面这个例子中，输入是包含两个正值、两个负值的张量，对其调用ReLU函数，负值将取为0，正值则保持不变。现在我们已经了解了构建神经网络架构的大部分细节，我们来构建一个可用于解决真实问题的深度学习架构。

递归神经网络（RNN）RNN是最强大的模型之一，它使我们能够开发如分类、序列数据标注、生成文本序列（例如预测下一输入词的SwiftKeykeyboard应用程序），以及将一个序列转换为另一个序列（比如从法语翻译成英语的语言翻译）等应用程序。大多数模型架构（如前馈神经网络）都没有利用数据的序列特性。例如，我们需要数据呈现出向量中每个样例的特征，如表示句子、段