探索大语言模型:理解Self Attention| 京东物流技术团队

京东云开发者
• 阅读 24

一、背景知识

在ChatGPT引发全球关注之后,学习和运用大型语言模型迅速成为了热门趋势。作为程序员,我们不仅要理解其表象,更要探究其背后的原理。究竟是什么使得ChatGPT能够实现如此卓越的问答性能?自注意力机制的巧妙融入无疑是关键因素之一。那么,自注意力机制究竟是什么,它是如何创造出如此惊人的效果的呢?今天,就让我们共同探索这一机制背后的原理。

在亿万年的进化中,人类具备了快速关注环境中变化因素的能力,从而可以更好地趋利避害。这种能力就是注意力。在机器学习领域中,仿生学的理念也被广泛的使用。与神经网络、遗传算法相同,注意力机制在上世纪80年代,就已经在相关的研究中出现。在初期阶段,注意力机制常用于识别和提取图片中的关键信息。比如下图中,通过注意力算法提取图片中“停止指示牌”。



探索大语言模型:理解Self Attention| 京东物流技术团队



伴随深度学习算法的进步,在序列输入(Sequence Input)处理中,注意力机制也得到了较多的应用,其中比较有名的就属Transformer模型中的自注意力机制了。与无差别的对待每个顺序输入内容的算法相比,自注意力机制可以提取出输入内容间的相关性,因而取得了更好地结果表现。以词性分析为例,现在需要模型来分析句子中每个词的词性,输入的句子为“I saw a saw”。句子中出现了两个saw,第一个为动词,表示“看到了”的意思。而第二个为名词,表示“锯子”的意思。如果单独分析每个单词的词性,算法模型是无法判断此单词是名词还是动词。因此,必须要将两个词放入同一个上下文中分析,才可以得到预期的结果。我们通过设置窗口的方式,来获取连续上下文的效果。窗口的长度与计算的成本将成正相关。因此文本的长度越长,算法模型处理的资源消耗就越多。在大模型中,自注意力机制的引用,就是为了打破窗口长度与文本内容长度的相关性而设计的。

使用自注意力的模型可以直接计算出当前字符的结果,而不需要依赖前序内容的计算结果。这样可以保证计算的并行进行,并且不依赖窗口的限制。所以在处理超长序列内容时,其效率会有巨大的提升。



探索大语言模型:理解Self Attention| 京东物流技术团队



二、理解注意力机制(Attention mechanism)

注意力机制是模拟人的注意力的算法。可以将其理解成一个函数,可以用来计算两个向量的相关程度。如果两个向量相关程度越高,则注意力得分(Attention score)越高。如下图所示,是计算I向量在N向量上的注意力,I向量是由输入的第i个token进行词嵌入得来。N向量输入第n个token进行词嵌入得来。其O向量代表结果,是向量I在N上的注意力得分。在对O做处理后(比如多值时的Softmax处理),可以认为是I在输入N上的权重。经过注意力计算后,向量I与向量N的得分越高,则说明I与N的相关度越高。这样在后续的计算中,就可以只关注注意力得分高的向量关系,从而优化了计算效率。



探索大语言模型:理解Self Attention| 京东物流技术团队



Attention function是一个确定的函数,在下一章节中会详细解释。简单的理解,在算法层面的注意力,就是两个向量的相似度计算。当两个向量相似度高时,此时输入向量的权重将更大,更抽象的讲,此时的输入向量将获得更多的注意力倾斜。

三、理解Self Attention

在Transformer框架(一种基于自注意力机制的深度学习模型)中,引用的注意力机制被称为自注意力机制(Self Attention,有时称为intra-attention)。这是在上一节介绍的基础上,对顺序输入内容进行了上下文相关的增强,使注意力机制可以更好的注意到整段输入内其他输入token的关联性信息,从而可以为提取更多信息创造条件。正是自注意力的作用,使得使用Transformer框架的GPT模型,在内容生成方面的效果出众。

如下图所示,输入是一组向量a1a4,输出为经过自注意力计算后的向量组b1b4。输入向量a1可能是一组原始的输入在经过词嵌入后,得到的向量。输入向量a1也可能是前序的某隐藏层的输出。换而言之,自注意力的计算结果,通常会作为其他层的输入,帮助模型的后续部分更好的理解输入向量组中,关联程度高的向量关系。



探索大语言模型:理解Self Attention| 京东物流技术团队



在上图中,输出向量b1是,输入向量a1经过考虑与所有输入向量的相关性(relevant)后,得到的结果。那么如何计算a1与a(n)的相关性α呢?这里就是上一章中提到的计算方式了。下面我们来看下,attention function中具体做了哪些计算。

首先,a1与

相乘得到向量q,a(n)与得到向量k。然后,再用向量q与k做点积(Dot Product)计算,得到a1与a(n)的相关性。整体过程如下图所示。其中,与是两个通过模型训练而学习得的矩阵,可以理解为确定的常量,其代表着注意力关注的重点(也可以理解为知识)。



探索大语言模型:理解Self Attention| 京东物流技术团队



在attention function的选择上,并没有一个确定的公式。比如在Transformer中,就是使用了一种名为Scaled Dot-Product Attention的公式算法。因此,具体使用何种算法作为attention function,是一个开放性的问题,可以根据自己的理解,而尝试不同的算法。

下面我们来具体看下Transformer的Self Attention都做了哪些优化。在Self Attention中,注意力函数被抽象为,将Query信息与一个Key-Value数据集进行相关性计算的过程,计算的Output结果为Key-Value数据集中每对元素与Query的权重值。其中Query、Key、Value和Output均为向量。此函数被称为Scaled Dot-Product Attention。



探索大语言模型:理解Self Attention| 京东物流技术团队



让我们继续以a1-a4的输入为例,拆解一下Transformer中的Scaled Dot-Product Attention的计算过程。

1、将a1与 探索大语言模型:理解Self Attention| 京东物流技术团队相乘得到向量q1。

2、分别将探索大语言模型:理解Self Attention| 京东物流技术团队与a1、a2、a3、a4相乘,得到k1、k2、k3、k4。

3、分别将q1与k(n)点乘,得到 探索大语言模型:理解Self Attention| 京东物流技术团队

4、将探索大语言模型:理解Self Attention| 京东物流技术团队)进行softmax计算,得到探索大语言模型:理解Self Attention| 京东物流技术团队)这里使用softmax是一个可替换的方案,也可以使用其他函数代替,比如ReLU

5、分别将探索大语言模型:理解Self Attention| 京东物流技术团队与a1、a2、a3、a4相乘,得到v1、v2、v3、v4。

6、最后 ,将v(n)乘以探索大语言模型:理解Self Attention| 京东物流技术团队,得到矩阵b1。b2、b3、b4的计算过程同理,将输入的a1分别换成b2、b3、b4即可。

上述过程可以由下图描述得来。



探索大语言模型:理解Self Attention| 京东物流技术团队



如果将a1、a2、a3、a4作为向量矩阵 探索大语言模型:理解Self Attention| 京东物流技术团队),一次性的输入到self-attention中。我们就可以得到对应的矩阵Q、K、V,即如下公式所示。其中探索大语言模型:理解Self Attention| 京东物流技术团队是通过模型训练而学习到的常量系数。

探索大语言模型:理解Self Attention| 京东物流技术团队

位置编码(Positional Encoding)

在上述的自注意力模型中,没有token对应的位置信息的输入。但是对于序列输入来讲,位置信息也包含了很重要的信息。比如之前的例子“I saw a saw”中,若去掉了位置信息,两个saw就无法判别具体是哪种含义。为了让Transformer模型关注到位置信息,模型设计者将位置进行了编码和向量化。这被成为了位置编码(Positional Encoding)。

模型设计者使用了sine、cosine函数,对位置进行编码,函数如下图。其中,pos代表当前位置,i代表维度。每个维度的位置预测都是一个正弦波,数值在

至之间。代表了词嵌入向量维度,使得生成的位置编码,可以使编码结果与词向量直接相加。



探索大语言模型:理解Self Attention| 京东物流技术团队



之所以选择在有限幅度循环震荡的sine、cosine函数进行位置编码,是为了让模型可以预测超过训练文本最大长度的内容。从而取得更好的泛化效果。

上述的位置编码函数,只是Transformer模型中使用的。编码函数的选择,也是一个暂无确定解的问题。模型的设计者,可以通过自身对位置的理解,而设计不同的位置编码函数。甚至在有一些论文中,已经使用模型训练的方式来动态生成位置编码信息。

四、理解Multi-head attention

Transformer架构为了能并行提取输入向量在不同维度的特征,在Self-attention的基础上,又提出了多头注意力(Multi-head attention)的概念。例如,在之前的训练中,模型分别学习了词性和句意两种维度的特征,分别记为

和,。这里就可以理解为由两个头(head)组成,分别用于提取不同注意力下的特征。多头注意力可以用下图表示,由h个头组成,分别用于计算不同的特征值。最后,由Concat方法,将特征进行合并,并送入下一层处理。



探索大语言模型:理解Self Attention| 京东物流技术团队



五、总结

自注意力概念首次在《Attention is all you need》这篇划时代的论文中被提出,标志着对注意力机制理解的一大突破。自注意力机制突破了传统注意力算法的性能局限,极大地提高了处理大规模数据集的效率。得益于此,模型在处理大数据集的训练效率主要取决于所投入的硬件资源,效果与之成正比。同时,自注意力机制的并行处理特性与GPU的并行计算能力相得益彰,进一步提升了训练的效率。因此,随着时间的流逝和对训练资源的持续投入,采用自注意力机制的大型语言模型在参数规模上也呈现出稳步的增长。

此外,本文只对与Transformer相关的自注意力机制做了介绍,而对比较经典的注意力机制介绍较少。但是了解注意力机制的发展过程,可以更好的帮助自注意力机制的理解。因此,推荐感兴趣的读者,读一下这篇专门介绍注意力机制发展史的论文《Attention Mechanism in Neural Networks: Where it Comes and Where it Goes》。

文章链接

BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding

NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

Learning to Encode Position for Transformer with Continuous Dynamical Model

台大视频链接:

https://b23.tv/jBK3VXe

作者:京东物流 陈昊龙

来源:京东云开发者社区

点赞
收藏
评论区
推荐文章
不是海碗 不是海碗
1年前
超火的 ChatGPT,APISpace 让你一分钟免费接入
ChatGPT是一个基于GPT3.5(GenerativePretrainedTransformer3.5)的语言模型,用于处理自然语言问答。GPT3.5是由人工智能公司OpenAI开发的一种大型神经网络模型,能够处理自然语言文本。ChatGPT是基于GPT3.5模型构建的,能够根据用户输入的问题,生成自然语言的回答。
ChatGPT风口下的技术“狂飙”,天翼云荣登ZeroCLUE榜首
最近ChatGPT火了!写代码、写情书、写文章、做题……它啥都会。在ChatGPT强大的功能背后,离不开业内不断精进的人工智能技术的支撑。零样本学习就是ChatGPT的核心技术之一。近日,智能边缘事业部AI团队在中文语言理解零样本学习权威榜单ZeroCLU
四儿 四儿
1年前
ChatGPT在自然语言处理中的局限性和挑战
随着人工智能技术的不断发展,自然语言处理已经成为人工智能领域中备受瞩目的重要研究方向。ChatGPT作为自然语言处理技术中的一种,已经在自然语言理解和生成方面取得了显著的成就。然而,尽管如此,ChatGPT在自然语言处理中仍然存在着一些局限性和挑战。本文将
花母 花母
1年前
小白也能看懂的ChatGPT知识介绍
ChatGPT其工作原理是通过深度学习算法和自然语言处理技术,生成与给定输入相关的文本或回答。ChatGPT的核心是一个大型语言模型,它被训练成能够理解和生成自然语言,包括词语、短语、句子和段落。这个模型使用了大量的语言数据,包括文章、书籍、新闻报道和互联
黄忠 黄忠
6个月前
(9章)ChatGPT 从零到一打造私人智能英语学习助手
ChatGPT从零到一打造私人智能英语学习助手download》sisuoit.com/3893.html随着科技的飞速发展,人工智能(AI)已经渗透到我们生活的方方面面。在这个波澜壮阔的AI浪潮中,一款名为ChatGPT的语言模型脱颖而出,以其卓越的性能
四儿 四儿
5个月前
大模型数据集:突破边界,探索未来
一、引言随着人工智能技术的快速发展,大型预训练模型如GPT4、BERT等在自然语言处理领域取得了显著的成功。这些大模型背后的关键之一是庞大的数据集,为模型提供了丰富的知识和信息。本文将探讨大模型数据集的突破边界以及未来发展趋势。二、大模型数据集的突破边界数
四儿 四儿
5个月前
大模型数据集:构建、挑战与未来发展
一、引言随着深度学习技术的迅速发展,大型预训练模型如GPT4、BERT等在自然语言处理领域取得了显著的成果。这些大模型的表现得益于其背后庞大的数据集,这些数据集为模型提供了丰富的知识和信息。本文将探讨大模型数据集的构建、面临的挑战以及未来的发展趋势。二、大
笑面虎 笑面虎
5个月前
【完结9章】AI大语言模型 ChatGPT从0到1打造私人智能英语学习助手
【完结9章】AI大语言模型ChatGPT从0到1打造私人智能英语学习助手视频课程分享——AI大语言模型ChatGPT从0到1打造私人智能英语学习助手,完结19章。附源码下载。深度学习的子领域中有两个重要的概念:大型语言模型(LLMs)和生成式人工智能(Ge
何婆子 何婆子
4个月前
极客时间-AI大模型应用开发实战营
AI大模型应用开发实战:探索未来的智能应用download》https://chaoxingit.com/4303/随着人工智能(AI)技术的快速发展,AI大模型的应用开发已成为当今热门话题。AI大模型是指大型、复杂的人工智能模型,它们具有强大的自然语言处
光之守卫 光之守卫
1个月前
从0到1训练自己的私有大模型,打造属于自己的ChatGPT|网盘高清
从0到1训练自己的私有大模型,打造属于自己的ChatGPT|网盘高清download》quangneng.com/2653/从零开始,打造属于自己的私有ChatGPT模型:一次自定义深度学习之旅在人工智能领域,自然语言处理模型如GPT(Generative