什么? 20分钟,构建你自己的LLaMA3应用程序! | 京东云技术团队

京东云开发者
• 阅读 287

4月19日,Meta发布了最新的大语言模型LLaMA3,具体包括一个8B模型和一个70B模型,上下文长度支持8K,被誉为史上最强开源大语言模型,开源社区的“重磅炸弹”,效果直指GTP4。在诸多评测任务上,LLaMA3都有非常炸裂的效果。8B模型在多项指标中超越了Gemma7B和Mistral 7B Instruct,而70B模型则超越了闭源的Claude 3 Sonnet,和Gemini Pro 1.5。具体的评测报告可以参见:https://github.com/meta-llama/llama3/blob/main/eval_details.md

什么? 20分钟,构建你自己的LLaMA3应用程序! | 京东云技术团队由于Llama 3 选择了相对标准的纯解码器 Transformer 架构,根据各方信息推测,性能提升主要来自数据质量的提升。一是使用了15T的预训练数据,相比Llama 2提高了7倍,并且大幅提高了代码的使用量,以增强模型的推理能力。二是使用了词汇量为128K的标记器,相比Llama 2使用的 32K 标记器,改善了标记化的粒度。另外,在8B 和 70B 大小的模型上采用了分组查询注意力 (GQA),提高了Llama 3的推理效率。开源社区对此反响强烈,短短5天,Hugging Face上已经有了1000多个变种,而且数字还在持续增长。什么? 20分钟,构建你自己的LLaMA3应用程序! | 京东云技术团队面对AI行业一波又一波的巨大事件,我们在赞美和焦虑之外,能做点什么呢?虽说不上躬身入局,但总想让稍微感受一下AI巨浪带来的点点涟漪。不是有句老话说得好么,不是AI取代人类,而是懂AI的人取代不懂AI的人。于是我用百度找到了LLaMA3的体验地址:https://www.meta.ai/。但当我在浏览器输入并等待了10分钟后,我放弃了..... 网络问题,无情的阻碍了我进步的脚步。我再次打开百度,想试试能不能在本地安装一个LLaMA3,但当我看到60G的模型大小,以及昂贵的GPU算力,以及各种程序报错时,我又一次知难而退了。是坚持,还是放弃,这是个问题。。。。。什么? 20分钟,构建你自己的LLaMA3应用程序! | 京东云技术团队
直到,我在京东云上看到了这个产品..... 于是,我打开手机计时器,开始了我寻找AI浪花之旅第一步,进入京东智算服务控制台:https://gcs-console.jdcloud.com/instance/list**第二步**,点击创建按钮购买GPU实例,注意计费方式一定选择 “按配置” ,就是按使用时长进行计费,一个小时才1.89,充值2块钱,就能玩2个小时,真是良心。点击“立即购买”下单。第三步,在实例列表页面,等待实例状态变为“运行中”,然后点击Jupyter进入AI的开发环境。

什么? 20分钟,构建你自己的LLaMA3应用程序! | 京东云技术团队第四步,在Jupyter页面中,点击进入Terminal终端,执行如下命令:

-

cp -r /gcs-pub/llama-factory/ /data/

什么? 20分钟,构建你自己的LLaMA3应用程序! | 京东云技术团队
第五步:在左侧的目录树中,找到llama-factory/src/web_demo.py文件,双击打开,然后把server_port修改为28888,Ctrl+S保存这个修改。什么? 20分钟,构建你自己的LLaMA3应用程序! | 京东云技术团队第六步:再次打开刚才的终端,分别执行下面几行命令:

cd /data/llama-factory conda create -n liandan python=3.10 -yconda activate liandanpip install -e .[metrics]CUDA_VISIBLE_DEVICES=0 python src/web_demo.py --model_name_or_path /gcs-pub/Meta-Llama-3-8B-Instruct --template llama3

这个平台的特点是速度特别快,比其他平台都快,几分钟后,我看到了胜利的曙光...什么? 20分钟,构建你自己的LLaMA3应用程序! | 京东云技术团队
第七步:在控制台实例列表页面(https://gcs-console.jdcloud.com/instance/list),点击该实例的最后一栏,操作-应用-自定义应用,于是乎,LLaMA3就显出了原型。![图片](https://img-hello-world.oss-cn-beijing.aliyuncs.com/a790a66b9a4c75dd50811851afe2d477.webp)听说这个平台还能无代码直接启动文生图应用,等下次我再试试吧,现在要迫不及待的开始调戏LLaMA3啦,完美!什么? 20分钟,构建你自己的LLaMA3应用程序! | 京东云技术团队

作者:京东科技 麻酱

来源:京东云开发者社区

点赞
收藏
评论区
推荐文章
京东云开发者 京东云开发者
8个月前
chatglm2-6b在P40上做LORA微调 | 京东云技术团队
目前,大模型的技术应用已经遍地开花。最快的应用方式无非是利用自有垂直领域的数据进行模型微调。chatglm26b在国内开源的大模型上,效果比较突出。本文章分享的内容是用chatglm26b模型在集团EA的P40机器上进行垂直领域的LORA微调。
京东云开发者 京东云开发者
5个月前
直播预告 | 大模型时代 “应用变了”:看大模型如何跑进零售电商应用
走进零售电商,大模型能做什么?今年11.11,应用大模型带来成效显著今天下午2:00,京东云视频号准时直播看京东零售如何破题新解法,大小模型协同大模型将走向多模态,走向具身智能
大语言模型微调数据竞赛,冠军!
近日,天池FTDataRanker竞赛落下帷幕,天翼云智能边缘事业部AI团队(后称天翼云AI团队)凭借在大语言模型(LLM)训练数据增强方面的卓越研究,荣获大语言模型微调数据竞赛——7B模型赛道冠军。
乐和 乐和
2个月前
LLM大语言模型算法特训,带你转型AI大语言模型算法工程师(完结)
LLM大语言模型算法特训,带你转型AI大语言模型算法工程师(完结)download》shanxueit.com/4702/LLM大语言模型算法特训:引领你转型为AI大语言模型算法工程师随着人工智能技术的飞速发展,大语言模型已经成为了一个热门的研究领域。LL
灵吉菩萨 灵吉菩萨
2个月前
AI人人必修-提示词工程+大模型多场景实战(超清完结)
由于大语言模型的训练需要巨大的计算资源,通常不可能多次迭代大语言模型预训练。千亿级参数量的大语言模型每次预训练的计算需要花费数百万元人民币。因此,在训练大语言模型之前,构建一个准备充分的预训练语料库尤为重要。download:kuxueit.cn/9291
光之守卫 光之守卫
1个月前
LLM大语言模型算法特训 带你转型AI大语言模型算法工程师
LLM大语言模型算法特训带你转型AI大语言模型算法工程师download》itzcw.com/9256/大语言模型的基本原理、技术实现和实际应用大语言模型(LargeLanguageModels,LLMs)是一种基于深度学习的自然语言处理模型,具有强大的文
程秉 程秉
1个月前
LLM大语言模型算法特训 带你转型AI大语言模型算法工程师
LLM大语言模型算法特训带你转型AI大语言模型算法工程师download》chaoxingit.com/4898/LLM大语言模型算法特训:探索AI大语言模型算法工程师之路导语:随着人工智能技术的不断发展,大语言模型(LargeLanguageModels
京东云开发者 京东云开发者
2星期前
什么? 20分钟,构建你自己的LLaMA3应用程序| 京东云技术团队
4月19日,Meta发布了最新的大语言模型LLaMA3,具体包括一个8B模型和一个70B模型,上下文长度支持8K,被誉为史上最强开源大语言模型,开源社区的“重磅炸弹”,效果直指GTP4。在诸多评测任务上,LLaMA3都有非常炸裂的效果。8B模型在多项指标中
如何优雅的使用ollama| 京东云技术团队
入门开源大语言模型,最好的工具就是ollama,这是一款简单的大模型本地部署框架,支持基于命令行的方式运行多种大语言模型,并提供了相应的Python和JSSDK,可以基于此方便实现ChatbotUI。这篇文章就以京东云智算平台为例(其他平台也是类似,甚至可
一键部署,玩转AI!天翼云Llama 3大模型学习机来了!
为了方便广大AI技术爱好者与从业者快速上手学习与使用大语言模型技术,天翼云基于开源的MetaLlama38BInstruct模型以及textgenerationwebui框架,搭建了一键部署、开箱即用的云主机镜像。同时,天翼云CPU/GPU云主机近期即将上线Llama3大模型学习机,期望能够成为帮助用户打开大模型领域之门的第一把钥匙,让更多用户从此了解大模型、学习使用大模型,并利用大模型创造更多可能。