如何优雅的使用ollama| 京东云技术团队

京东云开发者
• 阅读 655

如何优雅的使用ollama| 京东云技术团队

入门开源大语言模型,最好的工具就是ollama,这是一款简单的大模型本地部署框架,支持基于命令行的方式运行多种大语言模型,并提供了相应的Python和JS SDK,可以基于此方便实现Chatbot UI。这篇文章就以京东云智算平台为例(其他平台也是类似,甚至可以在本地电脑运行),分享如何一键安装ollama的基本操作。

首先,在控制台创建GPU实例,待实例状态为运行中后,一键安装ollama应用。如果要手动安装,可以参考ollama的官网,但下载模型需要一段等待时间。

如何优雅的使用ollama| 京东云技术团队

安装完成后,点击自定义应用,就可以看到ollama Web UI,平台预置了llama2-7b(latest),llama3-8b(latest), llama3-70b, qwen-4b(latest)模型,如果需要更多的模型,可以使用ollama pull命令进行下载,ollama官方的模型仓库参见这里:https://ollama.com/library。

如何优雅的使用ollama| 京东云技术团队

我租的GPU显卡(平台给的名字叫GN-FP32-83 24G * 1卡),运行llama3-8b,llama2和qwen都很快,但运行llama3-70b就会非常慢,好在llama3-70b废话不多,直接回答了问题。下图中第一个回答是llama3-8b的,第二个回答是llama3-70b的。

如何优雅的使用ollama| 京东云技术团队

我们可以基于ollama提供的命令行工具,基于ollama modelfile功能,构建自己的ollama模型,modelefile的原理和写法都和Dockerfile类似,下面我会演示如何基于模型的System Message能力,使用ollama modelfile构建一个幼儿园老师的角色扮演Chatbot。

随便在某个目录下创建一个名为Modelfile的文件(文件名也可以不叫这个),例如我的文件路径为:/data/Modelfile,其内容如下:

FROM llama3:latest
SYSTEM """
你是一名育儿专家,会以幼儿园老师的方式回答2~6岁孩子提出的各种天马行空的问题。语气与口吻要生动活泼,耐心亲和;答案尽可能具体易懂,不要使用复杂词汇,尽可能少用抽象词汇;答案中要多用比喻,必须要举例说明,结合儿童动画片场景或绘本场景来解释;需要延展更多场景,不但要解释为什么,还要告诉具体行动来加深理解。
"""

在JupyterLab自带的终端中,使用ollama命令行工具构建模型

ollama create teacher -f /data/Modelfile

构建完成后,就可以通过ollama list命令看到新生成的teacher模型

(ollama) root@dep-ns-5e24bda738cf-1715268602511-d6d46545-cht86:/data/apps/ollama# ollama list
NAME            ID              SIZE    MODIFIED       
llama2:latest   78e26419b446    3.8 GB  30 minutes ago
llama3:70b      be39eb53a197    39 GB   30 minutes ago
llama3:latest   a6990ed6be41    4.7 GB  30 minutes ago
qwen:latest     d53d04290064    2.3 GB  30 minutes ago
teacher:latest  480a154551b5    4.7 GB  13 seconds ago

点击控制台的自定义应用,在打开的页面上,可以在我们的Web UI上和它进行对话,效果如下:

如何优雅的使用ollama| 京东云技术团队

再对比下原来llama3的回答,就能轻松看到效果了。​

如何优雅的使用ollama| 京东云技术团队

在使用llama的过程中,我发现llama对中文的支持并不好,它可以理解中文,但回答却总是用英语进行。如何构建自己的llama3中文模型,这方面的内容我们在后续的文章再进行分析。

作者:京东科技 麻酱

来源:京东云开发者社区

点赞
收藏
评论区
推荐文章
保姆级教程:用GPU云主机搭建AI大语言模型并用Flask封装成API,实现用户与模型对话
在本文中,我们将以chatglm6b为例详细介绍GPU云主机搭建AI大语言模型的过程,并使用Flask构建前端界面与该模型进行对话。
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
京东云开发者 京东云开发者
10个月前
直播预告 | 大模型时代 “应用变了”:看大模型如何跑进零售电商应用
走进零售电商,大模型能做什么?今年11.11,应用大模型带来成效显著今天下午2:00,京东云视频号准时直播看京东零售如何破题新解法,大小模型协同大模型将走向多模态,走向具身智能
大语言模型微调数据竞赛,冠军!
近日,天池FTDataRanker竞赛落下帷幕,天翼云智能边缘事业部AI团队(后称天翼云AI团队)凭借在大语言模型(LLM)训练数据增强方面的卓越研究,荣获大语言模型微调数据竞赛——7B模型赛道冠军。
数字先锋 | “言”之有“力”,大模型背后的算力“推手”!
在算力调度方面,天翼云通过自研的调度系统,协助思必驰DFM2大模型调度GPU、NPU、CPU等异构算力资源,大规模训练上云1个月,可以完成数十亿规模大模型所有阶段训练和效果评估。在训练能力打造方面,天翼云支持多种模型训练方式,不仅可以提升大模型训练平台的数据量,还大幅缩短了训练周期和交付进度。
一键部署,玩转AI!天翼云Llama 3大模型学习机来了!
为了方便广大AI技术爱好者与从业者快速上手学习与使用大语言模型技术,天翼云基于开源的MetaLlama38BInstruct模型以及textgenerationwebui框架,搭建了一键部署、开箱即用的云主机镜像。同时,天翼云CPU/GPU云主机近期即将上线Llama3大模型学习机,期望能够成为帮助用户打开大模型领域之门的第一把钥匙,让更多用户从此了解大模型、学习使用大模型,并利用大模型创造更多可能。
京东云开发者 京东云开发者
2个月前
大模型再加速,保障京东618又便宜又好
在这背后,京东云作为京东618的技术基石,以技术创新降低数字基础设施成本,将大模型等智能技术贯穿业务全流程,实现自身和伙伴的降本增效,以真降本保障真低价。京东云言犀大模型助力京东618数字基础设施持续降本,混合多云操作系统云舰、分布式存储平台云海、软硬一体
京东云开发者 京东云开发者
10个月前
直播预告丨大模型+Agents疏通京东金融运营堵点
大模型时代,“应用变了”:把大模型装进金融营销分几步?11月24日(周五)14:0015:00开播!数字化打破信息孤岛,也建立更多孤岛运营人员被困在自己的环节里十余个子系统、子模块如何整合?自然语言任务中的“幻觉”如何克服?如何将AI训练成业务运营高手?京