如何优雅的使用ollama| 京东云技术团队

京东云开发者
• 阅读 320

如何优雅的使用ollama| 京东云技术团队

入门开源大语言模型,最好的工具就是ollama,这是一款简单的大模型本地部署框架,支持基于命令行的方式运行多种大语言模型,并提供了相应的Python和JS SDK,可以基于此方便实现Chatbot UI。这篇文章就以京东云智算平台为例(其他平台也是类似,甚至可以在本地电脑运行),分享如何一键安装ollama的基本操作。

首先,在控制台创建GPU实例,待实例状态为运行中后,一键安装ollama应用。如果要手动安装,可以参考ollama的官网,但下载模型需要一段等待时间。

如何优雅的使用ollama| 京东云技术团队

安装完成后,点击自定义应用,就可以看到ollama Web UI,平台预置了llama2-7b(latest),llama3-8b(latest), llama3-70b, qwen-4b(latest)模型,如果需要更多的模型,可以使用ollama pull命令进行下载,ollama官方的模型仓库参见这里:https://ollama.com/library。

如何优雅的使用ollama| 京东云技术团队

我租的GPU显卡(平台给的名字叫GN-FP32-83 24G * 1卡),运行llama3-8b,llama2和qwen都很快,但运行llama3-70b就会非常慢,好在llama3-70b废话不多,直接回答了问题。下图中第一个回答是llama3-8b的,第二个回答是llama3-70b的。

如何优雅的使用ollama| 京东云技术团队

我们可以基于ollama提供的命令行工具,基于ollama modelfile功能,构建自己的ollama模型,modelefile的原理和写法都和Dockerfile类似,下面我会演示如何基于模型的System Message能力,使用ollama modelfile构建一个幼儿园老师的角色扮演Chatbot。

随便在某个目录下创建一个名为Modelfile的文件(文件名也可以不叫这个),例如我的文件路径为:/data/Modelfile,其内容如下:

FROM llama3:latest
SYSTEM """
你是一名育儿专家,会以幼儿园老师的方式回答2~6岁孩子提出的各种天马行空的问题。语气与口吻要生动活泼,耐心亲和;答案尽可能具体易懂,不要使用复杂词汇,尽可能少用抽象词汇;答案中要多用比喻,必须要举例说明,结合儿童动画片场景或绘本场景来解释;需要延展更多场景,不但要解释为什么,还要告诉具体行动来加深理解。
"""

在JupyterLab自带的终端中,使用ollama命令行工具构建模型

ollama create teacher -f /data/Modelfile

构建完成后,就可以通过ollama list命令看到新生成的teacher模型

(ollama) root@dep-ns-5e24bda738cf-1715268602511-d6d46545-cht86:/data/apps/ollama# ollama list
NAME            ID              SIZE    MODIFIED       
llama2:latest   78e26419b446    3.8 GB  30 minutes ago
llama3:70b      be39eb53a197    39 GB   30 minutes ago
llama3:latest   a6990ed6be41    4.7 GB  30 minutes ago
qwen:latest     d53d04290064    2.3 GB  30 minutes ago
teacher:latest  480a154551b5    4.7 GB  13 seconds ago

点击控制台的自定义应用,在打开的页面上,可以在我们的Web UI上和它进行对话,效果如下:

如何优雅的使用ollama| 京东云技术团队

再对比下原来llama3的回答,就能轻松看到效果了。​

如何优雅的使用ollama| 京东云技术团队

在使用llama的过程中,我发现llama对中文的支持并不好,它可以理解中文,但回答却总是用英语进行。如何构建自己的llama3中文模型,这方面的内容我们在后续的文章再进行分析。

作者:京东科技 麻酱

来源:京东云开发者社区

点赞
收藏
评论区
推荐文章
保姆级教程:用GPU云主机搭建AI大语言模型并用Flask封装成API,实现用户与模型对话
在本文中,我们将以chatglm6b为例详细介绍GPU云主机搭建AI大语言模型的过程,并使用Flask构建前端界面与该模型进行对话。
Wesley13 Wesley13
2年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
郑天寿 郑天寿
5个月前
融云五大场景化能力,全面赋能金融行业数智化转型
融云作为通信服务商,将在金融大模型进入实际业务场景时,提供底层的“对话”能力加持。融云IM支持对接多种大模型,可构建用户和大模型之间的业务桥梁,并将对话数据进行结构化保存,助力金融客户在对话框中实现对内的办公助手和对外的智能客服等能力。除此之外,以能力为主
京东云开发者 京东云开发者
5个月前
直播预告 | 大模型时代 “应用变了”:看大模型如何跑进零售电商应用
走进零售电商,大模型能做什么?今年11.11,应用大模型带来成效显著今天下午2:00,京东云视频号准时直播看京东零售如何破题新解法,大小模型协同大模型将走向多模态,走向具身智能
大语言模型微调数据竞赛,冠军!
近日,天池FTDataRanker竞赛落下帷幕,天翼云智能边缘事业部AI团队(后称天翼云AI团队)凭借在大语言模型(LLM)训练数据增强方面的卓越研究,荣获大语言模型微调数据竞赛——7B模型赛道冠军。
数字先锋 | “言”之有“力”,大模型背后的算力“推手”!
在算力调度方面,天翼云通过自研的调度系统,协助思必驰DFM2大模型调度GPU、NPU、CPU等异构算力资源,大规模训练上云1个月,可以完成数十亿规模大模型所有阶段训练和效果评估。在训练能力打造方面,天翼云支持多种模型训练方式,不仅可以提升大模型训练平台的数据量,还大幅缩短了训练周期和交付进度。
何婆子 何婆子
4个月前
从0到1训练自己的私有大模型,打造属于自己的ChatGPT|网盘高清
从0到1训练自己的私有大模型,打造属于自己的ChatGPT|网盘高清download》chaoxingit.com/2586/从0到1训练自己的私有大模型,打造属于自己的ChatGPT,可以遵循以下步骤:确定模型类型和框架:选择适合的模型类型和框架,如GP
光之守卫 光之守卫
1个月前
LLM大语言模型算法特训 带你转型AI大语言模型算法工程师
LLM大语言模型算法特训带你转型AI大语言模型算法工程师download》itzcw.com/9256/大语言模型的基本原理、技术实现和实际应用大语言模型(LargeLanguageModels,LLMs)是一种基于深度学习的自然语言处理模型,具有强大的文
一键部署,玩转AI!天翼云Llama 3大模型学习机来了!
为了方便广大AI技术爱好者与从业者快速上手学习与使用大语言模型技术,天翼云基于开源的MetaLlama38BInstruct模型以及textgenerationwebui框架,搭建了一键部署、开箱即用的云主机镜像。同时,天翼云CPU/GPU云主机近期即将上线Llama3大模型学习机,期望能够成为帮助用户打开大模型领域之门的第一把钥匙,让更多用户从此了解大模型、学习使用大模型,并利用大模型创造更多可能。
京东云开发者 京东云开发者
6个月前
直播预告丨大模型+Agents疏通京东金融运营堵点
大模型时代,“应用变了”:把大模型装进金融营销分几步?11月24日(周五)14:0015:00开播!数字化打破信息孤岛,也建立更多孤岛运营人员被困在自己的环节里十余个子系统、子模块如何整合?自然语言任务中的“幻觉”如何克服?如何将AI训练成业务运营高手?京