AIGC系统中多个模型的切换调用方案探索

京东云开发者
• 阅读 77

作者:京东科技 贾玉龙

1 背景

1.1 现状

AIGC系统中多个模型的切换调用通常指的是在同一个AIGC系统或应用中,可以根据不同的输入条件或任务需求,动态地选择并调用不同的机器学习模型进行处理。是一个AIGC系统能力不可或缺的环节。

目前现行方案中,一般直接请求不同的会话聊天对应不同的链接地址,又对应不同的算法模型。

1.2 现有技术及缺点

1、需要建立多个不同类型的AIGC聊天窗口,对应不同的链接,以对应不同的模型;

2、无法直接动态切换模型,交互流程复杂;

3、由于异步问题,聊天窗中需要的初始化数据不能及时传入。

2 方案目的

本问通过统一AIGC聊天窗中不同的卡片模型传值,来动态切换不同聊天内容对应的模型;在用户侧交互上可以不用新建聊天窗口。

3 完整技术方案

3.1 方案原理

如下图所示,聊天栏目“智能实验室”是外框DOM,红色部分为子聊天窗体,子窗体中1、2、3等为三种聊天source类型的卡片,需要对应算法的3种模型,每个模型的对话可以直接点击切换,并且需要外框DOM传入相应的初始化数据。

AIGC系统中多个模型的切换调用方案探索

3.2 详细描述

如下图所示: AIGC系统中多个模型的切换调用方案探索



当用户想使用对应聊天功能进行AIGC内容生成时,可选择聊天窗对应按钮,聊天窗将对应按钮的source类型传给外框DOM,外框DOM根据业务场景把对应的初始化数据准备好,一起再发给子聊天窗,然后把数据传给算法模型引擎,算法模型引擎根据source及参数类型,切换对应的模型来进行内容处理,然后返回生产的内容给子聊天窗,子聊天窗再渲染展示给用户。

4 总结

本方案里在AIGC的消息传递中,不直接发送不同初始化或不同相应消息给大模型进行识别,而是让外框DOM做模型主调度和消息总控调度,以方便及时调用和传入参数。

点赞
收藏
评论区
推荐文章
Stella981 Stella981
3年前
Django模型Model的定义
Django对各种数据库提供了很好的支持,Django为这些数据库提供了统一的调用API,可以根据不同的业务需求选择不同的数据库。模型、属性、表、字段间的关系<pstyle"color:red"一个模型类在数据库中对应一张表,在模型类中定义的属性,对应该模型对照表中的一个字段。</p\\ObjectRelation
Stella981 Stella981
3年前
Spring Cloud Sleuth 分布式服务追踪
随着业务的发展,系统规模也会变得越来越大,各微服务间的调用关系也变得越来越错综复杂。通常一个由客户端发起的请求在后端系统中会经过多个不同的微服务调用来协同产生最后的请求结果,在复杂的微服务架构系统中,几乎每一个前端请求都会形成一条复杂的分布式服务调用链路,在每条链路中任何一个依赖服务出现延迟过高或错误的时候都有可能引起请求最后的失败。这时
Stella981 Stella981
3年前
Dubbo 负载均衡的实现
!(https://oscimg.oschina.net/oscnet/up05fdf662c6edbce3df477a1fc6d5818d3af.png)前言负载均衡是指在集群中,将多个数据请求分散在不同单元上进行执行,主要为了提高系统容错能力和加强系统对数据的处理能力。在Dubbo中,一次服务的调用就是对所有实体域Inv
Wesley13 Wesley13
3年前
Java内存模型详解
内存模型(memorymodel)内存模型描述的是程序中各变量(实例域、静态域和数组元素)之间的关系,以及在实际计算机系统中将变量存储到内存和从内存取出变量这样的低层细节.不同平台间的处理器架构将直接影响内存模型的结构.在C或C中,可以利用不同操作平台下的内存模型来编写并发程序.但是,这带给开发人员的是,更高的学习成本.相
高耸入云 高耸入云
11个月前
探索星辰大海:成为AIGC大模型领域的精英 - 近屿智能OJAC深度训练营招募中!
朋友,面对AIGC这股新的AIGC技术革命浪潮,您还在旁观吗?近屿智能OJAC第六期AIGC星辰大海:大模型工程师和产品专家线上训练营,正在寻找像您这样有梦想、有热情的学员!OJAC的AIGC星辰大海第六期训练营,一个为您量身打造的AI大模型学习之旅,已经
AIGC项目中的【模板进程】方案的设计实践
作者:京东科技贾玉龙1项目介绍1.1项目背景简单一句话:模板进程是流程的子流程;往往用于比较复杂的aigc项目流程中。由于一个模板有多个流程,一个运营人员可以操作多个流程,也可创建多个流程。在模板推荐时,就会导致不知道是哪次流程。1.2项目目标为了区分模板
2023京东全球科技探索者大会暨京东云峰会来了!
大模型开启AI新范式,AIGC掀起行业新浪潮。“2023京东全球科技探索者大会暨京东云峰会”,将于7月13日在北京举办。本次大会,以“跨越·产业智能”为主题,聚焦大模型与产业深度融合,将重磅发布京东大模型,推出新一代数字基础设施,升级产品及解决方案,致力于
直播预告丨电商内容营销的AIGC式进化
以大模型为驱动的AIGC应用指数级迭代在各应用领域,不同的任务需求、数据集、算法,带来了巨大的AIGC应用差异。在电商内容营销领域,最终用户关注什么?如何针对任务需求持续优化调整?如何打造高质量的数据集,为AIGC模型提供优质训练基础?12月8日(本周五)
高耸入云 高耸入云
11个月前
0基础学训练AIGC大模型,三个月成为AI领域的精英人才!
近屿智能OJAC"AIGC星辰大海:大模型工程师与产品专家深度训练营"第五期正在火热学习中,期望转型成为AIGC大模型工程师或者产品经理的朋友们,可以抓紧时间联系我们报名第六期啦~别人教您使用AIGC产品,我们教您增量预训练和精调大模型和创造AI产品!如果