作者:京东科技 贾玉龙
1 背景
1.1 现状
AIGC系统中多个模型的切换调用通常指的是在同一个AIGC系统或应用中,可以根据不同的输入条件或任务需求,动态地选择并调用不同的机器学习模型进行处理。是一个AIGC系统能力不可或缺的环节。
目前现行方案中,一般直接请求不同的会话聊天对应不同的链接地址,又对应不同的算法模型。
1.2 现有技术及缺点
1、需要建立多个不同类型的AIGC聊天窗口,对应不同的链接,以对应不同的模型;
2、无法直接动态切换模型,交互流程复杂;
3、由于异步问题,聊天窗中需要的初始化数据不能及时传入。
2 方案目的
本问通过统一AIGC聊天窗中不同的卡片模型传值,来动态切换不同聊天内容对应的模型;在用户侧交互上可以不用新建聊天窗口。
3 完整技术方案
3.1 方案原理
如下图所示,聊天栏目“智能实验室”是外框DOM,红色部分为子聊天窗体,子窗体中1、2、3等为三种聊天source类型的卡片,需要对应算法的3种模型,每个模型的对话可以直接点击切换,并且需要外框DOM传入相应的初始化数据。
3.2 详细描述
如下图所示:
当用户想使用对应聊天功能进行AIGC内容生成时,可选择聊天窗对应按钮,聊天窗将对应按钮的source类型传给外框DOM,外框DOM根据业务场景把对应的初始化数据准备好,一起再发给子聊天窗,然后把数据传给算法模型引擎,算法模型引擎根据source及参数类型,切换对应的模型来进行内容处理,然后返回生产的内容给子聊天窗,子聊天窗再渲染展示给用户。
4 总结
本方案里在AIGC的消息传递中,不直接发送不同初始化或不同相应消息给大模型进行识别,而是让外框DOM做模型主调度和消息总控调度,以方便及时调用和传入参数。