【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

京东云开发者
• 阅读 284

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

接上一篇文章 “只要10秒,AI生成IP海报,解放双手”,这次是全网第一个“共享joy模型”,真的赚到了!

经过这段时间无数次的探索、试错、实验,最终积累了非常多的训练经验,在不同IP角色的训练上实际上需要调试非常多的参数以及素材。本次成功完成了Joy的Lora模型,虽然在泛化以及场景上未来还有着很多的空间,但是本次的模型已经可以帮助完成大部分的运用场景,无论是设计师,还是产品,还是运营,还是研发,都可以轻松实现Joy的海报生成,接下来我将为大家讲一讲如何实现。

老样子先来看看实际的效果吧!!!

生成过程

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

模型生成海报

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

接下来就来和大家讲一讲如何通过SD来生成Joy吧~

1、准备工作(在开始之前,准备好本次生成需要使用到的模型)

1、底模:revAnimated_v122EOL.safetensors

2、VAE:vae-ft-mse-840000-ema-pruned

3、京东Joy-Lora模型

4、京东Joy-起手式(prompt模版)

2、放置模型

1、底模:stable-diffusion-webui——models——Stable-diffusion

2、VAE:stable-diffusion-webui——models——VAE

3、京东Joy-Lora模型:stable-diffusion-webui——models——Lora

4、京东Joy-起手式:stable-diffusion-webui

3、打开SD

⚠️如果还不知道如何配置SD的同学可以看我之前的文章:“只要10秒,AI生成IP海报,解放双手”

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

4、模型设置

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

1、我们需要在Stable Diffusion模型中选择我们下载好的模型:revAnimated_v122EOL(当然这是我目前测试下来效果较好的底膜,你也可以下载并使用别的底膜进行尝试)

2、在模型的VAE中选择:vae-ft-mse-840000-ema-pruned(这个VAE的饱和度比较好一些,其他的VAE会使画面较灰)

5、Prompt使用

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

本次我已将Joy的基础Prompt设置成了模版(Joy起手式),后续大家可以根据自己想要的画面进行调整,我会讲一下本次Prompt的基础构成

1、正向词:正向词中只要分为3类,触发词+提示词+LoRA(越靠前的词汇权重就会越高)

  • Joy的触发词为joy\(ip\):只有输入这个触发词,画面中才会出现joy的形象
  • 提示词:在提示词中主要分为自然语言+单词描述:用自然语言来形容Joy具体在做什么(如:joy ip is standing on the stone,jumping,sitting等,建议使用进行时);用单词来形容画面中其他需要的元素(如:outdoors, day, grass, leaf, tree, flower, sunshine,等)
  • Lora权重:权重进过我的测试,最高的效果是0.7,所以在Joy的lora模型上无脑设置0.7

2、负向词:主要描述你不想要的内容(如:lowres, bad anatomy, bad eyes, bad hands等,如果在生成过程中出现了你不想要的内容也可以在后续继续补充)

6、设置采样方式、采样迭代步数、尺寸、生成批次&数量

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

  • 采样方式上我们选择:DPM++ SDE Karras
  • 采样迭代步数:24-28之间(更具画面的复杂程度进行调试,如果画面元素较多则可以以4的倍数向上增加,需要注意在改变了步数以后会让画面产生变化
  • 尺寸:一般使用64的倍数,常用的尺寸如512*768(2:3),768*512(3:2),512*512(1:1),768*1152(2:3),1152*768(3:2),不限于这些尺寸,只是说这些尺寸下抽卡出现好画面的几率更高一些
  • 生成批次、每批数量:在前期抽卡阶段(没有开高清修复阶段),可以把生成数量提高,来寻找喜欢的画面,在找到自己喜欢的画面后则需要设1去更精细化的抽卡

7、提示词相关性

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

1、提示词相关性:3-5之间效果更佳,如果没有出现IP可能是因为场景权重过高导致IP消失,可以尝试降低相关性或减少场景描述,提示词相关性是影响画面元素的非常重要的参数之一(其他影响的因素还有,迭代步数,重绘幅度,以及尺寸)

8、抽卡环节(快乐时间来了)

我们只需要嗑着瓜子,看着电视或者坐着别的事情,去挑一个动作、构图、元素、画面大致满意的底图(来作为后续打开高清的基础)

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

9、开启高清修复(完成一幅Joy大作)

在我们选出我们满意的底图后,需要做的就是锁定我们的seed,打开高清修复,调整我们的重绘幅度(重回幅度会影响画面变化的幅度,越低则变化越小,越高则变化越大)

  • 锁定我们的seed值

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

  • 将我们的放大算法改为:R-ESRGAN 4x+,调整重绘幅度0.1-0.7

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

  • 保存我们想要的图

【AI模型】首个Joy 模型诞生!!!全民生成Joy大片 | 京东云技术团队

如果你对IP海报生成有好的想法,可在评论区留言反馈,也希望和大家有更多的交流和学习,感谢大家支持哦!!

作者:京东零售 徐仲巍

来源:京东云开发者社区 转载请注明来源

点赞
收藏
评论区
推荐文章
Stella981 Stella981
3年前
Pytorch固定部分参数(只训练部分层)
在迁移学习中我们经常会用到预训练模型,并在预训练模型的基础上添加额外层。训练时先将预训练层参数固定,只训练额外添加的部分。完了之后再全部训练微调。在pytorch固定部分参数训练时需要在优化器中施加过滤。!(https://oscimg.oschina.net/oscnet/c2e82d04a39a6ac7a0edc7e41e7bbad219a
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
4项探索+4项实践,带你了解华为云视觉预训练研发技术
摘要:本文主要讲述云原生时代华为云在AI基础研究、视觉预训练模型研发和行业实践,以及AI开发平台ModelArts的最新进展。近日,在Qcon全球软件开发大会(深圳站)上,华为云人工智能领域首席科学家、IEEEFELLOW田奇博士,发表了“云原生时代,视觉预训练大模型探索与实践”的主题演讲,介绍了云原生时代华为云在AI基础研究、视觉预训练模
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
京东云开发者 京东云开发者
11个月前
直播预告 | 大模型时代 “应用变了”:看大模型如何跑进零售电商应用
走进零售电商,大模型能做什么?今年11.11,应用大模型带来成效显著今天下午2:00,京东云视频号准时直播看京东零售如何破题新解法,大小模型协同大模型将走向多模态,走向具身智能
“模”力十足!天翼云息壤一体化智算服务平台训推服务能力重磅升级!
9月4日,“天翼云息壤——大模型训推一体化服务能力升级”线上发布会成功举办。会上,息壤平台训推服务能力重磅升级,新增闭源、多模态基座大模型以及数据集,支持万卡规模训练,训练稳定性再次提升,新增体验空间,为基础大模型训练、行业大模型训推提供一站式解决方案。
倒计时3天,京东技术20年实践分享邀您莅临!
JOY盲盒、京东20周年鼠标垫、JOY联名小风扇、定制笔记本等专属礼品已备好,微信扫描图片二维码注册参会,报名成功即可现场领取2023JDD京东技术20年实践分享倒计时3天!与您不见不散
DeepSpeed: 大模型训练框架 | 京东云技术团队
目前,大模型的发展已经非常火热,关于大模型的训练、微调也是各个公司重点关注方向。但是大模型训练的痛点是模型参数过大,动辄上百亿,如果单靠单个GPU来完成训练基本不可能。所以需要多卡或者分布式训练来完成这项工作。
京东云开发者 京东云开发者
11个月前
直播预告丨大模型如何在健康医疗中挖出大大的花?
大模型时代,“应用变了”:大模型如何在健康医疗中挖出大大的花?12月1日(周五)14:0015:00开播!大模型时代,给千行百业带来了新的想象空间试想一下,大模型经过专业知识训练竟然能够成为你的健康医疗助手曾经科幻片中的场景,正一步步成为现实这一期,我们将