用Python实现武侠小说中的武打动作残影特效

Karen110
• 阅读 1707

用Python实现武侠小说中的武打动作残影特效

创作背景

“飞雪连天射白鹿,笑书神侠倚碧鸳”,相信很多90后知道这副对联的含义,这是武侠小说作家金庸先生的作品合集,说实话在所有的作品中我最喜欢的是倚天屠龙记和天龙八部,应该说基本都喜欢,但是这两部中的爱恨情仇最为突出,倚天屠龙记中周芷若和赵敏,张无忌,再到天龙八部中的乔峰。

用Python实现武侠小说中的武打动作残影特效

说起来武侠小说中的武林高手是真的帅!现在的电影制作技术越来越高超了,武术特效做的效果的做的真的很酷炫。最为酷炫的一个是残影特效,说到残影特效,我们直接上效果!

用Python实现武侠小说中的武打动作残影特效

‍‍以上是天龙八部中的灵鹫宫宫主虚竹与鸠摩智进行比武时的武功展示,看得出来残影效果真的给人一种感觉武功深不可测的感觉,那种这种酷炫的残影效果是怎么实现的呢?今天就让我们使用百度开源的深度学习框架飞桨来实现这样的视频残影效果。

用Python实现武侠小说中的武打动作残影特效

在实践历程中我们使用了Paddle框架所集成的Paddlehub的深度学习模型库,Paddlehub中包含了很多的深度学习的预训练模型,包含图像分类,目标检测,GAN图像风格迁移,在本次的视频残影生成中所使用的是deeplabv3p_xception65预训练模型,其原始用途是用来实现视频的语义分割,将其OpenCV的后续处理进行搭配,即可实现我们所说的“残影”了!

算法实现过程

算法实现环境:

百度AIstudio深度学习平台,Python3.7,Paddlepaddle1.8.4

步骤1:安装Paddlehub深度学习模型库,使用pip在jupyter notebook进行安装操作。

pip install paddlehub==1.6.2 -i https://mirror.baidu.com/pypi/simple

步骤2:导入运行需要使用的Python工具包

import numpy as np //导入数据科学报numpy  
import os    
import paddlehub as hub  
import cv2  
from moviepy.editor import VideoFileClip  //导入视频分帧工具  
from tqdm import tqdm //导入终端输出进度条  
import copy

步骤3:指定GPU编号,AIstudio上为单机单卡因此,只存在GPU:0

os.environ["CUDA_VISIBLE_DEVICES"]="0"

步骤4:进行残影效果的推理代码编写与模型的运行:

def do_seg(module, frame):  
    result = module.segmentation(images=[frame],use_gpu=True)  
    return result[0]['data']  

module = hub.Module(name="deeplabv3p_xception65_humanseg")  

originname = "test.mp4"   //test.mp4为原始的输入视频  
resultname = "test_result.mp4"  //test_result.mp4为处理后的残影视频  
shadowcount = 9  

cap = cv2.VideoCapture(originname) //将视频转换为图片流处理  
fps = int(cap.get(cv2.CAP_PROP_FPS))  
width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))  
height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))  
framecount = int(cap.get(cv2.CAP_PROP_FRAME_COUNT))  

fourcc = cv2.VideoWriter_fourcc(*'mp4v')  
out = cv2.VideoWriter(resultname, cv2.VideoWriter_fourcc('M', 'J', 'P', 'G'), fps, (width, height))  

tmpres = []  

for index in tqdm(range(framecount)):  
    ret, frame = cap.read()  
    if not ret:  
        break  
    seg_mask = np.around(do_seg(module,frame) / 255)  
    seg_mask3 = np.repeat(seg_mask[:,:,np.newaxis], 3, axis=2)  
    background = copy.deepcopy(frame)  
    stbackground = copy.deepcopy(frame)  
    if len(tmpres) > shadowcount:  
        tmpres = tmpres[1:]  
    # tmpres.append([copy.deepcopy(seg_mask3), copy.deepcopy(cv2.GaussianBlur(seg_mask3 * background,(9,9),0))])  
    tmpres.append([copy.deepcopy(seg_mask3), copy.deepcopy(seg_mask3 * background)])  
    thuman = copy.deepcopy(seg_mask3 * background)  
    if index > len(tmpres):  
        for fi, [t_mask3, t_human] in enumerate(tmpres):  
            background = t_human * (fi + 1) / len(tmpres) + t_mask3 * (len(tmpres) - 1 - fi) / len(tmpres) * stbackground + (1 - t_mask3) * background  
    result = background.astype(np.uint8)  
    out.write(result)  
cap.release()  
out.release()

可以看出,在本项目中调用了deeplabv3p_xception65模型,其原理很简单,是使用deeplabv3p_xception65模型进行图像中的人物与背景进行图像分割分离,在整个的视频流中,将处理当前帧的图片,同时与上一张的图片中使用deeplabv3p_xception65模型进行语义分割所得到人物实体部分进行同时显示播放,从而达到“影片残影”的表现效果!

实际测试效果

这是李小龙传奇中第36集,李小龙与独臂人的决斗画面,独臂人是李小龙在全剧中唯一输掉的一个对手,快点开看看,加上“残影效果”后的对决场面效果如何吧!

最后感谢ninetailskim大佬做的开源代码贡献,欢迎关注他的AIstudio社区,点击阅读全文即可。同时读者如果有更好的武侠片段,也可以自己试一试,欢迎和我交流哦~!

**-----**------**-----**---**** End **-----**--------**-----**-****

往期精彩文章推荐:

用Python实现武侠小说中的武打动作残影特效

欢迎各位大佬点击链接加入群聊【helloworld开发者社区】:https://jq.qq.com/?_wv=1027&k=mBlk6nzX进群交流IT技术热点。

本文转自 https://mp.weixin.qq.com/s/HHrfX1wZTM_JVP0dmVNPoA,如有侵权,请联系删除。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
皕杰报表之UUID
​在我们用皕杰报表工具设计填报报表时,如何在新增行里自动增加id呢?能新增整数排序id吗?目前可以在新增行里自动增加id,但只能用uuid函数增加UUID编码,不能新增整数排序id。uuid函数说明:获取一个UUID,可以在填报表中用来创建数据ID语法:uuid()或uuid(sep)参数说明:sep布尔值,生成的uuid中是否包含分隔符'',缺省为
Jacquelyn38 Jacquelyn38
3年前
2020年前端实用代码段,为你的工作保驾护航
有空的时候,自己总结了几个代码段,在开发中也经常使用,谢谢。1、使用解构获取json数据let jsonData  id: 1,status: "OK",data: 'a', 'b';let  id, status, data: number   jsonData;console.log(id, status, number )
Stella981 Stella981
3年前
Python3:sqlalchemy对mysql数据库操作,非sql语句
Python3:sqlalchemy对mysql数据库操作,非sql语句python3authorlizmdatetime2018020110:00:00coding:utf8'''
Stella981 Stella981
3年前
Python之time模块的时间戳、时间字符串格式化与转换
Python处理时间和时间戳的内置模块就有time,和datetime两个,本文先说time模块。关于时间戳的几个概念时间戳,根据1970年1月1日00:00:00开始按秒计算的偏移量。时间元组(struct_time),包含9个元素。 time.struct_time(tm_y
Stella981 Stella981
3年前
Django中Admin中的一些参数配置
设置在列表中显示的字段,id为django模型默认的主键list_display('id','name','sex','profession','email','qq','phone','status','create_time')设置在列表可编辑字段list_editable
Wesley13 Wesley13
3年前
ES6 新增的数组的方法
给定一个数组letlist\//wu:武力zhi:智力{id:1,name:'张飞',wu:97,zhi:10},{id:2,name:'诸葛亮',wu:55,zhi:99},{id:3,name:'赵云',wu:97,zhi:66},{id:4,na
Wesley13 Wesley13
3年前
MySQL部分从库上面因为大量的临时表tmp_table造成慢查询
背景描述Time:20190124T00:08:14.70572408:00User@Host:@Id:Schema:sentrymetaLast_errno:0Killed:0Query_time:0.315758Lock_
为什么mysql不推荐使用雪花ID作为主键
作者:毛辰飞背景在mysql中设计表的时候,mysql官方推荐不要使用uuid或者不连续不重复的雪花id(long形且唯一),而是推荐连续自增的主键id,官方的推荐是auto_increment,那么为什么不建议采用uuid,使用uuid究
Python进阶者 Python进阶者
11个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这