深度学习与图神经网络研修

helloworld_38131402
• 阅读 506

深度学习与图神经网络研修

时间

2022年10月13日 — 2022年10月17日 直播

特色:

1、采用深入浅出的方法,结合实例并配以大量代码练习,重点讲解深度学习框架模型、科学算法、训练过程技巧。

2、能够把握深度学习的技术发展趋势,可以熟练掌握深度学习核心技术、实践技巧,同时针对工作中存在的疑难问题进行分析讲解和专题讨论,有效的提升学员解决复杂问题的能力;

3、掌握深度学习平台Tensorflow训练网络搭建与配置、掌握数据价值的深度挖掘。

4、掌握图神经网络模型及框架PyTorch

5、实践手写字体识别、叶片分类等案例,动手练习让AI自己玩游戏。

6、根据自己的科研项目及课题研究,灵活掌握应用深度学习五大框架模型。

注:其它开源的公开数据集:ImageNet、MS-COCO、UCF101、HMDB51、PASCAL VOC、Open Images等。

安排

关键点

  1. 人工智能、深度学习的发展历程

  2. 深度学习框架

  3. 神经网络训练方法

  4. 卷积神经网络,卷积核、池化、通道、激活函数

  5. 循环神经网络,长短时记忆LSTM、门控循环单元GRU

  6. 参数初始化方法、损失函数Loss、过拟合

  7. 对抗生成网络GAN

  8. 迁移学习TL

  9. 强化学习RF

  10. 图神经网络GNN

一、算法和场景融合理解

1.空间相关性的非结构化数据,CNN算法。典型的图像数据,像素点之间具有空间相关性,例如图像的分类、分割、检测都是CNN算法。

2.时间相关性的非结构化数据,RNN算法。这类场景普遍的一个现象就是数据之间具有时序相关性,也就是数据之间存在先后依赖关系。例如自然语言处理、语音相关算法都是基于RNN算法。

3.非欧氏数据结构, GNN。这类场景典型的可以用图来表示。例如社交网络等。

案例摘要讲解

医疗领域:如流行疾病、肿瘤等相关疾病检测

遥感领域:如遥感影像中的场景识别

石油勘探:如石油油粒大小检测

轨道交通:如地铁密集人流检测

检测领域:如故障检测

公安领域:如犯罪行为分析

国防领域:目标检测、信号分析、态势感知…

经济领域:如股票预测

二、数据理解及处理

分析典型场景中的典型数据,结合具体的算法,对数据进行处理

1.结构化数据,如何对数据进行读取,进行组织。

2.图像数据,在实际应用过程中的处理方法,怎样做数据的预处理、进行数据增强等。

3.时序信号,将单点的数据如何组合成一个序列,以及对序列数据处理的基本方法。

三、技术路径设计

针对具体的场景设计特定的神经网络模型,对典型数据适配的网络结构进介绍。

1.DNN模型搭建的基本原则

2.CNN模型中常见的网络结构,以及参数分析。

3.RNN中支持的一些基本算子,如何对序列数据进行组织。

四、模型验证及问题排查

简单的算法或者模型对典型的场景进行快速验证,并且针对一些频发的问题进行讲解。

  1. 模型收敛状态不佳

  2. 分类任务重最后一层激活函数对模型的影响

五、高级-模型优化的原理

不同的模型需要采用的优化函数以及反向传播中参数的优化方法

1.模型优化的算法介绍,基于随机梯度下降的算法介绍。

2.不同场景适应的损失函数介绍。

3.针对典型场景的反向传播梯度的推到过程。

六、高级-定制化思路

结合往期学员的一些项目,简单介绍一下解决一个具体问题的思路。

遥感成像中,地块农作物种类的识别。

实操解析与训练

第一阶段:

神经网络实践

实验:神经网络

1.神经网络中基本概念理解:epoch、batch size、学习率、正则、噪声、激活函数等。

2.不同的数据生成模型、调整网络参数、调整网络规模

3.神经网络分类问题

4.不同数据特征的作用分析、隐含层神经元数目

5.过拟合

高频问题:

1.输入数据与数据特征 2.模型设计的过程中的参数与功能的关系。

关键点:

1.掌握神经网络的基本概念 2.学会搭建简单的神经网络结构

3.理解神经网络参数

实操解析与训练

第二阶段:

深度学习三种编程思想

实验:Keras实践

1.理解Keras基本原理 2.学会Keras编程思想

3.三种不同的深度神经网络构建编程方式

4.给定数据集,采用Keras独立完成实际的工程项目

高频问题:

1.如何编程实现深度神经网络 2.三种开发方式的具体使用

关键点:

1.掌握Keras编程思想 2.采用三种不同方式编写深度神经网络

实操解析与训练

第三阶段:CNN实践

实验:图像分类

1.使用CNN解决图像分类问题 2.搭建AlexNet 3.VGG16/19

4.GoogleNet 5.ResNet

高频问题:

1.CNN更复杂的模型在哪里可以找到代码

关键点:

1.使用卷积神经网络做图像分类 2.常见开源代码以及适用的问题

实验:视频人物行为识别

1.基于C3D的视频行为识别方法 2.基于LSTM的视频行为识别方法

3.基于Attention的视频行为识别方法

高频问题:

1.2D卷积与3D卷积 2.视频的时空特征

关键点:

1.C3D网络的构建 2.Attention机制

实操解析与训练

第四阶段:

R-CNN及YOLO实践

实验:目标检测

1.目标检测发展现状及代表性方法

2.两阶段目标检测方法:R-CNN系列模型

3.一阶段目标检测方法:YOLO系列模型

高频问题:

1.提名与分类 2.BBOX实现策略 3.YOLO Loss函数

关键点:

1.提名方法 2.ROI Pooling 3.SPP Net 4.RPN 5.YOLO

实操解析与训练

第五阶段:

RNN实践

实验:股票预测

1.股票数据分析 2.同步预测 3.异步预测

高频问题:

1.历史数据的使用

关键点:

1.构建RNN 2.采用Keras编程实现

实操解析与训练

第六阶段:

Encoder-Decoder实践

实验:去噪分析

1.自编码器 2.去噪自编码器

高频问题:

1.噪声的引入与去除

关键点:

1.设计去噪自编码器

实验:图像标题生成

结合计算机视觉和机器翻译的最新进展,利用深度神经网络生成真实的图像标题。

1.掌握Encoder-Decoder结构 2.学会Seq2seq结构

3.图像CNN +文本RNN 4.图像标题生成模型

高频问题:

1.如何能够根据图像生成文本?

关键点:

1.提取图像特征CNN,生成文本RNN 2.构建Encoder-Decoder结构

实操解析与训练

第七阶段:

GAN实践

实验:艺术家作品生成

  1. 生成对抗网络原理 2.GAN的生成模型、判别模型的设计

高频问题:

1.生成模型与判别模型的博弈过程

关键点:

1.掌握GAN的思想与原理 2.根据需求学会设计生成模型与判别模型

实操解析与训练

第八阶段:

强化学习实践

实验:游戏分析

1.游戏场景分析 2.强化学习的要素分析 3.深度强化学习

高频问题:

1.DNN 与DQN 2.探索与利用

关键点:

1.深度强化学习的原理 2.根据实际需求,设计深度强化学习模型

实操解析与训练

第九阶段:

图卷积神经网络实践

实验:社交网络分析

1.图神经网络的原理 2.图卷积神经网络的思想

3.设计图卷积神经网络进行社交网络分析

高频问题:

1.如何从图神经网络的原理转化到实际编程

关键点:

  1. 掌握图神经网络原理 2. 图卷积神经网络编程实现

实操解析与训练

第十阶段:

Transformer实践

实验:基于Transformer的对话生成

  1. Transformer原理 2. 基于Transformer的对话生成

3.基于 Transformer 的应用

高频问题:

1.如何应用自注意力机制 2.如何应用于自然语言处理与计算机视觉

关键点:

1.self-Attention机制 2.position

点赞
收藏
评论区
推荐文章
Stella981 Stella981
3年前
DeepLearning.ai学习笔记汇总
第一章神经网络与深度学习(NeuralNetwork&Deeplearning)DeepLearning.ai学习笔记(一)神经网络和深度学习Week3浅层神经网络(https://www.oschina.net/action
Wesley13 Wesley13
3年前
AI领域最最最稀缺的人才——AI架构师
分布式技术是深度学习技术的加速器。同时利用多个工作节点,分布式地、高效地训练出性能优良的神经网络模型,能够显著提高深度学习的训练效率、进一步增大其应用范围。《首席AI架构师——分布式高性能深度学习实战培养计划》,力图从更宽的视角,梳理清楚深度学习框架、AI应用、部署上线的整个环节,让你在AI职业规划上可以多一些选择。!(https
Stella981 Stella981
3年前
CPU推理性能提高数十倍,旷视天元计算图、MatMul优化深度解读
  机器之心发布  机器之心编辑部  !(http://dingyue.ws.126.net/2020/0806/6a6e4896j00qemtzy001ad000p000aop.jpg)本文针对旷视天元深度学习框架在推理优化过程中所涉及的计算图优化与MatMul优化进行深度解读。  背景及引言  在深度学
迁移学习(Transfer Learning)
1.深入了解神经网络的组成、训练和实现,掌握深度空间特征分布等关键概念;2.掌握迁移学习的思想与基本形式,了解传统迁移学习的基本方法,对比各种方法的优缺点;3.握深度迁移学习的思想与组成模块,学习深度迁移学习的各种方法;4.掌握深度迁移学习的网络结构设计、目标函数设计的前沿方法,了解迁移学习在PDA、SourceFreeDA上的应用;5.掌握深度迁移学习在
深度学习与图神经网络学习分享:CNN经典网络之-ResNet
深度学习与图神经网络学习分享:CNN经典网络之ResNetresnet又叫深度残差网络图像识别准确率很高,主要作者是国人哦深度网络的退化问题深度网络难以训练,梯度消失,梯度爆炸,老生常谈,不多说!深度网络的退化问题(htt
四儿 四儿
1年前
深度学习在语音识别中的应用及挑战
一、引言随着深度学习技术的快速发展,其在语音识别领域的应用也日益广泛。深度学习技术可以有效地提高语音识别的精度和效率,并且被广泛应用于各种应用场景。本文将探讨深度学习在语音识别中的应用及所面临的挑战。二、深度学习在语音识别中的应用1.基于深度神经网络的语音
迁移学习核心技术的开发与应用
一、机器学习简介与经典机器学习算法介绍1.什么是机器学习?2.机器学习框架与基本组成3.机器学习的训练步骤4.机器学习问题的分类5.经典机器学习算法介绍章节目标:机器学习是人工智能的重要技术之一,详细了解机器学习的原理、机制和方法,为学习深度学习与迁移学习打下坚实的基础。二、深度学习简介与经典网络结构介绍1.神经网络简介2.神经网络组件简介3.神经网
人工智能人才培养
No.1第一天一、机器学习简介与经典机器学习算法介绍什么是机器学习?机器学习框架与基本组成机器学习的训练步骤机器学习问题的分类经典机器学习算法介绍章节目标:机器学习是人工智能的重要技术之一,详细了解机器学习的原理、机制和方法,为学习深度学习与迁移学习打下坚实的基础。二、深度学习简介与经典网络结构介绍神经网络简介神经网络组件简介神经网络训练方法卷积神经网络介