课程安排 一、大数据概述 二、大数据处理架构Hadoop 三、分布式文件系统HDFS 四、分布式数据库HBase 五、MapReduce 六、Spark 七、IPythonNotebook运行PythonSpark程序 八、PythonSpark集成开发环境 九、PythonSpark决策树二分类与多分类 十、PythonSpark支持向量机 十一

平台简介       Jeesz是一个分布式的框架，提供项目模块化、服务化、热插拔的思想，高度封装安全性的JavaEE快速开发平台。      Jeesz本身集成Dubbo服务管控、Zookeeper注册中心、Redis分布式缓存技术、FastDFS分布式文件系统、ActiveMQ异步消息中间件、Nginx负载均衡等分布式技术      

whatisZookeeper?1，开源的分布式的，为分布式应用提供协调服务的Apache项目2，提供一个简单原语集合，以便于分布式应用可以在它之上构建更高层次的同步服务3，设计非常易于编程，它使用的是类似于文件系统那样的树形数据结构4，目的就是将分布式服务不再需要由于协作冲突而另外实现的协作服务Zookeep

一、Hadoop压缩简介1、hadoop的3个阶段（1）分布式文件系统HDFS（2）分布式编程框架MapReduce（3）yarn框架2、Hadoop数据压缩MR操作过程中进行大量数据传输。压缩技术能够有效的减少底层存储（HDFS）读写字

前言现如今，分布式文件系统可谓是琳琅满目，多种多样，有hdfs,gfs,zfs,fastdfs,gofastdfs等，怎么选择合适自己的分布式文件系统呢？在这篇文章中，我们不讲……额，我只想表达一下我在研究gofastdfs过程中踩的坑。gofastdfs首先，什么是gofastdfs？是fastdfs的弟弟吗

ceph简介Ceph是一个分布式存储系统，诞生于2004年，是最早致力于开发下一代高性能分布式文件系统的项目。随着云计算的发展，ceph乘上了OpenStack的春风，进而成为了开源社区受关注较高的项目之一。ceph基本结构!(http://uploadimages.jianshu.io/upload_images/4

4. Hadoop相关配置及Executor环境变量的设置4.1 Hadoop相关配置信息默认情况下，Spark使用HDFS作为分布式文件系统，所以需要获取Hadoop相关配置信息的代码如下：!(https://oscimg.oschina.net/

DolphinDBDatabase是一款分析型的分布式时序数据库，内置处理流式数据处理引擎，具有内置的并行和分布式计算的功能，并提供分布式文件系统，支持集群扩展。DolphinDB以C编写，响应速度极快。提供类似于Python的脚本语言对数据进行操作，支持类标准SQL的语法。提供其它常用编程语言的API，方便与已有应用程序集成。在金融领域中的历史数据

!image.png(http://static.bxdaka.com/bxdk_res/static.bxdaka.com/article/edit/202012/16075875499.png)众所周知，IPFS这一举世无双的新技术，也被称为“星际文件系统”，是一个点到点的分布式文件系统。通过底层协议，它能让存储在IPFS系统中的

Ceph论文译文Ceph：一个可扩展，高性能分布式文件系统(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fblog.csdn.net%2Fjuvxiao%2Farticle%2Fdetails%2F39495037)