七、八、九、十、十二、十三放到一起理解。一、大数据的概念和特点、分类又称巨量数据，是指数据量达到无法用人脑，甚至现有工具获取，处理，并整理成为帮助企业经营决策更积极目的的资讯。特点：数据量大，类型多，时效性，速度快，真实性。分类：传统企业数据，机器和传感器数据，社交数据。二、云计算的概念，特点云计算是基于互联网的计算机方式，通过这计算方式，可以把共享的

在进行redis集群部署之前，兄弟们最好先在自己的虚拟机上安装好单机版的redis，安装方法很简单，兄弟们可自行用度娘度一下，这里就不再赘述了，本人也是上班时间抽空偷偷写的该博文，也得处处小心被捉了！好了，闲话少说，进入正题哈！第一步搭建ruby环境     先来说说redis用啥来做集群，我们知道hadoop可

关于虚拟机模板想用vagrant搭建hadoop集群，要完成以下准备工作：1.三个虚拟机实例操作系统都是CentOS7的server版；2.每个实例都要安装同样的应用、关闭防火墙、关闭swap等；今天就来做个模板，用此模板创建好的虚拟机都已经完成了上述操作；关于vagrant的安装和基本操作，请参考《Mac下vagrant从

题记：Linux网络配置这个问题。常常在配置，但仍然常出错。希望这次做一个整体梳理，能够解决日后遇见的大体问题。在搭建Hadoop集群的过程中，由于一次意外关机，之后启动集群中的三台Linux虚拟机master、node1、node2，网络连接失败。三台虚拟机之间互相都ping不同，也ping不同外网和网关。只能ping通localhost和127.

hadoop最主要的2个基本的内容要了解。上次了解了一下HDFS，本章节主要是了解了MapReduce的一些基本原理。MapReduce文件系统：它是一种编程模型，用于大规模数据集（大于1TB）的并行运算。MapReduce将分为两个部分：Map（映射）和Reduce（归约）。当你向mapreduce框架提交一个计算作业，它会首先把计算作业分成若干个

ApacheKylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBayInc.开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。下面是单机安装采坑记，直接上配置和问题解决。找一台干净的机器，把hadoophivehbase从原有节点分别拷贝一

EMC发布了一个更新的ViPR，该公司的软件定义的存储管理平台，使企业可选用，从数据方面看，目前驻留在他们的存储系统，没有它转移到专门的系统上。在公开的的文章中，EMC公司的高级软件事业部副总裁ManuvirDas宣布，EMC“加强的ViPR的一个Hadoop分布式文件系统(HDFS)数据服务(https://www.osc

分布式缓存Flink提供了一个分布式缓存，类似于hadoop，可以使用户在并行函数中很方便的读取本地文件，并把它放在taskmanager节点中，防止task重复拉取。此缓存的工作机制如下：程序注册一个文件或者目录(本地或者远程文件系统，例如hdfs或者s3)，通过ExecutionEnvironment注册缓存文件并为它起一个名称。

centos7.1，CDH5.9.1，3台机器，终极指导安装<!more下载链接如下：安装文件下载链接如下：链接：https://pan.baidu.com/s/1RQYNiWn9aT8GXcCsoDBsA(https://www.oschina.net

时间2022年8月5日—2022年8月9日北京（同时转线上直播）（5日报到，6日9日上课）课程第一天一、大数据概述二、大数据处理架构Hadoop三、分布式文件系统HDFS四、分布式数据库HBase第二天五、MapReduce六、Spark七、IPythonNotebook运行PythonSpark程序八、PythonSpark集成开发环境第三