Wesley13 Wesley13
3年前
5步教你将MRS数据导入DWS
摘要:GaussDB(DWS)支持在相同网络中,配置一个GaussDB(DWS)集群连接到一个MRS集群,然后将数据从HDFS中的文件读取到GaussDB(DWS)。MapReduce服务(MapReduceService,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据
Stella981 Stella981
3年前
Consul集群搭建
 近几年随着Docker容器技术、微服务等架构的兴起,人们开始意识到服务发现的必要性。微服务架构简单来说,是一种以一些微服务来替代开发单个大而全应用的方法,每一个小服务运行在自己的进程里,并以轻量级的机制来通信,通常是HTTPRESTfulAPI。微服务强调小快灵,任何一个相对独立的功能服务不再是一个模块,而是一个独立的服务。那么,当我们需要
Stella981 Stella981
3年前
RedisCluster集群搭建
RedisCluster集群之搭建一、安装ruby环境见《centos7搭建ruby环境》(https://my.oschina.net/gmarshal/blog/2052823"《centos7搭建ruby环境》")安装redis见《Redis安装单实例》
Wesley13 Wesley13
3年前
Vagrant定制个性化CentOS7虚拟机模板
关于虚拟机模板想用vagrant搭建hadoop集群,要完成以下准备工作:1.三个虚拟机实例操作系统都是CentOS7的server版;2.每个实例都要安装同样的应用、关闭防火墙、关闭swap等;今天就来做个模板,用此模板创建好的虚拟机都已经完成了上述操作;关于vagrant的安装和基本操作,请参考《Mac下vagrant从
Stella981 Stella981
3年前
RabbitMQ集群搭建
!(https://oscimg.oschina.net/oscnet/ddd81f190f1a43418b5aec950f99332a.png)欢迎扫描文末二维码关注本人微信公众号,持续输出原创,永不停步!推荐相关文章阅读:入门RabbitMQ(https://www.oschin
Wesley13 Wesley13
3年前
Hadoop Streaming 实战: 文件分发与打包
如果程序运行所需要的可执行文件、脚本或者配置文件在Hadoop集群的计算节点上不存在,则首先需要将这些文件分发到集群上才能成功进行计算。Hadoop提供了自动分发文件和压缩包的机制,只需要在启动Streaming作业时配置相应的参数。1\.–file将本地文件分发到计算结点2\.–cacheFile文件已经存放在HDFS中,希望计算时
Stella981 Stella981
3年前
Redis——集群搭建
一、Redis集群:  集群解决并发的问题;  哨兵解决高可用的问题; !(https://oscimg.oschina.net/oscnet/a3d3506dc6dcb9cbe01ee2c6a83925c98a0.png)二、集群搭建:  //基于redis5.0;   1)启动三台Linux系统,且用docke
Stella981 Stella981
3年前
Hadoop2.0之YARN
YARN(YetAnotherResourceNegotiator)是Hadoop2.0集群中负责资源管理和调度以及监控运行在它上面的各种应用,是hadoop2.0中的核心,它类似于一个分布式操作系统,通过它的api编写的应用可以跑在它上面,支持临时和常驻的应用,集群的资源可以得到最大限度的共享。资源是指CPU,内存,硬盘,带宽等可以量化的东西。H
京东云开发者 京东云开发者
8个月前
Hive引擎底层初探
1、什么是HiveHive是一个基于Hadoop的数据仓库工具,用于处理和分析大规模结构化数据。Hive提供了类似SQL的查询语言(HiveQL),使得熟悉SQL的用户能够查询数据。Hive将SQL查询转换为MapReduce任务,以在Hadoop集群上执