Hadoop 及Spark 分布式HA运行环境搭建
本文旨在站在研发的角度上通过手动实践搭建运行环境,文中不拖泥带水过多讲述基础知识,结合Hadoop和Spark最新版本,帮助大家跟着步骤一步步实践环境搭建。
Stella981 Stella981
3年前
Nginx+IIS分布式部署和负载均衡
 1.IIS中部署2个网站创建2个网站,端口分别为9001、9002!(https://oscimg.oschina.net/oscnet/54d4591ef5cef53912acffb1316212d716e.png)!(https://img2018.cnblogs.com/blog/523991/2018
Stella981 Stella981
3年前
SnowFlake分布式唯一ID生成器
写在前面架构是权衡的结果,架构也是一层层的组件拼接起来的,如果没有好用的组件,架构势必会做阉割,架构的理想态是建立在一堆友好、易用、标准化的组件之上的。在我过去的经验中,有两类组件经常会出现在我的架构方案中,一个是唯一ID生成器,一个是推拉结合配置中心,有了他们我可以解决分布式系统下的时序问题,不会再因数据不一致问题手足无措,推拉结合的数据中心
Wesley13 Wesley13
3年前
JavaWeb项目架构之Kafka分布式日志队列
架构、分布式、日志队列,标题自己都看着唬人,其实就是一个日志收集的功能,只不过中间加了一个Kafka做消息队列罢了。!(https://images2017.cnblogs.com/blog/109211/201802/109211201802061533201231622886397.png)kafka介绍Kafka是由
Stella981 Stella981
3年前
Spring Cloud Config 分布式配置管理 5.3
Spring Cloud Config简介  在传统的单体式应用系统中,我们通常会将配置文件和代码放在一起,但随着系统越来越大,需要实现的功能越来越多时,我们又不得不将系统升级为分布式系统,同时也会将系统的功能进行更加细化的拆分。拆分后,所有的服务应用都会有自己的配置文件,当需要修改某个服务的配置时,我们可能需
Stella981 Stella981
3年前
Spring Cloud Config Bus 分布式配置自动刷新
首先需要在GitHub上面创建一个项目.然后创建3个模块:CloudCenter为服务发现中心.CloudCnofigCenter为配置中心CloudUser为要分布式配置的模块首先创建CloudCenter,引入POM依赖:    <dependency<groupI
Stella981 Stella981
3年前
Hadoop框架:集群模式下分布式环境搭建
本文源码:GitHub·点这里||GitEE·点这里一、基础环境配置1、三台服务准备三台Centos7服务,基础环境从伪分布式环境克隆过来。133hop01,134hop02,136hop032、设置主机名设置名称hostnamectlsethostn
Stella981 Stella981
3年前
Hadoop2.0伪分布式平台环境搭建
一、搭建环境的前提条件环境:ubuntu16.04hadoop2.6.0jdk1.8.0\_161。这里的环境不一定需要和我一样,基本版本差不多都ok的,所需安装包和压缩包自行下载即可。因为这里是配置Hadoop的教程,配置Java以及安装VMwareTools就自行百度解决哈,这里就不写了(因为教程有点
Easter79 Easter79
3年前
Tachyon 0.7.1伪分布式集群安装与测试
Tachyon是一个高容错的分布式文件系统,允许文件以内存的速度在集群框架中进行可靠的共享,就像Spark和MapReduce那样。通过利用信息继承,内存侵入,Tachyon获得了高性能。Tachyon工作集文件缓存在内存中,并且让不同的Jobs/Queries以及框架都能内存的速度来访问缓存文件。因此,Tachyon可以减少那些需要经常使用的数据集通过
GeorgeGcs GeorgeGcs
2星期前
【HarmonyOS 5】鸿蒙分布式协同应用开发详解
鸿蒙开发能力HarmonyOSSDK应用服务鸿蒙金融类应用(金融理财一、前言为什么需要分布式协同应用?首先是因为当今社会,围绕电子产品生态,人们迫切希望,周边的电子设备可以协同操作。例如手机,手表,电视机,汽车,甚至是各种家电产品。从2015年到如今,手机