Stella981 Stella981
3年前
Hadoop streaming使用自定义python版本和第三方库
在使用Hadoop的过程中,遇到了自带python版本比较老的问题.下面以python3.7为例,演示如何在hadoop上使用自定义的python版本以及第三方库.1.在https://www.python.org下载Python3.7.2.gz包2.在linux环境下:tarxvfPthon3.7.2解压文件
Stella981 Stella981
3年前
MapReduce
MapReduce从HBase读取处理后再写入HBase代码如下packagecom.hbase.mapreduce;importjava.io.IOException;importorg.apache.hadoop.conf.Conf
Stella981 Stella981
3年前
Hadoop基本介绍(2)
Hadoop基本介绍2HDFS特性HDFS缺点:HDFS高级命令HDFS安全模式FsimageEditsFsimageEdits作用:查看FsimageEditsSecondaryNamenode工作原理前提:目标:意义:
Easter79 Easter79
3年前
TiDB大规模节点下线实践
  一、背景  集群容量不够了,这些年各大公司都在做机器资源利用率的事情,我司也不例外,好不容易申请了5台机器加入集群扩容,balance的正欢乐呢,RegionBalanceRatio经过了1天半的时间刚刚降到93%,结果接到通知,5台机器的交换机升级,需重启机器,网卡要做bond。  集群配置  集群版本:v3.0.5  集群配置:
Stella981 Stella981
3年前
CentOS 7.6 源码安装搭建LNMP架构(Nginx、MYSQL、PHP)
LNMP架构LNMP是什么搭建环境搭建准备LNMP软件包搭建nginx搭建mysql数据库搭建php搭建Discuz!论坛LNMP是什么LNMP:Linux系统下NginxMySQLPHP这种网站服务器架构。Nginx是一个高性能的HTTP和
Stella981 Stella981
3年前
LVS+Keepalived搭建高可用、高并发集群; 有未处理问题
文章目录一、LVS负载均衡keepalived主从高可用(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fblog.csdn.net%2Fweixin_44571270%2Farticle%2Fdetails%2F104250420%23LVSkeepalived_
Easter79 Easter79
3年前
Swarm 中最重要的概念
第94篇Swarm 中最重要的概念从主机的层面来看,DockerSwarm管理的是DockerHost集群。所以先来讨论一个重要的概念集群化(Clustering)。服务器集群由一组网络上相互连接的服务器组成,它们一起协同工作。一个集群和一堆服务器最显著的区别在于:集群能够像 单个 系统那样工作,同时提
Easter79 Easter79
3年前
TiDB大规模节集群容量配置
一、背景集群容量不够了,这些年各大公司都在做机器资源利用率的事情,我司也不例外,好不容易申请了5台机器加入集群扩容,balance的正欢乐呢,RegionBalanceRatio经过了1天半的时间刚刚降到93%,结果接到通知,5台机器的交换机升级,需重启机器,网卡要做bond。集群配置集群版本:v3.0.5集群
Stella981 Stella981
3年前
Linux实战教学笔记30:Nginx反向代理与负载均衡应用实践
1.1集群简介简单地说,集群就是指一组(若干个)相互独立的计算机,利用高速通信网络组成的一个较大的计算机服务系统,每个集群节点(即集群中的每台计算机)都是运行各自服务的独立服务器。这些服务器之间可以彼此通信,协同向用户提供应用程序,系统资源和数据,并以单一系统的模式加以管理。当用户客户机请求集群系统时,集群给用户的感觉就是
京东云开发者 京东云开发者
5个月前
与时俱进,京东云高性能计算平台
作者:京东科技林顺利持续演进的高性能计算高性能计算是利用超级计算机实现并行计算的一门技术。通过使用大量通用型计算节点搭建阵列式计算集群,替代单体超级计算机的方式,来实现并行计算加速,已成为高性能计算的通用方案。经过多年发展,高性能计算已成为各个领域解决复杂