Stella981 Stella981
3年前
Hadoop streaming使用自定义python版本和第三方库
在使用Hadoop的过程中,遇到了自带python版本比较老的问题.下面以python3.7为例,演示如何在hadoop上使用自定义的python版本以及第三方库.1.在https://www.python.org下载Python3.7.2.gz包2.在linux环境下:tarxvfPthon3.7.2解压文件
Stella981 Stella981
3年前
DBeaver链接kerberos安全认证的Phoenix集群
DBeaver链接kerberos安全认证的Phoenix集群最近公司的CDH集群,启动了kerberos安全认证,所有的用户验证全部需要依赖kerberos来进行。之前的裸奔集群,总算有了一些安全认证的功能,虽然网上很多人都说不推荐使用kerberos进行集群的安全认证,但是也没有说明使用
Stella981 Stella981
3年前
Hadoop基本介绍(2)
Hadoop基本介绍2HDFS特性HDFS缺点:HDFS高级命令HDFS安全模式FsimageEditsFsimageEdits作用:查看FsimageEditsSecondaryNamenode工作原理前提:目标:意义:
Easter79 Easter79
3年前
TiDB大规模节点下线实践
  一、背景  集群容量不够了,这些年各大公司都在做机器资源利用率的事情,我司也不例外,好不容易申请了5台机器加入集群扩容,balance的正欢乐呢,RegionBalanceRatio经过了1天半的时间刚刚降到93%,结果接到通知,5台机器的交换机升级,需重启机器,网卡要做bond。  集群配置  集群版本:v3.0.5  集群配置:
Wesley13 Wesley13
3年前
Hadoop:Hadoop单机伪分布式的安装和配置
http://blog.csdn.net/pipisorry/article/details/51331734(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fblog.csdn.net%2Fpipisorry%2Farticle%2Fdetails%2F51331734)本文内容
Wesley13 Wesley13
3年前
virtualbox主机与虚拟机之间互相通信教程
前言  在使用虚拟机搭建集群时,需要实现虚拟机与虚拟机之间互相ping通,并且主机与虚拟机也可以互相ping通。一、环境准备:1、主机为win72、virtualbox下创建两台ubuntu虚拟机二、virtualbox配置1、选中虚拟机,打开设置网络2、连接方式选择“桥接网卡”3、点开高级,混杂模式选择“全部允许”
Easter79 Easter79
3年前
Swarm 中最重要的概念
第94篇Swarm 中最重要的概念从主机的层面来看,DockerSwarm管理的是DockerHost集群。所以先来讨论一个重要的概念集群化(Clustering)。服务器集群由一组网络上相互连接的服务器组成,它们一起协同工作。一个集群和一堆服务器最显著的区别在于:集群能够像 单个 系统那样工作,同时提
Easter79 Easter79
3年前
TiDB大规模节集群容量配置
一、背景集群容量不够了,这些年各大公司都在做机器资源利用率的事情,我司也不例外,好不容易申请了5台机器加入集群扩容,balance的正欢乐呢,RegionBalanceRatio经过了1天半的时间刚刚降到93%,结果接到通知,5台机器的交换机升级,需重启机器,网卡要做bond。集群配置集群版本:v3.0.5集群
Stella981 Stella981
3年前
Linux实战教学笔记30:Nginx反向代理与负载均衡应用实践
1.1集群简介简单地说,集群就是指一组(若干个)相互独立的计算机,利用高速通信网络组成的一个较大的计算机服务系统,每个集群节点(即集群中的每台计算机)都是运行各自服务的独立服务器。这些服务器之间可以彼此通信,协同向用户提供应用程序,系统资源和数据,并以单一系统的模式加以管理。当用户客户机请求集群系统时,集群给用户的感觉就是
京东云开发者 京东云开发者
9个月前
与时俱进,京东云高性能计算平台
作者:京东科技林顺利持续演进的高性能计算高性能计算是利用超级计算机实现并行计算的一门技术。通过使用大量通用型计算节点搭建阵列式计算集群,替代单体超级计算机的方式,来实现并行计算加速,已成为高性能计算的通用方案。经过多年发展,高性能计算已成为各个领域解决复杂