Stella981 Stella981
3年前
K8s——Ingress
在Kubernetes中,服务和Pod的IP地址仅可以在集群网络内部使用,对于集群外的应用是不可见的。为了使外部的应用能够访问集群内的服务,在Kubernetes中目前提供了以下几种方案:1.NodePort2.LoadBalancer3.IngressNodePort,简单来说,就是通过service这种资源对象,为后端
Stella981 Stella981
3年前
Rancher 2.2.2
对于生产环境,需以高可用的配置安装Rancher,确保用户始终可以访问RancherServer。当安装在Kubernetes集群中时,Rancher将与集群的etcd集成,并利用Kubernetes调度实现高可用。为确保高可用,本文所部署的Kubernetes集群将专用于运行Rancher,Rancher运行起来后,可再创建或导入
Wesley13 Wesley13
3年前
Hadoop使用学习笔记(3)
Hadoop使用学习笔记2\.基本MapReduce工作配置与原理(下)我们先用老版本的API编写,下一篇会用新的API,并解释区别:环境配置:提交Job,开发IDE所在机器环境:Windows7,4C8G,IntelliJIDEA15.
Stella981 Stella981
3年前
Flume架构以及应用介绍[转]
在具体介绍本文内容之前,先给大家看一下Hadoop业务的整体开发流程: !这里写图片描述(https://oscimg.oschina.net/oscnet/efca778a7edff4c4b6da9b25644f902d473.png)从Hadoop的业务开发流程图中可以看出,在大数据的业务处理过程中,对于数据的采集是十分重要的一步,也是不
Stella981 Stella981
3年前
Hadoop所支持的几种压缩格式
Gzip压缩优点:压缩率比较高,而且压缩/解压速度也比较快;hadoop本身支持,在应用中处理gzip格式的文件就和直接处理文本一样;有hadoop native库;大部分linux系统都自带gzip命令,使用方便。缺点:不支持split。应用场景:当每个文件压缩之后在130M以内的(1个块大小内),都可以考虑用gzip压缩格式。譬如说一
Stella981 Stella981
3年前
OpenShift Router通过分片实现不同环境网络南北流量隔离
在企业实践中,通常会部署多个OpenShift集群:开发测试、生产等。每个集群都是独立的,通过物理资源进行隔离。这种方式管理简单,易于理解,但是消耗的资源更多,每个集群都需要额外的控制节点及运维节点。有没有办法,使不同环境运行在同一个集群上,并且它们之间实现隔离呢?答案是可以的。对于不同的环境,做好资源隔离,我们需要对计算资源——宿主机做好
Stella981 Stella981
3年前
CoreOS实践指南(二):架设CoreOS集群
CoreOS集群的架设比架设一个传统服务器集群更加容易。一方面因为CoreOS使用了Cloudinit自动化了集群信息的配置,另一方面则是受益于etcd分布式存储实现的消息分发和服务器自发现机制。这些便利性正是CoreOS系统设计充分为集群架构考虑带来的效率提升。安装CoreOSCoreOS的安装方法和传统Linux系统有
Stella981 Stella981
3年前
MapReduce+Shuffle详解
之前一直对Hadoop的MapReduce过程知道皮毛,如今特地深入学习了这个过程一下,把我的理解写下来。以下就是是我读书,看博客,然后根据自己的理解和经验总结出来的。错误的地方,还请大神指出。^\_^由衷感谢~宏观上来说,Hadoop的MapReduce在执行每个作业的时候要经历2个大阶段:Map阶段和Reduce阶段。下图是官方对整个
Stella981 Stella981
3年前
Hadoop Hive基础sql语法
1.DDL操作1.建表2.3.创建简单表4.创建外部表5.建分区表6.建Bucket表7.创建表并创建索引字段ds8.复制一个空表9.显示所有表10.按正条件正则表达式显示表11.修改表结构12.表添加一列13.添加一列并增加列字段注释14.更改表名15.删除列16.增加删除分区17.重命名表18.修改列的名字类型位置注
Stella981 Stella981
3年前
Hadoop小文件利器Ozone
!(https://oscimg.oschina.net/oscnet/5442d39bbb8253dfeb2b498c932b9c3a8d0.jpg)(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fmp.weixin.qq.com%2Fs%3F__biz%3DMzU3Mzg