Wesley13 Wesley13
3年前
MongoDB分片集群机制及原理
1.MongoDB常见的部署架构单机版复制集分片集群2.为什么要使用分片集群数据容量日益增大,访问性能日渐下降,怎么破?新品上线异常火爆,如何支撑更多用户并发?单库已有10TB数据,恢复需要12天,如何加速?地理分布数据3.分片如何解决问题?银
Stella981 Stella981
3年前
Redis(二十九)PHP 使用 Redis
安装开始在PHP中使用Redis前,我们需要确保已经安装了redis服务及PHPredis驱动,且你的机器上能正常使用PHP。接下来让我们安装PHPredis驱动:下载地址为:https://github.com/phpredis/phpredis/releases(https://www.oschina.
Stella981 Stella981
3年前
Apache Hadoop配置Kerberos指南
  通常,一个Hadoop集群的安全使用kerberos来进行保障。在启用Kerberos后,需要用户进行身份验证。用户通过验证后可以使用GRANT/REVOKE语句来进行基于角色的访问控制。本文介绍一下在CDH集群中如何配置kerberos。1.KDC安装和配置脚本  脚本install\_kerberos.sh可以完成kerberos服
Wesley13 Wesley13
3年前
J2Cache 没有 Redis 也可以实现多节点的缓存同步
J2Cache是一个两级的缓存框架,第一级是基于内存的数据缓存,支持caffeine、ehcache2和ehcache3,二级缓存只支持redis。在某些生产环境中你可能没有redis,但是又希望多个应用节点间的缓存数据是同步的。配置的方法很简单:1\.首先关闭二级缓存(使用none替代redis)j2cache
Stella981 Stella981
3年前
Kubernetes集群部署之五node节点部署
Node节点是Kubernetes集群中的工作负载节点.每个node都会被master分配一些工作负载,每个node节点都运行以下关键服务进程.Kubelet:负责pod对应的容器的创建、启停等任务,同时与master节点密切协作,实现集群管理的基本功能.Kubeproxy:实现kubernetesservice的通信与负载均衡机制的重要
Stella981 Stella981
3年前
Hadoop之Shell脚本自动启动
在用Hadoop进行大数据分析处理时,通常配置的服务器不止一两台。为了减少人工操作的重复性,所以hadoop提供了可以自动启动Hadoop集群的Shell脚本。在使用Shell脚本启动集群之前,需要进行相应的配置。说明:$HADOOP\_HOME/root/project/hadoop(根据自己配置的路径不同而不同)打开$HADOOP\_H
Stella981 Stella981
3年前
Hadoop配置多个HDFS入口
为了验证存在不同的hdfs之间的hive的互操作(归根结底还是为了解决BUG)需要在两个不同的hadoop集群的HDFS 能够在Hiveserver2上进行路由转发绕过一些坑。就需要将某hdfs集群的配置文件改改。。例如hdfssite.xmlEG:<?xmlversion"1.0"encoding"UTF8"?<?
Stella981 Stella981
3年前
Linux 5.12 的 exFAT 文件系统更快删除大文件
近日,Linux(https://www.oschina.net/action/GoToLink?urlhttps%3A%2F%2Fwww.linuxprobe.com%2F)内核开发者提交了一个关于exFAT优化的补丁:当使用“dirsync”安装选项时,集群分配位图不会在每个集群位清除时都同步缓冲区,而是只会在位图缓冲区索引改变时才
3A网络 3A网络
2年前
5 步教你将 MRS 数据导入 DWS
5步教你将MRS数据导入DWSMapReduce服务(MapReduceService,简称MRS)是一个基于开源Hadoop生态环境而运行的大数据集群,对外提供大容量数据的存储和分析能力,可解决用户的数据存储和处理需求。用户可以将海量业务数据,存储在MRS的分析集群,即使用Hive/Spark组件保存。Hive/Spark的数据