Container 是 YARN 中基本的处理单元，它是对内存、CPU等计算的封装。总的来说，每个core每块硬盘分配2个 container，能获得较好的集群利用率。 1. 确定可用内存大小。 对于每台主机来说，YARN 和 MapReduce 能用内存大小是除去预留给系统的内存（如果还有 HBase，还要相应留内存给它）后的大小，即

MongoDBoplog（类似于MySQLbinlog）记录数据库的所有修改操作，除了用于主备同步；oplog还能玩出很多花样，比如1.全量备份增量备份所有的oplog，就能实现MongoDB恢复到任意时间点的功能2.通过oplog，除了实现到备节点的同步，也可以额外再往单独的集群同步数据（甚至是异构的数据库），实现容

!(https://oscimg.oschina.net/oscnet/88b05a21fa9d44ad8688683ba0bfc512.jpg)对不起今天我们鸽了...原定今天更新的HSVS集群内网版没有按期完成，在kafka兼容性测试过程中耗费的时间比预期的多。我们加快进度，预计这周五放出。有使用上的问题请在公众号留言，

MAPREDUCE基本原理      一，概念理解　　1，Mapreduce是一个分布式运算程序的编程架构，相对于HDFS来说就是客户端。其核心功能就是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并运行在一个hadoop集群上。　　2，基本整体架构：MEAppMaster，MapTask，R

点击蓝色字体“肉眼品世界”，关注公众号深度价值体系传递!(https://oscimg.oschina.net/oscnet/cdaf2bb2b6804d68997f17d08fa4ea00.jpg)当集群中有新成员加入，或者某些主题增加了分区之后，消费者是怎么进行重新分配分区再进行消费的？这里就涉及到重平衡（Rebala

作者：京东科技李遵举一、问题近期我们运维同事接到线上LB（负载均衡）服务内存报警，运维同事反馈说LB集群有部分机器的内存使用率超过80%，有的甚至超过90%，而且内存使用率还再不停的增长。接到内存报警的消息，让整个团队都比较紧张，我们团队负责的LB服务是零

拆掉物理机，安装网卡，安装驱动。Linux安装步骤2.1查找硬件查找网卡是否安装成功，同时查看设备号：3.修改/etc/sysconfig/networkscripts/下的ifcfg文件，对应新的网口，创建新的对应文件然后ifdown掉所有的网口，在ifup新网口，ifupbond0，ifupbond0.914.集群其他机器此时应该可以ping通该机器的ip

背景：最近系统内缓存CPU使用率一直报警，超过设置的70%报警阀值，针对此场景，需要对应解决缓存是否有大key使用问题，扫描缓存集群的大key，针对每个key做优化处理。以下是扫描出来的大key，此处只放置了有效关键信息。图1大key介绍:想要解决大key

背景采购系统（BIP）在经历多年演进后，系统整体复杂度和数据量俨然已经极具规模，本文着重讨论海量数据的治理存储现状：工程端实时订单库采用MySQL5.5集群，其中主库配置为32C/48G/6000G，无法归档的订单热数据占磁盘空间85%（5.1T）痛点：6

关于ClickHouse的基础概念这里就不做太多的赘述了，都有很详细说明。结合供应链数字化团队在使用ClickHouse时总结出的一些注意事项，尤其在命名方面要求研发严格遵守约定，对日常运维有很大的帮助，也希望对读者有启发。目前供应链数字化ck集群用来存储