1、前言　　本文是在《如何计算实时热门商品》(https://www.oschina.net/action/GoToLink?urlhttp%3A%2F%2Fwuchong.me%2Fblog%2F2018%2F11%2F07%2Fuseflinkcalculatehotitems%2F)\1\一文上做的扩展，

  Container 是 YARN 中基本的处理单元，它是对内存、CPU等计算的封装。总的来说，每个core每块硬盘分配2个 container，能获得较好的集群利用率。 1. 确定可用内存大小。 对于每台主机来说，YARN 和 MapReduce 能用内存大小是除去预留给系统的内存（如果还有 HBase，还要相应留内存给它）后的大小，即

OpenTSDBOpenTSDB是基于Hbase的时序数据库，它是一个时间序列专用数据库，只能存储时序数据。官方定位是一个分布式、可伸缩的监控系统。譬如收集大规模集群（包括网络设备、操作系统、应用程序）的监控数据并进行存储，查询。官网(https://www.oschina.net/action/GoToLink?urlhtt

有时候我们在项目中会遇到输入结果集很大，但是输出结果很小，比如一些pv、uv数据，然后为了实时查询的需求，或者一些OLAP的需求，我们需要mapreduce与mysql进行数据的交互，而这些特性正是hbase或者hive目前亟待改进的地方。好了言归正传，简单的说说背景、原理以及需要注意的地方：1、为了方便MapReduce

十年前，谷歌发表了“BigTable”的论文，论文中很多很酷的方面之一就是它所使用的文件组织方式，这个方法更一般的名字叫LogStructuredMergeTree。LSM是当前被用在许多产品的文件结构策略：HBase,Cassandra,LevelDB,SQLite,甚至在mangodb3.0中也带了一个可选的LSM引擎（Wired

Hadoop生态圈CentOs7.5单机部署ClickHouse作者：尹正杰版权声明：原创作品，谢绝转载！否则将追究法律责任。到了新的公司，认识了新的同事，生产环境也得你去适应新的集群环境，我新入职的公司的大数据开发同时并不看好hbase，而是对clickhouse青睐有加，听他们口头把ClickHouse吹的

hiveHive是运行在Hadoop上的一个工具，准确地讲是一个搜索工具。当对海量数据进行搜索时，Hadoop的计算引擎是MapReduce。但是对MapReduce的操作和编程是非常复杂的。于是Hive的存在就让复杂的编程过程简化成了用SQL语言对海量数据的操作。这大大减轻了程序员的工作量。可以说，Hive的存在让海量数据的增删改查更加方便。

157\.zookeeper是什么？zookeeper是一个分布式的，开放源码的分布式应用程序协调服务，是googlechubby的开源实现，是hadoop和hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。158\.zook

时间2022年8月5日—2022年8月9日北京（同时转线上直播）（5日报到，6日9日上课）课程第一天一、大数据概述二、大数据处理架构Hadoop三、分布式文件系统HDFS四、分布式数据库HBase第二天五、MapReduce六、Spark七、IPythonNotebook运行PythonSpark程序八、PythonSpark集成开发环境第三