在上篇《hive(01)、基于hadoop集群的数据仓库Hive搭建实践(https://my.oschina.net/zss1993/blog/1602402)》一文中我们搭建了分布式的数据仓库Hive服务，本文主要是在上文的基础上结合Hadoop分布式文件系统，将结构化的数据文件映射为一张数据库表，将sql语句转换为MapRedu

一.Elasticsearch是一个基于Lucene的实时的分布式搜索和分析引擎。设计用于云计算中，能够达到实时搜索，稳定，可靠，快速，安装使用方便。基于RESTful接口二.ES中的核心概念集群（Cluster）：ES是一个分布式的搜索引擎，一般由多台物理机组成。这些物理机，通过配置一个相同的clustername，互相发现，把自己

前言　SpringCloud是基于SpringBoot的一整套实现微服务的框架。他提供了微服务开发所需的配置管理、服务发现、断路器、智能路由、微代理、控制总线、全局锁、决策竞选、分布式会话和集群状态管理等组件。最重要的是跟springboot框架一起使用的话，会让你开发微服务架构的云服务非常好的方便。 SpringBoot旨在

导读Linux服务器运行久时，系统时间就会存在一定的误差，一般情况下可以使用date命令进行时间设置，但在做数据库集群分片等复杂操作时对多台机器的时间差是有要求的，此时就需要使用ntpdate进行时间同步。Linux时间的操作的常见命令date命令使用方式:date\u\\ddatestr\\

对于eval有一个很大的约束在集群模式下，即lua所用到的key必须在该节点上因此可以借助solt来发送到指定的key存在的节点上 因此需要redisclient正确处理key方法1：  通过client显示指定key 发送到对应的节点上,lua代码不参与redis缓存每次发送到redis的lua代码都是新的因为把用到的东西都

在Kafka中还有两个特别重要的概念—主题（Topic）与分区（Partition）。Kafka中的消息以主题为单位进行归类，生产者负责将消息发送到特定的主题（发送到Kafka集群中的每一条消息都要指定一个主题），而消费者负责订阅主题并进行消费。这里补充了对Kafka基本概念(https://www.oschina.net/action

1.Mongodbbson文档型数据库，整个数据都存在磁盘中，hbase是列式数据库，集群部署时每个familycolumn保存在单独的hdfs文件中。2.Mongodb主键是“\_id”,主键上面可以不建索引,记录插入的顺序和存放的顺序一样，hbase的主键就是rowkey，可以是任意字符串(最大长度是64KB，实际应用中长度一般为1010

1\.问题背景某核心JAVA长连接服务使用mongodb作为主要存储，客户端数百台机器连接同一mongodb集群，短期内出现多次性能抖动问题，此外，还出现一次“雪崩”故障，同时流量瞬间跌零，无法自动恢复。本文分析这两次故障的根本原因，包括客户端配置使用不合理、mongodb内核链接认证

架构的演进：1.十年前：用户单一服务器单一数据库（支持十万级用户）!(https://oscimg.oschina.net/oscnet/f09b5a5b1973c443e2560002b4622ba3aa3.png)2.五年前：用户负载均衡器多台服务器缓存集群主从数据库（支持百万级用户）!(https

什么是数据库用来存储数据的仓库数据库可以在硬盘及内存中存储数据数据库与文件存储数据区别数据库本质也是通过文件来存储数据,数据库的概念就是系统的管理存储数据的文件数据库介绍数据库服务器端:存放数据库的主机集群数据库客户端:可以