HDFS介绍HDFS是一个适合部署在廉价机器上的，具有高度容错性的，高吞吐量的分布式文件系统。HDFS的设计理念支持超大规模数据集运行在HDFS上的应用具有很大的数据集。HDFS上的一个典型文件大小一般都在G字节至T字节。因此，HDFS被设计成支持大文件存储，能在一个集群里扩展到

目录一、简介直到目前的最新版本为止，MySQL缺省依然使用异步复制策略。简单说所谓异步复制，指的是主库写二进制日志、从库的I/O线程读主库的二进制日志写本地中继日志、从库的SQL线程重放中继日志，这三步操作都是异步进行的。如此选择的主要理由是出于性能考虑，与同步复制相比，异步复制显然更快，同时能承载更高的吞吐量。但异

\TOC\1.NIO初识反应器模式　　使用单线程模拟多线程，提高资源利用率和程序的效率，增加系统吞吐量。下面例子比较形象的说明了什么是反应器模式：　　一个老板经营一个饭店，　　传统模式来一个客人安排一个服务员招呼，客人很满意；（相当于一个连接一个线程）　　后来客人越来越多，需要的服务员越来越多，资源条

1、JVM调优目标：使用较小的内存占用来获得较高的吞吐量或者较低的延迟。程序在上线前的测试或运行中有时会出现一些大大小小的JVM问题，比如cpuload过高、请求延迟、tps降低等，甚至出现内存泄漏（每次垃圾收集使用的时间越来越长，垃圾收集频率越来越高，每次垃圾收集清理掉的垃圾数据越来越少）、内存溢出导致系统崩溃，因此需要对JVM进行调优，使得程序在正

LinkedBlockingQueue是一个基于已链接节点的、范围任意的blockingqueue。此队列按FIFO（先进先出）排序元素。队列的头部是在队列中时间最长的元素。队列的尾部是在队列中时间最短的元素。新元素插入到队列的尾部，并且队列获取操作会获得位于队列头部的元素。链接队列的吞吐量通常要高于基于数组的队列，但是在大多数并发应用程序中，其可

(一）功能和原理设计集群的目的允许消费者和生产者在RabbitMQ节点崩溃的情况下继续运行通过增加更多的节点来扩展消息通信的吞吐量1集群配置方式RabbitMQ可以通过三种方法来部署分布式集群系统，分别是：cluster,federation,shovelcluster:不支持跨网段，用于同一个网段内的局域网可以随意的动态增加或者减

最近公司项目中做了一个两个oracle数据库数据进行数据实时同步的功能，由于数据量和环境的因素，开发人员采用了kafka做为消息中间件来转发数据，笔者就进行了kafka的学习，记录了下面的文档，望大家多多指教，共同学习进步。一、   Kafka介绍　　Kafka是由Java和Scala编写的是一个分布式、高吞吐量、分区的、多副本的、多订阅者

本文简单介绍MongoDB的分片功能，对分片进行了概述，具体的功能详解，后续文章会陆续推出分片是把数据分配到多个服务器上的一种方式，MongoDB使用分片实现大数据部署以及高吞吐操作。大数据以及高吞吐量的应用会对单个服务器的容量造成很大的挑战。比如，高频率的查询操作会消耗服务器的CPU，如果数据集大于系统的RAM容量，也会对硬盘的性能造成影响。应

高并发高并发（HighConcurrency）是指系统运行过程中的一种“短时间内遇到大量操作请求”的情况，主要发生在web系统集中大量访问收到大量请求，例如淘宝双十一、京东618类的活动。该情况的发生会导致系统在这段时间内执行大量操作（对资源的请求、数据库的操作等）。高并发相关常用的一些指标有：响应时间、吞吐量、每秒查询率QPS、并发用户数

当前笔记中的内容针对的是thinkphpqueue的v1.1.2版本，现在官方已经更新到了v1.1.3版本，下文中提到的几个Bug在最新的master分支上均已修复。笔记中的部分内容还未更新。传统的程序执行流程一般是即时|同步|串行的，在某些场景下，会存在并发低，吞吐量低，响应时间长等问题。在大型系统中，一般会引入消息队列的组件，将流