随着互联网行业和大数据的兴起和蓬勃发展，数据量和并发访问量呈指数级增长，这对整个系统的架构设计和产品的能力提出了巨大的挑战。极高的总拥有成本、捉襟见肘的可扩展性、薄弱的大数据处理性能等。都成为了高并发和大数据访问需求的燃痛。同时，阿里巴巴、蚂蚁的各种应

AtlassianConfluence从5.7.1升级到6.14.1背景随着时间的推移用户量不断增长数据量也越来越大Confluence最初安装使用的是内存数据库由于这个技术债务所需的资源（尤其是内存）越来越大服务启动所需JVM需求不断增长：4G—8G—12G曾出现因JVM不足导致系统慢或重启失

!(https://oscimg.oschina.net/oscnet/3ea57a5cd288c6bbc24521607f4e0aae21a.jpg)    Kafka是由LinkIn开源的实时数据处理框架，目前已经更新到2.3版本。不同于一般的消息中间件，Kafka通过数据持久化和磁盘读写获得了极高的吞吐量，并可以不依赖Storm，SparkSt

1\. MySqlMemcached架构的问题　　实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题：　　1.MySQL需要不断进行拆库拆表，Memcached也需不断跟着扩容，扩容和维护工作占据大量

AtlassianConfluence从5.7.1升级到6.14.1背景随着时间的推移用户量不断增长数据量也越来越大Confluence最初安装使用的是内存数据库由于这个技术债务所需的资源（尤其是内存）越来越大服务启动所需JVM需求不断增长：4G—8G—12G曾出现因JVM不足导致系统慢或重启失

!(https://oscimg.oschina.net/oscnet/39ff4cbbf76c4a63bc7a3be95b20a37a.gif)!(https://oscimg.oschina.net/oscnet/18241b923933475eb6494a10f9ed8884.jpg)转载本文需注明出处：微信公众号E

由于商品变更MQ消息量巨大，为了提升更新ES的性能，防止出现MQ消息积压问题，所以本系统使用了BulkProcessor进行批量异步更新。

问题与解决：问题：查询大数据量的时候，例如一次返回50w数据量的包，循环去查询发现读取会超时。解决方案：经过思考采用多线程去分页查询。使用线程池创建多个线程去查询分页后的数据最后汇总一下，解决了一次查询大量数据返回超时的问题。一次查询现状：多线程分页查询改

1问题域业务发展的初期，我们的数据库架构往往是单库单表，外加读写分离来快速的支撑业务，随着用户量和订单量的增加，数据库的计算和存储往往会成为我们系统的瓶颈，业界的实践多数采用分而治之的思想：分库分表，通过分库分表应对存系统读写性能瓶颈和存储瓶颈；分库分表帮