TiDB集群大规模删除实践一、背景集群在写入了一定的时间后，是存在一些历史可以删除的数据的，为了对集群的空间释放，我和业务一并讨论和计划了待删除的表，但是在drop数据时发现集群QPS有抖动，经过排查发现触发了compaction的流控集群配置集群版本：v3.0.5集群配置：普通SS

这个时候所有的mysql的相关进程都会停止，直到drop结束，mysql才会恢复执行。出现这个情况的原因就是因为，在droptable的时候，innodb维护了一个全局锁，drop完毕锁就释放了。这意味着，如果在白天，访问量非常大的时候，如果你在不做任何处理措施的情况下，执行了删大表的命令，整个mysql就挂在那了，在删表期间，QPS会严重下滑，然后产

为什么需要集群？1、性能Redis本身的QPS已经很高了，但是如果在一些并发量非常高的情况下，性能还是会受到影响。这个时候我们希望有更多的Redis服务来完成工作。2、扩展第二个是出于存储的考虑。因为Redis所有的数据都放在内存中，如果数据量大，很容易受到硬件的限制。升级硬件收效和成本比太低，所以我们需要有

Redis采用的是基于内存的采用的是单进程单线程模型的KV数据库，由C语言编写。官方提供的数据是可以达到100000的qps。这个数据不比采用单进程多线程的同样基于内存的KV数据库Memcached差。Redis快的主要原因是：1.完全基于内存2.数据结构简单，对数据操作也简单3.使用多路I/O复用模型第一、二点不细讲，主要

一：缓存——热数据热点数据（经常会被查询，但是不经常被修改或者删除的数据），首选是使用redis缓存，毕竟强大到冒泡的QPS和极强的稳定性不是所有类似工具都有的，而且相比于memcached还提供了丰富的数据类型可以使用，另外，内存中的数据也提供了AOF和RDB等持久化机制可以选择，要冷、热的还是忽冷忽热的都可选。结合具体应用需要注意一下：很

高并发高并发（HighConcurrency）是指系统运行过程中的一种“短时间内遇到大量操作请求”的情况，主要发生在web系统集中大量访问收到大量请求，例如淘宝双十一、京东618类的活动。该情况的发生会导致系统在这段时间内执行大量操作（对资源的请求、数据库的操作等）。高并发相关常用的一些指标有：响应时间、吞吐量、每秒查询率QPS、并发用户数

一、问题是怎么发现的最近有个新系统开发完成后要上线，由于系统调用量很大，所以先对核心接口进行了一次压力测试，由于核心接口中基本上只有纯内存运算，所以预估核心接口的压测QPS能够达到上千。压测容器配置：4C8G先从10个并发开始进行发压，结果cpu一下就飙升

背景我们应对并发场景时一般会采用下面方式去预估线程池的线程数量，比如QPS需求是1000，平均每个任务需要执行的时间是t秒，那么我们需要的线程数是t1000。但是在一些情况下，这个t是不好估算的，即便是估算出来了，在实际的线程环境上也需要进行验证和微调。比

一、背景介绍CDP系统提供了强大的标签和群体的构建能力，面对海量数据的标签和群体，我们采用了BitmapClickHouse的存储与计算方案。详细内容可以参考之前文章。有了群体之后，它们被广泛的应用到支付，消金，财富，营销等各种核心业务的用户拉新，交易转

需求背景接到重点业务需求要分轮次展示数据，预估最高承接9w的QPS，作为后端工程师下意识的就是把接口写好，分级缓存、机器扩容、线程拉满等等一系列连招准备，再因为数据更新频次两只手都数得过来，我们采取了最稳妥的处理方式，直接生成静态文件拿CDN抗量架构流程大