原生Redis跨数据中心双向同步优化实践一、背景公司基于业务发展以及战略部署，需要实现在多个数据中心单元化部署，一方面可以实现多数据中心容灾，另外可以提升用户请求访问速度。需要保证多数据中心容灾或者实现用户就近访问的话，需要各个数据

前言这次咱们来玩一个在Python中很牛叉的爬虫框架——Scrapy。scrapy介绍标准介绍Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的

概述由于容器本身是非持久化的，因此需要解决在容器中运行应用程序遇到的一些问题。首先，当容器崩溃时，kubelet将重新启动容器，但是写入容器的文件将会丢失，容器将会以镜像的初始状态重新开始；第二，在通过一个Pod中一起运行的容器，通常需要共享容器之间一些文件。Kubernetes通过存储卷解决上述的两个问题。在Docker有存储卷的概念卷，但D

一.安装必要包yuminstallgcc二.linux下安装下载wgethttp://download.redis.io/releases/redis3.0.0.tar.gztarzxvfredis3.0.0.tar.gzcdredis3.0.0如果不加

redis本身有客户端，先抛出来一个问题？为什么要对redis客户端进行二次封装？大概在11年时侯，第一次接触redis,那时侯研究过redis的各种数据结构，直接拿redis的客户端jedis直接用。公司安排人要对jedis进行封装，当时就很不理解，为什么非要封装一次才可以？后来自己写框架，意识到一些东西是需要封装的，比如连接的打开和释放，比如一

Dubbo是Alibaba开源的分布式服务框架远程调用框架，在网络间传输数据，就需要通信协议和序列化。一通信协议Dubbo支持dubbo、rmi、hessian、http、webservice、thrift、redis等多种协议，但是Dubbo官网是推荐我们使用Dubbo协议的，默认也是用的dubbo协议。先介绍几种常见的协议：1\.

!(https://oscimg.oschina.net/oscnet/6efe009e8d921bf9bbd3c257f6d77bc0fb7.png)Redis键(key)Redis键命令用于管理redis的键。DELkey该命令用于在key存在时删除key。127.

!(https://img2018.cnblogs.com/blog/1143025/201909/1143025201909232339271451424046209.png)过程解析:在redis启动初始化时，redis会将连接应答处理器跟AE\_READABLE事件关联起来，接着如果一个客户端跟redis发起连接，此时会产生一个AE\_

Kafka消息的存储Kafka的设计基于一种非常简单的指导思想：不是要在内存中保存尽可能多的数据，在需要时将这些数据刷新（flush）到文件系统，而是要做完全相反的事情。所有数据都要立即写入文件系统中持久化的日志中，但不进行刷新数据的任何调用。实际中这样做意味着，数据被传输到OS内核的页面缓存中了，OS随后会将这些数据刷新到

 Kafka是一种高吞吐量的分布式发布订阅消息系统，有如下特性：通过O(1)的磁盘数据结构提供消息的持久化，这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。高吞吐量：即使是非常普通的硬件Kafka也可以支持每秒数百万的消息。支持通过Kafka服务器和消费机集群来分区消息。支持Hadoop并行数据加载。Springboot的基本搭建和配置我