分布式锁面试引言tex为什么要使用分布式锁？为了保证一个方法在高并发情况下的同一时间只能被同一个线程执行，在传统单体应用单机部署的情况下，可以使用Java并发处理相关的API(如ReentrantLcok或synchroniz

1.概念：多台机器上可以执行同一个爬虫程序，实现网站数据的分布爬取2.原生的scrapy是不可以实现分布式式爬虫　　a）调度器无法共享　　b）管道无法共享3.scrapyredis组件：专门为scrapy开发的一套组件，该组件可以让scrapy实现分布式　　a）pipinstallscrapyredis4.分布式爬取的流程：

简介：由于考虑到项目后期分布式部署，所以缓存由ehcache改为redis，而redis既有单机版部署，也有分布式部署，所以二者需要兼容。1\.maven依赖<dependency<groupIdorg.crazycake</groupId<artifactIdshiroredis</artif

序不知不觉一年又要过去了，又到了写总结的时候了。盘点整体而言，今年技术层面稍微有点拓宽，跨入了外表看上去高大上的流式计算领域，打开了另外一扇窗；而基于java的分布式/微服务领域，今年变化比较大，springcloudnetflix的部分组件宣布将要进入维护阶段，而国内springcloudalibaba组件逐渐活跃起来，目前看

1、引言在中大型IM系统中，聊天消息的唯一ID生成策略是个很重要的技术点。不夸张的说，聊天消息ID贯穿了整个聊天生命周期的几乎每一个算法、逻辑和过程，ID生成策略的好坏有可能直接决定系统在某些技术点上的设计难易度。有中小型IM场景下，消息ID可以简单处理，反正只要唯一就行，而中大型场景下，因为要考虑到分布式的性能、一致性等，所以要考虑的问题

简介：由于考虑到项目后期分布式部署，所以缓存由ehcache改为redis，而redis既有单机版部署，也有分布式部署，所以二者需要兼容。1\.maven依赖<dependency<groupIdorg.crazycake</groupId<artifactIdshiroredis</artif

Mark一下StringRedisTemplate分布式锁自用javaprivatestaticfinalStringRELEASELOCKSCRIPTS"ifredis.call('get',KEYS1)ARGV1thenreturnredis.

什么是Etcd？Etcd是一个开源的、分布式的键值存储和配置系统，由CoreOS团队开发并维护。它基于Raft一致性算法，用于存储和检索关键数据，并提供了高可用性、强一致性和高性能的特性。Etcd的设计目标是为分布式系统提供共享配置、服务发现、分布式锁和协

一、Paxos是什么在分布式系统中保证多副本数据强一致性算法。没有paxos的一堆机器,叫做分布式有paxos协同的一堆机器,叫分布式系统这个世界上只有一种一致性算法，那就是Paxos…GoogleChubby的作者MikeBurrows其他一致性算法都可