前言：之前做一个京东联盟的自动化脚本，好多人不理解为什么，这次做淘宝的自动化签名，并讲解一下实现细节，带你了解前置脚本，后置脚本的用法。自动化原理个人观点自动化就像流水线一样，通过解析固定的规则，来达到自动化。前置和后置脚本的区别（它们的功能就如同名字一样）前置脚本：在请求发送之前，你可以通过脚本来做某些事情，值得注意的是变量是在前置脚本后面才执行

今天要跟大家分享一个小说爬取案例起点小说的小说下载。在做这个案例之前，我们需要对其进行分析，1.界面分析，如图：通过分析很容易就找到了我们的get请求参数，然后获取相应页面的小说名和链接：获取到数据之后，我们就随机挑选一篇小说来进行下载，我们选第一篇，然后打开它的文章目录，可以看到是这样的，如图：基本上这篇小说很长，可以看到它卷一和卷二是免费的，后面的收费，

1.缓存来由随着互联网系统发展的逐步完善，提高系统的qps，目前的绝大部分系统都增加了缓存机制从而避免请求过多的直接与数据库操作从而造成系统瓶颈，极大的提升了用户体验和系统稳定性。2.缓存问题虽然使用缓存给系统带来了一定的质的提升，但同时也带来了一些需要注意的问题。2.1缓存穿透缓存穿透是指查询一个一定不存在的数据，因为缓存中也无该数据的信息，则会

分布式事务两阶段提交在分布式事务中，需要协调所有分布式原子事务参与者，并决定提交或回滚分布式事务，因此采用两阶段提交协议：第一阶段为请求阶段或表决阶段，事务协调者通知事务参与者准备提交或取消事务，然后进入表决过程，事务参与者将表决结果告知协调者是否同意提交事务；第二阶段是提交阶段，协调者收集到所有参与者的表决结果，当且仅当所有表决者都同意提交事务

路由是什么呢？路由即是网络数据包在网络中的传输路径，或者说数据包在传输过程中所经过的网络节点，比如路由器，代理服务器之类的。那像OkHttp3这样的网络库对于数据包的路由需要做些什么事呢？用户可以为终端设置代理服务器，HTTP/HTTPS代理或SOCK代理。OkHttp3中的路由相关逻辑，需要从系统中获取用户设置的代理服务器的地址，将HTTP请求转换为代

分布式系统的CAP理论：理论首先把分布式系统中的三个特性进行了如下归纳：●一致性（C）：在分布式系统中的所有数据备份，在同一时刻是否同样的值。（等同于所有节点访问同一份最新的数据副本）●可用性（A）：在集群中一部分节点故障后，集群整体是否还能响应客户端的读写请求。（对数据更新具备高可用性）●分区容错性（P）：以实际效果而言，分区相当于对

现在的网站用户量都很大，一台服务器包打天下的时代一去不复返了，多台服务器就存在一个问题，如何将访问用户转向不同的服务器，并且各个服务器接受的请求数大致相当呢？这就是一致性hash算法要解决的问题。一致性hash算法在负载服务器（ngnix、haproxy等）、K/V缓存系统memcache等就有相关的实现。这类的文章比较多，摘抄一篇供大家学习。jav

背景在编写业务代码时经常遇到并发执行多个任务的需求，因为串行执行太慢，会影响业务代码性能。特别对于直接面向普通用户的业务来说用户体验至关重要，保证用户体验重要的一点是要“快”。业务代码中经常需要调用其它业务接口或者同时从多个数据源取数据再处理等，这种情况下势必要走网络请求，网络消耗必不可少，最好的情况是毫秒级别，一般情况下是几十毫秒级别，甚至几百毫

为什么使用延迟消息？不同于同步消息，有些业务场景下希望可以实现延迟一定时间再消费消息。典型的场景有微信、支付宝等第三方支付回调接口，会在用户支付后3秒、5秒、30秒等等时间后向应用服务器发送回调请求，确保应用服务器可以正确收到消息。那有些朋友就会说了，把需要定时处理的数据存到数据库中用定时任务就可以实现，为什么还弄个异步消息。增加后台维护

Nginx的进程模型Nginx服务器由一个Master进程和多个Worker进程组成：Master进程：管理Worker进程。对外接口：接收外部的操作（信号）；对内转发：根据外部操作的不同，通过信号管理Worker；监听：监控Worker进程的运行状态，Worker进程异常终止后，自动重启Worker进程。Worker进程：所有Worker进程都是平等的，用于处理网络请求。进程数量：在nginx.conf中配置，一般设置为核心数，充分利用CPU资源，同时，避免进程数量过多，避免进程竞争CPU资源，增加上下文切换的损耗。