写之前稍微说一下我对爬与反爬关系的理解一、什么是爬虫   爬虫英文是splider，也就是蜘蛛的意思，web网络爬虫系统的功能是下载网页数据，进行所需数据的采集。主体也就是根据开始的超链接，下载解析目标页面，这时有两件事，一是把相关超链接继续往容器内添加，二是解析页面目标数据，不断循环，直到没有url解析为止。举个栗子：我现在要爬取苏宁手机价

前言这次咱们来玩一个在Python中很牛叉的爬虫框架——Scrapy。scrapy介绍标准介绍Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架，非常出名，非常强悍。所谓的框架就是一个已经被集成了各种功能（高性能异步下载，队列，分布式，解析，持久化等）的具有很强通用性的项目模板。对于框架的学习，重点是要学习其框架的特性、各个功能的

1.Java集合1.1集合应用场景1.无法预测存储数据的数量的情况下，2.同时存储一对一关系的数据3.需要进行数据的增删4.数据重复问题1.2集合框架的体系结构集合框架分为两类，一是Collection，用于存储类的对象。二是Map，以键值对的形式存储信息。Collection主要有三个子接口，List(序列)，Queue(队列

Java多线程之线程池7大参数详解目录企业面试题线程池7大参数源码线程池7大参数详解底层工作原理详解线程池的4种拒绝策略理论简介面试的坑：线程池实际中使用哪一个？1\.企业面试题线程池的工作原理，几个重要参数，然后给了具体几个参数分析线程池会怎么做，最后问阻塞队列用是什么？线程池的构造类的方

1、数据结构有什么作用？当使用Java里面的容器类时，你有没有想过，怎么ArrayList就像一个无限扩充的数组，也好像链表之类的。很好使用，这就是数据结构的用处，只不过你在不知不觉中使用了。数据结构内容比较多，细细的讲解也是相对费功夫的，不可能达到一蹴而就。我就将常见的数据结构：堆栈、队列、数组、链表和红黑树给大家介绍一下，作

本次发布增强了Saga在spring下的支持，使用kafka提供重试以及重试失败后放入丢弃队列里Saga是用来在微服务中的长事务管理，具备ACID中的ACD，不具备I，隔离性。在一定业务条件下，可以使用Saga非常简单和方便的管理微服务事务。同理，也可以用于管理多库事务Saga要求微服务提供回滚操作，然后如果需要回滚，有Saga编排调度各个微服务对应

通过I/O在线程间进行通信通常很有用。提供线程功能的类库以“管道”的形式对线程间的I/O提供了支持。它们在JavaI/O类库中的对应物就是PipedWriter（允许任务向管道写）和PipedReader（允许不同的任务从同一个管道中读取）。这个模型可以看做是“生产者消费者”问题的变体，这里的管道就是一个封装好的解决方案。管道基本上是一个阻塞队列，

一、如何判断对象时候需要回收1.引用计数法        给对象添加一个引用计数器，每当有一个地方引用它，计数器加1；引用失效时，计数器减1。计数器为0的对象就表示不可用。      优点：效率高，实现简单。      缺点：对象间如果存在循环引用的情况，就会导致计数器不可能为0，计数器无法通知GC进行回收。2.可达性分析算法

上次我们讲到如何实现一个可更新的进度通知，实现的方式是启动一个线程模拟一个下载任务，然后根据任务进度向UI线程消息队列发送进度消息，UI线程根据进度消息更新通知的UI界面。可是在实际应用中，我们一般会将上传、下载等比较耗时的后台任务以服务的形式运行，更新进度通知也是交由后台服务来完成的。不过有的时候，除了在通知里面显示进度信息，我们也要在Activit

1、引言消息是互联网信息的一种表现形式，是人利用计算机进行信息传递的有效载体，比如即时通讯网坛友最熟悉的即时通讯消息就是其具体的表现形式之一。消息从发送者到接收者的典型传递方式有两种：1）一种我们可以称为即时消息：即消息从一端发出后（消息发送者）立即就可以达到另一端（消息接收者），这种方式的具体实现就是平时最常见的IM聊天消息；