一下载Scrapy的下载中间件!img(https://oscimg.oschina.net/oscnet/c9260e4edb2cfc96405d332cbb8ab9fd899.png)下载中间件（DownloaderMiddlewares）位于scrapy引擎和下载器之间的一层组件。下载中间件的作用：（1）引擎请求传递

前言先讲讲本文的开发背景吧..在如今前后端分离的大背景下,咱的客户又有要求啦~要前后端分离~然因为种种原因..没办法用用纯前端的框架(其实是学习成本高,又没钱请前端开发人员)...所以最终决定了一种方案..那就是采用MVC(只处理前端视图层,单纯是为了托管在.netcore上)Webapi的方式来实现前后端分离(讲真,很奇葩)..

!(https://six.club/image/show/attachments202005lHiYbbSu5eb0fd9beeb6e.jpg)top命令算是最直观、好用的查看服务器负载的命令了。它实时动态刷新显示服务器状态信息，且可以通过交互式命令自定义显示内容，非常强大。在终端中输入top，回车后会显示如下内容：1.

MemcachedMemcached是一个高性能的分布式内存对象缓存系统，用于动态Web应用以减轻数据库负载。它通过在内存中缓存数据和对象来减少读取数据库的次数，从而提高动态、数据库驱动网站的速度。Memcached基于一个存储键/值对的hashmap(https://www.oschina.net/action/GoToLin

最近在跟https域名升级问题，遇到一个麻烦的任务，因为域名由另外的公司负责，对方公司开了一个nginx服务器做了类似的转发location/zhzw{proxy_passhttp://127.0.0.1:81/zhzw;rewrite^/zhzw

一、为何要设置UserAgentUserAgent有一些网站不喜欢被爬虫程序访问，所以会检测连接对象，如果是爬虫程序，也就是非人点击访问，它就会不让你继续访问，所以为了要让程序可以正常运行，需要隐藏自己的爬虫程序的身份。此时，我们就可以通过设置UserAg

爬虫的主要爬取方式之一是聚焦爬虫，也就是说，爬取某一个特定网站或者具有特定内容的网站，而一般比较大的有价值的网站都会有反爬策略，其中常见的反爬策略是网站根据来访者的身份判定是否予以放行。对来访者身份的判定一般基于headers里的userAgent值，每一

一、问题是怎么发现的最近有个新系统开发完成后要上线，由于系统调用量很大，所以先对核心接口进行了一次压力测试，由于核心接口中基本上只有纯内存运算，所以预估核心接口的压测QPS能够达到上千。压测容器配置：4C8G先从10个并发开始进行发压，结果cpu一下就飙升