1\.为"你"而写这篇文章，是专门为那些"刚学习"Python爬虫的朋友，而专门准备的文章。希望你看过这篇文章后，能够清晰的知道整个"爬虫流程"。从而能够"独立自主"的去完成，某个简单网站的数据爬取。好了，咱们就开始整个“爬虫教学”之旅吧！2\.页面分析①你要爬取的网站是什么？首先，我们应该清楚你要爬去的网站是什么？由于这里我们想要

本文章为原创文章，转载请注明，欢迎评论和改正。一，分析　　之前所用的直接通过HTML中的元素值来爬取一些网页上的数据，但是一些比较敏感的数据，很多正规网站都是通过json数据存储，这些数据通过HTML元素是爬取不到的，所以只能通过json数据的api接口来爬取数据。二，网站处理　　1，打开去哪儿网的网站https://train.qu

为什么要做性能优化？性能优化有多重要？网站的性能对于用户的留存率、转化率有很大的影响，直白的说，提高网站的性能可以直接提高网站带来的收益。性能优化的分类前端的性能优化主要分为两类：1.加载时优化；2.运行时优化；例如压缩文件、使用CDN加载静态资源属于加载时优化；及时的解绑事件、减少DOM的操作属于运行时优化。吉

为什么要做性能优化？性能优化有多重要？网站的性能对于用户的留存率、转化率有很大的影响，直白的说，提高网站的性能可以直接提高网站带来的收益。性能优化的分类前端的性能优化主要分为两类：1.加载时优化；2.运行时优化；例如压缩文件、使用CDN加载静态资源属于加载时优化；及时的解绑事件、减少DOM的操作属于运行时优化。吉

正文现在很多网站都上了各种前端反爬手段，无论手段如何，最重要的是要把包含反爬手段的前端javascript代码加密隐藏起来，然后在运行时实时解密动态执行。动态执行js代码无非两种方法，即eval和Function。那么，不管网站加密代码写的多牛，我们只要将这两个方法hook住，即可获取到解密后的可执行js代码。注意，有些网站会检测eval和Functi

基础环境装好宝塔服务宝塔里装好【Python项目管理器】宝塔里装好【Nginx】把Django项目代码发到服务器把代码放到服务器上有两种方法：方法一：服务器上安装Git，通过GitClone代码到服务器上方法二：通过宝塔的FTP工具把代码上传上去

1\.缓存的收益与成本  1.收益：通过缓存加速读写速度。在内存中读写比硬盘速度快降低数据库服务器的负载。比如业务端的请求的数据大多数都由Redis服务器来处理，大大减轻MySQL服务器的压力  2.成本：数据不一致问题，比如Redis服务器与数据库服务器之间的某些数据可能会发

任擎服务器CentOS版安装配置指南下面是安装和配置任擎服务器centos版的详细操作说明：第一步：下载并初始化任擎服务器点击下面的链接下载任擎服务器centos版本最新的绿色安装包：http://taskbuilder.osscnbeijing.aliy

任擎服务器macOS版安装配置指南下面是安装和配置任擎服务器macOS版的详细操作说明：第一步：下载并初始化任擎服务器点击下面的链接下载任擎服务器macOS版本最新的绿色安装包：http://taskbuilder.osscnbeijing.aliyunc

TaskBuilder主界面介绍TaskBuilder的主界面分为如下图所示的7个区域：这7个区域的作用简要介绍如下：2、服务器设置：在此查看和设置任擎服务器的信息。应用系统的代码都是保存在任擎服务器上的，TaskBuilder必须连接任擎服务器才能进行相