1\.为"你"而写这篇文章，是专门为那些"刚学习"Python爬虫的朋友，而专门准备的文章。希望你看过这篇文章后，能够清晰的知道整个"爬虫流程"。从而能够"独立自主"的去完成，某个简单网站的数据爬取。好了，咱们就开始整个“爬虫教学”之旅吧！2\.页面分析①你要爬取的网站是什么？首先，我们应该清楚你要爬去的网站是什么？由于这里我们想要

     反爬技术越来越成熟，为了爬取目标数据，必须对爬虫的请求进行伪装，骗过目标系统，目标系统通过判断请求的访问频次或请求参数将疑似爬虫的ip进行封禁，要求进行安全验证，通过python的第三方库faker可以随机生成header伪装请求头，并且减缓爬虫的爬取速度，能很好的避过多数目标系统的反扒机制，但对一些安全等级

↑点击上方“凹凸数据” 关注星标 文章干货！有福利 ！ 端午节快要到了，甜咸粽子之争也快要拉开帷幕。小五准备用Python爬取淘宝上的粽子数据并进行分析，看看有什么发现。（顺便送大家一波福利）爬虫爬取淘宝数据，本次采用的方法是：Selenium控制Chrome浏览器自动化操作\1\。其实我们还可以利用Ajax接口来构造链接，但是非常

1.virtual函数是基类希望派生类重新定义的函数，希望派生类继承的函数不能为虚函数。根类一般要定义虚析构函数。2.派生类只能通过派生类对象访问protected成员，不能用基类对象访问。基类定义为virtual就一直为虚函数，派生类写不写virtual都是虚函数。用做基类的类必须是已定义的。3.存在虚函数指针或引用

1、Lock  Lock功能对应关键字synchrozied功能，lock和unlock方法用于加锁和释放锁。等待锁的线程加入到等待链表中，同时阻塞线程，锁释放时，从等待链表中取出等待的线程执行，取等待的线程分公平与非公平两种方式，公平方式取第一个等待的线程，非公平方式当前正在获取锁的线程可能立刻执行，而不用加入到等待队列中，排队执行。2、Con

1为什么要写UDF函数    有时候hive自带的函数不能满足当前需要，需要自定义函数来解决问题2UDF，UDAF，UDTF的比较UDF操作作用于单个数据行，并且产生一个数据行作为输出。大多数函数都属于这一类（比如数学函数和字符串函数）。

ES6新引入了Generator函数，可以通过yield关键字，把函数的执行流挂起，为改变执行流程提供了可能，从而为异步编程提供解决方案。Generator函数组成Generator有两个区分于普通函数的部分一是在function后面，函数名之前有个\；函数内部有yield表达式。

栈帧（stackframe）是在程序的运行时栈中分配的内存块，用于特定的函数调用如果一个函数没有执行则不需要内存，当函数被调用时就需要用到内存1.传给函数的参数的值需要存储到函数能够找到它们的位置2.函数在执行过程中可能需要临时的存储空间，通过声明局部变量来分配这类临时空间，这些变量在函数内部使用，函数调用完后，就无法再访问它们

匿名函数熟悉Laravel框架（一个PHPWeb框架）的同学对匿名函数应该很熟悉，Laravel框架中有着大量匿名函数的应用场景，比如路由定义、绑定实现到接口等：//路由定义再比如Swoole中通过回调函数处理网络事件实现异步事件驱动也是匿名函数的典型应用场景：//收到请求时触发可以看到，匿名函数

Effect的概念起源从输入输出的角度理解Effect编程中的Effect起源于函数式编程中纯函数的概念纯函数是指在相同的输入下，总是产生相同的输出，并且没有任何副作用(sideeffect)的函数。副作用是指函数执行过程中对函数外部环境进行的可观察的改变