专栏作者：霖hero，在职爬虫工程师，熟悉JS逆向与分布式爬虫。喜欢钻研，热爱学习，乐于分享。公众号后台回复入群，拉你进技术群与大佬们近距离交流。01前言大家好，我是J哥🚀在以前的文章中我们学了Ajax数据爬取，这篇文章我们以今日头条为例，通过分析Ajax请求来抓取今日头条的街拍美图，并将图片下载到本地保存下来。准备好没，我们现在开始！0

SQL注入，就是通过把SQL命令插入到Web表单提交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。具体来说，它是利用现有应用程序，将（恶意的）SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存在安全漏洞的网站上的数据库，而不是按照设计者意图去执行SQL语句。比如先前的很多影视网站泄

爬虫什么是爬虫使用编程语言所编写的一个用于爬取web或app数据的应用程序怎么爬取数据1.找到要爬取的目标网站、发起请求2.分析URL是如何变化的和提取有用的URL3.提取有用的数据爬虫数据能随便爬取吗？遵守robots.txt协议爬虫的分类通用网络爬虫百度，Google等搜索引擎，从一些初识的URL扩展到整个网站，主要为门户站点搜索引擎和大型网站服务采

本篇文章是我在学习高并发问题时接触到的网络I/O相关知识，比较底层且纯理论，整合以作参考。下面长文预警。高并发基本表现为单位时间内系统能够同时处理的请求数核心是对CPU资源的有效压榨。注意，有效很重要。C10K问题C10K问题本质上是操作系统的问题。对于Web1.0/2.0时代的操作系统而言，传统的同步阻塞I/O模型都是一样的，

前言作为一名程序员，高并发系统是技术栈中必不可少的，高并发是指在同一个时间点，有很多用户同时的访问URL地址，比如：淘宝的双11，双12，就会产生高并发，如贴吧的爆吧，就是恶意的高并发请求，也就是DDOS攻击，再屌丝点的说法就像玩撸啊撸被ADC暴击了一样,那伤害你懂得(如果你看懂了，这个说法说明是正在奔向人生巅峰的屌

说到抓包分析，最简单的办法莫过于在客户端直接安装一个Wireshark或者Fiddler了，但是有时候由于客户端开发人员（可能是第三方）知识欠缺或者其它一些原因，无法顺利的在客户端进行抓包分析，这种情况下怎么办呢？本文中，我们将给大家介绍在服务端进行抓包分析的方法，使用tcpdump抓包，配合Wireshark对HTTP请求进行分析，非常简单有效。本

最近接到一项新的任务，其中涉及到用netty解决粘包问题，该问题解决得很顺利。下面是一些心得体会。我们知道，netty当中有boss线程和worker线程，通常是1对多的关系，可以理解为boss接到客户的请求之后，分配给其中一个worker去处理，如果客户过多，可能会出现一个worker服务多个客户的情况。这是背景。按照我的理解，粘包问题解决的关键在

文章讨论内容秒杀类的问题一直都是web领域比较热点的问题，一个超高并发的网站需要考虑从产品、前端优化、站点部署及后端服务等等所有环节进行考虑。mysql所能抗住的写压力是一定的，高并发的web站点，你需要在数据持久化之前控制好压力，而不是把所有的请求都落到数据服务这一层。今天我不在这篇文章里讨论秒杀整体设计的问题(我也没这个资格)，我们讨论

一、背景360是一家注重用户体验的公司，公司的口号是用户至上。在这么一个注重用户体验的氛围里，app的性能问题无疑是被重点关注的，同样也是造成用户流失的罪魁祸首之一。性能问题主要包含：崩溃、网络请求错误或者超时、UI响应速度慢、主线程卡顿、CPU和内存使用高、耗电量大等等。大多问题的原因在于开发者错误地使用了线程、锁、系统函数、编程规范问题、数

内核中的连接调度算法IPVS在内核中的负载均衡调度是以连接为粒度的。在HTTP协议（非持久中），每个对象从WEB服务器上获取都需要建立一个TCP连接，同一用户的不同请求会被调度到不同服务器上，所以这种细粒度的调度在一定程度上可以避免单个用户访问的突发性引起服务器间的负载不平衡。在内核中的连接调度算法上，IPVS已实现了以下八种调