【Part1——理论篇】大家好，我是皮皮。试想一个问题，如果我们要抓取某个微博大V微博的评论数据，应该怎么实现呢？最简单的做法就是找到微博评论数据接口，然后通过改变参数来获取最新数据并保存。首先从微博api寻找抓取评论的接口，如下图所示。但是很不幸，该接口频率受限，抓不了几次就被禁了，还没有开始起飞，就凉凉了。接下来小编又选择微博的移动端网站，先登录，然后找

写之前稍微说一下我对爬与反爬关系的理解一、什么是爬虫   爬虫英文是splider，也就是蜘蛛的意思，web网络爬虫系统的功能是下载网页数据，进行所需数据的采集。主体也就是根据开始的超链接，下载解析目标页面，这时有两件事，一是把相关超链接继续往容器内添加，二是解析页面目标数据，不断循环，直到没有url解析为止。举个栗子：我现在要爬取苏宁手机价

缘起：　　公司领导让我做一个测试的demo，功能大概是这样的：用户通过微信扫一扫登陆网站，如果用户登录过则直接进入主界面，否则就保留在登录界面。实现方法：　　首先先把网站地址生成个二维码，在扫描二维码后去获取Cookie如果有值那么就证明登录过直接跳转到主界面，如果Cookie不存在用户通过登录记录的用户信息并保存到Cookie。什么是Cookie：　　储存

一、原理反射机制的原理JAVA反射机制是在运行状态中，对于任意一个类，都能够知道这个类的所有属性和方法；对于任意一个对象，都能够调用它的任意一个方法和属性；这种动态获取的信息以及动态调用对象的方法的功能称为java语言的反射机制。工厂模式自述所谓工厂模式，是说由某个产品类接口、产品实现类、工厂类、客户端(单元测试主类)构成的一个模式，大程度的降低了代码的

动态路由定义：各个路由器之间运行某种协议（算法），通过收发数据包的形式获取未知路径（路由器交换信息）。动态路由的特点减少了管理任务占用了网络带宽动态路由协议概述路由器协议：路由器之间用来交换信息的语言。度量值：跳数、带宽、负载、时延、可靠性、成本路由器通过度量值来确定最优路由路径收敛使所有路由表都达到一致状态的过程静态路由和动态路由的关系网络中静态路由和动态

缓存是什么缓存是一个到处都存在的用空间换时间的例子。通过使用多余的空间，我们能够获取更快的速度。我们通常意义上说的缓存主要包含两部分。第一个是用户浏览器端的缓存，第二个是服务器端为了提高访问速度而加的CDN。首先，看看没有网站没有接入CDN时，用户浏览器与服务器是如何交互的：!q111.png(https://oscimg.o

微服务网关在微服务架构中，后端服务往往不直接开放给调用端，而是通过一个API网关根据请求的url，路由到相应的服务。当添加API网关后，在第三方调用端和服务提供方之间就创建了一面墙，这面墙直接与调用方通信进行权限控制，后将请求均衡分发给后台服务端。为什么需要APIGateway1\.简化客户端调用复杂度在微服

摘要：童年时候，我们会对着墙上挂着的中国地图，来认识一处处山川河流和城市人文。如今，数字化时代下，传统的地图已经不能满足人们的需求，如何获取各种丰富的地理内容和实时动态信息成为现代人普遍的地理信息诉求。作为国家基础地理信息公共服务平台，天地图集成了来自国家、省、市（县）各级测绘地理信息部门，以及相关政府部门、企事业单位、社会团体、公众的地理信息

内核中的连接调度算法IPVS在内核中的负载均衡调度是以连接为粒度的。在HTTP协议（非持久中），每个对象从WEB服务器上获取都需要建立一个TCP连接，同一用户的不同请求会被调度到不同服务器上，所以这种细粒度的调度在一定程度上可以避免单个用户访问的突发性引起服务器间的负载不平衡。在内核中的连接调度算法上，IPVS已实现了以下八种调

祖传代码不敢随意改动，影响范围无法评估。并且组内时常有因为修改了某块代码，导致其他业务受到影响，产生bug，影响生产。2.研发提测完成后，测试进入测试后经常会向研发询问本次需求改动影响范围，以此来确定测试用例，以达到精准测试，提升整个需求的质量，缩短交付周期。那么，如何才能规避这种隐患？有没有一种工具能够协助代码研发及review人员更加精确的判断当前代码改动影响范围，有没有一种方法能够提供除了业务逻辑条件验证，针对代码作用范围，给测试人员提供精确验证链路？