菜鸟阿都 菜鸟阿都
4年前
创建免费ip代理池
     反爬技术越来越成熟,为了爬取目标数据,必须对爬虫的请求进行伪装,骗过目标系统,目标系统通过判断请求的访问频次或请求参数将疑似爬虫的ip进行封禁,要求进行安全验证,通过python的第三方库faker可以随机生成header伪装请求头,并且减缓爬虫的爬取速度,能很好的避过多数目标系统的反扒机制,但对一些安全等级
Wesley13 Wesley13
4年前
SQL 基础知识总结(1)
终于可以静下心来系统看一下SQL的东西,为了查阅方便特此记录,以下都是基于SQL必知必会教材,若能提出意见,不胜感激~~select语句通常用于从表中检索数据,最主要的无非就是select...from...where...,然后在根据自己的需要添加一下字段、检索条件等等,如果省略了from子句后就是简单的访问和处理表达式,如select3\2将返回
Stella981 Stella981
4年前
Hexo+Kaze+Gitee Pages 搭建静态博客网站
前言建网站本身是一个很大的工程,涉及前端页面的搭建,网站数据的存储,还要购置服务器资源,甚至是后期的维护,过程相当繁琐。不过如果仅仅是想搭建个人的网站,写写博客,想要美观,又不想操心太多和写博客无关的事情。那么,HexoKazeGiteePages的方式就很适合你。本文就讲下如何借助这三样免费的技术或服务,来搭建一个可访问的
Wesley13 Wesley13
4年前
Stella981 Stella981
4年前
Hive、Inceptor数据倾斜详解及解决
一、倾斜造成的原因正常的数据分布理论上都是倾斜的,就是我们所说的2080原理:80%的财富集中在20%的人手中,80%的用户只使用20%的功能,20%的用户贡献了80%的访问量。俗话是,一个人累死,其他人闲死的局面这也违背了并行计算的初衷,首先一个节点要承受着巨大的压力,而其他节点计算完毕后要
Wesley13 Wesley13
4年前
Mysql双主热备+LVS+Keepalived高可用操作记录
MySQL复制能够保证数据的冗余的同时可以做读写分离来分担系统压力,如果是主主复制还可以很好的避免主节点的单点故障。然而MySQL主主复制存在一些问题无法满足我们的实际需要:未提供统一访问入口来实现负载均衡,如果其中master宕掉的话需要手动切换到另外一个master,而不能自动进行切换。前面介绍了MysqlKeepalived双主热备高可用方案记录
Stella981 Stella981
4年前
30.Docker 控制组
Docker控制组控制组是Linux容器机制的另外一个关键组件,负责实现资源的审计和限制。它提供了很多有用的特性;以及确保各个容器可以公平地分享主机的内存、CPU、磁盘IO等资源;当然,更重要的是,控制组确保了当容器内的资源使用产生压力时不会连累主机系统。尽管控制组不负责隔离容器之间相互访问、处理数据和进程,它在防
Stella981 Stella981
4年前
Oauth2.0 认证的Web api例子
Oauth2.0的解释OAuth(开放授权)是一个开放标准,允许用户授权第三方移动应用访问他们存储在另外的服务提供者上的信息,而不需要将用户名和密码提供给第三方移动应用或分享他们数据的所有内容。OAuth是一个关于授权(Authorization)的开放网络标准,目前的版本是2.0版。注意是Authorization(授权),而不
Stella981 Stella981
4年前
35道面向初中级前端的基础面试题
如需获取完整版229页PDF面试题,请直接滑到文末。1\.什么是同源策略?同源策略可防止JavaScript发起跨域请求。源被定义为协议、主机名和端口号的组合。此策略可防止页面上的恶意脚本通过该页面的文档对象模型,访问另一个网页上的敏感数据。参考资料:浏览器的同源策略(https://www.oschina.
混世魔王 混世魔王
2年前
从url的标准构成看访问皕杰报表的url组成
什么是URL?URL是英文UniformResourceLocator的简写,译为统一资源定位器。URL为每一页网页确定了唯一的网络地址。URL包含的信息定位了文件的位置以及指定了浏览器应该怎么处理它。它是由蒂姆·伯纳斯李发明用来作为万维网的地址的,现在它