Python爬虫常常会面临自己ip地址被封的情况,也许刚入行的小白就只能等ip解封之后再进行接下来的操作了,但是这样的方式却是最不能借鉴的，万一数据需求量大，那要等到猴年马月呢?所以今天我们就来探讨下如何创建一个IP池并对其进行管理。对刚入行的小白很有帮助,希望大家耐心看下去,需要的朋友可以参考下。很多的网站都有反爬机制，其中就有这样一条，就是服务器会检查请

对于MYSQL的INNODB存储引擎的索引，大家是不陌生的，都能想到是B树结构，可以加速SQL查询。但对于B树索引，它到底“长”得什么样子，它具体如何由一个个字节构成的，这些的基础知识鲜有人深究。本篇文章从MYSQL行记录开始说起，层层递进，包括数据页，B树聚簇索引，B树二级索引，最后在文章末尾给出MYSQL索引的建议。文章涉及较多基础知识，内容较为枯燥，因此采用较多的图片补充说明，希望能对读者有帮助。

前不久遇到一个问题，是公司早期的基础库遇到的，其实很低级，但是还是记录下来。出错点是一个IO流的写入bug，我们项目会有一种专有的数据格式，这个格式的奇葩点在于如果设置IO读缓冲区为2014字节的时候，整个文件刚好能读完，也就是说其length刚好是1024的倍数。后来在一次升级中增加了更多的文件格式，并且新的文件格式使用了新的自定义写入

一、项目说明1.项目背景一天，一朋友扔给我一个链接，让我看看这个歌商品的所有评论怎么抓取，我打开一看，好家伙，竟然有近300万条评论，不是一个小数目啊。但是仔细一看，原来有234万的评论是默认好评，还是有少部分是有价值的评价的。经过进一步观察，可以看到显然，网页中显示的只有100页数据，每页显示10条，通常可以用selenium点击每一页然后获取

当我们部署皕杰报表时，有时需要对文件赋予权限。linux文件对不同用户可以分别设置权限，管理员（root）有所有权限。文件权限解释查看路径下所有文件的命令：ll或者lsl查询结果列出了当前路径下的文件和文件夹，每行数据以相同格式显示。第一个字符常见的两种，d和，d表示文件夹，表示文件。还有l表示链接，软链接比较常见，如图：从第二个字符开始，每三个一组

注意：语句中出现的old，new，now（），都为数据库自带的关键字，此处不做解释。两种情况：    第一种：一张表中，更新某条记录的其中的一个字段，触发指定的触发器，记录时间即更新到这条记录中的另一个字段中。    第二种：两张表，当A表更新其中某条记录的某个字段时，触发指定的触发器，更新B表与A表关联的记录的某个字段。对于

数字证书采用公钥体制，即利用一对互相匹配的密钥进行加密、解密。每个用户自己设定一把特定的仅为本人所知的私有密钥(私钥)，用它进行解密和签名；同时设定一把公共密钥(公钥)并由本人公开，为一组用户所共享，用于加密和验证签名。当发送一份保密文件时，发送方使用接收方的公钥对数据加密，而接收方则使用自己的私钥解密，这样信息就可以安全无误地到达目的地了。通过数字的手段

开发国内应用当我们需要使用到地图时，首选肯定是高德地图或者百度地图，这是因为它们的地图功能足够强大，对于开发人员来说，更是因为API封装的完善和简单的调用实现，扩展功能强大。如果要开发全球通用的APP，需要集成地图，我们难免会对需要使用的地图SDK进行一番调研，百度和高德并没有全世界范围的地图数据，在亚洲或许还能使用以下，对于需要全球范围内都要

我们的对象并不只是存在内存中，还需要传输网络，或者保存起来下次再加载出来用，所以需要Java序列化技术。Java序列化技术正是将对象转变成一串由二进制字节组成的数组，可以通过将二进制数据保存到磁盘或者传输网络，磁盘或者网络接收者可以在对象的属类的模板上来反序列化类的对象，达到对象持久化的目的。如果你还不熟悉Java序列化技术，请详细阅读《关于Jav

一、云服务器是什么?云服务器是一种简单高效、安全稳定、处理能力可弹性伸缩的计算服务。简单地讲，云服务器就是虚拟的物理服务器。其管理方式比物理服务器更简单高效。通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。    好比是从古老