Python爬虫常常会面临自己ip地址被封的情况,也许刚入行的小白就只能等ip解封之后再进行接下来的操作了,但是这样的方式却是最不能借鉴的，万一数据需求量大，那要等到猴年马月呢?所以今天我们就来探讨下如何创建一个IP池并对其进行管理。对刚入行的小白很有帮助,希望大家耐心看下去,需要的朋友可以参考下。很多的网站都有反爬机制，其中就有这样一条，就是服务器会检查请

今天要跟大家分享一个小说爬取案例起点小说的小说下载。在做这个案例之前，我们需要对其进行分析，1.界面分析，如图：通过分析很容易就找到了我们的get请求参数，然后获取相应页面的小说名和链接：获取到数据之后，我们就随机挑选一篇小说来进行下载，我们选第一篇，然后打开它的文章目录，可以看到是这样的，如图：基本上这篇小说很长，可以看到它卷一和卷二是免费的，后面的收费，

前不久遇到一个问题，是公司早期的基础库遇到的，其实很低级，但是还是记录下来。出错点是一个IO流的写入bug，我们项目会有一种专有的数据格式，这个格式的奇葩点在于如果设置IO读缓冲区为2014字节的时候，整个文件刚好能读完，也就是说其length刚好是1024的倍数。后来在一次升级中增加了更多的文件格式，并且新的文件格式使用了新的自定义写入

对于MYSQL的INNODB存储引擎的索引，大家是不陌生的，都能想到是B树结构，可以加速SQL查询。但对于B树索引，它到底“长”得什么样子，它具体如何由一个个字节构成的，这些的基础知识鲜有人深究。本篇文章从MYSQL行记录开始说起，层层递进，包括数据页，B树聚簇索引，B树二级索引，最后在文章末尾给出MYSQL索引的建议。文章涉及较多基础知识，内容较为枯燥，因此采用较多的图片补充说明，希望能对读者有帮助。

一、项目说明1.项目背景一天，一朋友扔给我一个链接，让我看看这个歌商品的所有评论怎么抓取，我打开一看，好家伙，竟然有近300万条评论，不是一个小数目啊。但是仔细一看，原来有234万的评论是默认好评，还是有少部分是有价值的评价的。经过进一步观察，可以看到显然，网页中显示的只有100页数据，每页显示10条，通常可以用selenium点击每一页然后获取

当我们部署皕杰报表时，有时需要对文件赋予权限。linux文件对不同用户可以分别设置权限，管理员（root）有所有权限。文件权限解释查看路径下所有文件的命令：ll或者lsl查询结果列出了当前路径下的文件和文件夹，每行数据以相同格式显示。第一个字符常见的两种，d和，d表示文件夹，表示文件。还有l表示链接，软链接比较常见，如图：从第二个字符开始，每三个一组

注意：语句中出现的old，new，now（），都为数据库自带的关键字，此处不做解释。两种情况：    第一种：一张表中，更新某条记录的其中的一个字段，触发指定的触发器，记录时间即更新到这条记录中的另一个字段中。    第二种：两张表，当A表更新其中某条记录的某个字段时，触发指定的触发器，更新B表与A表关联的记录的某个字段。对于

开发国内应用当我们需要使用到地图时，首选肯定是高德地图或者百度地图，这是因为它们的地图功能足够强大，对于开发人员来说，更是因为API封装的完善和简单的调用实现，扩展功能强大。如果要开发全球通用的APP，需要集成地图，我们难免会对需要使用的地图SDK进行一番调研，百度和高德并没有全世界范围的地图数据，在亚洲或许还能使用以下，对于需要全球范围内都要

我们的对象并不只是存在内存中，还需要传输网络，或者保存起来下次再加载出来用，所以需要Java序列化技术。Java序列化技术正是将对象转变成一串由二进制字节组成的数组，可以通过将二进制数据保存到磁盘或者传输网络，磁盘或者网络接收者可以在对象的属类的模板上来反序列化类的对象，达到对象持久化的目的。如果你还不熟悉Java序列化技术，请详细阅读《关于Jav

一、云服务器是什么?云服务器是一种简单高效、安全稳定、处理能力可弹性伸缩的计算服务。简单地讲，云服务器就是虚拟的物理服务器。其管理方式比物理服务器更简单高效。通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。    好比是从古老