Python爬虫常常会面临自己ip地址被封的情况,也许刚入行的小白就只能等ip解封之后再进行接下来的操作了,但是这样的方式却是最不能借鉴的，万一数据需求量大，那要等到猴年马月呢?所以今天我们就来探讨下如何创建一个IP池并对其进行管理。对刚入行的小白很有帮助,希望大家耐心看下去,需要的朋友可以参考下。很多的网站都有反爬机制，其中就有这样一条，就是服务器会检查请

今天要跟大家分享一个小说爬取案例起点小说的小说下载。在做这个案例之前，我们需要对其进行分析，1.界面分析，如图：通过分析很容易就找到了我们的get请求参数，然后获取相应页面的小说名和链接：获取到数据之后，我们就随机挑选一篇小说来进行下载，我们选第一篇，然后打开它的文章目录，可以看到是这样的，如图：基本上这篇小说很长，可以看到它卷一和卷二是免费的，后面的收费，

前不久遇到一个问题，是公司早期的基础库遇到的，其实很低级，但是还是记录下来。出错点是一个IO流的写入bug，我们项目会有一种专有的数据格式，这个格式的奇葩点在于如果设置IO读缓冲区为2014字节的时候，整个文件刚好能读完，也就是说其length刚好是1024的倍数。后来在一次升级中增加了更多的文件格式，并且新的文件格式使用了新的自定义写入

一、项目说明1.项目背景一天，一朋友扔给我一个链接，让我看看这个歌商品的所有评论怎么抓取，我打开一看，好家伙，竟然有近300万条评论，不是一个小数目啊。但是仔细一看，原来有234万的评论是默认好评，还是有少部分是有价值的评价的。经过进一步观察，可以看到显然，网页中显示的只有100页数据，每页显示10条，通常可以用selenium点击每一页然后获取

当我们部署皕杰报表时，有时需要对文件赋予权限。linux文件对不同用户可以分别设置权限，管理员（root）有所有权限。文件权限解释查看路径下所有文件的命令：ll或者lsl查询结果列出了当前路径下的文件和文件夹，每行数据以相同格式显示。第一个字符常见的两种，d和，d表示文件夹，表示文件。还有l表示链接，软链接比较常见，如图：从第二个字符开始，每三个一组

1、事物四大特性（ACID）1.原子性（atomicity）：一个事务必须视为一个不可分割的最小工作单元，整个事务中的所有操作要么全部提交成功，要么全部失败回滚，对于一个事务来说，不可能只执行其中的一部分操作，这就是事务的原子性。2.一致性（consistency）：数据库总数从一个一致性的状态转换到另一个一致性的状态。3.隔离性

（摘自Lua程序设计）基本：Lua语言的字符串是一串字节组成的序列。在Lua语言中，字符使用8个比特位来存储。Lua语言中的字符串可以存储包括空字符在内的所有数值代码，这意味着我们可以在字符串中存储任意的二进制数据。Lua语言中的字符串是不可变值，我们不能像C语言中那样直接改变某个字符串中的某个字符，但是我们可以通过创建一个新字符

开发国内应用当我们需要使用到地图时，首选肯定是高德地图或者百度地图，这是因为它们的地图功能足够强大，对于开发人员来说，更是因为API封装的完善和简单的调用实现，扩展功能强大。如果要开发全球通用的APP，需要集成地图，我们难免会对需要使用的地图SDK进行一番调研，百度和高德并没有全世界范围的地图数据，在亚洲或许还能使用以下，对于需要全球范围内都要

我们的对象并不只是存在内存中，还需要传输网络，或者保存起来下次再加载出来用，所以需要Java序列化技术。Java序列化技术正是将对象转变成一串由二进制字节组成的数组，可以通过将二进制数据保存到磁盘或者传输网络，磁盘或者网络接收者可以在对象的属类的模板上来反序列化类的对象，达到对象持久化的目的。如果你还不熟悉Java序列化技术，请详细阅读《关于Jav

一、云服务器是什么?云服务器是一种简单高效、安全稳定、处理能力可弹性伸缩的计算服务。简单地讲，云服务器就是虚拟的物理服务器。其管理方式比物理服务器更简单高效。通过使计算分布在大量的分布式计算机上，而非本地计算机或远程服务器中，企业数据中心的运行将与互联网更相似。这使得企业能够将资源切换到需要的应用上，根据需求访问计算机和存储系统。    好比是从古老