python爬虫实践之IP的使用
Python爬虫常常会面临自己ip地址被封的情况,也许刚入行的小白就只能等ip解封之后再进行接下来的操作了,但是这样的方式却是最不能借鉴的,万一数据需求量大,那要等到猴年马月呢?所以今天我们就来探讨下如何创建一个IP池并对其进行管理。对刚入行的小白很有帮助,希望大家耐心看下去,需要的朋友可以参考下。很多的网站都有反爬机制,其中就有这样一条,就是服务器会检查请
Irene181 Irene181
4年前
一篇文章带你全面解析不一样的线程
前言在讲今天的知识点之前,大家是否了解线程,进程和协程了,那我们先来初步了解下吧。线程中央处理器的调度单元,简单点说就是程序中的末端执行者,相当于小弟的位置。有人说python中的线程是个鸡肋,这是因为有了GIL,但是又不是一味的鸡肋,毕竟在执行io操作时还是挺管用的,只是在执行计算时就显得不尽人意。下面我们来看下线程的具体使用方法:1.导入线程模块:
Karen110 Karen110
4年前
手把手教你用Pycharm连接远程Python环境
前言本次咱们来操作一下如何在Pycharm上,使用远程服务器上的Python环境。为什么这样做?这个要从我的一次经历说起,有一次我帮朋友爬取一些东西,由于类别不同,分了几次爬取,这一次我写好规则之后,依然正常爬取,由于我本人比较善良,加上数据量目测并不是太多,并没有使用代理ip,并且将scpay的速度控制的比较慢,一般爬取时,一般也就几分钟而已,泡一杯咖
DevOpSec DevOpSec
4年前
python多线程原理和详解(一)
python多线程原理和详解线程概念1.线程是什么?线程也叫轻量级进程,是操作系统能够进行运算调度的最小单位,它被包涵在进程之中,是进程中的实际运作单位。线程自己不拥有系统资源,只拥有一点儿在运行中必不可少的资源,但它可与同属一个进程的其他线程共享进程所拥有的全部资源。一个线程可以创建和撤销另一个线程,同一个进程中的多个线程之间可以并发执行。
Stella981 Stella981
3年前
LeetCode 227场周赛题解
【GiantPandaCV导语】这是LeetCode的第227场周赛的题解,本期考察的知识点有「暴力,字符串,二进制枚举」等等。比赛链接https://leetcodecn.com/contest/weeklycontest227/题目一:检查数组是否经排序和轮转得到
可莉 可莉
3年前
15个有趣好玩的linux shell命令
今天介绍一些有趣的linuxshell命令,所有的命令都可以使用man命令名称来查看完整的使用方法。1,figlet字符画figlet可以将英文字符串以字符画的形式输出:figlethello___||___
Stella981 Stella981
3年前
Execel
数据./Monday/Play./Tuseday/Work./Wednesday/Sleep需求获取路径中首个目录的名称。方法思路转换:获取第一、第二个斜杠之间的字符串。表达式:FIND("/",A2,1)FIND("/",A2,FIND("/",A2,1)1)MID(
Stella981 Stella981
3年前
Redis配置讲解及实战
前言Redis是一个开源的内存kv数据库,同时也可用作缓存,消息队列。支持多种数据类型,如字符串,列表,字典,集合,有序集合。演示环境$unameaDarwin18.6.0DarwinKernelVersion18.6.0:ThuApr2523:16:27PDT2019;root:
Stella981 Stella981
3年前
Spring Boot 配置随机数技巧
SpringBoot支持在系统加载的时候配置随机数。添加config/random.properties文件,添加以下内容:随机32位MD5字符串user.random.secret${random.value}随机int数字user.random.intNumber${random.int}
卡里笔记 卡里笔记
3小时前
Python3流程控制入门:if条件语句/for循环/while循环,新手能直接用的代码指南
本文介绍了Python中的条件判断和循环语句,包括ifelifelse、matchcase、while循环和for循环。通过猜数字游戏、数字整除判断等示例展示了条件语句的使用,并详细说明了while和for循环的执行流程及典型应用场景。文章还提供了循环中断(break)、跳过当前循环(continue)等控制语句的使用方法,帮助读者掌握Python流程控制的核心语法。最后通过对比表格清晰呈现了不同控制语句的特性和适用场景,适合Python新手快速入门流程控制编程。