Stella981 Stella981
4年前
Python使用grequests并发发送请求
\TOC\前言requests是Python发送接口请求非常好用的一个三方库,由K神编写,简单,方便上手快。但是requests发送请求是串行的,即阻塞的。发送完一条请求才能发送另一条请求。为了提升测试效率,一般我们需要并行发送请求。这里可以使用多线程,或者协程,gevent或者aiohttp,然而使用起来,都相对麻烦。greques
Stella981 Stella981
4年前
Python基础系列讲解——TCP协议的socket编程
前言我们知道TCP协议(TransmissionControlProtocol,传输控制协议)是一种面向连接的传输层通信协议,它能提供高可靠性通信,像HTTP/HTTPS等网络服务都采用TCP协议通讯。那么网络通讯方面都会涉及到socket编程,当然也包括TCP协议。Python作为一门适应于快速开发的工具,在它浩瀚的第三方库中也一定包括了s
Stella981 Stella981
4年前
Fourinone四合一分布式计算框架整体介绍
FourInOne(中文名字“四不像”)是一个四合一分布式计算框架,在写这个框架之前,我对分布式计算进行了长时间的思考,也看了老外写的其他开源框架,当我们把复杂的hadoop当作一门学科学习时,似乎忘记了我们想解决问题的初衷:我们仅仅是想写个程序把几台甚至更多的机器一起用起来计算,把更多的cpu和内存利用上,来解决我们数量大和计算复杂的问题,当然这个过程中要
Python进阶者 Python进阶者
1年前
有没有大佬知道这种数据应该怎么抓取呀?
大家好,我是Python进阶者。一、前言前几天在Python白银交流群【王者级混子】问了一个Python网络爬虫的问题。问题如下:有没有大佬知道这种数据应该怎么抓取呀?我鼠标移到上面才会出现的数据。二、实现过程这里【Crazy】和【此类生物】给了一个指导。
Python进阶者 Python进阶者
1年前
爬取同样内容,xpath方法会比bs4要慢很多吗?
大家好,我是Python进阶者。一、前言前几天在Python白银交流群【沐子山树】问了一个Python网络爬虫的问题,问题如下:爬取同样内容,xpath方法会比bs4要慢很多吗?二、实现过程这里【Kimi】给了个思路如下:爬取网页内容时,使用XPath和B
Python进阶者 Python进阶者
1年前
Pandas我这个填充nan值为什么填充不上呢?
大家好,我是Python进阶者。一、前言前几天在Python钻石交流群【逆光】问了一个Python数据处理的问题,问题如下:请问一下,我这个填充nan值为什么填充不上呢二、实现过程这里【瑜亮老师】给了个思路如下:试试看这样,代码如下:sfmergetota
Python进阶者 Python进阶者
1年前
请问如何将带有斜纹水印pdf的转成Excel呢?
大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【wen】问了一个Python自动化办公的问题,问题如下:请问如何将带有斜纹水印pdf的转成Excel呢?目前我把pdf转成图片,根据水印的颜色进行清除,但是在脱网环境下无法将图片转
Python进阶者 Python进阶者
1年前
装anaconda默认下载路径在d盘,现在想用ipython的时候用不了了咋办?
大家好,我是Python进阶者。一、前言前几天在Python白银交流群【041】问了一个Python环境的问题,问题如下:我当初装anaconda的时候浏览器默认下载路径在d盘,现在想用ipython的时候用不了了咋办?二、实现过程这里【论草莓如何成为冻干
Python进阶者 Python进阶者
1年前
Python爬取免费IP代理时,无法解析到数据
大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【ZXS】问了一个Python网络爬虫实战问题。问题如下:我这里遇到一个问题:【爬取免费IP代理时,无法解析到数据】,我通过xpath,css定位到了元素,但是在运行时返回空列表,请
Python进阶者 Python进阶者
1年前
Python这个代码里面x=self是什么意思啊
大家好,我是Python进阶者。一、前言前几天在Python白银交流群【无敌劈叉小狗】问了一个Python基础的问题,问题如下:这个代码里面xself是什么意思啊?self到底是个什么存在呢?感觉把类本身赋值给x这个点有点抽象。二、实现过程这里【论草莓如何