Python进阶者 Python进阶者
2年前
Python网络爬虫过程中,构建网络请求的时候,参数`stream=True`的使用
大家好,我是皮皮。一、前言前几天在Python最强王者交流群【德善堂小儿推拿瑜亮老师】分享了一个关于Python网络爬虫的问题,这里拿出来给大家分享下,一起学习。二、解决过程这里【PI】大佬提出了思路,的确可行。【皮皮】给了一份代码,取巧,这里就不展示了。后来【月神】给了一份可行的代码,如下所示:forurlinallurl:respr
亚瑟 亚瑟
3年前
为什么单线程的Redis能支持高并发?
一、Redis为什么是单线程注意:redis单线程指的是网络请求模块使用了一个线程,即一个线程处理所有网络请求,其他模块仍用了多个线程。因为CPU不是Redis的瓶颈。Redis的瓶颈最有可能是机器内存或者网络带宽,既然单线程容易实现,而且CPU不会成为瓶颈,那就顺理成章地采用单线程的方案了。关于redis的性能,官方网站也有,普通笔记本轻松处理每秒几十万
陆石六 陆石六
1年前
mac最好用的抓包工具-Charles for Mac 静默安装版
作为一款强大的HTTP调试代理工具,CharlesforMac是Mac电脑上的一款非常重要的应用程序。它主要涉及到调试和监测HTTP、HTTPS、HTTP/2和WebSocket请求和响应数据的控制和跟踪功能。通过这个软件,用户可以更好地了解网络请求数据,同时也可以用于调试和测试网络应用程序的相关操作。
Stella981 Stella981
3年前
Django初识(web框架,django下载安装,http协议)
一web框架的本质及自定义web框架我们可以这样理解:所有的Web应用本质上就是一个socket服务端,而用户的浏览器就是一个socket客户端,基于请求做出响应,客户都先请求,服务端做出对应的响应,按照http协议的请求协议发送请求,服务端按照http协议的响应协议来响应请求,这样的网络通信,我们就
Stella981 Stella981
3年前
ERROR org.redisson.client.handler.CommandDecoder
一、异常出现的场景某一天下午,测试突然跑过来说,IOS系统APP访问500,Android没问题。我的第一反应是那就奇怪了,调的接口都是一样的,莫非和系统有关系。而且这个错误重启服务后,过一段时间才能出现。  通过抓接口,接口的请求参数和请求头也都没问题。异常信息如下:!(https://oscimg.oschi
Stella981 Stella981
3年前
POSTMAN在chrome中打开Chrome Developer Tools
使用POSTMAN进行测试时,如果需要查看请求和响应的详细网络请求信息,可以在POSTMAN中打开ChromeDeveloperTools,并切换到Network视图。开启步骤:1.在URL中输入:chrome://flags2.搜索"debugpackedapps"设置!(https://static.osch
Stella981 Stella981
3年前
Redis全面解析
1、什么是Redis?Redis是BSD协议,是一个高性能的keyvalue非关系型数据库。2、redis单线程问题所谓的单线程指的是网络请求模块使用了一个线程(所以不需考虑并发安全性),即一个线程处理所有网络请求,其他模块仍用了多个线程。redis采用多路复用机制:即多个网络socket复用一个io线程,实际是单个线程通过记录跟踪每一个S
Stella981 Stella981
3年前
Node.js 读本地文件和发起 POST 网络请求
最近需要使用Nodejs读取本地文件中的数据构造请求去批量请求CGI获取数据,这样就不用手工搬砖了。因为需要携带Cookie,故使用POST方法。代码//读取本地文件varfsrequire("fs");varreadlinerequire('readline');
Stella981 Stella981
3年前
Django基础一之web框架的本质
一web框架的本质及自定义web框架我们可以这样理解:所有的Web应用本质上就是一个socket服务端,而用户的浏览器就是一个socket客户端,基于请求做出响应,客户都先请求,服务端做出对应的响应,按照http协议的请求协议发送请求,服务端按照http协议的响应协议来响应请求,这样的网络通信,我们就可以自
ping命令使用及其常用参数
PING(PacketInternetGroper),因特网包探索器,用于测试网络连接量检查网络是否连通,可以很好地帮助我们分析和判定网络故障。Ping发送一个ICMP(InternetControlMessagesProtocol)即因特网信报控制协议;回声请求消息给目的地并报告是否收到所希望的ICMP echo(ICMP回声应答)。它是用来检查网络是否通畅或者网络连接速度的命令。