盘点一个Python网络爬虫过程中中文乱码的问题

Python进阶者
• 阅读 695

大家好,我是皮皮。

一、前言

前几天在Python黄金交流群有个叫【Mt.Everest】的粉丝问了一个关于Python网络爬虫过程中中文乱码的问题,这里拿出来给大家分享下,一起学习。

盘点一个Python网络爬虫过程中中文乱码的问题

二、解决过程

这个问题其实很早之前,我就写过相关文章,而且屡试不爽。

盘点一个Python网络爬虫过程中中文乱码的问题

【Python进阶者】解答

这里给出了两个思路,照着这个思路去的话,问题不大。

盘点一个Python网络爬虫过程中中文乱码的问题

事实上并不巧,还是翻车了。

【黑脸怪】解答

许多群友也尝试去运行代码解决,但是还是翻车了,好在有【黑脸怪】大佬。

盘点一个Python网络爬虫过程中中文乱码的问题

【黑脸怪】大佬一出手,就知道有没有。

盘点一个Python网络爬虫过程中中文乱码的问题

看上去确实是搞定了,真是太强了。

盘点一个Python网络爬虫过程中中文乱码的问题

其实这里【黑脸怪】大佬把params这个参数去掉了,其他的就没做了。

盘点一个Python网络爬虫过程中中文乱码的问题

后来【Mt.Everest】亲测,确实可以了!

盘点一个Python网络爬虫过程中中文乱码的问题

后来仔细看了下response数据,发现确实是不需要加params参数。

盘点一个Python网络爬虫过程中中文乱码的问题

后来问题迎刃而解了。

盘点一个Python网络爬虫过程中中文乱码的问题

小伙伴们直呼好家伙!

盘点一个Python网络爬虫过程中中文乱码的问题

三、总结

大家好,我是皮皮。这篇文章基于粉丝提问,针对一个Python网络爬虫过程中中文乱码的问题,给出了具体说明和演示。其实来说的话,使用r.encoding = r.apparent_encoding编码方式可以解决大多数的中文乱码问题,但是一些细节方面还是需要多多注意的。

最后感谢粉丝【Mt.Everest】提问,感谢【黑脸怪】大佬给出的示例和代码支持,感谢粉丝【孙文】、【PI】、【dcpeng】、【东哥】、【磐奚鸟】、【🌑(这是月亮的背面)】等人参与学习交流。

小伙伴们,快快用实践一下吧!如果在学习过程中,有遇到任何问题,欢迎加我好友,我拉你进Python学习交流群共同探讨学习。

点赞
收藏
评论区
推荐文章
blmius blmius
3年前
MySQL:[Err] 1292 - Incorrect datetime value: ‘0000-00-00 00:00:00‘ for column ‘CREATE_TIME‘ at row 1
文章目录问题用navicat导入数据时,报错:原因这是因为当前的MySQL不支持datetime为0的情况。解决修改sql\mode:sql\mode:SQLMode定义了MySQL应支持的SQL语法、数据校验等,这样可以更容易地在不同的环境中使用MySQL。全局s
Python进阶者 Python进阶者
2年前
Python网络爬虫中重新请求,请问有什么比较好的解决方法?
大家好,我是皮皮。一、前言前几天在Python钻石群有个叫【某嘟】的粉丝问了一个关于Python网络爬虫中重新请求的问题,这里拿出来给大家分享下,一起学习。二、解决过程这里【DIY】大佬给了一个思路,确实可行。不过后来她自己又找到了一个更好的方法,找到一个HTTPAdapter可以实现超时重试,大概用法如下:fromrequests.adapter
Python进阶者 Python进阶者
2年前
编写一个闭包函数,要实现的功能是计数功能
大家好,我是皮皮。一、前言前几天在Python最强王者交流群有个叫【杰】的粉丝问了一个Python装饰器的问题,这里拿出来给大家分享下,一起学习下。二、解决过程这里【东哥】给出了解答,其实这个题目就是在考你装饰器的内容。代码如下:count0defwrapper(func):definner(args,kwargs):g
Python进阶者 Python进阶者
2年前
Python中的and和or,结果让人出乎意料之外
大家好,我是皮皮。一、前言前几天在Python最强王者交流群有个叫【Chloe】的粉丝问了一个Python基础的问题,关于and和or,这里拿出来给大家分享下,一起学习下。二、解决过程这里【杰】给出了解答,其实Python中,除括号外,and优先级较高,那么这里的话【瑜亮老师】也给出了解答,确实没有括号,表达式从左往右运算,and比or优先级高,先算an
Python进阶者 Python进阶者
2年前
Python网络爬虫过程中,构建网络请求的时候,参数`stream=True`的使用
大家好,我是皮皮。一、前言前几天在Python最强王者交流群【德善堂小儿推拿瑜亮老师】分享了一个关于Python网络爬虫的问题,这里拿出来给大家分享下,一起学习。二、解决过程这里【PI】大佬提出了思路,的确可行。【皮皮】给了一份代码,取巧,这里就不展示了。后来【月神】给了一份可行的代码,如下所示:forurlinallurl:respr
Python进阶者 Python进阶者
3年前
盘点3种Python网络爬虫过程中的中文乱码的处理方法
大家好,我是Python进阶者。前几天给大家分享了一些乱码问题的文章,感兴趣的小伙伴可以前往:,这里再次给大家祭出网络爬虫过程中三种中文乱码的处理方案,希望对大家的学习有所帮助。前言前几天有个粉丝在Python交流群里问了一道关于使用Python网络爬虫过程中中文乱码的问题,如下图所示。看上去确实头大,对于爬虫初学者来说,这个乱码摆在自己面前,犹如拦路虎一
Python进阶者 Python进阶者
7个月前
盘点3种Python网络爬虫过程中的中文乱码的处理方法
大家好,我是Python进阶者。前几天给大家分享了一些乱码问题的文章,感兴趣的小伙伴可以前往:,这里再次给大家祭出网络爬虫过程中三种中文乱码的处理方案,希望对大家的学习有所帮助。前言前几天有个粉丝在Python交流群里问了一道关于使用Python网络爬虫过
Python进阶者 Python进阶者
1年前
盘点一个Python网络爬虫抓取股票代码问题(上篇)
大家好,我是皮皮。一、前言前几天在Python白银群【厚德载物】问了一个Python网络爬虫的问题,这里拿出来给大家分享下。二、实现过程这个问题其实for循环就可以搞定了,看上去粉丝的代码没有带请求头那些,导致获取不到数据。后来【瑜亮老师】、【小王子】给了
Python进阶者 Python进阶者
1年前
盘点一个Python网络爬虫抓取股票代码问题(下篇)
大家好,我是皮皮。一、前言前几天在Python白银群【厚德载物】问了一个Python网络爬虫的问题,这里拿出来给大家分享下。二、实现过程这个问题其实for循环就可以搞定了,看上去粉丝的代码没有带请求头那些,导致获取不到数据。后来【瑜亮老师】、【小王子】给了
Python进阶者 Python进阶者
10个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这