菜鸟小欧 菜鸟小欧
4年前
爬取软件工程师相关信息
爬取有关软件工作的信息importreimportrequestsfrompymysqlimportconnectfrombs4importBeautifulSoup定义数据库的连接函数connconnect(user"root",password"root",host"localhost",database"python",
Python进阶者 Python进阶者
1年前
系统提取的部分数据存在异常,Python填充有其他更简单的方法么?
大家好,我是皮皮。一、前言前几天在Python最强王者群【wen】问了一个Python自动化办公的问题,一起来看看吧。请教问题:友信平台因为系统提取的部分数据存在异常,导出的数据经常缺失客户名,但是客户账号是准确的,如果实现客户名自动填充?解决思路:1单独
小万哥 小万哥
1年前
学习如何使用 Python 连接 MongoDB: PyMongo 安装和基础操作教程
Python可以用于数据库应用程序。最流行的NoSQL数据库之一是MongoDBMongoDBMongoDB将数据存储在类似JSON的文档中,使数据库非常灵活和可扩展。您可以在上下载免费的MongoDB数据库PyMongoPython需要一个MongoDB
Python进阶者 Python进阶者
1年前
盘点一个Python自动化办公Excel数据处理的需求
大家好,我是Python进阶者。一、前言前几天在Python白银交流群【干锅牛蛙】问了一个Python处理Excel数据的问题。问题如下:有两个问题哈:1、表头有合并单元格识别不出来,如何处理类似下图2、遇到单元格有公式自动识别成了0,如何处理,保留计算后
Python进阶者 Python进阶者
1年前
想分组聚合各省的条数、总额,及其平均数或者占比的话,Python方便还是slq方便?
大家好,我是Python进阶者。一、前言前几天在Python最强王者交流群【斌】问了一个数据处理的问题。问题如下:求教大佬:我有全国的明细5000条,其中一个字段是省(直辖市),如果我想分组聚合各省的条数、总额,及其平均数或者占比的话,Python方便还是
Python进阶者 Python进阶者
1年前
请问我用cpca三方库解析地址,但是总会漏一部分解析不出来?
大家好,我是Python进阶者。一、前言前几天在Python钻石交流群【逆光】问了一个Python数据处理的问题,问题如下:请问我用cpca三方库解析地址,但是总会漏一部分解析不出来,请问这个咋整呀?我处理了,就是还剩这14个,请问要咋处理呀?二、实现过程
Python进阶者 Python进阶者
11个月前
我用cpca 截取地址中的省市区,突然就乱了,这是什么原因
大家好,我是Python进阶者。一、前言前几天在Python钻石交流群【逆光】问了一个Python数据处理的问题,问题如下:请问一下我用cpca截取地址中的省市区,突然就乱了,这是什么原因?二、实现过程这里【瑜亮老师】给了个思路如下:看着好像是行弄乱了。【
Python进阶者 Python进阶者
9个月前
为啥chrome查看到网页,只有5000多行,应该有1万多行才对
大家好,我是皮皮。一、前言前几天在Python白银交流群【磐奚鸟】问了一个Python网络爬虫处理的问题,这里拿出来给大家分享下。二、实现过程这里【惜君】给了一个指导,可能网站有限制数据量。这里【瑜亮老师】发现了问题所在,如下图所示:数据方面确实存在,顺利
小白学大数据 小白学大数据
7个月前
网络延迟对Python爬虫速度的影响分析
Python爬虫因其强大的数据处理能力和灵活性而被广泛应用于数据抓取和网络信息收集。然而,网络延迟是影响爬虫效率的重要因素之一。本文将深入探讨网络延迟对Python爬虫速度的影响,并提供相应的代码实现过程,以帮助开发者优化爬虫性能。网络延迟的定义与影响网络
小白学大数据 小白学大数据
2个月前
Python爬虫多次请求后被要求验证码的应对策略
在互联网数据采集领域,Python爬虫是一种强大的工具,能够帮助我们高效地获取网页数据。然而,在实际应用中,许多网站为了防止恶意爬取,会在检测到频繁请求时要求用户输入验证码。这无疑给爬虫的正常运行带来了挑战。本文将详细介绍Python爬虫在多次请求后被要求