Aidan075 Aidan075
3年前
用python重温统计学基础:描述性统计分析
描述性统计分析(DescriptionStatistics)是通过图表或数学方法,对数据资料进行整理、分析,并对数据的分布状态、数字特征和随机变量之间的关系进行估计和描述的方法。描述性统计分析分为集中趋势分析和离中趋势分析。提到用python来进行描述性统计分析,第一反应就是用:dataframe.describe(),我们不妨用一组数据来展示:
Aidan075 Aidan075
3年前
分享5个高效的pandas函数!
熟练掌握pandas函数都能帮我们在数据分析过程中节省时间。pandas还有很多让人舒适的用法,这次就为大家介绍5个pandas函数!本文来源towardsdatascience,作者SonerYıldırım,由Python大数据分析编译。1\.explodeexplode用于将一行数据展开成多行。比如说dataframe中某一行其中一个元素包含多个同
Stella981 Stella981
3年前
SparkSql学习1 —— 借助SQlite数据库分析2000万数据
总所周知,Spark在内存计算领域非常强势,是未来计算的方向。Spark支持类Sql的语法,方便我们对DataFrame的数据进行统计操作。但是,作为初学者,我们今天暂且不讨论Spark的用法。我给自己提出了一个有意思的思维游戏:Java里面的随机数算法真的是随机的吗?好,思路如下:1\.取样,利用Java代码随机生成2000万条01
Stella981 Stella981
3年前
Python3环境通过JDBC访问非Kerberos环境的Hive
1.文档编写目的在前面Fayson介绍了在Python2的环境下《如何使用PythonImpyla客户端连接Hive和Impala》,本篇文章Fayson主要介绍在Python3的环境下使用Impyla访问非Kerberos环境下的Hive以及将获取到的结果集转换为Pandas的DataFrame。内容
Python进阶者 Python进阶者
1年前
盘点一个多Excel表格数据合并的实战案例
大家好,我是皮皮。一、前言前几天在Python最强王者交流群【哎呦喂是豆子~】问了一个Python自动化办公的问题,一起来看看吧。大佬们请问下这个数据怎么实现存在n个dataframe数据,想把数据写到同一个工作簿同一个sheet里面的,但是一直数据追加不
Python进阶者 Python进阶者
5个月前
这种嵌套字典类型的数据,我想把它读取到df里,如何操作?
大家好,我是皮皮。一、前言前几天在Python最强王者交流群【WYM】问了一个Pandas处理的问题,提问截图如下:原始数据:pythontempdict()temp这里他自己给了一个思路,使用pd.DataFrame(之后再进行转置一下即可。得到如下预期
Python进阶者 Python进阶者
2年前
我把一个json格式的数据读到dataframe里面了 怎么解析出自己需要的字段呢?
大家好,我是皮皮。一、前言前几天在Python最强王者交流群【WYM】问了一个pandas处理的问题,提问截图如下:!(https://uploadimages.jianshu.io/upload_images/26239789
Python进阶者 Python进阶者
1年前
在dataframe中怎么去除这种不合规的时间啊?
大家好,我是皮皮。一、前言国庆期间在Python钻石交流群【静惜】问了一个Pandas处理的问题,提问截图如下:!(https://uploadimages.jianshu.io/upload_images/26239789d2
Python进阶者 Python进阶者
1年前
盘点一个Pandas中df转列表处理基础知识
大家好,我是皮皮。一、前言前几天在Python黄金群【东哥】问了一个Pandas基础的问题,这里拿出来给大家分享下。大佬们,我有这样的一个df:dfpd.DataFrame("城市":可以看到【逸】、【此类生物】、【巭孬嫑勥烎】、【Python进阶者】都有