一、Pandas的使用1.Pandas介绍Pandas的主要应用包括：数据读取数据集成透视表数据聚合与分组运算分段统计数据可视化Pandas的使用很灵活，最重要的两个数据类型是DataFrame和Series。对DataFrame最直观的理解是把它当成一个Excel表格文件，如下：索引是从0开始的，也

Pandas数据载入与预处理对于数据分析而言，数据大部分来源于外部数据，如常用的CSV文件、Excel文件和数据库文件等。Pandas库将外部数据转换为DataFrame数据格式，处理完成后再存储到相应的外部文件

之前画图一直在用matlibplot、pyecharts，最近学习了一个新的可视化库cufflinks，用了两天我已经深深爱上它了主要是因为它用法简单、图形漂亮、代码量少，用一两行代码，就能画出非常漂亮的图形下面我们一起来看看吧！1.用法简单cufflinks库主要和dataFrame数据结合使用，绘图函数就是dataFrame.iplot，记

因为习惯了使用pandas的DataFrame数据结构，同时pandas作为一个方便计算和表操作的数据结构具有十分显著的优势，甚至很多时候dataFrame可以作为excel在使用，而在用python操作gis的shp文件时很不顺畅，不太符合使用习惯，故写了一个DataFrame与arcgis地理文件相互转换的函数，这个处理起来可以节约大量的思考时间。S

版本说明：Spark2.3.0使用SparkSQL在对数据进行处理的过程中，可能会遇到对一列数据拆分为多列，或者把多列数据合并为一列。这里记录一下目前想到的对DataFrame列数据进行合并和拆分的几种方法。1DataFrame列数据的合并例如：我们有如下数据，想要将三列数据合并为一列，并以“,”分割

pandas是基于Numpy构建的含有更高级数据结构和工具的数据分析包类似于Numpy的核心是ndarray，pandas也是围绕着Series和DataFrame两个核心数据结构展开的。Series和DataFrame分别对应于一维的序列和二维的表结构。pandas约定俗成的导入方法如下：lang:pytho

日常在处理数据的时候，经常需要对dataframe进行重排，只取其中几列或者更改列名等操作；有两个相似的方法reindex和rename，与此记录一下常见的用法，并标注一下区别：rename：重命名，就是对col列进行命名的修改，他只改变col的名字，相当于起了个别名，原来叫col1，以后叫col2，inplaceTrue，用来保存更改，即更改了原

importpandasaspddfpd.DataFrame({"month":1,4,7,10,"year":2012,2014,2013,2014,"sale":55,40,84,31

直接上代码：packagecom.suning.scdc.hspark.goods.testimportscala.collection.Seqimportscala.collection.mutable.LinkedListimportorg.apache.spark.SparkConf

DataFrameDataFrame是Pandas的一种数据类型可以理解为n乘n的表格结构；下面是它的部分常用用法1.创建DataFramepythonimportpandasaspdimportnumpyasnpdictpd.DataFrame(data