我用Python分析1585家电商车厘子销售数据，发现这些秘密

图片来源：互联网

大家好，我是J哥~

众所周知，中国是智利车厘子最主要的出口对象，占据了其95%的市场份额。

智利驻华大使馆商务参赞娜塔曾表示：“2020-2021产季车厘子实现了丰收，预计今年有50万吨左右的车厘子进入中国市场。”自2020年12月中旬开始，智利海运车厘子陆续到达中国，运输成本较此前空运方式大幅下滑。这意味着，国内消费者将能以更低的价格买到车厘子。然而，近日国内已有多地进口车厘子核酸检测结果为阳性，在这种情况下，你还敢大呼“车厘子自由”吗？

数据获取

本文利用Python采集了淘宝网1585个商家车厘子销售数据，获取到车厘子的商品名称、商品价格、付款人数、店铺名称、发货地址等字段。限于篇幅，爬虫代码仅给出主函数：

def main():  
    browser.get('https://www.taobao.com/')  
    page = search_product(key_word)  
    print(page)  
    get_data()  
    page_num = 70  
    while int(page) != page_num:  
        print("-" * 100)  
        print("正在爬取第{}页数据".format(page_num + 1))  
        browser.get('https://s.taobao.com/search?q={}&s={}'.format(key_word, page_num*44))  
        browser.implicitly_wait(10)  
        get_data()  
        page_num += 1  
    print("数据抓取完成")  

if __name__ == '__main__':  
    key_word = "车厘子"  
    browser = webdriver.Chrome("./chromedriver")  
    main()

数据处理

1.数据读取并预览

import pandas as pd  
import numpy as np  
df = pd.read_csv('/菜J学Python/淘宝/车厘子.csv',header=None,  
                 names=['商品名称','商品价格','付款人数','店铺名称','发货地址']) #添加字段名称  

df.sample(5)

我用Python分析1585家电商车厘子销售数据，发现这些秘密

2.查看数据信息

df.info()

<class 'pandas.core.frame.DataFrame'>  
Int64Index: 1595 entries, 0 to 1674  
Data columns (total 5 columns):  
 #   Column  Non-Null Count  Dtype   
---  ------  --------------  -----    
 0   商品名称    1595 non-null   object   
 1   商品价格    1595 non-null   float64  
 2   付款人数    1595 non-null   object   
 3   店铺名称    1595 non-null   object   
 4   发货地址    1585 non-null   object   
dtypes: float64(1), object(4)  
memory usage: 74.8+ KB

发现数据存在以下几个问题：

（1）发货地址有缺失值

（2）付款人数需做提取

（3）发货地址需做分割

（4）自定义索引并降序

3.数据清洗

#剔除缺失记录  
df.dropna(axis=0, how='any', inplace=True)  

#从发货地址字段中切分出省份和城市  
df["省份"] = df["发货地址"].str.split(' ',expand=True)[0]  #expand=True可以把用分割的内容直接分列  
df["城市"] = df["发货地址"].str.split(' ',expand=True)[1] #提取城市  
df["城市"].fillna(df["省份"], inplace=True) #城市字段空值用省份非空值填充  

#用正则表达式从付款人数中提取数字  
import re  
df['数字'] = [re.findall(r'(\d+\.{0,1}\d*)', i)[0] for i in df['付款人数']]  # 提取数值  
df['数字'] = df['数字'].astype('float')  # 转化数值型  
df['单位'] = [''.join(re.findall(r'(万)', i)) for i in df['付款人数']]  # 提取单位（万）  
df['单位'] = df['单位'].apply(lambda x:10000 if x=='万' else 1)  
df['付款人数'] = df['数字'] * df['单位'] # 计算付款人数  
df.drop(['发货地址', '数字', '单位'], axis=1, inplace=True) # 删除多余的列  

#按商品价格降序并重置索引  
df = df.sort_values(by="商品价格", axis=0, ascending=False) #降序  
df = df.reset_index(drop=True) #重置索引

清洗后，数据预览如下：

我用Python分析1585家电商车厘子销售数据，发现这些秘密