Python笔记：用read_html()来抓取table格式的网页数据

read_html() 的基本语法及其参数：

pandas.read_html(io,match='.+',flavor=None,header=None,index_col=None,skiprows=None, attrs=None,
parse_dates=False, thousands=', ', encoding=None, decimal='.', converters=None, na_values=None, 
keep_default_na=True, displayed_only=True）

参数

释义

接收网址、文件、字符串

parse_dates

解析日期

flavor

解析器

header

标题行

skiprows

跳过的行属性，比如 attrs = {'id': 'table'}

案例1：抓取世界大学排名榜（第1页的数据）

# 导入库
import pandas as pd 
import csv

# 传入要抓取的url
url1 = "http://www.compassedu.hk/qs"

#0表示选中网页中的第一个Table
df1 = pd.read_html(url1)[0]
# 打印预览
df1
# 导出到CSV
df1.to_csv(r"C:\Users\QDM\Desktop\世界大学综合排名.csv",index=0,encoding = "gbk")

# 或导出到Excel
df1.to_excel(r"C:\Users\QDM\Desktop\世界大学综合排名.xlsx",index=0)

预览所要爬的数据：

Python笔记：用read_html()来抓取table格式的网页数据

示例2：抓取新浪财经基金重仓股数据（共6页数据）

import pandas as pd
import csv
df2 = pd.DataFrame()
for i in range(6):
    url2 = "http://vip.stock.finance.sina.com.cn/q/go.php/vComStockHold/kind/jjzc/index.phtml?p={page}".format(page=i+1)
    df2 = pd.concat([df2,pd.read_html(url2)[0]])
    print("第{page}页抓取完成".format(page = i + 1))
    
# 保存到CSV
df2.to_csv(r"C:\Users\QDM\Desktop\新浪财经数据.csv",encoding = "gbk",index=0)

# 保存到Excel
df2.to_excel(r"C:\Users\QDM\Desktop\新浪财经数据.xlsx",index=0)

预览前10条数据：

Python笔记：用read_html()来抓取table格式的网页数据

示例3：抓取证监会披露的IPO数据（共217页数据）

#  导入所需要用到的库
import pandas as pd
from pandas import DataFrame
import csv
import time

#程序计时
 start = time.time() 
    
#添加列名
 df3 = DataFrame(data=None,columns=["公司名称","披露日期","上市地和板块","披露类型","查看PDF资料"]) 
 for i in range(1,218):  
     url3 = "http://eid.csrc.gov.cn/ipo/infoDisplay.action?pageNo=%s&temp=&temp1=&blockType=byTime"%str(i)
     #必须加utf-8，否则乱码
     df3_1 = pd.read_html(url3,encoding = "utf-8")[2]
     #过滤掉最后一行和最后一列（NaN列）
     df3_2 = df3_1.iloc[1:len(df3_1)-1,0:-1]
     #新的df添加列名
     df3_2.columns=["公司名称","披露日期","上市地和板块","披露类型","查看PDF资料"]
     #数据合并
     df3 = pd.concat([df3,df3_2])
     print("第{page}页抓取完成".format(page = i))
    
#保存数据到csv文件
df3.to_csv(r"C:\Users\QDM\Desktop\上市公司IPO信息.csv", encoding = "utf-8",index=0)

#保存数据到Excel文件
df3.to_excel(r"C:\Users\QDM\Desktop\上市公司IPO信息.xlsx",index=0)

end = time.time()
print ("共抓取",len(df3),"家公司," + "用时",round((end-start)/60,2),"分钟")

Python笔记：用read_html()来抓取table格式的网页数据