盘点一个通过python大批量插入数据到数据库的方法

Python进阶者
• 阅读 346

大家好,我是皮皮。

一、前言

前几天在Python白银群【鶏啊鶏】问了一个Python数据存入数据库的问题,一起来看看吧。

各位大佬 我想请教下通过python大批量插入数据到数据库的方法 目前我在用的操作是以下这个模式:

sql=''
for i in list:
 sql = "insert XXX表(地址,单号,缸号,状态,备注,时间) values('" + address + "','"+ppo+"','"+batch_no+"','待定','未生产',getdate())"

这样当sql稍微大点的情况下 一次性插入就会插入失败,想请问下各位大佬如果大批量插入的话应该用哪个方式更稳定点呢。

盘点一个通过python大批量插入数据到数据库的方法

二、实现过程

这里【袁学东】给了一个解答,如下所示:

用pandas, 先将批量插入数据整理成dataframe,df.to_sql(table, index=False, con=self.engine, if_exists=method),1000万行的数据导入也只要几秒钟。如果数据源是csv或excel更简单,df = pd.read_csv("file.csv")df = pd.read_excel("file.xls"),然后df.to_sql()

盘点一个通过python大批量插入数据到数据库的方法

顺利地解决了粉丝的问题。

三、总结

大家好,我是皮皮。这篇文章主要盘点了一个Python数据存数据库的问题,文中针对该问题,给出了具体的解析和代码实现,帮助粉丝顺利解决了问题。

最后感谢粉丝【鶏啊鶏】提问,感谢【袁学东】给出的思路和代码解析,感谢【巭孬嫑勥烎】等人参与学习交流。

【提问补充】温馨提示,大家在群里提问的时候。可以注意下面几点:如果涉及到大文件数据,可以数据脱敏后,发点demo数据来(小文件的意思),然后贴点代码(可以复制的那种),记得发报错截图(截全)。代码不多的话,直接发代码文字即可,代码超过50行这样的话,发个.py文件就行。

盘点一个通过python大批量插入数据到数据库的方法

点赞
收藏
评论区
推荐文章
Python进阶者 Python进阶者
1年前
Python直接读取表格是0,这种有什么办法处理吗?
大家好,我是皮皮。一、前言前几天在Python最强王者群【鶏啊鶏。】问了一个Python读取Excel表格的问题,这里拿出来给大家分享下。大佬们提个问题:目前我有一个EXCEL表因为是人手维护的,金额列中含有多个情况,比如纯英文的标记,202.86\t\n
Python进阶者 Python进阶者
1年前
操作excel的xlwt库难道没有删除sheet 的方法吗?
大家好,我是皮皮。一、前言前几天在Python最强王者群【小马哥】问了一个Python自动化办公处理的问题,一起来看看吧。各位大神,操作excel的xlwt,这个添加sheet的时候可以用addsheet方法,xlwt难道没有删除sheet的方法吗?没有找
Python进阶者 Python进阶者
1年前
盘点一个Python排序问题(下篇)
大家好,我是皮皮。一、前言前几天在Python最强王者交流群【刘苏秦】问了一个Python数据排序处理的问题,一起来看看吧。pythondata'a1,a1,c12,a0,b13,c13,a11,b5,a0,c8,c7,c6,c4'待处理数据out'a0,
Python进阶者 Python进阶者
1年前
使用Python随机查询数据库中10个信息然后删除这10个信息
大家好,我是皮皮。一、前言前几天在Python最强王者交流群【刘苏秦】问了一个Python数据库数据处理的问题,一起来看看吧。pythoncursorconnect.cursor()sql"SELECTFROMinfoswherestatus''"curs
Python进阶者 Python进阶者
11个月前
pandas如何将下图这个数据格式,改为%Y-%m-%d这种格式的?
大家好,我是皮皮。一、前言前几天在Python白银交流群【小王子】问了一个Python日期处理的问题,一起来看看吧。原始数据库中的数据如下所示:二、实现过程这里【袁学东】给了一个方法,代码如下所示:pythondf这里【论草莓如何成为冻干莓】给了一个思路,
Python进阶者 Python进阶者
11个月前
chrome老更新的话 driver怎么才能保持更新呢?
大家好,我是皮皮。一、前言前几天在Python最强王者交流群【鶏啊鶏。】问了一个selenium驱动器的问题,一起来看看吧。问题描述:有没有selenium用的比较多的大佬想问问一些selenium的定时任务关于chrome老更新的话driver怎么才能保
Python进阶者 Python进阶者
11个月前
我想问下为什么我这个flask查询功能实现不了?
大家好,我是皮皮。一、前言前几天在Python白银交流群【乔.】问了一个Pythonweb开发的问题,一起来看看吧。问题描述:大佬们,我想问下为什么我这个查询功能实现不了htmlSearchResultsSearchResultsSearch:materi
Python进阶者 Python进阶者
10个月前
盘点一个Python自动化办公的实战问题
大家好,我是皮皮。一、前言前几天在Python白银交流群【东哥】问了一个Python自动化办公的问题,一起来看看吧。问题描述:大佬们,这个Excel表格中,针对C列到N列,我想要取每一行的数字,最后输出一句话,如针对第二行数据的话最后生成:该订单对应7个J
Python进阶者 Python进阶者
10个月前
如果我生成了exe,那我还需要安装py环境吗?需不需要留一个chromedrive啊?
大家好,我是皮皮。一、前言前几天在Python最强王者交流群【黑科技·鼓包】问了一个Python打包的问题,一起来看看吧。还有个问题想请教下,用pyinstaller生成的,如果我生成了exe,那我还需要安装py环境吗?需不需要留一个chromedrive
Python进阶者 Python进阶者
9个月前
Excel中这日期老是出来00:00:00,怎么用Pandas把这个去除
大家好,我是皮皮。一、前言前几天在Python白银交流群【上海新年人】问了一个Pandas数据筛选的问题。问题如下:这日期老是出来00:00:00,怎么把这个去除。二、实现过程后来【论草莓如何成为冻干莓】给了一个思路和代码如下:pd.toexcel之前把这