首页数据库python写入数据库(如何用python批量插入数据到mysql数据库,用list)

python写入数据库(如何用python批量插入数据到mysql数据库,用list)

编程之家2023-10-22171次浏览

大家好,今天来为大家分享python写入数据库的一些知识点,和如何用python批量插入数据到mysql数据库,用list的问题解析,大家要是都明白,那么可以忽略,如果不太清楚的话可以看看本篇文章,相信很大概率可以解决您的问题,接下来我们就一起来看看吧!

python写入数据库(如何用python批量插入数据到mysql数据库,用list)

Python怎么把数据框内数据写入数据库

这次给大家带来Python怎么把数据框内数据写入数据库,Python把数据框内数据写入数据库的注意事项有哪些,下面就是实战案例,一起来看一下。

主要内容:

1、数据框数据写入mongdb方法

2、数据框数据写入mysql方法

为了以后不重复造轮子,这里总结下,如何把数据框数据写入mysql和mongodb的方法记录下来,省得翻来翻去。下面记录的都是精华。

写入mongodb代码片段(使用pymongo库):

python写入数据库(如何用python批量插入数据到mysql数据库,用list)

##########################写入mongodb数据库######################

###########################python操作mongodb数据库

from pymongo import MongoClient

con=MongoClient()##连接客户端

db= con.Class##创建数据库

post=db.Classdata##创建集合

python写入数据库(如何用python批量插入数据到mysql数据库,用list)

##插入数据(df是数据框)

##循环写入(以字典的方式一条一条插入)

for i in range(0,len(df)):

u=dict(Class=df.iloc[i,0], Course=df.iloc[i,1],Title=df.iloc[i,7],Section=df.iloc[i,5],Type=df.iloc[i,8],

Days=df.iloc[i,2],Time=df.iloc[i,6],Room=df.iloc[i,4],Location=df.iloc[i,3],instructors=df.iloc[i,9],status=df.iloc[i,10])

print u

post.insert(u)写入mysql代码片段(使用pymysql库):

##############################写入mysql数据库#################################

import pymysql

##加上字符集参数,防止中文乱码

dbconn=pymysql.connect(

host="127.0.0.1",

database="cgjr",

user="root",

password="12345",

port=3306,

charset='utf8'

)

#执行sql语句

try:

with dbconn.cursor() as cursor:

#执行sql语句,插入记录

sql='INSERT INTO t_tao_info(num, price, city, shop_name, title,number,link,sale) VALUES(%s,%s,%s,%s,%s,%s,%s,%s)'

for i in range(0,len(data)):

print"正在插入数据:"+ str(i)

cursor.execute(sql,(data.iloc[i,0], data.iloc[i,1], data.iloc[i,2],data.iloc[i,3],data.iloc[i,4],data.iloc[i,5],data.iloc[i,6],data.iloc[i,7]))

#没有设置默认自动提交,需要主动提交,以保存所执行的语句

dbconn.commit()

except dbconn.Error, e:

print"Error%d:%s"%(e.args[0], e.args[1])

sys.exit(1)

finally:

dbconn.close()

print('数据已插入,插入数据库成功!')相信看了本文案例你已经掌握了方法,更多精彩请关注Gxl网其它相关文章!

推荐阅读:

在Window10中Python3.5怎么安装opencv

python做出新闻聚合项目

详解Python如何建立数据库连接及插入数据

这篇文章主要为大家详解Python如何建立数据库连接及插入数据,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

建立数据库连接

def create_db_connect():

""" brief info for: create_db_connect

建立数据库链接

Args: Return: Raise:

""" conn= MySQLdb.connect(host="rm-uf6wz3f7kb8sx983zo.mysql.rds.aliyuncs.com",

user="pv_cms",

passwd="pv_cms@123",

port= 3306,

charset="utf8",

db="pv_interaction_bigdata")

return conn插入数据:

def insert_to_info(conn):

cursor= conn.cursor()

sql='''insert into info values(%s,%s)'''

l= [['liza','mary'],['dh','lxy']]#必须是list

cursor.executemany(sql,l)#执行多条插入数据操作

conn.commit()#不执行不能插入数据

conn.close()

def insert_into_info(conn):

cursor= conn.cursor() s

ql='''insert into info values(%s,%s)'''

l=('lisa','mary')#必须是tuple

cursor.execute(sql,l)#插入数据操作

conn.commit()#不执行不能插入数据

conn.close()【相关推荐】

1.免费mysql在线视频教程

2. MySQL最新手册教程

3.布尔教育燕十八mysql入门视频教程

如何用python批量插入数据到mysql数据库,用list

MySQL的 Binlog记录着 MySQL数据库的所有变更信息,了解 Binlog的结构可以帮助我们解析Binlog,甚至对 Binlog进行一些修改,或者说是“篡改”,例如实现类似于 Oracle的 flashback的功能,恢复误删除的记录,把 update的记录再还原回去等。本文将带您探讨一下这些神奇功能的实现,您会发现比您想象地要简单得多。本文指的 Binlog是 ROW模式的 Binlog,这也是 MySQL 8里的默认模式,STATEMENT模式因为使用中有很多限制,现在用得越来越少了。

Binlog由事件(event)组成,请注意是事件(event)不是事务(transaction),一个事务可以包含多个事件。事件描述对数据库的修改内容。

现在我们已经了解了 Binlog的结构,我们可以试着修改 Binlog里的数据。例如前面举例的 Binlog删除了一条记录,我们可以试着把这条记录恢复,Binlog里面有个删除行(DELETE_ROWS_EVENT)的事件,就是这个事件删除了记录,这个事件和写行(WRITE_ROWS_EVENT)的事件的数据结构是完全一样的,只是删除行事件的类型是 32,写行事件的类型是 30,我们把对应的 Binlog位置的 32改成 30即可把已经删除的记录再插入回去。从前面的“show binlog events”里面可看到这个 DELETE_ROWS_EVENT是从位置 378开始的,这里的位置就是 Binlog文件的实际位置(以字节为单位)。从事件(event)的结构里面可以看到 type_code是在 event的第 5个字节,我们写个 Python小程序把把第383(378+5=383)字节改成 30即可。当然您也可以用二进制编辑工具来改。

找出 Binlog中的大事务

由于 ROW模式的 Binlog是每一个变更都记录一条日志,因此一个简单的 SQL,在 Binlog里可能会产生一个巨无霸的事务,例如一个不带 where的 update或 delete语句,修改了全表里面的所有记录,每条记录都在 Binlog里面记录一次,结果是一个巨大的事务记录。这样的大事务经常是产生麻烦的根源。我的一个客户有一次向我抱怨,一个 Binlog前滚,滚了两天也没有动静,我把那个 Binlog解析了一下,发现里面有个事务产生了 1.4G的记录,修改了 66万条记录!下面是一个简单的找出 Binlog中大事务的 Python小程序,我们知道用 mysqlbinlog解析的 Binlog,每个事务都是以 BEGIN开头,以 COMMIT结束。我们找出 BENGIN前面的“# at”的位置,检查 COMMIT后面的“# at”位置,这两个位置相减即可计算出这个事务的大小,下面是这个 Python程序的例子。

切割 Binlog中的大事务

对于大的事务,MySQL会把它分解成多个事件(注意一个是事务 TRANSACTION,另一个是事件 EVENT),事件的大小由参数 binlog-row-event-max-size决定,这个参数默认是 8K。因此我们可以把若干个事件切割成一个单独的略小的事务

ROW模式下,即使我们只更新了一条记录的其中某个字段,也会记录每个字段变更前后的值,这个行为是 binlog_row_image参数控制的,这个参数有 3个值,默认为 FULL,也就是记录列的所有修改,即使字段没有发生变更也会记录。这样我们就可以实现类似 Oracle的 flashback的功能,我个人估计 MySQL未来的版本从可能会基于 Binlog推出这样的功能。

了解了 Binlog的结构,再加上 Python这把瑞士军刀,我们还可以实现很多功能,例如我们可以统计哪个表被修改地最多?我们还可以把 Binlog切割成一段一段的,然后再重组,可以灵活地进行 MySQL数据库的修改和迁移等工作。

python写入数据库的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于如何用python批量插入数据到mysql数据库,用list、python写入数据库的信息别忘了在本站进行查找哦。

数据库多表联查?SQL两张表联合查询plex服务器,如何在电视盒子上安装plex媒体服务器