python写入数据库(如何用python批量插入数据到mysql数据库,用list)
大家好,今天来为大家分享python写入数据库的一些知识点,和如何用python批量插入数据到mysql数据库,用list的问题解析,大家要是都明白,那么可以忽略,如果不太清楚的话可以看看本篇文章,相信很大概率可以解决您的问题,接下来我们就一起来看看吧!
Python怎么把数据框内数据写入数据库
这次给大家带来Python怎么把数据框内数据写入数据库,Python把数据框内数据写入数据库的注意事项有哪些,下面就是实战案例,一起来看一下。
主要内容:
1、数据框数据写入mongdb方法
2、数据框数据写入mysql方法
为了以后不重复造轮子,这里总结下,如何把数据框数据写入mysql和mongodb的方法记录下来,省得翻来翻去。下面记录的都是精华。
写入mongodb代码片段(使用pymongo库):
##########################写入mongodb数据库######################
###########################python操作mongodb数据库
from pymongo import MongoClient
con=MongoClient()##连接客户端
db= con.Class##创建数据库
post=db.Classdata##创建集合
##插入数据(df是数据框)
##循环写入(以字典的方式一条一条插入)
for i in range(0,len(df)):
u=dict(Class=df.iloc[i,0], Course=df.iloc[i,1],Title=df.iloc[i,7],Section=df.iloc[i,5],Type=df.iloc[i,8],
Days=df.iloc[i,2],Time=df.iloc[i,6],Room=df.iloc[i,4],Location=df.iloc[i,3],instructors=df.iloc[i,9],status=df.iloc[i,10])
print u
post.insert(u)写入mysql代码片段(使用pymysql库):
##############################写入mysql数据库#################################
import pymysql
##加上字符集参数,防止中文乱码
dbconn=pymysql.connect(
host="127.0.0.1",
database="cgjr",
user="root",
password="12345",
port=3306,
charset='utf8'
)
#执行sql语句
try:
with dbconn.cursor() as cursor:
#执行sql语句,插入记录
sql='INSERT INTO t_tao_info(num, price, city, shop_name, title,number,link,sale) VALUES(%s,%s,%s,%s,%s,%s,%s,%s)'
for i in range(0,len(data)):
print"正在插入数据:"+ str(i)
cursor.execute(sql,(data.iloc[i,0], data.iloc[i,1], data.iloc[i,2],data.iloc[i,3],data.iloc[i,4],data.iloc[i,5],data.iloc[i,6],data.iloc[i,7]))
#没有设置默认自动提交,需要主动提交,以保存所执行的语句
dbconn.commit()
except dbconn.Error, e:
print"Error%d:%s"%(e.args[0], e.args[1])
sys.exit(1)
finally:
dbconn.close()
print('数据已插入,插入数据库成功!')相信看了本文案例你已经掌握了方法,更多精彩请关注Gxl网其它相关文章!
推荐阅读:
在Window10中Python3.5怎么安装opencv
python做出新闻聚合项目
详解Python如何建立数据库连接及插入数据
这篇文章主要为大家详解Python如何建立数据库连接及插入数据,具有一定的参考价值,感兴趣的小伙伴们可以参考一下
建立数据库连接
def create_db_connect():
""" brief info for: create_db_connect
建立数据库链接
Args: Return: Raise:
""" conn= MySQLdb.connect(host="rm-uf6wz3f7kb8sx983zo.mysql.rds.aliyuncs.com",
user="pv_cms",
passwd="pv_cms@123",
port= 3306,
charset="utf8",
db="pv_interaction_bigdata")
return conn插入数据:
def insert_to_info(conn):
cursor= conn.cursor()
sql='''insert into info values(%s,%s)'''
l= [['liza','mary'],['dh','lxy']]#必须是list
cursor.executemany(sql,l)#执行多条插入数据操作
conn.commit()#不执行不能插入数据
conn.close()
def insert_into_info(conn):
cursor= conn.cursor() s
ql='''insert into info values(%s,%s)'''
l=('lisa','mary')#必须是tuple
cursor.execute(sql,l)#插入数据操作
conn.commit()#不执行不能插入数据
conn.close()【相关推荐】
1.免费mysql在线视频教程
2. MySQL最新手册教程
3.布尔教育燕十八mysql入门视频教程
如何用python批量插入数据到mysql数据库,用list
MySQL的 Binlog记录着 MySQL数据库的所有变更信息,了解 Binlog的结构可以帮助我们解析Binlog,甚至对 Binlog进行一些修改,或者说是“篡改”,例如实现类似于 Oracle的 flashback的功能,恢复误删除的记录,把 update的记录再还原回去等。本文将带您探讨一下这些神奇功能的实现,您会发现比您想象地要简单得多。本文指的 Binlog是 ROW模式的 Binlog,这也是 MySQL 8里的默认模式,STATEMENT模式因为使用中有很多限制,现在用得越来越少了。
Binlog由事件(event)组成,请注意是事件(event)不是事务(transaction),一个事务可以包含多个事件。事件描述对数据库的修改内容。
现在我们已经了解了 Binlog的结构,我们可以试着修改 Binlog里的数据。例如前面举例的 Binlog删除了一条记录,我们可以试着把这条记录恢复,Binlog里面有个删除行(DELETE_ROWS_EVENT)的事件,就是这个事件删除了记录,这个事件和写行(WRITE_ROWS_EVENT)的事件的数据结构是完全一样的,只是删除行事件的类型是 32,写行事件的类型是 30,我们把对应的 Binlog位置的 32改成 30即可把已经删除的记录再插入回去。从前面的“show binlog events”里面可看到这个 DELETE_ROWS_EVENT是从位置 378开始的,这里的位置就是 Binlog文件的实际位置(以字节为单位)。从事件(event)的结构里面可以看到 type_code是在 event的第 5个字节,我们写个 Python小程序把把第383(378+5=383)字节改成 30即可。当然您也可以用二进制编辑工具来改。
找出 Binlog中的大事务
由于 ROW模式的 Binlog是每一个变更都记录一条日志,因此一个简单的 SQL,在 Binlog里可能会产生一个巨无霸的事务,例如一个不带 where的 update或 delete语句,修改了全表里面的所有记录,每条记录都在 Binlog里面记录一次,结果是一个巨大的事务记录。这样的大事务经常是产生麻烦的根源。我的一个客户有一次向我抱怨,一个 Binlog前滚,滚了两天也没有动静,我把那个 Binlog解析了一下,发现里面有个事务产生了 1.4G的记录,修改了 66万条记录!下面是一个简单的找出 Binlog中大事务的 Python小程序,我们知道用 mysqlbinlog解析的 Binlog,每个事务都是以 BEGIN开头,以 COMMIT结束。我们找出 BENGIN前面的“# at”的位置,检查 COMMIT后面的“# at”位置,这两个位置相减即可计算出这个事务的大小,下面是这个 Python程序的例子。
切割 Binlog中的大事务
对于大的事务,MySQL会把它分解成多个事件(注意一个是事务 TRANSACTION,另一个是事件 EVENT),事件的大小由参数 binlog-row-event-max-size决定,这个参数默认是 8K。因此我们可以把若干个事件切割成一个单独的略小的事务
ROW模式下,即使我们只更新了一条记录的其中某个字段,也会记录每个字段变更前后的值,这个行为是 binlog_row_image参数控制的,这个参数有 3个值,默认为 FULL,也就是记录列的所有修改,即使字段没有发生变更也会记录。这样我们就可以实现类似 Oracle的 flashback的功能,我个人估计 MySQL未来的版本从可能会基于 Binlog推出这样的功能。
了解了 Binlog的结构,再加上 Python这把瑞士军刀,我们还可以实现很多功能,例如我们可以统计哪个表被修改地最多?我们还可以把 Binlog切割成一段一段的,然后再重组,可以灵活地进行 MySQL数据库的修改和迁移等工作。
python写入数据库的介绍就聊到这里吧,感谢你花时间阅读本站内容,更多关于如何用python批量插入数据到mysql数据库,用list、python写入数据库的信息别忘了在本站进行查找哦。