python插入数据库(详解Python如何建立数据库连接及插入数据)
今天给各位分享python插入数据库的知识，其中也会对详解Python如何建立数据库连接及插入数据进行解释，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！
如何用python批量插入数据到mysql数据库,用list
MySQL的 Binlog记录着 MySQL数据库的所有变更信息，了解 Binlog的结构可以帮助我们解析Binlog，甚至对 Binlog进行一些修改，或者说是“篡改”，例如实现类似于 Oracle的 flashback的功能，恢复误删除的记录，把 update的记录再还原回去等。本文将带您探讨一下这些神奇功能的实现，您会发现比您想象地要简单得多。本文指的 Binlog是 ROW模式的 Binlog，这也是 MySQL 8里的默认模式，STATEMENT模式因为使用中有很多限制，现在用得越来越少了。
Binlog由事件（event）组成，请注意是事件（event）不是事务（transaction），一个事务可以包含多个事件。事件描述对数据库的修改内容。
现在我们已经了解了 Binlog的结构，我们可以试着修改 Binlog里的数据。例如前面举例的 Binlog删除了一条记录，我们可以试着把这条记录恢复，Binlog里面有个删除行（DELETE_ROWS_EVENT）的事件，就是这个事件删除了记录，这个事件和写行（WRITE_ROWS_EVENT）的事件的数据结构是完全一样的，只是删除行事件的类型是 32，写行事件的类型是 30，我们把对应的 Binlog位置的 32改成 30即可把已经删除的记录再插入回去。从前面的“show binlog events”里面可看到这个 DELETE_ROWS_EVENT是从位置 378开始的，这里的位置就是 Binlog文件的实际位置（以字节为单位）。从事件（event）的结构里面可以看到 type_code是在 event的第 5个字节，我们写个 Python小程序把把第383（378+5=383）字节改成 30即可。当然您也可以用二进制编辑工具来改。
找出 Binlog中的大事务
由于 ROW模式的 Binlog是每一个变更都记录一条日志，因此一个简单的 SQL，在 Binlog里可能会产生一个巨无霸的事务，例如一个不带 where的 update或 delete语句，修改了全表里面的所有记录，每条记录都在 Binlog里面记录一次，结果是一个巨大的事务记录。这样的大事务经常是产生麻烦的根源。我的一个客户有一次向我抱怨，一个 Binlog前滚，滚了两天也没有动静，我把那个 Binlog解析了一下，发现里面有个事务产生了 1.4G的记录，修改了 66万条记录！下面是一个简单的找出 Binlog中大事务的 Python小程序，我们知道用 mysqlbinlog解析的 Binlog，每个事务都是以 BEGIN开头，以 COMMIT结束。我们找出 BENGIN前面的“# at”的位置，检查 COMMIT后面的“# at”位置，这两个位置相减即可计算出这个事务的大小，下面是这个 Python程序的例子。
切割 Binlog中的大事务
对于大的事务，MySQL会把它分解成多个事件（注意一个是事务 TRANSACTION，另一个是事件 EVENT），事件的大小由参数 binlog-row-event-max-size决定，这个参数默认是 8K。因此我们可以把若干个事件切割成一个单独的略小的事务
ROW模式下，即使我们只更新了一条记录的其中某个字段，也会记录每个字段变更前后的值，这个行为是 binlog_row_image参数控制的，这个参数有 3个值，默认为 FULL，也就是记录列的所有修改，即使字段没有发生变更也会记录。这样我们就可以实现类似 Oracle的 flashback的功能，我个人估计 MySQL未来的版本从可能会基于 Binlog推出这样的功能。
了解了 Binlog的结构，再加上 Python这把瑞士军刀，我们还可以实现很多功能，例如我们可以统计哪个表被修改地最多？我们还可以把 Binlog切割成一段一段的，然后再重组，可以灵活地进行 MySQL数据库的修改和迁移等工作。
详解Python如何建立数据库连接及插入数据
这篇文章主要为大家详解Python如何建立数据库连接及插入数据，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
建立数据库连接
def create_db_connect():
""" brief info for: create_db_connect
建立数据库链接
Args: Return: Raise:
""" conn= MySQLdb.connect(host="rm-uf6wz3f7kb8sx983zo.mysql.rds.aliyuncs.com",
user="pv_cms",
passwd="pv_cms@123",
port= 3306,
charset="utf8",
db="pv_interaction_bigdata")
return conn插入数据：
def insert_to_info(conn):
cursor= conn.cursor()
sql='''insert into info values(%s,%s)'''
l= [['liza','mary'],['dh','lxy']]＃必须是list
cursor.executemany(sql,l)＃执行多条插入数据操作
conn.commit()#不执行不能插入数据
conn.close()
def insert_into_info(conn):
cursor= conn.cursor() s
ql='''insert into info values(%s,%s)'''
l=('lisa','mary')＃必须是tuple
cursor.execute(sql,l)＃插入数据操作
conn.commit()#不执行不能插入数据
conn.close()【相关推荐】
1.免费mysql在线视频教程
2. MySQL最新手册教程
3.布尔教育燕十八mysql入门视频教程
如何使用python对数据库(mysql)进行操作
一、数据库基本操作
1.想允许在数据库写中文，可在创建数据库时用下面命令
create database zcl charset utf8;2.查看students表结构
desc students;3.查看创建students表结构的语句
show create table students;4.删除数据库
drop database zcl;5.创建一个新的字段
alter table students add column nal char(64);PS:本人是很讨厌上面这种“简单解释+代码”的博客。其实我当时在mysql终端写了很多的实例，不过因为当时电脑运行一个看视频的软件，导致我无法Ctrl+C/V。现在懒了哈哈~~
二、python连接数据库python3不再支持mysqldb。其替代模块是PyMySQL。本文的例子是在python3.4环境。
1.安装pymysql模块
pip3 install pymysql2.连接数据库，插入数据实例
import pymysql
#生成实例，连接数据库zcl
conn= pymysql.connect(host='127.0.0.1', user='root', passwd='root', db='zcl')
#生成游标，当前实例所处状态
cur= conn.cursor()
#插入数据
reCount= cur.execute('insert into students(name, sex, age, tel, nal) values(%s,%s,%s,%s,%s)',('Jack','man',25,1351234,"CN"))
reCount= cur.execute('insert into students(name, sex, age, tel, nal) values(%s,%s,%s,%s,%s)',('Mary','female',18,1341234,"USA"))
conn.commit()#实例提交命令
cur.close()
conn.close()
print(reCount)查看结果:
mysql> select* from students;+----+------+-----+-----+-------------+------+
| id| name| sex| age| tel| nal|
+----+------+-----+-----+-------------+------+
| 1| zcl| man| 22| 15622341234| NULL|
| 2| alex| man| 30| 15622341235| NULL|
+----+------+-----+-----+-------------+------+
2 rows in set3.获取数据
import pymysql
conn= pymysql.connect(host='127.0.0.1', user='root', passwd='root', db='zcl')
cur= conn.cursor()
reCount= cur.execute('select* from students')
res= cur.fetchone()#获取一条数据
res2= cur.fetchmany(3)#获取3条数据
res3= cur.fetchall()#获取所有(元组格式)
print(res)
print(res2)
print(res3)
conn.commit()
cur.close()
conn.close()输出:
(1,'zcl','man', 22,'15622341234', None)
((2,'alex','man', 30,'15622341235', None),(5,'Jack','man', 25,'1351234','CN'),(6,'Mary','female', 18,'1341234','USA'))
()三、事务回滚事务回滚是在数据写到数据库前执行的，因此事务回滚conn.rollback()要在实例提交命令conn.commit()之前。只要数据未提交就可以回滚，但回滚后ID却是自增的。请看下面的例子:
插入3条数据(注意事务回滚):
import pymysql
#连接数据库zcl
conn=pymysql.connect(host='127.0.0.1', user='root', passwd='root', db='zcl')
#生成游标，当前实例所处状态
cur=conn.cursor()
#插入数据
reCount=cur.execute('insert into students(name, sex, age, tel, nal) values(%s,%s,%s,%s,%s)',('Jack','man', 25, 1351234,"CN"))
reCount=cur.execute('insert into students(name, sex, age, tel, nal) values(%s,%s,%s,%s,%s)',('Jack2','man', 25, 1351234,"CN"))
reCount=cur.execute('insert into students(name, sex, age, tel, nal) values(%s,%s,%s,%s,%s)',('Mary','female', 18, 1341234,"USA"))
conn.rollback()#事务回滚
conn.commit()#实例提交命令
cur.close()
conn.close()
print(reCount)未执行命令前与执行命令后(包含回滚操作)(注意ID号):未执行上面代码与执行上面代码的结果是一样的!!因为事务已经回滚，故students表不会增加数据!
mysql> select* from students;+----+------+--------+-----+-------------+------+
| id| name| sex| age| tel| nal|
+----+------+--------+-----+-------------+------+
| 1| zcl| man| 22| 15622341234| NULL|
| 2| alex| man| 30| 15622341235| NULL|
| 5| Jack| man| 25| 1351234| CN|
| 6| Mary| female| 18| 1341234| USA|
+----+------+--------+-----+-------------+------+
4 rows in set执行命令后(不包含回滚操作):只需将上面第11行代码注释。
mysql> select* from students;+----+-------+--------+-----+-------------+------+
| id| name| sex| age| tel| nal|
+----+-------+--------+-----+-------------+------+
| 1| zcl| man| 22| 15622341234| NULL|
| 2| alex| man| 30| 15622341235| NULL|
| 5| Jack| man| 25| 1351234| CN|
| 6| Mary| female| 18| 1341234| USA|
| 10| Jack| man| 25| 1351234| CN|
| 11| Jack2| man| 25| 1351234| CN|
| 12| Mary| female| 18| 1341234| USA|
+----+-------+--------+-----+-------------+------+
7 rows in set总结：虽然事务回滚了，但ID还是自增了，不会因回滚而取消，但这不影响数据的一致性（底层的原理我不清楚~）
四、批量插入数据import pymysql
#连接数据库zcl
conn= pymysql.connect(host='127.0.0.1', user='root', passwd='root', db='zcl')
#生成游标，当前实例所处状态
cur= conn.cursor()
li= [
("cjy","man",18,1562234,"USA"),
("cjy2","man",18,1562235,"USA"),
("cjy3","man",18,1562235,"USA"),
("cjy4","man",18,1562235,"USA"),
("cjy5","man",18,1562235,"USA"),
]
#插入数据
reCount= cur.executemany('insert into students(name,sex,age,tel,nal) values(%s,%s,%s,%s,%s)', li)
#conn.rollback()#事务回滚
conn.commit()#实例提交命令
cur.close()
conn.close()
print(reCount)pycharm下输出: 5
mysql终端显示:
mysql> select* from students;#插入数据前+----+-------+--------+-----+-------------+------+
| id| name| sex| age| tel| nal|
+----+-------+--------+-----+-------------+------+
| 1| zcl| man| 22| 15622341234| NULL|
| 2| alex| man| 30| 15622341235| NULL|
| 5| Jack| man| 25| 1351234| CN|
| 6| Mary| female| 18| 1341234| USA|
| 10| Jack| man| 25| 1351234| CN|
| 11| Jack2| man| 25| 1351234| CN|
| 12| Mary| female| 18| 1341234| USA|
+----+-------+--------+-----+-------------+------+
7 rows in set
mysql> mysql> select* from students;#插入数据后+----+-------+--------+-----+-------------+------+
| id| name| sex| age| tel| nal|
+----+-------+--------+-----+-------------+------+
| 1| zcl| man| 22| 15622341234| NULL|
| 2| alex| man| 30| 15622341235| NULL|
| 5| Jack| man| 25| 1351234| CN|
| 6| Mary| female| 18| 1341234| USA|
| 10| Jack| man| 25| 1351234| CN|
| 11| Jack2| man| 25| 1351234| CN|
| 12| Mary| female| 18| 1341234| USA|
| 13| cjy| man| 18| 1562234| USA|
| 14| cjy2| man| 18| 1562235| USA|
| 15| cjy3| man| 18| 1562235| USA|
| 16| cjy4| man| 18| 1562235| USA|
| 17| cjy5| man| 18| 1562235| USA|
+----+-------+--------+-----+-------------+------+
12 rows in set学完的东西要及时总结，有些东西忘记了阿~_~
关于本次python插入数据库和详解Python如何建立数据库连接及插入数据的问题分享到这里就结束了，如果解决了您的问题，我们非常高兴。