python将数据写入数据库，Python怎么把数据框内数据写入数据库

编程之家2023-10-21114次浏览

本篇文章给大家谈谈python将数据写入数据库，以及Python怎么把数据框内数据写入数据库对应的知识点，文章可能有点长，但是希望大家可以阅读完，增长自己的知识，最重要的是希望对各位有所帮助，可以解决了您的问题，不要忘了收藏本站喔。

python调用第三方api接口写入数据库

在Python中调用第三方 API接口并将数据写入数据库可分为以下几个步骤：

1.安装依赖库

使用 requests库发送 HTTP请求，并使用 PyMySQL库连接 MySQL数据库。您可以使用以下命令在 Python中安装这两个库：

pip install requests

pip install pymysql

2.发送 API请求

使用 requests库向第三方 API发送请求，获取到需要存储到数据库的数据。

例如，以下代码通过调用和风天气 API获取天气数据：

import requests

r=requests.get('https://api.heweather.net/s6/weather/now?location=beijing&key=your_key')

data= r.json()#将请求的结果转换为JSON格式数据

3.处理 API返回数据

根据 API返回的数据格式，提取需要存入数据库的字段数据。您可以使用字符串操作或 JsonPath等库来提取数据。

例如，以下代码从 API返回数据中提取出温度（tmp）和湿度（hum）字段的值：

tmp= data['HeWeather6'][0]['now']['tmp']

hum= data['HeWeather6'][0]['now']['hum']

4.连接数据库

使用 PyMySQL库连接 MySQL数据库。请确保您已经安装 PyMySQL库，并且数据库信息是正确的。

例如，以下代码连接本地 MySQL数据库：

import pymysql

conn=pymysql.connect(host='localhost', user='root', password='123456', db='my_db', charset='utf8mb4')

5.将数据写入数据库

使用 PyMySQL库将数据写入数据库中。

例如，以下代码将温度和湿度数据插入到 weather表中：

cursor= conn.cursor()

#表名：weather，字段：tmp、hum

sql="INSERT INTO weather(tmp, hum) VALUES(%s,%s)"

#插入数据

try:

cursor.execute(sql,(tmp, hum))

conn.commit()

print('数据插入成功！')

except Exception as e:

conn.rollback()

print('数据插入失败！', e)

cursor.close()

conn.close()

6.完整代码如下：

import requests

import pymysql

#发送 API请求，获取天气数据

r=requests.get('https://api.heweather.net/s6/weather/now?location=beijing&key=your_key')

data= r.json()

#处理 API返回数据，提取温度和湿度

tmp= data['HeWeather6'][0]['now']['tmp']

hum= data['HeWeather6'][0]['now']['hum']

#连接 MySQL数据库

conn= pymysql.connect(host='localhost', user='root', password='123456', db='my_db', charset='utf8mb4')

#将数据写入数据库

cursor= conn.cursor()

#表名：weather，字段：tmp、hum

sql="INSERT INTO weather(tmp, hum) VALUES(%s,%s)"

#插入数据

try:

cursor.execute(sql,(tmp, hum))

conn.commit()

print('数据插入成功！')

except Exception as e:

conn.rollback()

print('数据插入失败！', e)

cursor.close()

conn.close()

在本例中，我们假设使用的是 MySQL数据库，当然也可以使用其他类型的数据库，具体操作方式可能会略有不同，但是主要的操作步骤是类似的。

如何用python批量插入数据到mysql数据库,用list

MySQL的 Binlog记录着 MySQL数据库的所有变更信息，了解 Binlog的结构可以帮助我们解析Binlog，甚至对 Binlog进行一些修改，或者说是“篡改”，例如实现类似于 Oracle的 flashback的功能，恢复误删除的记录，把 update的记录再还原回去等。本文将带您探讨一下这些神奇功能的实现，您会发现比您想象地要简单得多。本文指的 Binlog是 ROW模式的 Binlog，这也是 MySQL 8里的默认模式，STATEMENT模式因为使用中有很多限制，现在用得越来越少了。

Binlog由事件（event）组成，请注意是事件（event）不是事务（transaction），一个事务可以包含多个事件。事件描述对数据库的修改内容。

现在我们已经了解了 Binlog的结构，我们可以试着修改 Binlog里的数据。例如前面举例的 Binlog删除了一条记录，我们可以试着把这条记录恢复，Binlog里面有个删除行（DELETE_ROWS_EVENT）的事件，就是这个事件删除了记录，这个事件和写行（WRITE_ROWS_EVENT）的事件的数据结构是完全一样的，只是删除行事件的类型是 32，写行事件的类型是 30，我们把对应的 Binlog位置的 32改成 30即可把已经删除的记录再插入回去。从前面的“show binlog events”里面可看到这个 DELETE_ROWS_EVENT是从位置 378开始的，这里的位置就是 Binlog文件的实际位置（以字节为单位）。从事件（event）的结构里面可以看到 type_code是在 event的第 5个字节，我们写个 Python小程序把把第383（378+5=383）字节改成 30即可。当然您也可以用二进制编辑工具来改。

找出 Binlog中的大事务

由于 ROW模式的 Binlog是每一个变更都记录一条日志，因此一个简单的 SQL，在 Binlog里可能会产生一个巨无霸的事务，例如一个不带 where的 update或 delete语句，修改了全表里面的所有记录，每条记录都在 Binlog里面记录一次，结果是一个巨大的事务记录。这样的大事务经常是产生麻烦的根源。我的一个客户有一次向我抱怨，一个 Binlog前滚，滚了两天也没有动静，我把那个 Binlog解析了一下，发现里面有个事务产生了 1.4G的记录，修改了 66万条记录！下面是一个简单的找出 Binlog中大事务的 Python小程序，我们知道用 mysqlbinlog解析的 Binlog，每个事务都是以 BEGIN开头，以 COMMIT结束。我们找出 BENGIN前面的“# at”的位置，检查 COMMIT后面的“# at”位置，这两个位置相减即可计算出这个事务的大小，下面是这个 Python程序的例子。

切割 Binlog中的大事务

对于大的事务，MySQL会把它分解成多个事件（注意一个是事务 TRANSACTION，另一个是事件 EVENT），事件的大小由参数 binlog-row-event-max-size决定，这个参数默认是 8K。因此我们可以把若干个事件切割成一个单独的略小的事务

ROW模式下，即使我们只更新了一条记录的其中某个字段，也会记录每个字段变更前后的值，这个行为是 binlog_row_image参数控制的，这个参数有 3个值，默认为 FULL，也就是记录列的所有修改，即使字段没有发生变更也会记录。这样我们就可以实现类似 Oracle的 flashback的功能，我个人估计 MySQL未来的版本从可能会基于 Binlog推出这样的功能。

了解了 Binlog的结构，再加上 Python这把瑞士军刀，我们还可以实现很多功能，例如我们可以统计哪个表被修改地最多？我们还可以把 Binlog切割成一段一段的，然后再重组，可以灵活地进行 MySQL数据库的修改和迁移等工作。

Python怎么把数据框内数据写入数据库

这次给大家带来Python怎么把数据框内数据写入数据库，Python把数据框内数据写入数据库的注意事项有哪些，下面就是实战案例，一起来看一下。

主要内容：

1、数据框数据写入mongdb方法

2、数据框数据写入mysql方法

为了以后不重复造轮子，这里总结下，如何把数据框数据写入mysql和mongodb的方法记录下来，省得翻来翻去。下面记录的都是精华。

写入mongodb代码片段（使用pymongo库）：

##########################写入mongodb数据库######################

###########################python操作mongodb数据库

from pymongo import MongoClient

con=MongoClient()##连接客户端

db= con.Class##创建数据库

post=db.Classdata##创建集合

##插入数据(df是数据框)

##循环写入（以字典的方式一条一条插入）

for i in range(0,len(df)):

u=dict(Class=df.iloc[i,0], Course=df.iloc[i,1],Title=df.iloc[i,7],Section=df.iloc[i,5],Type=df.iloc[i,8],

Days=df.iloc[i,2],Time=df.iloc[i,6],Room=df.iloc[i,4],Location=df.iloc[i,3],instructors=df.iloc[i,9],status=df.iloc[i,10])

print u

post.insert(u)写入mysql代码片段（使用pymysql库）：

##############################写入mysql数据库#################################

import pymysql

##加上字符集参数，防止中文乱码

dbconn=pymysql.connect(

host="127.0.0.1",

database="cgjr",

user="root",

password="12345",

port=3306,

charset='utf8'

)

#执行sql语句

try:

with dbconn.cursor() as cursor:

#执行sql语句，插入记录

sql='INSERT INTO t_tao_info(num, price, city, shop_name, title,number,link,sale) VALUES(%s,%s,%s,%s,%s,%s,%s,%s)'

for i in range(0,len(data)):

print"正在插入数据："+ str(i)

cursor.execute(sql,(data.iloc[i,0], data.iloc[i,1], data.iloc[i,2],data.iloc[i,3],data.iloc[i,4],data.iloc[i,5],data.iloc[i,6],data.iloc[i,7]))

#没有设置默认自动提交，需要主动提交，以保存所执行的语句

dbconn.commit()

except dbconn.Error, e:

print"Error%d:%s"%(e.args[0], e.args[1])

sys.exit(1)

finally:

dbconn.close()

print('数据已插入，插入数据库成功！')相信看了本文案例你已经掌握了方法，更多精彩请关注Gxl网其它相关文章！