mysql数据库读写分离?mysql读写分离原理是什么
大家好,感谢邀请,今天来为大家分享一下mysql数据库读写分离的问题,以及和mysql读写分离原理是什么的一些困惑,大家要是还不太明白的话,也没有关系,因为接下来将为大家分享,希望可以帮助到大家,解决大家的问题,下面就开始吧!
SpringBoot项目中实现MySQL读写分离
但我们仔细观察我们会发现,当我们的项目都是用的单体数据库时,那么就可能会存在如下问题:
为了解决上述提到的两个问题,我们可以准备两(多)台MySQL,一台主( Master)服务器,一台从( Slave)服务器,主库的数据变更(写、更新、删除这些操作),需要同步到从库中(主从复制)。而用户在访问我们项目时,如果是写操作(insert、update、delete),则直接操作主库;如果是读操作(select),则直接操作从库,这种结构就是读写分离啦。
在这种读写分离的结构中,从库是可以有多个的
MySQL主从复制是一个异步的复制过程,底层是基于Mysql数据库自带的二进制日志功能。就是一台或多台MySQL数据库(slave,即从库)从另一台MySQL数据库(master,即主库)进行日志的复制,然后再解析日志并应用到自身,最终实现从库的数据和主库的数据保持一致。MySQL主从复制是 MySQL数据库自带功能,无需借助第三方工具。
二进制日志(BINLOG)记录了所有的 DDL(数据定义语言)语句和 DML(数据操纵语言)语句,但是不包括数据查询语句。此日志对于灾难时的数据恢复起着极其重要的作用,MySQL的主从复制,就是通过该binlog实现的。默认MySQL是未开启该日志的。
在环境搭建之前,我们需要准备好两台服务器,如果生活富裕使用的是两台云服务器的时候记得要开放安全组,即防火墙;如果是比狗子我生活好点但也是用的虚拟机的话,记得别分这么多内存启动蓝屏了(别问怎么知道的)
这里就不给大家展示数据库的安装和防火墙的操作了,这个我感觉网上好多资源都能够满足遇到的问题,在搭建主从库的时候有在网上见到过说MySQL版本要一致的,我也没太留意直接就在之前的MySQL上操作了,大家可以自己去验证一下。
服务器:192.168.150.100(别试了黑不了的,这是虚拟机的ip)
这里有三个方法都能重启MySQL,最简单的无疑就是一关一开:
登录进去MySQL之后才能够执行下面的命令,因为这是SQL命令,Linux不认识这玩意是啥。
这个时候还不用退出MySQL,因为下面的命令还是SQL命令,执行下面的SQL,可以拿到我们后面需要的两个重要参数。
执行完这一句SQL之后,==不要再操作主库!不要再操作主库!不要再操作主库!==重要的事情说三遍,因为再操作主库之后可能会导致红框中的两个属性值会发生变化,后面如果发生了错误可能就和这里有那么两毛钱关系了。
服务器:192.168.150.101(别试了黑不了的,这也是虚拟机的ip)
这里要注意server-id和主库以及其他从库都不能相同,否则后面将会配置不成功。
这里有三个方法都能重启MySQL,最简单的无疑就是一关一开:
登录进去MySQL之后才能够执行下面的命令,因为这是SQL命令
参数说明:
这个时候还不用退出MySQL,因为下面的命令还是SQL命令,执行下面的SQL,可以看到从库的状态信息。通过状态信息中的 Slave_IO_running和 Slave_SQL_running可以看出主从同步是否就绪,如果这两个参数全为 Yes,表示主从同步已经配置完成。
这可能是由于linux是复制出来的,MySQL中还有一个 server_uuid是一样的,我们也需要修改。 vim/var/lib/mysql/auto.cnf
这应该就是各位大牛设置server_id的时候不小心设置相同的id了,修改过来就行,步骤在上面的配置中。
这是狗子在操作过程中搞出来的一个错误……
出错的原因是在主库中删除了用户信息,但是在从库中同步的时候失败导致同步停止,下面记录自己的操作(是在进入MySQL的操作且是从库)。
在数据库中操作时,一定要注意当前所在的数据库是哪个,作为一个良好的实践:在SQL语句前加 USE dbname。
Sharding-JDBC定位为轻量级Java框架,在Java的JDBC层提供的额外服务。它使用客户端直连数据库,以 jar包形式提供服务,无需额外部署和依赖,可理解为增强版的JDBC驱动,完全兼容JDBC和各种ORM框架。
使用Sharding-JDBC可以在程序中轻松的实现数据库读写分离。
Sharding-JDBC具有以下几个特点:
下面我们将用ShardingJDBC在项目中实现MySQL的读写分离。
在pom.xml文件中导入ShardingJDBC的依赖坐标
在application.yml中增加数据源的配置
这时我们就可以对我们项目中的配置进行一个测试,下面分别调用一个更新接口和一个查询接口,通过查看日志中记录的数据源来判断是否能够按照我们预料中的跑。
搞定!!!程序正常按照我们预期的成功跑起来了,成功借助ShardingJDBC在我们项目中实现了数据库的读写分离。
什么是数据库的读写分离
amoeba跟 mysql proxy在读写分离的使用上面的区别。
在mysql proxy上面如果想要读写分离并且读集群、写集群机器比较多情况下,用mysql proxy需要相当大的工作量,目前mysql proxy没有现成的 lua脚本。mysql proxy根本没有配置文件,lua脚本就是它的全部,当然lua是相当方便的。那么同样这种东西需要编写大量的脚本才能完成一个复杂的配置。amoeba目标是走产品化这条路。只需要进行相关的配置就可以满足需求。一、Master/Slave结构读写分离:
Master: server1(可读写)
slaves:server2、server3、server4(3个平等的数据库。只读/负载均衡)
amoeba提供读写分离pool相关配置。并且提供负载均衡配置。
可配置server2、server3、server4形成一个虚拟的 virtualSlave,该配置提供负载均衡、failOver、故障恢复功能Xml代码
com.meidusa.amoeba.server.MultipleServerPool
1
server2,server3,server4
如果不启用数据切分,那么只需要配置QueryRouter属性
wirtePool=server1
readPool=virtualSlave
com.meidusa.amoeba.mysql.parser.MysqlQueryRouter
1500
server1
server1
virtualSlave
true
mysql读写分离原理是什么
利用mysql proxy来实现的。
MySQL Proxy最强大的一项功能是实现“读写分离(Read/Write Splitting)”。基本的原理是让主数据库处理事务性查询,而从数据库处理SELECT查询。数据库复制被用来把事务性查询导致的变更同步到集群中的从数据库。当然,主服务器也可以提供查询服务。使用读写分离最大的作用无非是环境服务器压力。
如何利用amoeba实现mysql数据库的读写分离
关于mysql的读写分离架构有很多,百度的话几乎都是用mysql_proxy实现的。由于proxy是基于lua脚本语言实现的,所以网上不少网友表示proxy效率不高,也不稳定,不建议在生产环境使用;
amoeba是阿里开发的一款数据库读写分离的项目(读写分离只是它的一个小功能),由于是基于java编写的,所以运行环境需要安装jdk;
相关教程:mysql视频教程
前期准备工作:
1.两个数据库,一主一从,主从同步;
master: 172.22.10.237:3306;主库负责写入操作;
slave: 10.4.66.58:3306;从库负责读取操作;
amoeba: 172.22.10.237:8066;我把amoeba安装到了主库所在的服务器,当然,你也可以安装到第三台服务器上;
所有服务器操作系统均为centos7;
2.在amoeba所在的服务器上配置安装jdk;
我安装的是jdk1.8;
路径是: JAVA_HOME=/usr/local/java/jdk1.8.0_131
以上务必自己点搭建、配置好,主从正常工作,添加jdk环境变量:/etc/profile;
安装amoeba的方式有很多,这里就不在安装上面费口舌了,我下载了amoeba-mysql-3.0.5-RC-distribution的安装包,直接解压即可使用;
解压目录:/usr/local/amoeba/
很明显 conf里是配置文件,bin里是启动程序;
刚才说到 amoeba的功能可不止读写分离,但如果只用读写分离功能的话只需要配置这几个个文件即可: conf/dbServers.xml conf/amoeba.xml和 bin/launcher;
conf/dbServers.xml:
`<property name="port">3306</property>
#设置Amoeba要连接的mysql数据库的端口,默认是3306
<property name="schema">testdb</property>
#设置缺省的数据库,当连接amoeba时,操作表必须显式的指定数据库名,即采用dbname.tablename的方式,不支持 use dbname指定缺省库,因为操作会调度到各个后端dbserver
<property name="user">test1</property>
#设置amoeba连接后端数据库服务器的账号和密码,因此需要在所有后端数据库上创建该用户,并授权amoeba服务器可连接
<property name="password">111111</property>
<property name="maxActive">500</property>#最大连接数,默认500
<property name="maxIdle">500</property>#最大空闲连接数
<property name="minIdle">1</property>#最新空闲连接数
<dbServer name="writedb" parent="abstractServer">#设置一个后端可写的数据库,这里定义为writedb,这个名字可以任意命名,后面还会用到
<property name="ipAddress">172.22.10.237</property>#设置后端可写dbserver的ip
<dbServer name="slave01" parent="abstractServer">#设置后端可读数据库
<property name="ipAddress">10.4.66.58</property>
<dbServer name="myslave" virtual="true">#设置定义一个虚拟的dbserver,实际上相当于一个dbserver组,这里将可读的数据库ip统一放到一个组中,将这个组的名字命名为myslave
<property name="loadbalance">1</property>#选择调度算法,1表示复制均衡,2表示权重,3表示HA,这里选择1
<property name="poolNames">slave01</property>#myslave组成员`conf/amoeba.xml:
#启动脚本,需要配置jdk环境变量;
#在注释后的第一行添加:
JAVA_HOME=/usr/local/java/jdk1.8.0_131launcher是启动脚本,如果不配置JAVA_HOME的话,即便你在/etc/profile中配置了环境变量也可能会报错:没有配置jdk环境变量;
还有一个配置文件: jvm.properties
#占用内存配置文件
#-Xss参数有最小值要求,必须大于228才能启动JVM
#修改:
JVM_OPTIONS="-server-Xms1024m-Xmx1024m-Xss256k-XX:PermSize=16m-XX:MaxPermSize=96m"有经验的运维都知道,凡是和jdk沾上边的,基本都会和内存的调优有关系,amoeba也不例外;
现在可以启动了:
启动后就可以看到本机的8066端口:
这时,你只需要通过本机ip的8066端口和你配置文件中设置的账号密码来连接数据库就行了,写入的数据都会到master里,读取的数据都会从slave中读取;
测试:
关闭master数据库,依然可以读取:执行 select查看命令;
或者
关闭slave数据库,依然可以写入:执行 update、inster命令;
如果你还想了解更多这方面的信息,记得收藏关注本站。