mysql数据库分表(mysql数据库数据达到多少分表)
本篇文章给大家谈谈mysql数据库分表,以及mysql数据库数据达到多少分表对应的知识点,文章可能有点长,但是希望大家可以阅读完,增长自己的知识,最重要的是希望对各位有所帮助,可以解决了您的问题,不要忘了收藏本站喔。
mysql数据库数据达到多少分表
mysql单数据库对数据表限制数量的问题:
1.一个数据库是没有表现值的,或者说这个被限制的值很大
2.一个mysqld服务可以支持的表对象数量是,42亿多点,所以这个限制基本上不需要考虑
从性能考虑的话,一个数据库建立多少张表适合的问题:
1.当一个数据库或实例中,表太多,意味着可能同时需要打开的表,从操作系统角度说就是:文件描述符很多,这个操作系统有限制的,但是可以修改操作系统的内核参数达到
2.多少表性能就会下降,分2点阐述
2.1.分表多,意味着需要维护的表结构和统计信息多,一般情况下此不会成为任何瓶颈,但是太不合理,比如几万甚至更大,可能就有问题了
2.2.性能是否下降明显,最直接的就是:跟服务器的承载能力和数据量有关系,这个是最直接的
3.反问“为何要分很多表”呢?
3.1.分表太多,容易造成程序逻辑复杂,降低性能,以及增加出错的风险点
3.2.若是表中的数据量(指容量,多少GB)很大,只是分表解决不了问题,因为在同一个服务器上,其物理IO能力最优先达到瓶颈
所以,一个数据库建立多少表,这个MYSQL是没有限制的。但是从性能考虑,肯定是有一定影响的,但是从IO和其他服务器性能考虑,这块的性能基本上还不足影响到很大成份。所以建议大家一个数据库建立在二百个表以下,这样也是比较合理的了。影响性能也不大。
但是如果你执意要知道MYSQL能够建立多少个表的话,可以参考以下理论值的资料吧:
在mysql中,每个数据库最多可创建20亿个表,一个表允许定义1024列,每行的最大长度为8092字节(不包括文本和图像类型的长度)。
当表中定义有varchar、nvarchar或varbinary类型列时,如果向表中插入的数据行超过8092字节时将导致Transact-SQL语句失败,并产生错误信息。
mysql怎么分表
当一张的数据达到几百万时,你查询一次所花的时间会变多,如果有联合查询的话,我想有可能会死在那儿了。分表的目的就在于此,减小数据库的负担,缩短查询时间。
分表
1,做mysql集群。例如:利用mysql cluster,mysql proxy,mysql replication,drdb等等
有人会问mysql集群,和分表有什么关系吗?虽然它不是实际意义上的分表,但是它起到了分表的作用。做集群的意义是什么呢?为一个数据库减轻负担,说白了就是减少sql排队队列中的sql的数量。
举个例子:有10个sql请求,如果放在一个数据库服务器的排队队列中,他要等很长时间,如果把这10个sql请求,分配到5个数据库服务器的排队队列中,一个数据库服务器的队列中只有2个,这样等待时间是不是大大的缩短了呢?这已经很明显了。
优点:扩展性好,没有多个分表后的复杂操作(php代码)
缺点:单个表的数据量还是没有变,一次操作所花的时间还是那么多,硬件开销大。
2,预先估计会出现大数据量并且访问频繁的表,将其分为若干个表
这种预估大差不差的,论坛里面发表帖子的表,时间长了这张表肯定很大,几十万,几百万都有可能。聊天室里面信息表,几十个人在一起一聊一个晚上,时间长了,这张表的数据肯定很大。像这样的情况很多。所以这种能预估出来的大数据量表,我们就事先分出个N个表,这个N是多少,根据实际情况而定。
优点:避免一张表出现几百万条数据,缩短了一条sql的执行时间
缺点:当一种规则确定时,打破这条规则会很麻烦,上面的例子中我用的hash算法是crc32,如果我现在不想用这个算法了,改用md5后,会使同一个用户的消息被存储到不同的表中,这样数据乱套了。扩展性很差。
3,利用merge存储引擎来实现分表
我觉得这种方法比较适合,那些没有事先考虑,而已经出现了的,数据查询慢的情况。这个时候如果要把已有的大数据量表分开比较痛苦,最痛苦的事就是改代码,因为程序里面的sql语句已经写好了。现在一张表要分成几十张表,甚至上百张表,这样sql语句是不是要重写呢?举个例子,我很喜欢举子
mysql>show engines;的时候你会发现mrg_myisam其实就是merge。
mysql> CREATE TABLE IF NOT EXISTS `user1`(
-> `id` int(11) NOT NULL AUTO_INCREMENT,
-> `name` varchar(50) DEFAULT NULL,
-> `sex` int(1) NOT NULL DEFAULT'0',
-> PRIMARY KEY(`id`)
->) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1;
Query OK, 0 rows affected(0.05 sec)
mysql> CREATE TABLE IF NOT EXISTS `user2`(
-> `id` int(11) NOT NULL AUTO_INCREMENT,
-> `name` varchar(50) DEFAULT NULL,
-> `sex` int(1) NOT NULL DEFAULT'0',
-> PRIMARY KEY(`id`)
->) ENGINE=MyISAM DEFAULT CHARSET=utf8 AUTO_INCREMENT=1;
Query OK, 0 rows affected(0.01 sec)
mysql> INSERT INTO `user1`(`name`, `sex`) VALUES('张映', 0);
Query OK, 1 row affected(0.00 sec)
mysql> INSERT INTO `user2`(`name`, `sex`) VALUES('tank', 1);
Query OK, 1 row affected(0.00 sec)
mysql> CREATE TABLE IF NOT EXISTS `alluser`(
-> `id` int(11) NOT NULL AUTO_INCREMENT,
-> `name` varchar(50) DEFAULT NULL,
-> `sex` int(1) NOT NULL DEFAULT'0',
-> INDEX(id)
->) TYPE=MERGE UNION=(user1,user2) INSERT_METHOD=LAST AUTO_INCREMENT=1;
Query OK, 0 rows affected, 1 warning(0.00 sec)
mysql> select id,name,sex from alluser;
+----+--------+-----+
| id| name| sex|
+----+--------+-----+
| 1|张映| 0|
| 1| tank| 1|
+----+--------+-----+
2 rows in set(0.00 sec)
mysql> INSERT INTO `alluser`(`name`, `sex`) VALUES('tank2', 0);
Query OK, 1 row affected(0.00 sec)
mysql> select id,name,sex from user2
->;
+----+-------+-----+
| id| name| sex|
+----+-------+-----+
| 1| tank| 1|
| 2| tank2| 0|
+----+-------+-----+
2 rows in set(0.00 sec)优点:扩展性好,并且程序代码改动的不是很大
缺点:这种方法的效果比第二种要差一点
数据库分区和分表的区别
分区、分表、分库的详细理解
一、什么是分区、分表、分库
分区
就是把一张表的数据分成N个区块,在逻辑上看最终只是一张表,但底层是由N个物理区块组成的
分表
就是把一张表按一定的规则分解成N个具有独立存储空间的实体表。系统读写时需要根据定义好的规则得到对应的字表明,然后操作它。
分库
一旦分表,一个库中的表会越来越多
将整个数据库比作图书馆,一张表就是一本书。当要在一本书中查找某项内容时,如果不分章节,查找的效率将会下降。而同理,在数据库中就是分区。
二、常用的单机数据库的瓶颈
问题描述
单个表数据量越大,读写锁,插入操作重新建立索引效率越低。
单个库数据量太大(一个数据库数据量到就是极限)
单个数据库服务器压力过大
读写速度遇到瓶颈(并发量几百)
三、分区
什么时候考虑使用分区?
一张表的查询速度已经慢到影响使用的时候。
sql经过优化
数据量大
表中的数据是分段的
对数据的操作往往只涉及一部分数据,而不是所有的数据
分区解决的问题
主要可以提升查询效率
分区的实现方式(简单)
mysql5开始支持分区功能
四、分表
什么时候考虑分表?
一张表的查询速度已经慢到影响使用的时候。
sql经过优化
数据量大
当频繁插入或者联合查询时,速度变慢
分表解决的问题
分表后,单表的并发能力提高了,磁盘I/O性能也提高了,写操作效率提高了
查询一次的时间短了
数据分布在不同的文件,磁盘I/O性能提高
读写锁影响的数据量变小
插入数据库需要重新建立索引的数据减少
分表的实现方式(复杂)
需要业务系统配合迁移升级,工作量较大
分区和分表的区别与联系
分区和分表的目的都是减少数据库的负担,提高表的增删改查效率。
分区只是一张表中的数据的存储位置发生改变,分表是将一张表分成多张表。
当访问量大,且表数据比较大时,两种方式可以互相配合使用。
当访问量不大,但表数据比较多时,可以只进行分区。
常见分区分表的规则策略(类似)
Range(范围)
Hash(哈希)
按照时间拆分
Hash之后按照分表个数取模
在认证库中保存数据库配置,就是建立一个DB,这个DB单独保存user_id到DB的映射关系
好了,文章到此结束,希望可以帮助到大家。