数据库缓存机制 数据库缓存机制是什么缓存是如何作用数据库

大家好，如果您还对数据库缓存机制不太了解，没有关系，今天就由本站为大家分享数据库缓存机制的知识，包括数据库缓存机制是什么缓存是如何作用数据库的问题都会给大家分析到，还望可以解决大家的问题，下面我们就开始吧！

如何保证数据库缓存的最终一致性

对于互联网业务来说，传统的直接访问数据库方式，主要通过数据分片、一主多从等方式来扛住读写流量，但随着数据量的积累和流量的激增，仅依赖数据库来承接所有流量，不仅成本高、效率低、而且还伴随着稳定性降低的风险。

鉴于大部分业务通常是读多写少（读取频率远远高于更新频率），甚至存在读操作数量高出写操作多个数量级的情况。因此，在架构设计中，常采用增加缓存层来提高系统的响应能力，提升数据读写性能、减少数据库访问压力，从而提升业务的稳定性和访问体验。

根据 CAP原理，分布式系统在可用性、一致性和分区容错性上无法兼得，通常由于分区容错无法避免，所以一致性和可用性难以同时成立。对于缓存系统来说，如何保证其数据一致性是一个在应用缓存的同时不得不解决的问题。

需要明确的是，缓存系统的数据一致性通常包括持久化层和缓存层的一致性、以及多级缓存之间的一致性，这里我们仅讨论前者。持久化层和缓存层的一致性问题也通常被称为双写一致性问题，“双写”意为数据既在数据库中保存一份，也在缓存中保存一份。

对于一致性来说，包含强一致性和弱一致性，强一致性保证写入后立即可以读取，弱一致性则不保证立即可以读取写入后的值，而是尽可能的保证在经过一定时间后可以读取到，在弱一致性中应用最为广泛的模型则是最终一致性模型，即保证在一定时间之后写入和读取达到一致的状态。对于应用缓存的大部分场景来说，追求的则是最终一致性，少部分对数据一致性要求极高的场景则会追求强一致性。

为了达到最终一致性，针对不同的场景，业界逐步形成了下面这几种应用缓存的策略。

— 1—

Cache-Aside

Cache-Aside意为旁路缓存模式，是应用最为广泛的一种缓存策略。下面的图示展示了它的读写流程，来看看它是如何保证最终一致性的。在读请求中，首先请求缓存，若缓存命中（cache hit），则直接返回缓存中的数据；若缓存未命中（cache miss），则查询数据库并将查询结果更新至缓存，然后返回查询出的数据（demand-filled look-aside）。在写请求中，先更新数据库，再删除缓存（write-invalidate）。

1、为什么删除缓存，而不是更新缓存？

在 Cache-Aside中，对于读请求的处理比较容易理解，但在写请求中，可能会有读者提出疑问，为什么要删除缓存，而不是更新缓存？站在符合直觉的角度来看，更新缓存是一个容易被理解的方案，但站在性能和安全的角度，更新缓存则可能会导致一些不好的后果。

首先是性能，当该缓存对应的结果需要消耗大量的计算过程才能得到时，比如需要访问多张数据库表并联合计算，那么在写操作中更新缓存的动作将会是一笔不小的开销。同时，当写操作较多时，可能也会存在刚更新的缓存还没有被读取到，又再次被更新的情况（这常被称为缓存扰动），显然，这样的更新是白白消耗机器性能的，会导致缓存利用率不高。

而等到读请求未命中缓存时再去更新，也符合懒加载的思路，需要时再进行计算。删除缓存的操作不仅是幂等的，可以在发生异常时重试，而且写-删除和读-更新在语义上更加对称。

其次是安全，在并发场景下，在写请求中更新缓存可能会引发数据的不一致问题。参考下面的图示，若存在两个来自不同线程的写请求，首先来自线程 1的写请求更新了数据库（step 1），接着来自线程 2的写请求再次更新了数据库（step 3），但由于网络延迟等原因，线程 1可能会晚于线程 2更新缓存（step 4晚于 step 3），那么这样便会导致最终写入数据库的结果是来自线程 2的新值，写入缓存的结果是来自线程 1的旧值，即缓存落后于数据库，此时再有读请求命中缓存（step 5），读取到的便是旧值。

2、为什么先更新数据库，而不是先删除缓存？

另外，有读者也会对更新数据库和删除缓存的时序产生疑问，那么为什么不先删除缓存，再更新数据库呢？在单线程下，这种方案看似具有一定合理性，这种合理性体现在删除缓存成功。

但更新数据库失败的场景下，尽管缓存被删除了，下次读操作时，仍能将正确的数据写回缓存，相对于 Cache-Aside中更新数据库成功，删除缓存失败的场景来说，先删除缓存的方案似乎更合理一些。那么，先删除缓存有什么问题呢？

问题仍然出现在并发场景下，首先来自线程 1的写请求删除了缓存（step 1），接着来自线程 2的读请求由于缓存的删除导致缓存未命中，根据 Cache-Aside模式，线程 2继而查询数据库（step 2），但由于写请求通常慢于读请求，线程 1更新数据库的操作可能会晚于线程 2查询数据库后更新缓存的操作（step 4晚于 step 3），那么这样便会导致最终写入缓存的结果是来自线程 2中查询到的旧值，而写入数据库的结果是来自线程 1的新值，即缓存落后于数据库，此时再有读请求命中缓存（ step 5），读取到的便是旧值。

另外，先删除缓存，由于缓存中数据缺失，加剧数据库的请求压力，可能会增大缓存穿透出现的概率。

3、如果选择先删除缓存，再更新数据库，那如何解决一致性问题呢？

为了避免“先删除缓存，再更新数据库”这一方案在读写并发时可能带来的缓存脏数据，业界又提出了延时双删的策略，即在更新数据库之后，延迟一段时间再次删除缓存，为了保证第二次删除缓存的时间点在读请求更新缓存之后，这个延迟时间的经验值通常应稍大于业务中读请求的耗时。

延迟的实现可以在代码中 sleep或采用延迟队列。显而易见的是，无论这个值如何预估，都很难和读请求的完成时间点准确衔接，这也是延时双删被诟病的主要原因。

4、那么 Cache-Aside存在数据不一致的可能吗？

在 Cache-Aside中，也存在数据不一致的可能性。在下面的读写并发场景下，首先来自线程 1的读请求在未命中缓存的情况下查询数据库（step 1），接着来自线程 2的写请求更新数据库（step 2），但由于一些极端原因，线程 1中读请求的更新缓存操作晚于线程 2中写请求的删除缓存的操作（step 4晚于 step 3），那么这样便会导致最终写入缓存中的是来自线程 1的旧值，而写入数据库中的是来自线程 2的新值，即缓存落后于数据库，此时再有读请求命中缓存（step 5），读取到的便是旧值。

这种场景的出现，不仅需要缓存失效且读写并发执行，而且还需要读请求查询数据库的执行早于写请求更新数据库，同时读请求的执行完成晚于写请求。足以见得，这种不一致场景产生的条件非常严格，在实际的生产中出现的可能性较小。

除此之外，在并发环境下，Cache-Aside中也存在读请求命中缓存的时间点在写请求更新数据库之后，删除缓存之前，这样也会导致读请求查询到的缓存落后于数据库的情况。

虽然在下一次读请求中，缓存会被更新，但如果业务层面对这种情况的容忍度较低，那么可以采用加锁在写请求中保证“更新数据库&删除缓存”的串行执行为原子性操作（同理也可对读请求中缓存的更新加锁）。加锁势必会导致吞吐量的下降，故采取加锁的方案应该对性能的损耗有所预期。

— 2—

补偿机制

我们在上面提到了，在 Cache-Aside中可能存在更新数据库成功，但删除缓存失败的场景，如果发生这种情况，那么便会导致缓存中的数据落后于数据库，产生数据的不一致的问题。

其实，不仅 Cache-Aside存在这样的问题，在延时双删等策略中也存在这样的问题。针对可能出现的删除失败问题，目前业界主要有以下几种补偿机制。

1、删除重试机制

由于同步重试删除在性能上会影响吞吐量，所以常通过引入消息队列，将删除失败的缓存对应的 key放入消息队列中，在对应的消费者中获取删除失败的 key，异步重试删除。这种方法在实现上相对简单，但由于删除失败后的逻辑需要基于业务代码的 trigger来触发，对业务代码具有一定入侵性。

鉴于上述方案对业务代码具有一定入侵性，所以需要一种更加优雅的解决方案，让缓存删除失败的补偿机制运行在背后，尽量少的耦合于业务代码。一个简单的思路是通过后台任务使用更新时间戳或者版本作为对比获取数据库的增量数据更新至缓存中，这种方式在小规模数据的场景可以起到一定作用，但其扩展性、稳定性都有所欠缺。

一个相对成熟的方案是基于 MySQL数据库增量日志进行解析和消费，这里较为流行的是阿里巴巴开源的作为 MySQL binlog增量获取和解析的组件 canal（类似的开源组件还有 Maxwell、Databus等）。

canal sever模拟 MySQL slave的交互协议，伪装为 MySQL slave，向 MySQL master发送 dump协议，MySQL master收到 dump请求，开始推送 binary log给 slave（即 canal sever），canal sever解析 binary log对象（原始为 byte流），可由 canal client拉取进行消费，同时 canal server也默认支持将变更记录投递到 MQ系统中，主动推送给其他系统进行消费。

在 ack机制的加持下，不管是推送还是拉取，都可以有效的保证数据按照预期被消费。当前版本的 canal支持的 MQ有 Kafka或者 RocketMQ。另外， canal依赖 ZooKeeper作为分布式协调组件来实现 HA，canal的 HA分为两个部分：

那么，针对缓存的删除操作便可以在 canal client或 consumer中编写相关业务代码来完成。这样，结合数据库日志增量解析消费的方案以及 Cache-Aside模型，在读请求中未命中缓存时更新缓存（通常这里会涉及到复杂的业务逻辑），在写请求更新数据库后删除缓存，并基于日志增量解析来补偿数据库更新时可能的缓存删除失败问题，在绝大多数场景下，可以有效的保证缓存的最终一致性。

另外需要注意的是，还应该隔离事务与缓存，确保数据库入库后再进行缓存的删除操作。比如考虑到数据库的主从架构，主从同步及读从写主的场景下，可能会造成读取到从库的旧数据后便更新了缓存，导致缓存落后于数据库的问题，这就要求对缓存的删除应该确保在数据库操作完成之后。所以，基于 binlog增量日志进行数据同步的方案，可以通过选择解析从节点的 binlog，来避免主从同步下删除缓存过早的问题。

3、数据传输服务 DTS

— 3—

Read-Through

Read-Through意为读穿透模式，它的流程和 Cache-Aside类似，不同点在于 Read-Through中多了一个访问控制层，读请求只和该访问控制层进行交互，而背后缓存命中与否的逻辑则由访问控制层与数据源进行交互，业务层的实现会更加简洁，并且对于缓存层及持久化层交互的封装程度更高，更易于移植。

— 4—

Write-Through

Write-Through意为直写模式，对于 Write-Through直写模式来说，它也增加了访问控制层来提供更高程度的封装。不同于 Cache-Aside的是，Write-Through直写模式在写请求更新数据库之后，并不会删除缓存，而是更新缓存。

这种方式的优势在于读请求过程简单，不需要查询数据库更新缓存等操作。但其劣势也非常明显，除了上面我们提到的更新数据库再更新缓存的弊端之外，这种方案还会造成更新效率低，并且两个写操作任何一次写失败都会造成数据不一致。

如果要使用这种方案，最好可以将这两个操作作为事务处理，可以同时失败或者同时成功，支持回滚，并且防止并发环境下的不一致。另外，为了防止缓存扰动的频发，也可以给缓存增加 TTL来缓解。

站在可行性的角度，不管是 Write-Through模式还是 Cache-Aside模式，理想状况下都可以通过分布式事务保证缓存层数据与持久化层数据的一致性，但在实际项目中，大多都对一致性的要求存在一些宽容度，所以在方案上往往有所折衷。

Write-Through直写模式适合写操作较多，并且对一致性要求较高的场景，在应用 Write-Through模式时，也需要通过一定的补偿机制来解决它的问题。首先，在并发环境下，我们前面提到了先更新数据库，再更新缓存会导致缓存和数据库的不一致，那么先更新缓存，再更新数据库呢？

这样的操作时序仍然会导致下面这样线程 1先更新缓存，最后更新数据库的情况，即由于线程 1和线程 2的执行不确定性导致数据库和缓存的不一致。这种由于线程竞争导致的缓存不一致，可以通过分布式锁解决，保证对缓存和数据库的操作仅能由同一个线程完成。对于没有拿到锁的线程，一是通过锁的 timeout时间进行控制，二是将请求暂存在消息队列中顺序消费。

在下面这种并发执行场景下，来自线程 1的写请求更新了数据库，接着来自线程 2的读请求命中缓存，接着线程 1才更新缓存，这样便会导致线程 2读取到的缓存落后于数据库。同理，先更新缓存后更新数据库在写请求和读请求并发时，也会出现类似的问题。面对这种场景，我们也可以加锁解决。

另在，在 Write-Through模式下，不管是先更新缓存还是先更新数据库，都存在更新缓存或者更新数据库失败的情况，上面提到的重试机制和补偿机制在这里也是奏效的。

— 5—

Write-Behind

Write behind意为异步回写模式，它也具有类似 Read-Through/Write-Through的访问控制层，不同的是，Write behind在处理写请求时，只更新缓存而不更新数据库，对于数据库的更新，则是通过批量异步更新的方式进行的，批量写入的时间点可以选在数据库负载较低的时间进行。

在 Write-Behind模式下，写请求延迟较低，减轻了数据库的压力，具有较好的吞吐性。但数据库和缓存的一致性较弱，比如当更新的数据还未被写入数据库时，直接从数据库中查询数据是落后于缓存的。同时，缓存的负载较大，如果缓存宕机会导致数据丢失，所以需要做好缓存的高可用。显然，Write behind模式下适合大量写操作的场景，常用于电商秒杀场景中库存的扣减。

— 6—

Write-Around

如果一些非核心业务，对一致性的要求较弱，可以选择在 cache aside读模式下增加一个缓存过期时间，在写请求中仅仅更新数据库，不做任何删除或更新缓存的操作，这样，缓存仅能通过过期时间失效。这种方案实现简单，但缓存中的数据和数据库数据一致性较差，往往会造成用户的体验较差，应慎重选择。

— 7—

在解决缓存一致性的过程中，有多种途径可以保证缓存的最终一致性，应该根据场景来设计合适的方案，读多写少的场景下，可以选择采用“Cache-Aside结合消费数据库日志做补偿”的方案，写多的场景下，可以选择采用“Write-Through结合分布式锁”的方案，写多的极端场景下，可以选择采用“Write-Behind”的方案。

数据库的事务机制是什么

回答的有点多请耐心看完。

希望能帮助你还请及时采纳谢谢

1事务的原理

事务就是将一组SQL语句放在同一批次内去执行，如果一个SQL语句出错,则该批次内的所有SQL都将被取消执行。MySQL事务处理只支持InnoDB和BDB数据表类型。

1事务的ACID原则

** 1（Atomicity）原子性**：事务是最小的执行单位，不允许分割。原子性确保动作要么全部完成，要么完全不起作用；

2（Consistency）一致性：执行事务前后，数据保持一致；

3（Isolation）隔离性：并发访问数据库时，一个事务不被其他事务所干扰。

4（Durability）持久性:一个事务被提交之后。对数据库中数据的改变是持久的，即使数据库发生故障。

1缓冲池（Buffer Pool）

Buffer Pool中包含了磁盘中部分数据页的映射。当从数据库读取数据时，会先从Buffer Pool中读取数据，如果Buffer Pool中没有，则从磁盘读取后放入到Buffer Pool中。当向数据库写入数据时，会先写入到Buffer Pool中，Buffer Pool中更新的数据会定期刷新到磁盘中（此过程称为刷脏）。

2日志缓冲区（Log Buffer）

当在MySQL中对InnoDB表进行更改时，这些更改命令首先存储在InnoDB日志缓冲区（Log Buffer）的内存中，然后写入通常称为重做日志（redo logs）的InnoDB日志文件中。

3双写机制缓存（DoubleWrite Buffer）

Doublewrite Buffer是共享表空间的物理文件的 buffer,其大小是2MB.是一个一分为二的2MB空间。

刷脏操作开始之时,先进行脏页**‘备份’**操作.将脏页数据写入 Doublewrite Buffer.

将Doublewrite Buffer(顺序IO)写入磁盘文件中(共享表空间)进行刷脏操作.

4回滚日志(Undo Log)

Undo Log记录的是逻辑日志.记录的是事务过程中每条数据的变化版本和情况.

在Innodb磁盘架构中Undo Log默认是共享表空间的物理文件的Buffer.

在事务异常中断,或者主动(Rollback)回滚的过程中,Innodb基于 Undo Log进行数据撤销回滚,保证数据回归至事务开始状态.

5重做日志(Redo Log)

Redo Log通常指的是物理日志，记录的是数据页的物理修改.并不记录行记录情况。（也就是只记录要做哪些修改，并不记录修改的完成情况）当数据库宕机重启的时候，会将重做日志中的内容恢复到数据库中。

1原子性

Innodb事务的原子性保证,包含事务的提交机制和事务的回滚机制.在Innodb引擎中事务的回滚机制是依托回滚日志(Undo Log)进行回滚数据，保证数据回归至事务开始状态.

2那么不同的隔离级别，隔离性是如何实现的，为什么不同事物间能够互不干扰？答案是锁和 MVCC。

3持久性

基于事务的提交机制流程有可能出现三种场景.

1数据刷脏正常.一切正常提交，Redo Log循环记录.数据成功落盘.持久性得以保证

2数据刷脏的过程中出现的系统意外导致页断裂现象(部分刷脏成功)，针对页断裂情况,采用Double write机制进行保证页断裂数据的恢复.

3数据未出现页断裂现象,也没有刷脏成功，MySQL通过Redo Log进行数据的持久化即可

4一致性

从数据库层面，数据库通过原子性、隔离性、持久性来保证一致性

2事务的隔离级别

Mysql默认采用的 REPEATABLE_READ隔离级别 Oracle默认采用的 READ_COMMITTED隔离级别

脏读：指一个事务读取了另外一个事务未提交的数据。

不可重复读：在一个事务内读取表中的某一行数据，多次读取结果不同

虚读(幻读)：是指在一个事务内读取到了别的事务插入的数据，导致前后读取不一致。

2基本语法

--使用set语句来改变自动提交模式

SET autocommit= 0;/*关闭*/

SET autocommit= 1;/*开启*/

--注意:

--- 1.MySQL中默认是自动提交

--- 2.使用事务时应先关闭自动提交

--开始一个事务,标记事务的起始点

START TRANSACTION

--提交一个事务给数据库

COMMIT

--将事务回滚,数据回到本次事务的初始状态

ROLLBACK

--还原MySQL数据库的自动提交

SET autocommit=1;

--保存点

SAVEPOINT保存点名称--设置一个事务保存点

ROLLBACK TO SAVEPOINT保存点名称--回滚到保存点

RELEASE SAVEPOINT保存点名称--删除保存点

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

/*

课堂测试题目

A在线买一款价格为500元商品,网上银行转账.

A的银行卡余额为2000,然后给商家B支付500.

商家B一开始的银行卡余额为10000

创建数据库shop和创建表account并插入2条数据

*/

CREATE DATABASE `shop`CHARACTER SET utf8 COLLATE utf8_general_ci;

USE `shop`;

CREATE TABLE `account`(

`id` INT(11) NOT NULL AUTO_INCREMENT,

`name` VARCHAR(32) NOT NULL,

`cash` DECIMAL(9,2) NOT NULL,

PRIMARY KEY(`id`)

) ENGINE=INNODB DEFAULT CHARSET=utf8

INSERT INTO account(`name`,`cash`)

VALUES('A',2000.00),('B',10000.00)

--转账实现

SET autocommit= 0;--关闭自动提交

START TRANSACTION;--开始一个事务,标记事务的起始点

UPDATE account SET cash=cash-500 WHERE `name`='A';

UPDATE account SET cash=cash+500 WHERE `name`='B';

COMMIT;--提交事务

# rollback;

SET autocommit= 1;--恢复自动提交

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

3事务实现方式-MVCC

1什么是MVCC

MVCC是mysql的的多版本并发控制即multi-Version Concurrency Controller，mysql的innodb引擎支持MVVC。MVCC是为了实现事务的隔离性，通过版本号，避免同一数据在不同事务间的竞争，你可以把它当成基于多版本号的一种乐观锁。当然，这种乐观锁只在事务级别为RR（可重复读）和RC（读提交）生效。MVCC最大的好处，相信也是耳熟能详：读不加锁，读写不冲突，极大的增加了系统的并发性能。

2MVCC的实现机制

InnoDB在每行数据都增加两个隐藏字段，一个记录创建的版本号，一个记录删除的版本号。

在多版本并发控制中，为了保证数据操作在多线程过程中，保证事务隔离的机制，降低锁竞争的压力，保证较高的并发量。在每开启一个事务时，会生成一个事务的版本号，被操作的数据会生成一条新的数据行（临时），但是在提交前对其他事务是不可见的；对于数据的更新（包括增删改）操作成功，会将这个版本号更新到数据的行中；事务提交成功，新的版本号也就更新到了此数据行中。这样保证了每个事务操作的数据，都是互不影响的，也不存在锁的问题。

3MVCC下的CRUD

SELECT：

当隔离级别是REPEATABLE READ时select操作，InnoDB每行数据来保证它符合两个条件：

** 1事务的版本号大于等于创建行版本号**

** 2行数据的删除版本未定义或者大于事务版本号**

【行创建版本号事务版本号行删除版本号】

INSERT：

InnoDB为这个新行记录当前的系统版本号。

DELETE：

InnoDB将当前的系统版本号设置为这一行的删除版本号。

UPDATE：

InnoDB会写一个这行数据的新拷贝，这个拷贝的版本为当前的系统版本号。它同时也会将这个版本号写到旧行的删除版本里。

————————————————

版权声明：本文为CSDN博主「@Autowire」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://blog.csdn.net/zs18753479279/article/details/113933252

数据库缓存机制是什么缓存是如何作用数据库

我们都知道 MySQL的 Table Cache是表定义的缓存，江湖上流传着各种对这个参数的调优方法。

table cache的作用，就是节约读取表结构文件的开销。对于table cache是否命中，其实table cache是针对于线程的，每个线程有自己的缓存，只缓存本线程的表结构定义。不过我们发现，strace中没有关于表结构文件的 open操作（只有 stat操作，定位表结构文件是否存在），也就是说 table cache不命中，不一定需要读取表结构文件。这种感觉好像是：在不命中 table cache时，命中了另外一个表结构缓存。

运维建议：

我们读一下 MySQL的文档，关于 table_open_cache的建议值公式：建议值=最大并发数* join语句涉及的表的最大个数。

通过实验我们容易理解：table_cache是针对于线程的，所以需要最大并发数个缓存。另外，一个语句 join涉及的表，需要同时在缓存中存在。所以最小的缓存大小，等于语句 join涉及的表的最大个数。将这两个数相乘，就得到了 MySQL的建议值公式。

关于数据库缓存机制到此分享完毕，希望能帮助到您。