数据库架构图，数据库架构是什么

大家好，今天给各位分享数据库架构图的一些知识，其中也会对数据库架构是什么进行解释，文章篇幅可能偏长，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在就马上开始吧！

数据库架构是什么

问题一：sql server中的架构是什么意思?通俗点说就是一个组，里面可以存放表、视图、存储过程等

主要是用于权限控制安全控制的

问题二：什么是架构，SQL中的架构有哪些架构(Schema)是形成单个命名空间的数据库实体的***。

命名空间是一个***，其中每个元素的名称都是唯一的。

可以将架构看成一个存放数据库中对象的一个容器。

架构实际上在sqlserver2000中就已经存在，当我们使用查询分析器去查询一个表的时候，一个完整的表的名称应该包括服务器名.数据库名.用户名.对象名，而在sqlserver2005中一个表的完全限定名称应该为服务器名.数据库名.架构名.对象名

在2000中，假如有一个账户tt在test数据库中创建了一张表table1的时候，在服务器上对查询的语句应为select* from test.tt.table1,也就是说，在sqlserver 2000中一张表所属的架构默认就是表的创建者的登录名称，用户可以和修改他所创建的所有数据库对象。

问题三：数据库架构是什么参考有一个声音再也不能的在耳边响起，有一双手再也握不住那手心的温度与舒适。

问题四：数据架构是什么数据架构即数据库架构

数据库是相关数据的***，一个数据库含有各种成分，包括表、记录、字段、索引等。

1．数据库(Database)

Visual Basic中使用的数据库是关系型数据库(Relational Database)。一个数据库由一个或一组数据表组成。每个数据库都以文件的形式存放在磁盘上，即对应于一个物理文件。不同的数据库，与物理文件对应的方式也不一样。对于dBASE,FoxPro和Paradox格式的数据库来说，一个数据表就是一个单独的数据库文件，而对于Microsoft Access、Btrieve格式的数据库来说，一个数据库文件可以含有多个数据表。

2．数据表(Table)

简称表，由一组数据记录组成，数据库中的数据是以表为单位进行组织的。一个表是一组相关的按行排列的数据；每个表中都含有相同类型的信息。表实际上是一个二维表格，例如，一个班所有学生的考试成绩，可以存放在一个表中，表中的每一行对应一个学生，这一行包括学生的学号，姓名及各门课程成绩。

3．记录(Record)

表中的每一行称为一个记录，它由若干个字段组成。

4．字段(Field)

也称域。表中的每一列称为一个字段。每个字段都有相应的描述信息，如数据类型、数据宽度等。

5．索引(Index)

为了提高访问数据库的效率，可以对数据库使用索引。当数据库较大时，为了查找指定的记录，则使用索引和不使用索引的效率有很大差别。索引实际上是一种特殊类型的表，其中含有关键字段的值(由用户定义)和指向实际记录位置的指针，这些值和指针按照特定的顺序(也由用户定义)存储，从而可以以较快的速度查找到所需要的数据记录。

6．查询(Query)

一条SQL(结构化查询语言)命令，用来从一个或多个表中获取一组指定的记录，或者对某个表执行指定的操作。当从数据库中读取数据时，往往希望读出的数据符合某些条件，并且能按某个字段排序。使用SQL，可以使这一操作容易实现而且更加有效。SQL是非过程化语言(有人称为第四代语言)，在用它查找指定的记录时，只需指出做什么，不必说明如何做。每个语句可以看作是一个查询(query)，根据这个查询，可以得到需要的查询结果。

7．过滤器(Filter)

过滤器是数据库的一个组成部分，它把索引和排序结合起来，用来设置条件，然后根据给定的条件输出所需要的数据。

8.视图(view)

数据的视图指的是查找到(或者处理)的记录数和显示(或者进行处理)这些记录的顺序。在一般情况下，视图由过滤器和索引控制

问题五：数据库中的文件组和架构有什么不同？两者之间的关系是什么？文件组是管理物理文件的.多个物理文件,放在一个组里面

架构不知道你指的是不是 Schema.

如果是的话。

架构是逻辑上面的,一个数据库，可以划分为多个架构，每个架构存储其独有的业务数据。

SQL Server默认使用一个名为 dbo的构架。

问题六：数据库-架构和数据库-管理指的是什么数据库架构：

下面是基于SQLserver数据库来谈的。贰

SQLServer经过这些年的发展，其实已经有很多很好的技术可以使用，如Replication、SSB、Cluster、Mirroring等（可以参考我在SQLServer DBA三十问和SQLServer高可用、高性能和高保护延伸中的一些技术方面的知识），而且这些技术在可靠性方面已经通过了市场的认可，有很多公司在为提高其程序的可靠性、安全性和高效性等方面或多或少的采用了其中的某些技术，以下就我接触过的这些技术方面的应用，主要针对网站这种流量很大，读多写少的应用，就数据库架构方面做些探讨，希望对各位有所帮助，如有不对的地方，欢迎大家指正和交流。

数据库架构需要考虑的问题：

数据可靠和一致性；

数据容灾；

当数据量和访问压力变大时，方便扩充；

高度可用，出问题时能及时恢复，无单点故障；

不应因为某一台机器出现问题，导致整网性能的急剧下降；

方便维护。

数据库管理：

数据库管理(Database Manager)是有关建立、存储、修改和存取数据库中信息的技术，是指为保证数据库系统的正常运行和服务质量，有关人员须进行的技术管理工作。负责这些技术管理工作的个人或集体称为数据库管理员(DBA)。数据库管理的主要内容有：数据库的调优、数据库的重组、数据库的重构、数据库的安全管控、报错问题的分析和汇总和处理、数据库数据的日常备份.数据库的建立：数据库的设计只是提供了数据的类型、逻辑结构、联系、约束和存储结构等有关数据的描述。这些描述称为数据模式。

问题七：oracle数据库的结构是什么？ Oracle数据库的体系结构包括四个方面：数据库的物理结构、逻辑结构、内存结构及进程。

1.物理结构

物理数据库结构是由构成数据库的操作系统文件所决定，Oracle数据库文件包括：

数据文件（Data File）

数据文件用来存储数据库中的全部数据，例如数据库表中的数据和索引数据.通常以为*.dbf格式，例如:userCIMS.dbf。

日志文件（Redo Log File）

日志文件用于记录数据库所做的全部变更（如增加、删除、修改）、以便在系统发生故障时，用它对数据库进行恢复。名字通常为Log*.dbf格式，如：Log1CIMS.dbf,Log2CIMS.dbf。

控制文件（Control File）

每个Oracle数据库都有相应的控制文件，它们是较小的二进制文件，用于记录数据库的物理结构，如：数据库名、数据库的数据文件和日志文件的名字和位置等信息。用于打开、存取数据库。名字通常为Ctrl*ctl格式，如Ctrl1CIMS.ctl。

配置文件

配置文件记录Oracle数据库运行时的一些重要参数，如：数据块的大小，内存结构的配置等。名字通常为init*.ora格式，如：initCIMS.ora。

2逻辑结构

Oracle数据库的逻辑结构描述了数据库从逻辑上如何来存储数据库中的数据。逻辑结构包括表空间、段、区、数据块和模式对象。数据库的逻辑结构将支配一个数据库如何使用系统的物理空间.模式对象及其之间的联系则描述了关系数据库之间的设计.

一个数据库从逻辑上说是由一个或多个表空间所组成，表空间是数据库中物理编组的数据仓库，每一个表空间是由段(segment)组成，一个段是由一组区(extent)所组成，一个区是由一组连续的数据库块(database block)组成，而一个数据库块对应硬盘上的一个或多个物理块。一个表空间存放一个或多个数据库的物理文件（即数据文件）.一个数据库中的数据被逻辑地存储在表空间上。

表空间（tablespace）

Oracle数据库被划分为一个或多个称为表空间的逻辑结构，它包括两类表空间，System表空间和非System表空间，其中，System表空间是安装数据库时自动建立的，它包含数据库的全部数据字典，存储过程、包、函数和触发器的定义以及系统回滚段。除此之外，还能包含用户数据。。

一个表空间包含许多段，每个段有一些可以不连续的区组成，每个区由一组连续的数据块组成，数据块是数据库进行操作的最小单位。

每个表空间对应一个或多个数据文件，每个数据文件只能属于一个表空间。

数据库块（database block）

数据库块也称逻辑块或ORACLE块，它对应磁盘上一个或多个物理块，它的大小由初始化参数db-block-size（在文件init.ora中）决定，典型的大小是2k。Pckfree和pctused两个参数用来优化数据块空间的使用。

区（extent）

区是由一组连续的数据块所组成的数据库存储空间分配的逻辑单位。

段（segment）

段是一个或多个不连续的区的***，它包括一个表空间内特定逻辑结构的所有数据，段不能跨表空间存放。Oracle数据库包括数据段、索引段、临时段、回滚段等。

模式对象（schema object）

Oracle数据库的模式对象包括表、视图、序列、同意词、索引、触发器、存......>>

问题八：sql server中架构是什么意思架构（Schema）是一组数据库对象的***，它被单个负责人（可以是用户或角色）所拥有并构成唯一命名空间。你可以将架构看成是对象的容器。

在 SQL Server 2000中，用户（User）和架构是隐含关联的，即每个用户拥有与其同名的架构。因此要删除一个用户，必须先删除或修改这个用户所拥有的所有数据库对象。

在 SQL Server 2005中，架构和创建它的数据库用户不再关联，完全限定名（fully-qualified name）现在包含4个部分：server.database.schema.object

1.体系结构（Architecture）

体系结构亦可称为架构，所谓软件架构，根据Perry和Wolfe之定义：Software Architecture={Elements,Forms, Rationale/ Constraint}，也就是软件主架构={组件元素，元素互助合作之模式，基础要求与限制}。Philippe Kruchten采用上面的定义，并说明主架构之设计就是：将各组件元素以某些理想的合作模式组织起来，以达成系统的基本功能和限制。体系结构又分为多种样式，如Pipes and Filters等。

2.框架(Framework)

框架亦可称为应用架构，框架的一般定义就是：在特定领域基于体系结构的可重用的设计。也可以认为框架是体系结构在特定领域下的应用。框架比较出名的例子就是MVC。

3.库(Library)

库应该是可重用的、相互协作的资源的***，供开发人员进行重复调用。它与框架的主要区别在于运行时与程序的调用关系。库是被程序调用，而框架则调用程序。比较好的库有JDK。

4.设计模式（Design Pattern）

设计模式大家应该很熟悉，尤其四人帮所写的书更是家喻户晓。“四人帮”将模式描述为“在一定的环境中解决某一问题的方案”。这三个事物―问题、解决方案和环境―是模式的基本要素。给模式一个名称，考虑使用模式将产生的结果和提供一个或多个示例，对于说明模式也都是有用的。

5.平台（PlatForm）

由多种系统构成，其中也可以包含硬件部分。

对于以上的概念有一个比较清楚的认识之后，就可以在软件的开发过程中进行应用。理论和实践是缺一不可的，相辅相成的。没有理论的指导，实践就缺乏基础；没有实践的证明，理论就缺乏依据，因此我一直认为：对于当代的程序员，在有一定的实践基础后，必须学习更深的理论知识。无论你是从那方面先开始学习的。

在软件的开发过浮中，从许多过程实践和方法中，大致可以提炼出五大步骤：需求、分析、设计、编码、测试。而体系结构是软件的骨架，是最重要的基础。体系结构是涉及到每一步骤中。一般在获取需要的同时，就应该开始分析软件的体系结构。体系结构现在一般是各个大的功能模块组合成，然后描述各个部分的关系。

我一般认为框架是体系结构中每个模块中更细小的结构。如需要表示web技术，就会用到MVC框架，而web功能只是整个软件体系中的一个功能模块。每个框架可以有许多个实例，如用java实现的MVC框架structs。

而在框架之下就是设计模式，设计模式一般是应用中框架之中的，也可以说是对框架的补充。因为框架只是提供了一个环境，需要我们我里面填入更多的东西。无论是否应用了设计模式，你都可以实现软件的功能，而正确应用了设计模式，是我们对前人软件的设计或实现方法的一种继承，从而让你的软件更软。

体系结构是可以从不同视角来进......>>

问题九：oracle数据库的架构是什么？ oracle数据库架构本质上是C/S结构的。服务器与客户端是分开的，即时服务器和客户端是在同一机器上，他们也是按照客户端/服务器模式运行的，他们之间的进程是分开的。希望能帮助你。

问题十：数据库中拥有的架构与成员身份有什么区别？不同权限组合或单独就构成常角色。

不同用户创建的数据库对象不可能放在放在一起，因此就出现了容器就是所谓的架构，架构就是单个命名空间的数据实体的***

怎样的架构设计才是真正的数据仓库架构

一直想整理一下这块内容，既然是漫谈，就想起什么说什么吧。我一直是在互联网行业，就以互联网行业来说。

先大概列一下互联网行业数据仓库、数据平台的用途：

整合公司所有业务数据，建立统一的数据中心；

提供各种报表，有给高层的，有给各个业务的；

为网站运营提供运营上的数据支持，就是通过数据，让运营及时了解网站和产品的运营效果；

为各个业务提供线上或线下的数据支持，成为公司统一的数据交换与提供平台；

分析用户行为数据，通过数据挖掘来降低投入成本，提高投入效果；比如广告定向精准投放、用户个性化推荐等；

开发数据产品，直接或间接为公司盈利；

建设开放数据平台，开放公司数据；

。。。。。。

上面列出的内容看上去和传统行业数据仓库用途差不多，并且都要求数据仓库/数据平台有很好的稳定性、可靠性；但在互联网行业，除了数据量大之外，越来越多的业务要求时效性，甚至很多是要求实时的，另外，互联网行业的业务变化非常快，不可能像传统行业一样，可以使用自顶向下的方法建立数据仓库，一劳永逸，它要求新的业务很快能融入数据仓库中来，老的下线的业务，能很方便的从现有的数据仓库中下线；

其实，互联网行业的数据仓库就是所谓的敏捷数据仓库，不但要求能快速的响应数据，也要求能快速的响应业务；

建设敏捷数据仓库，除了对架构技术上的要求之外，还有一个很重要的方面，就是数据建模，如果一上来就想着建立一套能兼容所有数据和业务的数据模型，那就又回到传统数据仓库的建设上了，很难满足对业务变化的快速响应。应对这种情况，一般是先将核心的持久化的业务进行深度建模（比如：基于网站日志建立的网站统计分析模型和用户浏览轨迹模型；基于公司核心用户数据建立的用户模型），其它的业务一般都采用维度+宽表的方式来建立数据模型。这块是后话。

整体架构下面的图是我们目前使用的数据平台架构图，其实大多公司应该都差不多：

请点击输入图片描述

请点击输入图片描述

我们从下往上看：

数据采集数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上，期间有可能会做一些简单的清洗。

数据源的种类比较多：

网站日志：

作为互联网行业，网站日志占的份额最大，网站日志存储在多台网站日志服务器上，

一般是在每台网站日志服务器上部署flume agent，实时的收集网站日志并存储到HDFS上；

业务数据库：

业务数据库的种类也是多种多样，有Mysql、Oracle、SqlServer等，这时候，我们迫切的需要一种能从各种数据库中将数据同步到HDFS上的工具，Sqoop是一种，但是Sqoop太过繁重，而且不管数据量大小，都需要启动MapReduce来执行，而且需要Hadoop集群的每台机器都能访问业务数据库；应对此场景，淘宝开源的DataX，是一个很好的解决方案（可参考文章《异构数据源海量数据交换工具-Taobao DataX下载和使用》），有资源的话，可以基于DataX之上做二次开发，就能非常好的解决，我们目前使用的DataHub也是。

当然，Flume通过配置与开发，也可以实时的从数据库中同步数据到HDFS。

来自于Ftp/Http的数据源：

有可能一些合作伙伴提供的数据，需要通过Ftp/Http等定时获取，DataX也可以满足该需求；

其他数据源：

比如一些手工录入的数据，只需要提供一个接口或小程序，即可完成；

数据存储与分析毋庸置疑，HDFS是大数据环境下数据仓库/数据平台最完美的数据存储解决方案。

离线数据分析与计算，也就是对实时性要求不高的部分，在我看来，Hive还是首当其冲的选择，丰富的数据类型、内置函数；压缩比非常高的ORC文件存储格式；非常方便的SQL支持，使得Hive在基于结构化数据上的统计分析远远比MapReduce要高效的多，一句SQL可以完成的需求，开发MR可能需要上百行代码；

当然，使用Hadoop框架自然而然也提供了MapReduce接口，如果真的很乐意开发Java，或者对SQL不熟，那么也可以使用MapReduce来做分析与计算；Spark是这两年非常火的，经过实践，它的性能的确比MapReduce要好很多，而且和Hive、Yarn结合的越来越好，因此，必须支持使用Spark和SparkSQL来做分析和计算。因为已经有Hadoop Yarn，使用Spark其实是非常容易的，不用单独部署Spark集群，关于Spark On Yarn的相关文章，可参考：《Spark On Yarn系列文章》

实时计算部分，后面单独说。

数据共享这里的数据共享，其实指的是前面数据分析与计算后的结果存放的地方，其实就是关系型数据库和NOSQL数据库；

前面使用Hive、MR、Spark、SparkSQL分析和计算的结果，还是在HDFS上，但大多业务和应用不可能直接从HDFS上获取数据，那么就需要一个数据共享的地方，使得各业务和产品能方便的获取数据；和数据采集层到HDFS刚好相反，这里需要一个从HDFS将数据同步至其他目标数据源的工具，同样，DataX也可以满足。

另外，一些实时计算的结果数据可能由实时计算模块直接写入数据共享。

数据应用

业务产品

业务产品所使用的数据，已经存在于数据共享层，他们直接从数据共享层访问即可；

报表

同业务产品，报表所使用的数据，一般也是已经统计汇总好的，存放于数据共享层；

即席查询

即席查询的用户有很多，有可能是数据开发人员、网站和产品运营人员、数据分析人员、甚至是部门老大，他们都有即席查询数据的需求；

这种即席查询通常是现有的报表和数据共享层的数据并不能满足他们的需求，需要从数据存储层直接查询。

即席查询一般是通过SQL完成，最大的难度在于响应速度上，使用Hive有点慢，目前我的解决方案是SparkSQL，它的响应速度较Hive快很多，而且能很好的与Hive兼容。

当然，你也可以使用Impala，如果不在乎平台中再多一个框架的话。

OLAP

目前，很多的OLAP工具不能很好的支持从HDFS上直接获取数据，都是通过将需要的数据同步到关系型数据库中做OLAP，但如果数据量巨大的话，关系型数据库显然不行；

这时候，需要做相应的开发，从HDFS或者HBase中获取数据，完成OLAP的功能；

比如：根据用户在界面上选择的不定的维度和指标，通过开发接口，从HBase中获取数据来展示。

其它数据接口

这种接口有通用的，有定制的。比如：一个从Redis中获取用户属性的接口是通用的，所有的业务都可以调用这个接口来获取用户属性。

实时计算现在业务对数据仓库实时性的需求越来越多，比如：实时的了解网站的整体流量；实时的获取一个广告的曝光和点击；在海量数据下，依靠传统数据库和传统实现方法基本完成不了，需要的是一种分布式的、高吞吐量的、延时低的、高可靠的实时计算框架；Storm在这块是比较成熟了，但我选择Spark Streaming，原因很简单，不想多引入一个框架到平台中，另外，Spark Streaming比Storm延时性高那么一点点，那对于我们的需要可以忽略。

我们目前使用Spark Streaming实现了实时的网站流量统计、实时的广告效果统计两块功能。

做法也很简单，由Flume在前端日志服务器上收集网站日志和广告日志，实时的发送给Spark Streaming，由Spark Streaming完成统计，将数据存储至Redis，业务通过访问Redis实时获取。

任务调度与监控在数据仓库/数据平台中，有各种各样非常多的程序和任务，比如：数据采集任务、数据同步任务、数据分析任务等；

这些任务除了定时调度，还存在非常复杂的任务依赖关系，比如：数据分析任务必须等相应的数据采集任务完成后才能开始；数据同步任务需要等数据分析任务完成后才能开始；这就需要一个非常完善的任务调度与监控系统，它作为数据仓库/数据平台的中枢，负责调度和监控所有任务的分配与运行。

前面有写过文章，《大数据平台中的任务调度与监控》,这里不再累赘。

总结在我看来架构并不是技术越多越新越好，而是在可以满足需求的情况下，越简单越稳定越好。目前在我们的数据平台中，开发更多的是关注业务，而不是技术，他们把业务和需求搞清楚了，基本上只需要做简单的SQL开发，然后配置到调度系统就可以了，如果任务异常，会收到告警。这样，可以使更多的资源专注于业务之上。

【转载】数据库软件架构设计些什么

缘起：受@萧田国萧总邀请，上周五晚上在“高效运维1号群”内分享了《58同城数据库软件架构设计与实践》（这个topic今年在数据库大会上分享过），应组织方要求，发出纪要。

一、基本概念

二、数据库架构设计思路

（1）可用性

（2）读性能

（3）一致性

（4）扩展性

一、基本概念

概念一“单库”

概念二“分片”

分片解决的是“数据量太大”的问题，也就是通常说的“水平切分”。

一旦引入分片，势必有“数据路由”的概念，哪个数据访问哪个库。

路由规则通常有3种方法：

（1）范围：range

优点：简单，容易扩展

缺点：各库压力不均（新号段更活跃）

（2）哈希：hash

优点：简单，数据均衡，负载均匀

缺点：迁移麻烦（2库扩3库数据要迁移）

（3）路由服务：router-config-server

优点：灵活性强，业务与路由算法解耦

缺点：每次访问数据库前多一次查询

大部分互联网公司采用的方案二：哈希分库，哈希路由

概念三“分组”

分组解决“可用性”问题，分组通常通过主从复制的方式实现。

互联网公司数据库实际软件架构是：又分片，又分组（如下图）

二、数据库架构设计思路

数据库软件架构师平时设计些什么东西呢？至少要考虑以下四点：

（1）如何保证数据可用性

（2）如何提高数据库读性能（大部分应用读多写少，读会先成为瓶颈）

（3）如何保证一致性

（4）如何提高扩展性

2.1如何保证数据的可用性？

解决可用性问题的思路是=>冗余

如何保证站点的可用性？复制站点，冗余站点

如何保证服务的可用性？复制服务，冗余服务

如何保证数据的可用性？复制数据，冗余数据

数据的冗余，会带来一个副作用=>引发一致性问题（先不说一致性问题，先说可用性）

如何保证数据库“读”高可用？

冗余读库

冗余读库带来的副作用？读写有延时，可能不一致

上面这个图是很多互联网公司mysql的架构，写仍然是单点，不能保证写高可用。

如何保证数据库“写”高可用？

冗余写库

采用双主互备的方式，可以冗余写库

带来的副作用？双写同步，数据可能冲突（例如“自增id”同步冲突）,如何解决同步冲突，有两种常见解决方案：

（1）两个写库使用不同的初始值，相同的步长来增加id：1写库的id为0,2,4,6...；2写库的id为1,3,5,7?

（2）不使用数据的id，业务层自己生成唯一的id，保证数据不冲突

58同城没有使用上述两种架构来做读写的“高可用”，58同城采用的是“双主当主从用”的方式：

仍是双主，但只有一个主提供服务（读+写），另一个主是“shadow-master”，只用来保证高可用，平时不提供服务。

master挂了，shadow-master顶上（vip漂移，对业务层透明，不需要人工介入）

这种方式的好处：

1）读写没有延时

2）读写高可用

不足：

1）不能通过加从库的方式扩展读性能

2）资源利用率为50%，一台冗余主没有提供服务

那如何提高读性能呢？进入第二个话题，如何提供读性能。

2.2如何扩展读性能？

提高读性能的方式大致有三种，第一种是建立索引。这种方式不展开，要提到的一点是，不同的库可以建立不同的索引。

写库不建立索引；

线上读库建立线上访问索引，例如uid；

线下读库建立线下访问索引，例如time；

第二种扩充读性能的方式是，增加从库，这种方法大家用的比较多，但是，存在两个缺点：

（1）从库越多，同步越慢

（2）同步越慢，数据不一致窗口越大（不一致后面说，还是先说读性能的提高）

58同城没有采用这种方法提高数据库读性能（没有从库），采用的是增加缓存。常见的缓存架构如下：

上游是业务应用，下游是主库，从库（读写分离），缓存。

58同城的玩法是：服务+数据库+缓存一套

业务层不直接面向db和cache，服务层屏蔽了底层db、cache的复杂性。为什么要引入服务层，今天不展开，58采用了“服务+数据库+缓存一套”的方式提供数据访问，用cache提高读性能。

不管采用主从的方式扩展读性能，还是缓存的方式扩展读性能，数据都要复制多份（主+从，db+cache），一定会引发一致性问题。

2.3如何保证一致性？

主从数据库的一致性，通常有两种解决方案：

（1）中间件

如果某一个key有写操作，在不一致时间窗口内，中间件会将这个key的读操作也路由到主库上。

这个方案的缺点是，数据库中间件的门槛较高（百度，腾讯，阿里，360等一些公司有，当然58也有）

（2）强制读主

58的“双主当主从用”的架构，不存在主从不一致的问题。

第二类不一致，是db与缓存间的不一致

常见的缓存架构如上，此时写操作的顺序是：

（1）淘汰cache

（2）写数据库

读操作的顺序是：

（1）读cache，如果cache hit则返回

（2）如果cache miss，则读从库

（3）读从库后，将数据放回cache

在一些异常时序情况下，有可能从【从库读到旧数据（同步还没有完成），旧数据入cache后】，数据会长期不一致。

解决办法是“缓存双淘汰”，写操作时序升级为：

（1）淘汰cache

（2）写数据库

（3）在经验“主从同步延时窗口时间”后，再次发起一个异步淘汰cache的请求

这样，即使有脏数据如cache，一个小的时间窗口之后，脏数据还是会被淘汰。带来的代价是，多引入一次读miss（成本可以忽略）。

除此之外，58同城的最佳实践之一是：建议为所有cache中的item设置一个超时时间。

说完一致性，最后一个话题是扩展性。

2.4如何提高数据库的扩展性？

原来用hash的方式路由，分为2个库，数据量还是太大，要分为3个库，势必需要进行数据迁移，58同城有一个很帅气的“数据库秒级扩容”方案。

如何秒级扩容？

首先，我们不做2库变3库的扩容，我们做2库变4库（库加倍）的扩容（未来4->8->16）

服务+数据库是一套（省去了缓存）

数据库采用“双主”的模式。

扩容步骤：

第一步，将一个主库提升

第二步，修改配置，2库变4库（原来MOD2，现在配置修改后MOD4）

扩容完成

原MOD2为偶的部分，现在会MOD4余0或者2

原MOD2为奇的部分，现在会MOD4余1或者3

数据不需要迁移，同时，双主互相同步，一遍是余0，一边余2，两边数据同步也不会冲突，秒级完成扩容！

最后，要做一些收尾工作：

（1）将旧的双主同步解除

（2）增加新的双主（双主是保证可用性的，shadow-master平时不提供服务）

（3）删除多余的数据（余0的主，可以将余2的数据删除掉）

这样，秒级别内，我们就完成了2库变4库的扩展。

OK，今天主要分享了58同城，数据库软件架构上：

（1）如何保证数据可用性

（2）如何提高数据库读性能

（3）如何保证数据一致性

（4）如何进行秒级扩容

希望大家有收获，谢谢大家！

===【完】===

【转自】58沈剑架构师之路

【转载】数据库软件架构设计些什么

标签：个数mda设计timeottitemlogs##key

好了，本文到此结束，如果可以帮助到大家，还望关注本站哦！