服务器io性能(如何提高Linux服务器磁盘io性能)

大家好，感谢邀请，今天来为大家分享一下服务器io性能的问题，以及和如何提高Linux服务器磁盘io性能的一些困惑，大家要是还不太明白的话，也没有关系，因为接下来将为大家分享，希望可以帮助到大家，解决大家的问题，下面就开始吧！

如何让CentOS服务器磁盘io性能翻倍

如何让CentOS服务器磁盘io性能翻倍

这一期我们来看一下有哪些办法可以减少linux下的文件碎片。主要是针对磁盘长期满负荷运转的使用场景（例如http代理服务器）；另外有一个小技巧，针对互联网图片服务器，可以将io性能提升数倍。如果为服务器订制一个专用文件系统，可以完全解决文件碎片的问题，将磁盘io的性能发挥至极限。对于我们的代理服务器，相当于把io性能提升到3-5倍。

在现有文件系统下进行优化linux内核和各个文件系统采用了几个优化方案来提升磁盘访问速度。但这些优化方案需要在我们的服务器设计中进行配合才能得到充分发挥。

文件系统缓存linux内核会将大部分空闲内存交给虚拟文件系统，来作为文件缓存，叫做page cache。在内存不足时，这部分内存会采用lru算法进行淘汰。通过free命令查看内存，显示为cached的部分就是文件缓存了。

如果能找到当前使用场景下，文件被访问的统计特征，针对性的写一个淘汰算法，可以大幅提升文件缓存的命中率。对于http正向代理来说，一个好的淘汰算法可以用1GB内存达到lru算法100GB内存的缓存效果。如果不打算写一个新的淘汰算法，一般不需要在应用层再搭一个文件cache程序来做缓存。

最小分配

最小分配的副作用是会浪费一些磁盘空间（分配了但是又没有使用）

如果当前使用场景下小文件很多，把预分配改大就会浪费很多磁盘空间，所以这个数值要根据当前使用场景来设定。似乎要直接改源代码才能生效，不太记得了，09年的时候改的，有兴趣的同学自己google吧。

io访问调度

如何针对性优化：io访问调度能大幅提升io性能，前提是应用层同时发起了足够的io访问供linux去调度。怎样才能从应用层同时向内核发起多个io访问呢？方案一是用aio_read异步发起多个文件读写请求。

小提示：将文件句柄设置为非阻塞时，进程还是会睡眠等待磁盘io，非阻塞对于文件读写是不生效的。在正常情况下，读文件只会引入十几毫秒睡眠，所以不太明显；而在磁盘io极大时，读文件会引起十秒以上的进程睡眠。详见内核源代码do_generic_file_read会调用lock_page_killable进入睡眠，但是不会判断句柄的非阻塞标志。

预读取linux内核可以预测我们“将来的读请求”并提前将数据读取出来。通过预读取可以减少读io的次数，并且减小读请求的延时。

当文件扩大，需要分配磁盘空间时，可以不立即进行分配，而是暂存在内存中，将多次分配磁盘空间的请求聚合在一起后，再进行一次性分配。

延迟分配的副作用有几个：1如果应用程序每次写数据后都通过fsync等接口进行强制刷新，延迟分配将不起作用2延迟分配有可能间歇性引入一个较大的磁盘IO延时（因为要一次性向磁盘写入较多数据）

如何针对性优化：

“让每个目录下的文件连续存储”是一个极有价值的功能。假设一个网页上有10张图片，这10张图片虽然存在10个文件中，但其实是几乎同时被用户访问的。如果能让这10张图片存储在连续的磁盘空间中，就能把io性能提升10倍（一次寻道就可以读10个文件了）传统的做法是通过拼接图片来将这10张图片合并到一张大图中，再由前端将大图切成10张小图。有了e4defrag后，可以将需连续访问的文件放在同一个文件夹下，再定期使用e4defrag进行磁盘整理。

实现自己的文件系统我们曾经写过一款专用文件系统，针对代理服务器，将磁盘io性能提升到3-5倍。在大部分服务器上，不需要支持“修改文件”这个功能。一旦文件创建好，就不能再做修改操作，只支持读取和删除。在这个前提下，我们可以消灭所有文件碎片，把磁盘io效率提升到理论极限。

大于16MB的文件，服务器创建文件时告诉文件系统分配16MB磁盘空间。后续每次扩大文件大小时，要么是16MB，要么就是文件终结。不允许在文件未终结的情况下分配非16MB的空间。读写文件时，每次读写16MB或者直到文件末尾。

在我们的文件系统中，小文件完全无碎片，一次寻道就能搞定一个文件，达到了理论上最佳的性能。大文件每次磁头定位读写16MB，性能没有达到100%，但已经相当好了。有一个公式可以衡量磁盘io的效率：磁盘利用率=传输时间/（平均寻道时间+传输时间）对我们当时采用的磁盘来说（1T 7200转sata)，16MB连续读写已经可以达到98%以上的磁盘利用率。

如何提高Linux服务器磁盘io性能

您好，很高兴为您解答。

在现有文件系统下进行优化：

linux内核和各个文件系统采用了几个优化方案来提升磁盘访问速度。但这些优化方案需要在我们的服务器设计中进行配合才能得到充分发挥。

文件系统缓存

linux内核会将大部分空闲内存交给虚拟文件系统，来作为文件缓存，叫做page cache。在内存不足时，这部分内存会采用lru算法进行淘汰。通过free命令查看内存，显示为cached的部分就是文件缓存了。

如何针对性优化：

lru并不是一个优秀淘汰算法，lru最大的优势是普适性好，在各种使用场景下都能起到一定的效果。如果能找到当前使用场景下，文件被访问的统计特征，针对性的写一个淘汰算法，可以大幅提升文件缓存的命中率。对于http正向代理来说，一个好的淘汰算法可以用1GB内存达到lru算法100GB内存的缓存效果。如果不打算写一个新的淘汰算法，一般不需要在应用层再搭一个文件cache程序来做缓存。

最小分配：

当文件扩大，需要分配磁盘空间时，大部分文件系统不会仅仅只分配当前需要的磁盘空间，而是会多分配一些磁盘空间。这样下次文件扩大时就可以使用已经分配好的空间，而不会频繁的去分配新空间。

例如ext3下，每次分配磁盘空间时，最小是分配8KB。

最小分配的副作用是会浪费一些磁盘空间（分配了但是又没有使用）

如何针对性优化：

我们在reiserfs下将最小分配空间从8KB改大到128K后提升了30%的磁盘io性能。如果当前使用场景下小文件很多，把预分配改大就会浪费很多磁盘空间，所以这个数值要根据当前使用场景来设定。似乎要直接改源代码才能生效，不太记得了，09年的时候改的，有兴趣的同学自己google吧。

io访问调度：

在同时有多个io访问时，linux内核可以对这些io访问按LBA进行合并和排序，这样磁头在移动时，可以“顺便”读出移动过程中的数据。

SATA等磁盘甚至在磁盘中内置了io排序来进一步提升性能，一般需要在主板中进行配置才能启动磁盘内置io排序。linux的io排序是根据LBA进行的，但LBA是一个一维线性地址，无法完全反应出二维的圆形磁盘，所以磁盘的内置io排序能达到更好的效果。

如何针对性优化：

io访问调度能大幅提升io性能，前提是应用层同时发起了足够的io访问供linux去调度。

怎样才能从应用层同时向内核发起多个io访问呢？

方案一是用aio_read异步发起多个文件读写请求。

方案二是使用磁盘线程池同时发起多个文件读写请求。

对我们的http正向代理来说，采用16个线程读写磁盘可以将性能提升到2.5倍左右。具体开多少个线程/进程，可以根据具体使用场景来决定。

小提示：

将文件句柄设置为非阻塞时，进程还是会睡眠等待磁盘io，非阻塞对于文件读写是不生效的。在正常情况下，读文件只会引入十几毫秒睡眠，所以不太明显；而在磁盘io极大时，读文件会引起十秒以上的进程睡眠。

预读取：

linux内核可以预测我们“将来的读请求”并提前将数据读取出来。通过预读取可以减少读io的次数，并且减小读请求的延时。

如何针对性优化：

预读取的预测准确率是有限的，与其依赖预读取，不如我们直接开一个较大的缓冲区，一次性将文件读出来再慢慢处理；尽量不要开一个较小的缓冲区，循环读文件/处理文件。

虽然说“预读取”和“延迟分配”能起到类似的作用，但是我们自己扩大读写缓冲区效果要更好。

延迟分配：

当文件扩大，需要分配磁盘空间时，可以不立即进行分配，而是暂存在内存中，将多次分配磁盘空间的请求聚合在一起后，再进行一次性分配。

延迟分配的目的也是减少分配次数，从而减少文件不连续。

延迟分配的副作用有几个：

1、如果应用程序每次写数据后都通过fsync等接口进行强制刷新，延迟分配将不起作用

2、延迟分配有可能间歇性引入一个较大的磁盘IO延时（因为要一次性向磁盘写入较多数据）

只有少数新文件系统支持这个特性

如何针对性优化：

如果不是对安全性（是否允许丢失）要求极高的数据，可以直接在应用程序里缓存起来，积累到一定大小再写入，效果比文件系统的延迟分配更好。如果对安全性要求极高，建议经常用fsync强制刷新。

在线磁盘碎片整理：

Ext4提供了一款碎片整理工具，叫e4defrag，主要包含三个功能：

1、让每个文件连续存储

2、尽量让每个目录下的文件连续存储

3、通过整理空闲磁盘空间，让接下来的分配更不容易产生碎片

如何针对性优化：

“让每个目录下的文件连续存储”是一个极有价值的功能。

传统的做法是通过拼接图片来将这10张图片合并到一张大图中，再由前端将大图切成10张小图。

有了e4defrag后，可以将需连续访问的文件放在同一个文件夹下，再定期使用e4defrag进行磁盘整理。

实现自己的文件系统：

在大部分服务器上，不需要支持“修改文件”这个功能。一旦文件创建好，就不能再做修改操作，只支持读取和删除。在这个前提下，我们可以消灭所有文件碎片，把磁盘io效率提升到理论极限。

有一个公式可以衡量磁盘io的效率：

磁盘利用率=传输时间/（平均寻道时间+传输时间）

如若满意，请点击回答右侧【采纳答案】，如若还有问题，请点击【追问】

~ O(∩_∩)O~

能改善磁盘设备io性能的是

影响磁盘性能的因素都有哪些

1、硬盘单盘容量硬盘的单盘容量直接决定了硬盘的连续数据传输速率。单个磁盘的容量越大，其硬盘的读写速度越好。速度速度是衡量硬盘等级的重要参数之一。

2、回到正题，影响磁盘性能的因素主要有以下几点：1，单碟容量。容量越小寻道速度越快。2，磁盘转数。转数越大，机械臂转速越快。3，RAID级别：RAID10最快，同时容量损失也最大。RAID5第二，因为在写RAID时需要进行奇偶校验。

3、硬盘容量：硬盘内部往往有多个叠起来的磁盘片，所以说硬盘容量=单碟容量×碟片数，单位为GB，硬盘容量当然是越大越好了，可以装下更多的数据。

4、你的硬盘是什么？机械硬盘的话，得分本身就低。一般也就2000左右。固态硬盘一般能跑9000分以上。我的只固态硬盘是影驰的低端型号，跑分就稍低一些。

5、主要取决于硬盘基本参数。首先是转速，有3200，5400，7200和10000的，希捷的有15000的，这就像汽车轮子一样，转速越快，跑的越快，现在主流的是7200的。

1、改进磁盘IO的另一个技巧是尽可能多地写入或尽可能多的读取。换句话说，将程序的读写缓冲区设置得尽可能大。

2、我们今天要研究的内容主要在IO调度这一层。它要解决的核心问题是，如何提高块设备IO的整体性能？这一层也主要是针对机械硬盘结构而设计的。众所周知，机械硬盘的存储介质是磁盘，磁头在盘片上移动进行磁道寻址，行为类似播放一张唱片。

3、同样道理，开设一个数据缓存区每次读取一数据块对于提高读取效率有显著提升。下面用一个具体代码示例来表示二者的性能差别。

4、主要是针对磁盘长期满负荷运转的使用场景（例如http代理服务器）；另外有一个小技巧，针对互联网图片服务器，可以将io性能提升数倍。如果为服务器订制一个专用文件系统，可以完全解决文件碎片的问题，将磁盘io的性能发挥至极限。

1、修改/etc/fstab，如下/dev/sdb1/home/disk0ext4defaults02改成/dev/sdb1/home/disk0ext4noatime02修改/etc/fstab设置后需要重新挂载文件系统、不必重启就可以应用新设置。

2、预读是提高磁盘性能的有效手段，目前对顺序读比较有效，主要利用数据的局部性特点。比如在我的系统上，通过实验设置通读256块扇区性能较优。

3、打开文件系统的DMA模式这个特性是针对硬盘以及光盘驱动器的直接存储器访问(DMA，DirectMemoryAccess的缩写)来最大限度提升系统性能，因为现在个人计算机的最大瓶颈就是在磁盘的输入输出上。

4、如系统CMOS实时钟的IRQ中断号是8，要建立的值名就是[IRQ8Priority]。重新启动之后，就会发现刚优化过的组件性能有所提高。强烈建议用这个方法优化系统CMOS实时钟。

1、例如，普通硬盘的IO可以达到每秒40~60MB，更好的硬盘可以达到每秒100MB左右。在多进程或多线程并发读取磁盘的情况下，随着并发数量的增加，磁盘IO效率将大大降低。

2、测试磁盘性能，使用命令：dd因数据写入磁盘，可能是缓存写，直接写（不经过缓冲区直接写入磁盘），顺序io，随机io的区别所以，这种dd测试并不是很准确。

3、计算机受限于I/O（输入/输出）性能意味着计算机系统在处理数据时，其性能主要由输入和输出操作所引起的数据传输速度所限制。I/O性能指的是计算机系统与外部设备（如磁盘驱动器、网络接口等）之间进行数据交换的速度和效率。

4、io访问调度能大幅提升io性能，前提是应用层同时发起了足够的io访问供linux去调度。怎样才能从应用层同时向内核发起多个io访问呢？方案一是用aio_read异步发起多个文件读写请求。

1、主要是针对磁盘长期满负荷运转的使用场景（例如http代理服务器）；另外有一个小技巧，针对互联网图片服务器，可以将io性能提升数倍。如果为服务器订制一个专用文件系统，可以完全解决文件碎片的问题，将磁盘io的性能发挥至极限。

2、其中两个分别处理正常read和write，按扇区号排序，进行正常io的合并处理以提高吞吐量。因为IO请求可能会集中在某些磁盘位置，这样会导致新来的请求一直被合并，可能会有其他磁盘位置的io请求被饿死。

3、增加内存缓存。先写缓存，再缓存写磁盘。成块的写。不过，一般操作系统默认就会这么做。

4、您可以使用锁定机制或专用磁盘IO线程来读取和写入磁盘。在FastDFSx版本中，磁盘读取和写入是使用专用线程完成的。为了充分利用多个磁盘的效率，建议不要使用传统的RAID方法。

5、如果LINUX判断一个进程在顺序读取文件，那么它会提前读取进程所需文件的数据，放在缓存中。服务器遇到磁盘写活动高峰，导致请求处理延迟非常大(超过3秒)。通过调整内核参数，将写活动的高峰分布成频繁的多次写，每次写入的数据比较少。

6、RAID：主要侧重磁盘性能和数据安全磁盘阵列可以把多个磁盘驱动器通过不同的连接方式连接在一起协同工作，大大提高了读取速度，同时把磁盘系统的可靠性提高到接近无错的境界，使其可靠性极高。

1、如果去读文件，则需要等待物理读IO的完成，如果此时IO没有及时响应，则存在堵塞。这是一个同步读的操作，如果不完成该线程无法继续后续的步骤。

2、解决方法重启nginx服务，或者用/opt/nginx/logs/nginx.log清空日志文件，而不是直接删除。

3、解决方法：根据实际Nginx后端服务器的处理时间修改客户端超时时间。脚本错误（php语法错误、lua语法错误）。解决方法：查看nginx_err_logphp_err_log。访问量过大，系统资源限制，不能打开过多文件。磁盘空间不足。

4、缺点4：nginx不会自动选择内存或硬盘作为存储介质，一切由配置决定，当然在当前的操作系统里都会有操作系统级的文件缓存机制，所以存在硬盘上也不需要过分担心大并发读取造成的io性能问题。

如果你还想了解更多这方面的信息，记得收藏关注本站。