存储能力探测及存储问题定位

存储 存储软件
数据收集来源除了上述介绍的IOPS、带宽指标,还需要关注IO的大小。IO的大小可以通过带宽/IOPS来计算,但更细致的数据可以通过NMON中DISKAVGRIO/DISKAVGWIO来读取,毕竟带宽/IOPS计算得出的IO Size是某个时间段的平均值,而真实场景中每一秒的情况可能与平均值相差甚远。

一、 存储能力探测

当业务吞吐量不能如预期增加,可以考虑是否是由于存储的瓶颈导致。

业务系统运行起来后,可以提炼其中的IO模型,按照IO模型,有针对性的进行存储方面的规划和测试。有不少工具可以用来探测LPAR所用的存储的最大能力,本文以Orion工具为例介绍。

1.1 IO模型

IO模型包括:

  • 磁盘IO分别在哪些盘
  • IOPS
  • 带宽
  • 读IO和写IO的比例
  • 读IO是顺序的还是随机的
  • 写IO是顺序的还是随机的
  • 读IO的大小
  • 写IO的大小

数据收集来源除了上述介绍的IOPS、带宽指标,还需要关注IO的大小。IO的大小可以通过带宽/IOPS来计算,但更细致的数据可以通过NMON中DISKAVGRIO/DISKAVGWIO来读取,毕竟带宽/IOPS计算得出的IO Size是某个时间段的平均值,而真实场景中每一秒的情况可能与平均值相差甚远。

[[221065]]

1.2 存储能力探测工具-Orion

Orion工具是由Oracle开发,用于探测Oracle数据库所在的存储在不同IO模型下的最大IO能力,预测Oracle的最大读写能力。Orion可模拟Oracle数据库IO负载(采用与Oracle相同的IO软件栈),可模拟Oracle Automatic Storage Management提供的条带效果。

本测试中针对某一文件进行100%的写操作,写操作的类型为顺序写,每个写IO大小为8K。

Orion按照上述指定参数施压,自动地、逐渐地增加并发写的进程数,直到Orion认为吞吐量不再增加。测试结束后,从trace文件中提取有用信息,如下图:

Orion还可以不进行参数设置,自动对存储的IOPS、带宽的最大能力进行探测,是一款不错的小工具。

二、 存储问题定位

从用户的角度来说,性能问题最直观的感受是应用响应时间或者业务处理时间变长,性能问题是系统性的,问题可能出现在各个环节。通常情况下,最先排查的是CPU、内存等服务器内在的原因,当服务器内在原因被初步排除后,才会排查网络IO、磁盘IO的问题。

即使确定是磁盘IO导致的,也要分析整个IO路径,分析IO瓶颈是主机/网络/存储中的哪个环节导致的。

2.1 主机侧

当主机侧观察到的时延很大,存储侧的时延较小,则可能是主机侧或网络存在问题。

主机是I/O的发起端,I/O特性首先由主机的业务软件和操作系统软件和硬件配置等决定。例如,在“服务队列满”这一章节介绍的I/O 队列长度参数(queue_depth),当然,还有许多其他的参数(如: driver 可以向存储发的最大的 I/O、光纤卡DMA memor区域大小、块设备并发数、HBA卡并发数)。

若排查完成,性能问题还是存在,则需要对组网及链路、存储侧进行性能问题排查。

2.2 交换网络

当主机侧观察到的时延很大,存储侧的时延较小,且排查主机侧无问题时,则性能问题可能出现在链路上。

可能的问题有:带宽达到瓶颈、交换机配置不当、交换机故障、多路径选路错误、线路的电磁干扰、光纤线有损、接口松动等。带宽达到瓶颈、交换机配置不当、多路径选路错误、线路的电磁干扰等。

2.3 存储侧

如果主机侧时延与存储侧时延都很大且相差较小,说明问题可能出现在存储上。首先需要了解当前存储侧所承载的IO模型、存储资源配置,并从存储侧收集性能数据,按照I/O路径进行性能问题的定位。

常见原因如硬盘性能达到上限、镜像带宽达到上限、存储规划(如条带过小)、硬盘域和存储池划分(例如划分了低速的磁盘)、LUN对应的存储缓存设置过小、IO的Qos限制的磁盘IO的带宽、存储接口模块数量过小、RAID划分(比如RAID10>RAID5>RAID6)、配置快照、克隆、远程复制等增值功能拖慢了性能、存储控制器的CPU利用率过高、LUN未格式化完成引起短时的性能问题。

责任编辑:武晓燕 来源: talkwithtrend
相关推荐

2011-07-11 11:03:09

vmware

2013-07-15 17:30:24

华为数据存储华为存储

2022-06-16 10:02:50

地址空间重定位

2018-04-03 09:07:07

2018-03-12 08:33:34

Hadoop存储

2014-11-11 13:39:31

云存储监控存储

2022-12-13 08:39:53

Kafka存储检索

2009-11-24 18:18:27

惠普收购IBRIX

2021-08-13 14:29:52

存储数据存储技术

2018-08-24 09:42:05

云存储存储大数据

2014-10-24 08:58:21

初志科技云存储

2017-07-10 08:18:55

云存储优势应用

2012-06-12 15:03:32

云存储

2017-10-12 09:36:54

分布式存储系统

2021-04-21 11:10:31

云存储云安全数据泄露

2021-05-24 17:14:09

数字化

2019-01-02 13:03:53

MySQL存储权限

2018-04-18 09:18:44

数据库MySQL存储过程

2018-09-29 14:08:04

存储系统分布式

2015-09-10 14:41:44

云存储云计算
点赞
收藏

51CTO技术栈公众号