【系统分析】系统性能分析--读书笔记

原文地址:

推荐诊断 CheckLists:

img

1. 绪论

系统性能是对整个系统的研究,包括了所有的硬件组件和整个软件栈。所有数据路径上和软硬件上所发生的事情集合,因为这些都会影响性能。

1.1 通用系统软件栈

��������述

1.2 性能的事情列表

性能事件
设置性能目标和建立性能模型
基于软件和硬件原型,归纳出性能特征
对开发代码进行性能分析(软件整合之前)
执行软件非回归性测试(软件发布前或发布后)
针对软件发布版本的基准测试
目标环境中的概念验证测试
生产环境部署的配置优化
监控生产环境中运行的软件
特定问题的性能分析

1.3 两种性能分析视觉:资源分析和负载分析

性能术语**“容量规划”(capacity planning)**指的是一系列事前行动。在设计阶段,包括通过研究开发软件的资源占用情况,来得知原有设计在多大程度上能满足目标需求。在部署后,包括监控资源的使用情况,这样问题在出现之前就能预测到。

��������述

  • 资源分析指标:IPOS,吞吐量,使用率,饱和度

  • 工作负载指标:吞吐量和延时。

性能分析必须量化问题的重要与否程度,有一个指标很合适,叫做延时(latency)

动态跟踪技术把所有的软件变得可监控,而且能用于真实的生产环境中。这项技术利用内存中的 CPU 指令并在这些指令上动态构建检测数据。这样能从任何运行的软件中获取定制化的性能统计数据,从而提供远超系统自带统计所能给予的观测性。

DTrace 对用户态和内核态的软件都提供了静态跟踪和动态跟踪,并且数据是实时产生的。

1.4 受测系统

��������述

扰动(perturbation)是会影响结果的。扰动包括定时执行的系统活动,系统的其他用户以及其他的工作负载。现代环境的另一个困难是系统很可能由若干个网络化的组件组成,都用于处理输入工作负载,包括负载均衡,Web服务器,数据库服务器,应用程序服务器,以及存储系统。

1.5 排队系统

��������述

1.6 排队理论及使用率响应时间关系

平������使�����线

平������使�����线

1.7 方法

在取得数据之前就把事情理论化,是一个严重的错误。不理智的人歪曲事实来适应自己的理论,而不是通过修正理论来适应事实。

面对一个性能不佳,且有一定复杂程度的系统环境时,首先要知道的就是从什么地方开始分析,开始收集什么样的数据,以及如何分析数据。

1.7.1 通用的性能分析方法

��������述

��������述

  • 街灯讹方法:在熟悉的工具或流程中试错,比较盲目

  • Ad Hoc 核对清单法:保证所有人知道如何检查最糟糕的问题,覆盖全面,但必须保持清单及时更新

  • 诊断循环:假设——仪器检验——数据——假设

  • USE 方法:本书重点要讲的方法:对于所有资源,我们依次查看它的使用率,饱和度,错误。

��������述

2. 操作系统

了解操作系统和内核,对于系统性能分析是至关重要的。我们经常针对系统行为来开发和测试,如系统调用是如何执行的,CPU 是如何调度线程的,有限大小的内存是如何影响性能的,或者文件系统是如何处理 I/O 的。

这部分书中介绍了如下操作系统相关基本概念:

  • 内核:内核执行,时钟周期,内核态/用户态

  • 栈:用户栈和内核栈

  • 中断和中断线程

  • 中断优先级

  • 进程:进程创建,进程的生命周期,进程环境

  • 系统调用

  • 虚拟内存

  • 内存管理

  • 调度器

  • 文件系统:VFS, I/O 栈

  • 缓存(括号内表示例子):

    • 应用程序缓存

    • 服务器缓存(Apache缓存)

    • 缓存服务器(Redis缓存)

    • 数据库缓存(MySQL缓冲区高速缓存)

    • 目录缓存(DNLC)

    • 文件元数据缓存(inode缓存)

    • 操作系统缓冲区高速缓存(segvn)

    • 文件系统主缓存(ZFS ARC)

    • 文件系统次级缓存(ZFS L2ARC)

    • 设备缓存(ZFS vdev)

    • 块缓存(缓冲区高速缓存)

    • 磁盘控制器缓存(RAID卡缓存)

    • 存储阵列缓存

    • 磁盘内置缓存

  • 网络

  • 设备驱动

  • 多处理器:CPU 交叉调用

  • 抢占 / 非抢占

  • 资源管理

  • 观测性

3. 观测工具

性能观测工具可以按照系统级别和进程级别来分类,多数工具要么基于计数器,要么基于跟踪:

��������述

3.1 计数器

操作系统内核中维护了各种统计数据,称为计数器,用于对事件计数。通常计数器实现为 unsigned int,发生事件时递增。

系统级的计数器有:

  • vmstat:虚拟内存和物理内存统计,系统级别

  • mpstat:每个 CPU 的使用情况

  • iostat:每个磁盘 I /O 的使用情况,由块设备接口报告

  • netstat:网络接口的统计,TCP/IP 栈的统计,以及每个连接的一些统计信息

  • sar:各种各样的统计,能归档历史数据

进程级别的计数器:

  • ps:进程状态,显示进程的各种统计信息,包括内存和 CPU 使用

  • top:按一个统计数据排序,显示排名高的进程

  • pmap:将进程的内存段和使用统计一起列出

一般来说,上述工具是从 /proc 文件系统里读取统计信息的

3.2 跟踪

跟踪收集每一个事件的数据以供分析。跟踪框架一般默认是不启用的,因为跟踪捕获数据会有 CPU 开销,另外还需要不小的存储空间来存放数据。

系统级别:

  • tcpdump:网络包跟踪(libpcap lib)

  • blktrace:块 I/O 跟踪

  • DTrace:跟踪内核的内部活动和所有资源的使用情况,支持静态和动态的跟踪

  • SystemTap:作用 = DTrace

  • perf:Linux 性能事件,跟踪动态和静态的指针

进程级别:

  • strace:系统调用跟踪

  • gbd:源码级别的调试器

4. 应用程序

性能调整离工作具体执行的地方越近越好,最好在应用程序里,包括 Web 服务器,应用服务器,负载均衡器,文件服务器等。

设立性能目标能为我们分析性能指明方向,并帮助我们做出选择。没有清晰的目标,性能分析容易沦为“一通乱撞”

常见指标:

  • 延时(latency)

  • 吞吐量

  • 资源使用率

应用程序性能技术:选择 I/O 尺寸,缓存,缓冲区,轮询(epoll),并发和并行,非阻塞 I/O,处理器绑定

5. CPU分析

5.1 CPU分析工具

��������述

5.2 CPU调优

  • 当前有多少 CPU 可用?是核吗?是硬件的线程?

  • CPU 架构是单架构还是多处理器架构

  • CPU 缓存大小是多少?是共享 CPU 吗?

  • CPU 的时钟频率是多少?是动态时钟吗?是否基于 BIOS ?

  • CPU 有其它特性?

  • CPU 勘误表上有硬件上的 bug 吗?

  • BIOS 版本有 bug 吗?

  • CPU 有使用软件的限制吗 ?

6. 内存分析

6.1 内存分析工具

��������述

6.2 内存调优

  • 主内存有多少?

  • 配置允许应用程序使用的内存大小?

  • 使用哪个分配器?

  • 主内存 I/O 速度?

  • 系统架构? NUMA(共享存储器,物理上分布在所有处理机的本地存储器上的存储器) ? UMA(均匀存储器存取) ?

  • 内存总线大小?

  • 是否配置使用了大页面?

  • 是否支持和配置过度提交?

  • 使用了哪些内存可调参数?

  • 软件强制内存限制?

7. 文件系统分析

7.1 文件系统分析工具

��������述

7.2 文件系统调优

  • 当前挂载并使用的文件系统数量?

  • 文件系统记录大小?

  • 是否启用访问时间戳?

  • 是否有其他参数(压缩?加密?)

  • 缓存的大小?二级缓存?三级缓存?

  • 存储设备数量?配置如何?是否RAID ?

  • 何种文件系统?版本?

  • 是否启用 I/O 控制?

8. 磁盘分析

8.1 磁盘分析工具

��������述

8.2 磁盘性能调优

  • 磁盘数量?类型?

  • 磁盘的固件版本?

  • 多少个磁盘控制器?版本?接口类型?

  • 是否为调速插槽?

  • 是否配置了 RAID ?

  • 是否启用多路径?

  • 磁盘设备驱动?

  • 是否启用 I/O 控制?

9. 网络

网络通信是由一组协议栈组成的,其中每一层实现一个特定的目标:

��������述

一些网络通信和网络性能相关的概念:

  • 网络和路由

  • 协议

  • 封装

  • 包的长度

  • 延时

    • DNS 解析延时

    • ping 延时

    • 连接延时

    • 首字节延时

    • 往返时间

    • 连接生命周期

  • 缓冲

  • 连接积压队列

  • 接口协商

  • 使用率

  • 本地连接

对于日常检测来说,最常用的还是各种工具,比如:

��������述

  • netstat -s:查找高流量的重新传输和乱序数据包

  • nestat -i:检查接口的错误计数器

  • ifconfig:检查“错误”,“丢弃”,“超限”

  • ip(8):检查传输和接收的字节率

  • tcpdump/snoop:尽管需要大量的 CPU 开销,短期使用可能就足以发现谁在使用网络并定位和消除不必要的网络 I/O 开销

  • dtrace / stap /perf:用来检查包括内核状态在内的应用程序与线路间选中的数据

10. 云计算 & 基准测试

略。

11 术语

11.1 方法

  • IOPS:每秒发生的输入 / 输出操作的次数。是度量数据传输的一个指标,对磁盘的读写,IOPS 指的是每秒读写的次数

  • 吞吐量:评价工作执行效率的指标。尤其在数据传输方面,吞吐量用于描述数据传输速度。在某些情况下比如如数据库,吞吐量指的是操作的速度(每秒操作数或每秒业务数)

  • 响应事件:一次操作完成的事件。包括用于等待和服务的事件,也包括用来返回结果的时间。

  • 延时(latency):描述操作里用来等待服务的事件。在某些情况下,它可以指整个操作时间,等同于响应时间

  • 使用率:对于服务器所请求的资源,使用率描述在所给定的时间区间内,资源使用的繁忙程度。对于存储资源来说,使用率指的是所消耗的存储容量(例如内存使用率)

  • 饱和度:指的是某一资源无法满足服务的排队工作量

  • 瓶颈:在系统性能力,瓶颈指的是限制系统性能的那个资源。分辨和移除系统瓶颈是性能分析的重要工作

  • 工作负载:系统的输入或对系统施加的负载叫做工作负载。对于数据库来说,工作负载指的是客户端发出的数据库请求和命令

  • 缓存:用于复制或缓冲一定量数据的高速存储区域。目的是为了避免对较慢的存储层级的直接访问。从而提高性能。

11.2 操作系统

  • 操作系统:这里指的是安装在系统上的软件和文件,使得系统可以启动和运行程序。操作系统包括内核,管理工具以及系统库

  • 内核:内核是管理系统的程序,包括设备(硬件),内核和 CPU 调度。它运行在 CPU 的特权模式,允许直接访问硬件,成为内核态

  • 进程:是一个操作系统的抽象概念,是用来执行程序的环境。程序通常运行在用户模式,通过系统调用或陷阱来进入内核模式

  • 线程:可被调度的,运行在 CPU 上的可执行上下文。内核有多个线程,一个进程包含一或多个线程

  • 任务:一个 Linux 的可运行实体。可以指一个进程(包括单线程进程),一个多线程进程中的一个线程,或内核线程

  • 内核空间:内核的内存地址空间

  • 用户空间:进程的内存地址空间

  • 上下文切换:内核程序切换 CPU ,让其在不同的地址空间上做操作

  • 系统调用:一套明确定义的协议,为用户程序请求内核执行特权操作,包括设备 I/O

  • 陷阱:信号发送到内核,请求执行一段系统程序(特权操作)。陷阱类型包括系统调用,处理器异常,中断。

  • 中断:由物理设备发送给内核的信号,通常是请求 I/O 服务。

12 USE 法 Linux 检查清单

��������述

��������述

��������述

12.1 软件资源

��������述

��������述


发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

Powered By Z-BlogPHP 1.5.2 Zero

Copyright liuyang1.com. 转载文章,请注明出处。谢谢!