kvm技术(kvm技术)

zhangyang 2022-04-17 阅读:52
  

前言

任何平台都是根据不同的场景进行优化的。不同的硬件环境,网络环境,同一个平台,肯定会有不同的效果。就像法拉利一样,在高速公路上跑和在乡村街道上跑,速度和激情肯定是不一样的。

所以我们的运维工作也是如此。首先你要充分了解你正在使用的软件平台,然后根据你现有的生产环境进行充分的测试,最后得出结果,做出最佳的调整。

KVM也是如此。首先要做的是充分理解它,看看我们可以调整哪些参数和设置,最后应用它们来最大化性能。

那么我们可以从―― CPU、内存、磁盘IO、网络四个方面来优化KVM的性能。

KVM CPU性能调优

CPU是NUMA调的,那么NUMA是什么?NUMA是英文uniform Memory Access Architecture的缩写,意为非均匀内存访问。是解决多CPU协同工作的解决方案。我们知道现在的服务器配置比较高,很多CPU都是多通道多核的,CPU需要和内存交互。以前那时候CPU运行速率不高,都是单CPU模式,所以内存里的数据要放到CPU里运行,完全能跟上。而现在的CPU运行速度大大增强,都是多CPU模式,所以出现了不平衡,就是内存中的数据不够CPU消化,会出现多个CPU抢内存的情况.在这种情况下,CPU非常饥饿.数据不够享受,内存分配不够。

因此,为了提高计算机的性能,计算机科学家们仔细研究了CPU和内存之间的协调交互模式。核心思想是找出如何让CPU在多CPU模式下享受更多来自多个内存的数据。

所以我设计了以下解决方案:

1.1 SMP技术

首先是SMP技术,SMP(对称多处理)技术是对称多处理结构。这种结构最大的特点就是CPU共享所有资源,比如总线、内存、IO系统等等。

由于所有的资源都是共享的,所以所有的CPU都是平等的,然后操作系统管理这些CPU对资源的访问(通常以队列的形式)。每个CPU依次处理队列中的进程。如果两个CPU同时访问,通常通过软件锁的机制来解决争用问题。软件锁的概念和开发中的线程安全锁机制是一样的。当一个CPU处理一个进程时,一般会先锁定,处理完后再释放。

所以这里,这里的对称是指CPU是平等独立的,对资源的访问是平等的。我们可以看下图:

2017版:KVM性能优化之CPU优化

这种结构是最早的方案,但是由于出现的最早,它的缺点很快就显现出来,就是扩展能力不强。看上面这张图,我们可以明显感觉到,如果服务器想要提升性能,增加CPU,那么内存(在最大内存的情况下)就会明显不足。因为是共享模式,多一个CPU就多一个吃内存数据的人.因此,如果额外的CPU无法享受内存数据,就会停止,从而造成CPU的浪费。

实验数据表明,SMP服务器有2-4个CPU是可以的,多余的浪费了。

2017版:KVM性能优化之CPU优化

因此,这种方法是有缺陷的。因此,科学家们想到了另一种结构方案,那就是NUMA。

1.2 NUMA技术

NUMA刚才我们说了非均匀内存访问的含义,它的出现很好的解决了SMP的扩展问题。利用NUMA技术,几十个甚至几百个CPU可以组合在一台服务器上。

NUMA建筑设计:

2017版:KVM性能优化之CPU优化

从图中我们发现每个CPU模块都是通过互联模块连接和交换信息的,所有的CPU都是互联的。同时,每个CPU模块平均分为若干个芯片(不超过4个),每个芯片都有自己的内存控制器和内存插槽。

在NUMA也有三个节点的概念:

本地节点:对于一个节点中的所有CPU,这个节点称为本地节点。

邻居:与本地节点相邻的节点称为邻居节点。

远程节点:不是本地节点或邻居节点的节点称为远程节点。

邻居节点和远端节点,都称作非本地节点(Off Node)。

这里要注意的是,CPU访问不同类型节点内存的速度是不相同的,访问本地节点的速度最快,访问远端节点的速度最慢,即访问速度与节点的距离有关,距离越远访问速度越慢,此距离称作Node Distance。正是因为有这个特点,所以我们的应用程序要尽量的减少不通CPU模块之间的交互,也就是说,如果你的应用程序能有方法固定在一个CPU模块里,那么你的应用的性能将会有很大的提升。

2017版:KVM性能优化之CPU优化

访问速度:本地节点>邻居节点>远端节点

因此KVM也是一样,我们在CPU优化这块就是要让KVM绑定在指定的CPU上,这样减少跨CPU的交互使用,让KVM的性能提升。现在我们的服务器还有linux操作系统都是默认走NUMA模式,所以我们接下来说说如何去做CPU的绑定。

那么具体如何操作?

1.3 numactl 命令讲解

我们这里用一台真实的物理机演示,这台物理机的是IBM 3650M4。

首先我们用numactl命令查看NUMA的情况,如果你系统没有这个命令,用 yum install numactl 安装下即可。

# numactl --h numactl 帮助命令,主要参数如下: --interleave=nodes, -i nodes 这个选项用于设定内存的交织分配模式。 也就是说系统在为多个节点分配内存空间的时候,将会以轮询分发的方式被分配给这多个节点。如果在当前众多的交织分配内存节点中的目标节点无法正确的分配内存空间的话,内存空间将会由其他的节点来分配。多节点可以通过 --interleave , --membind 和 --cpunodebind 命令来指定。 --membind=nodes, -m nodes 选项 '--membind' 仅用来从节点中分配内存空间所用。 如果在这些节点中无法分配出所请求的空间大小的话该分配操作将会失败. 上述命令中指定需要分配空间的 nodes 的方式可以遵照上述 N,N,N , N-N ,N 这种方式来指定. --cpunodebind=nodes, -N nodes 这命令仅用于施加在运行与 cpu 上的进程。这个命令用于显示 cpu 的个数,cpu 数目信息同样记录在系统中的存放处理器领域信息的 /proc/cpuinfo 文件夹下,或者是按照关联的中央处理器信息 在当前的中央处理器集中所存放。 --localalloc, -l 这个命令选项通常是为当前的节点分配内存的。 --preferred=node 该命令由于指定优先分配内存空间的节点,如果无法将空间分配给该节点的话,应该分配给该节点上的空间将会被分发到其他的节点上 。 该命令选项后面仅接收一个单独的节点标号. 相关的表示方式也可以使用。 --show, -s 该命令用于显示 NUMA 机制作用在当前运行的那些进程上。

OK,以上是numactl的详细命令,那么接下来我们先看看当前服务器CPU的numa情况:

我们执行lscpu命令可以查看到一些CPU信息:

2017版:KVM性能优化之CPU优化

我们用numactl --hardware可以查看,如这里我准备了两台IBM的服务器,一个3650M4另外一个是3850M2。

我们可以从命令返回的情况看出,这台服务器numa有2个node(node0和node1):

2017版:KVM性能优化之CPU优化

我们再看另外一个服务器,这是一台IBM 3850M2,那么它就只有一个node:

2017版:KVM性能优化之CPU优化

通过这个numactl --hardware命令,我们可以看出上面那台机器每个node有81894 MB的内存可以使用(大概79G),而IBM 3850M2这个服务器node有131070MB(120多G)内存可用(基本上是整个服务器的内存)

那么接下来我们可以看下cpu numa的调度分配情况:

我们运行numastat命令可以查到:

3650M4

2017版:KVM性能优化之CPU优化

3850M2

参数解释:

  • numa_hit 使用本节点内存次数

  • num_miss 计划使用本节点内存而被调度到其他节点次数

  • num_foregin 计划使用其他节点内存而使用本地内存次数

  • interleave_hit 交叉分配使用的内存中使用本节点的内存次数

  • local_node 在本节点运行的程序使用本节点内存次数

  • NB other_node 在其他节点运行的程序使用本节点内存次数

接着我们看下这个命令:numastat -c , 这个命令c 后面跟上进程名就能看到相关进程的NUMA内存使用情况。比如:numastat -c qemu-kvm,这样我们就知道了qemu-kvm这个进程,它在node0 和node1上使用的内存大小,单位是MB:

2017版:KVM性能优化之CPU优化

OK 通过这几个命令我们可以查看一些numa的基本状态和使用情况。那么针对CPU Numa技术,linux操作系统本身呢也有自身对这块的设计。拿linux来说,它默认使用的就是NUMA自动平衡策略,也就是说,系统会自动的调配numa的内存使用,以求一个平衡。

当然,这个设置是可以用户自己控制的,如果我们想关闭,直接运行

# echo 0 > /proc/sys/kernel/numa_balancing 即可

# echo 1 > /proc/sys/kernel/numa_balancing 就是开启

1.4 CPU绑定操作

说到这,既然我们的操作系统还有CPU特性都采用了NUMA架构,那么我们完全可以通过调整KVM对应的NUMA关系来达到KVM CPU这方面的优化。这里,我们一般是通过CPU绑定的方法来做相关操作的。

那么具体的操作是怎么样的呢?那么接下来我们通过一个例子来演示。这里是一台物理机,之前我们看过了,现在上面装好了KVM,然后运行着几个虚拟机,我们用 virsh list 命令可以查看到当前运行的虚拟机列表。

2017版:KVM性能优化之CPU优化

比如我们要看这个Win7-ent虚拟机里vCPU对应物理CPU的情况,那么可以运行:

# virsh vcpuinfo Win7-ent 可以查看

2017版:KVM性能优化之CPU优化

这个虚拟机是2个vCPU 双核的,然后都是跑在了物理机的CPU8上,使用的时间是2964.6s。最后一个是CPU的亲和性,这个yyyyy 表示的是使用的物理CPU内部的逻辑核,一个y就代表其中一个CPU逻辑核。全部是y ,那么说明这台物理机的24个CPU核,这个CPU都能调度使用。

当然,我们可以进入vrish ,然后运行emulatorpin Win7-ent, 通过这个命令我们可以更详细的得到这个虚拟机可以用哪几个核:

2017版:KVM性能优化之CPU优化

我们可以看到目前这个虚拟机0-23的CPU它都能调度使用

那么以上就是查看虚拟机CPU NUMA调度的信息,如果我们要把虚拟机绑定到固定的CPU上,我们就要做以下操作: # virsh emulatorpin Win7-ent 18-23 --live 通过这个命令,我们把这个win7的虚拟机vCPU绑定在了18-23这6个CPU之间的核上。

我们用命令查看下 emulatorpin Win7-ent

我们也可以用virsh dumpxml Win7-ent 查看确认:

这是让虚拟机里的vCPU一起绑定的方法。

那么有的人会疑问,一个虚拟机我有两个vCPU, 比如这个win7 ,它就是双核的,我想让里面的vCPU1和vCPU2分别绑定在不同的物理CPU上可以吗?怎么操作呢?这也是可以的,我们通过下面的方法可以进行相关的vCPU分别绑定

# virsh vcpupin Win7-ent 0 22

# virsh vcpupin Win7-ent 1 23

# virsh dumpxml Win7-ent

2017版:KVM性能优化之CPU优化

# virsh vcpuinfo Win7-ent

2017版:KVM性能优化之CPU优化

OK,这里要注意的是,你把虚拟机用reboot重启,这个绑定配置还是生效的,但是你shutdown的话,CPU绑定的效果会失效。我们要让VM关机然后起来也生效,就必须把参数写入到虚拟机的XML里,然后保存,这样关机了也不会失效,这里要注意下

 # virsh edit vm1

2017版:KVM性能优化之CPU优化

OK,以上就是CPU绑定技术的操作。通过这样的操作,我们可以在一台多CPU的物理机上固定几个CPU给虚拟机用。当然,至于为什么可以这样做,前面我们提到了关于NUMA的原理,如果固定了虚拟机的CPU,那么它就不会去找远端节点了,另外就是有些场景下,一物理机多个CPU,如果前面几个CPU负载很高,利用率大,后面几个CPU利用率低,那么我们可以协调下,做CPU的绑定,平衡下CPU的负载。

以上是CPU的绑定,接下来我们讲讲CPU的热添加。

1.5 CPU 热添加

首先我们先了解下什么叫热添加,热添加就是在虚拟机运行不关机的情况下,做CPU的添加操作。那么要注意的是,这个热添加是在Redhat7.0以后才出现的,之前是没有的。所以要享用这功能那必须要求KVM宿主机和虚拟机都得在7.0版本以后。那么具体怎么操作我们通过一个演示给大家操作下。

比如目前这个虚拟机,这是一个CentOS7.1的。我们先看下目前虚拟机的CPU的数值,我们可以进系统查看,cat /proc/cpuinfo| grep "processor"| uniq| wc -l ,我们看到当前是2个CPU:

然后我们解释下这个最大CPU分配数是怎么个意思,它的意思就是给这个虚拟机最大预留的CPU个数,这个设置很重要,如果你想给虚拟机热添加,那么这个设置必须写。比如我们这里写的4,那么我们可以给虚拟机最大热添加到4个CPU,而且4是上限。

那么接下来说下,具体怎么热添加。我们先在宿主机里先给这个虚拟机添加第三个CPU,原来是2个,现在再添加一个变成3个: setvcpus VM3_CentOS7.1 3 --live

然后我们到虚拟机里面把这个CPU激活 :

echo 1 >/sys/devices/system/cpu/cpu2/online

我们再运行查看,发现已经变成3个了。

如果要减少,那么只能在虚拟机里减少刚才的CPU

# echo 0 >/sys/devices/system/cpu/cpu2/online

但是在宿主机层面看这个虚拟机的vCPU数还是3个,也就是说不支持热减少,我们运行vcpuinfo VM3_CentOS7.1命令发现还是3个:

2017版:KVM性能优化之CPU优化

同理,Windows的添加也是如此,直接在宿主机里添加第三个CPU即可

# setvcpus VM4_Win2008 3 --live

然后虚拟机里不用操作,它会自动刷新成3个CPU,我们也可以一个windows虚拟机做相关的演示,具体的可以由读者自己操作了。

到这为止, 以上就是KVM CPU方面的优化。总结起来就两点,一个是CPU绑定,还有一个就是热添加。

CPU绑定首先得了解NUMA技术,然后站在整个宿主机CPU资源的层面去调节。

热添加,当你某个虚拟机正在运行,然后突然业务压力增大了,可以通过这方法达到0停机提升虚拟机CPU性能。

参考链接:

http://www.cnblogs.com/yubo/archive/2010/04/23/1718810.html

http://cenalulu.github.io/linux/numa/

作者介绍:

宝哥,云技术社区专家,资深IT运维工程师,多年IT运维经验,擅长Linux,VMware&Openstack虚拟化,ELK大数据日志分析等运维技术,扎实的一线运维经验,目前在某大型云计算公司担任openstack高级运维工程师。


云技术社区介绍:

云技术社区成立于2014年,国内最大的云技术交流平台,分享在云计算/虚拟化项目实施中的资讯、经验和技术,坚持干货。

评论(0)

二维码