操作系统底层技术——CPU亲和性

时间:2022-05-03
本文章向大家介绍操作系统底层技术——CPU亲和性,主要内容包括CPU亲和性、原理、应用场景、基本概念、基础应用、原理机制和需要注意的事项等,并结合实例形式分析了其使用技巧,希望通过本文能帮助到大家理解应用这部分内容。

头图是加拿大lake simcoe自然风光,非常漂亮,基本没有中国游客,适合深度游。

这是操作系统底层技术第二篇,前一篇是《Codegen技术学习

CPU亲和性

简单地说,CPU亲和性(affinity)就是进程要在某个给定的CPU上尽量长时间地运行而不被迁移到其他处理器的倾向性。

Linux内核进程调度器天生就具有被称为软CPU亲和性(affinity)的特性,这意味着进程通常不会在处理器之间频繁迁移。这种状态正是我们希望的,因为进程迁移的频率小就意味着产生的负载小。2.6版本的Linux内核还包含了一种机制,它让开发人员可以编程实现硬CPU亲和性(affinity)。这意味着应用程序可以显式地指定进程在哪个(或哪些)处理器上运行。

原理

什么是Linux内核硬亲和性(affinity)?在Linux内核中,所有的进程都有一个相关的数据结构,称为task_struct。这个结构非常重要,原因有很多;其中与亲和性(affinity)相关度最高的是cpus_allowed位掩码。这个位掩码由n位组成,与系统中的n个逻辑处理器一一对应。具有4个物理CPU的系统可以有4位。如果这些CPU都启用了超线程,那么这个系统就有一个8位的位掩码。如果为给定的进程设置了给定的位,那么这个进程就可以在相关的CPU上运行。因此,如果一个进程可以在任何CPU上运行,并且能够根据需要在处理器之间进行迁移,那么位掩码就全是1。实际上,这就是Linux中进程的缺省状态。

Linux内核API提供了一些方法,让用户可以修改位掩码或查看当前的位掩码:

   sched_set_affinity()(用来修改位掩码)
   sched_get_affinity()(用来查看当前的位掩码)

注意,cpu_affinity会被传递给子线程,因此应该适当地调用sched_set_affinity。

为什么应该使用硬亲和性(affinity)?通常Linux内核都可以很好地对进程进行调度,在应该运行的地方运行进程(这就是说,在可用的处理器上运行并获得很好的整体性能)。内核包含了一些用来检测CPU之间任务负载迁移的算法,可以启用进程迁移来降低繁忙的处理器的压力。

一般情况下,在应用程序中只需使用缺省的调度器行为。然而,您可能会希望修改这些缺省行为以实现性能的优化。让我们来看一下使用硬亲和性(affinity)的2个原因。

原因1.充分利用cpu cache

如果一个给定的进程迁移到其他地方去了,那么它就失去了利用CPU缓存的优势。实际上,如果正在使用的CPU需要为自己缓存一些特殊的数据,那么所有其他CPU都会使这些数据在自己的缓存中失效。

因此,如果有多个线程都需要相同的数据,那么将这些线程绑定到一个特定的CPU上是非常有意义的,这样就确保它们可以访问相同的缓存数据(或者至少可以提高缓存的命中率)。否则,这些线程可能会在不同的CPU上执行,这样会频繁地使其他缓存项失效。

原因2保障时间敏感的、决定性的进程的cpu利用

我们对CPU亲和性(affinity)感兴趣的最后一个原因是实时(对时间敏感的)进程。例如,您可能会希望使用硬亲和性(affinity)来指定一个8路主机上的某个处理器,而同时允许其他7个处理器处理所有普通的系统调度。这种做法确保长时间运行、对时间敏感的应用程序可以得到运行,同时可以允许其他应用程序独占其余的计算资源。

应用场景

使用cpu亲和技术会显著提高cpu利用率,但是同时带来的副作用是丧失程序的扩展性,应用程序需要单独设置。这项技术在一些需要高性能,软硬结合的场景下非常有效。

云的核心技术就是虚拟化技术,首先是虚拟化技术,Cpu亲和技术在云上因此失效。