用于服务器功率管理的系统及方法与流程
1.本公开涉及计算机电力效率领域。
背景技术：
2.能源成本是影响数据中心工作效率的关键因素。世界上的数据中心消耗了数万亿瓦特的电力，处理每消耗一瓦特的电力通常需要额外瓦特的冷却能力，这也增加了设备成本和工作成本。
3.在许多数据中心中占据主导地位的云计算服务保证其客户具有预定的服务质量(quality of service，qos)，qos通常由服务水平协议(service level agreement，sla)正式定义。如果不能满足所保证的sla qos指标，数据中心将面临经济损失。数据中心还必须满足qos标准，以维持客户的满意度，避免客户流失和收入损失。只要达到sla和预期的qos水平，降低系统性能以实现节能是可以接受的。
4.数据中心的工作负载具有高的动态活动范围。数据中心的容量通常由预期需求的最坏情况(即，最高水平)决定。未被使用的系统可能进入不同的空闲状态，这些空闲状态将消耗不同水平的电力。深度空闲状态可以节省更多的能量，但需要更长的时间来恢复，并且通常需要更高的激活能成本。因此，只有当系统希望长时间保持这种深度空闲状态时，系统才会处于此种空闲状态。
5.服务器的处理器效率，即每瓦特的计算次数，通常与处理速度(以千兆赫(gigahertz，ghz)表示)反相关。也就是说，为了提高系统的频率，通常必须增加电压。此外，电路所需的电压可能随着频率的平方而增加。以较低的时钟速度运行服务器的中央处理器(central processing unit，cpu)，通常会提高效率(每瓦特具有更多的指令)，但是会降低响应时间，并且可能会违反sla。
6.数据中心通常需要处理来自数据中心外部的处理请求，即南北业务量(north-south traffic)，以及数据中心内部服务器之间的业务量，即东西业务量(east-west traffic)。例如，在社交网络上的搜索可能触发由一个服务器接收的请求，进而可能生成对于其他服务器的一系列请求，该其他服务器存储有与目标信息相关的信息。因此，每个外部请求通常会导致内部通信量的暴涨，从而增加电力消耗。随着业务量的不断增加，需要一种系统和方法来提高数据中心的电力效率。
技术实现要素：
7.本公开的实施例提供了一种用于提高数据中心的电力效率的系统和方法。本公开的一个实施例是具有一个或多个处理器和一个存储器的系统，该存储器包括指令，当指令由一个或多个处理器执行时，使得处理器执行以下步骤：在第一操作周期内，获取训练数据，训练数据包括数据中心的一个或多个计算机服务器的功率上限、使用率、以及服务水平协议sla遵从性的度量；和，将预测性分析应用于训练数据以创建模型，该模型用于根据一个或多个计算机服务器的测量的使用率确定多个功率上限，其中，当所确定的功率上限应
用于一个或多个计算机服务器时，所确定的功率上限将降低电力消耗并且满足sla遵从性的度量；以及，根据在第二操作周期内接收的后续数据，应用该模型以确定应用于一个或多个计算机服务器的功率上限，其中，后续数据包括一个或多个计算机服务器的后续使用率。
8.在一些实施例中，应用功率上限包括设置最大cpu频率或设置最大cpu电压。确定功率上限包括：当达到上限使用率阈值时，设置较高的功率上限；当达到下限使用率阈值时，设置较低的功率上限。用于增加或减小功率上限的功率上限步长为冷却系统反应能力的函数。用于增加或减小功率上限的功率上限步长为在第一操作周期和所述第二操作周期之一或两者内的使用率水平波动性的函数。
9.在进一步的实施例中，该模型可以是机器学习模型。
10.在附加实施例中，训练数据和后续数据包括一个或多个计算机服务器的一个或多个风扇的每分钟旋转次数rpm；和/或，一个或多个计算机服务器的一个或多个组件的温度。
11.本公开的实施例还包括一种用于提高数据中心的电力效率的方法，该方法在一个或多个处理器和存储器上实现，该存储器包括指令，当指令由一个或多个处理器执行时，使得处理器实现以下方法，包括：在第一操作周期内，获取训练数据，该训练数据包括数据中心的一个或多个计算机服务器的电力消耗和全容量使用率百分比；应用预测性分析以创建模型，该模型用于根据包含电力消耗和全容量使用率百分比的后续数据，生成一个或多个计算机服务器的运行参数的最佳值；在第二操作周期内，获取新数据，新数据指示一个或多个计算机服务器的电力消耗和全容量使用率百分比；以及响应地利用该模型生成一个或多个计算机服务器的运行参数的最佳值，并且向一个或多个计算机服务器发送命令，以将运行参数设置为最佳值。
附图说明
12.为了更好地理解本公开的各种实施例并说明如何实现本公开，现在将通过示例的方式参考附图。附图示出了本公开的结构细节以提供对本公开的基本理解。结合附图进行的描述使得本领域技术人员清楚地了解本公开的数种形式如何在实践中实现。在附图中：
13.图1是根据本公开实施例的处理器使用率随时间变化的曲线图；和
14.图2是根据本公开实施例的用于提高数据中心的电力效率的过程的流程图。
具体实施方式
15.本公开的实施例提供了用于提高数据中心的电力效率的方法。下文描述了本公开的示例性实施例。为了清楚起见，并非实际实现的所有特性或组件均需要被描述。附图中所限定的实施例和/或限制是为了表示的方便性或清楚性而选择的，并且不意味着限制本公开的范围。
16.在下文中，术语“功率上限”是指允许服务器消耗的最大功率(以瓦特(w)表示)。术语“使用率”、“利用率”或“使用率水平”指的是服务器进行处理的时间与服务器等待处理新任务的“空闲”时间的比率(通常以百分比度量)。术语“服务器”是指带有一个或多个cpu的计算机。
17.假定服务器具有在其多个cpu之间有效地平衡多个负载或多个任务的能力，从而可以假定服务器的多个cpu在任何给定的时间段内以相似的工作频率(即，时钟速度)和相
似的使用率水平工作。服务器工作方以使得：随着时钟速度的增加，处理所需的电力呈指数增长，而性能(即，每给定时间内执行的指令数)呈线性增长，这实际上意味着速度增加的回报是递减的。此外，当服务器处于空闲状态不执行任何进程时，其使用的电力比进行处理时少得多，但其使用的电力明显大于零。
18.服务器很少在长时间内以充分使用率工作。数据中心服务器通常的使用率水平为50％，这意味着服务器50％的时间处于处理状态，50％的时间处于空闲状态。在此种情况下，如果服务器在相同时段内以50％的速度和充分使用的状态工作，则可以执行相同的处理量，这将大大降低其电力消耗，从而降低数据中心的工作成本。处理的电力消耗的降低也降低了冷却系统的电力消耗，尤其是当考虑到冷却系统不能立即对处理激增(spike)做出反应，因而冷却必须保持在相对较高的水平以处理激增时。如果没有足够的冷却，服务器通常被配置为当热量积累超过给定的温度阈值时自动降低速度。
19.虽然降低服务器速度可以提高能量效率，但服务器仍必须被配置为满足服务水平协议(service level agreements，sla)定义的性能水平，即，数据中心对客户的速度和服务水平的承诺)。因此，必须在最小处理时间和节省电力之间取得平衡。
20.在本公开的一个实施例中，功率管理系统监视数据中心内的多个服务器，并限定每个服务器的cpu的时钟速度。功率管理系统可以将每个服务器设置为以不同的速度工作，即以不同的性能水平工作。系统被配置为设置服务器功率上限，其限定了上限，即服务器的最大功率消耗水平。服务器通常通过限制其时钟速度并相应地限制其工作电压来实现其功率上限。
21.本公开的功率管理系统可以被配置为指示服务器根据使用率阈值修改功率上限。若服务器的使用率超过使用率上限阈值，则系统指示服务器增加其功率上限。若服务器的使用低于使用率下限阈值，则系统会降低服务器的功率上限。
22.当功率管理系统为服务器设置新的功率上限时，先前的功率上限和新的功率上限之间的变化的增量，即功率上限步长，可以取决于以下几个因素，包括：冷却能力和使用率波动性。
23.若冷却能力是有限的，大的功率上限步长将无法实现足够的冷却，而缺乏足够的冷却将导致性能的限制。若冷却能力较大，则可以在较短的响应时间内实现足够的冷却，这意味着在需要时可以实现更大的步长。
24.如果使用率水平并非是不稳定的，而是相对稳定的，具有较小增量的功率上限步长可能足以满足性能要求。如果使用率不稳定，则可能需要更大的步长来维持性能目标。
25.通常是在数据收集期间和训练最佳工作的功率管理模型期间，确定与冷却能力和波动性相关的功率上限步长的适当增量。这样的模型可以是基于规则的模型，也可以是机器学习模型。
26.应当注意，诸如个人电脑(personal computer，pc)或移动设备的单用户设备的功率管理没有数据中心中服务器的功率管理复杂。因为pc或移动设备只有一个用户，当加载新应用程序时，用户通常可以接受短时间内的性能降低。此外，单用户设备不会竞争任务，也不存在溢出。当单用户设备处理请求时，该设备要么立即将请求分配给处理器，要么任务将等待直到该处理器可用。相比之下，在数据中心中，如果服务器没有足够的处理能力，则可以将请求重新发送到其他地方。另一方面，数据中心对其用户/客户有性能承诺(通常以
sla的形式)，这意味着数据中心必须实现定量的性能目标、可用性目标和/或响应时间目标，以避免经济损失。
27.图1是根据本公开实施例的处理器使用率随时间变化的曲线图100。在四个初始时间单位102(例如，4分钟)内，服务器以300w的功率上限工作并且具有25％的使用率，这意味着服务器25％的时间在进行处理且75％的时间处于空闲。处理时间被表示为从第0个到第1个时间单位的阴影区域104，而空闲时间被表示为区域106。图1中，所消耗的空闲功率(虚线示出)为50w。虽然处理时间被表示为发生在第一分钟内，但这可能会在四分钟内以激增的形式展开。处理时，功率消耗为300w；不处理时，功率消耗为50w。因此，4个时间单位的总电力消耗为:300+(3*50)＝450w
·
分钟。4分钟内的平均功率为450/4＝112.5w。300w的功率消耗反映了给定的处理(即，时钟)速度，该速度可以是例如3ghz。
28.在该示例中，通过将处理速度削减到一半(即，对于给定的示例，将速度设置为1.5ghz)，可以在两个时间段内完成相同量的处理(即，执行相同数量的指令)。降低处理速度将会降低电压要求，从而降低电力消耗。例如，对于给定的处理器，频率降低可能会将处理期间使用的功率从300w降低到100w。因此，也可以通过将功率上限设置为100w来实现频率修改。这将意味着在从第4到第6个时间单位的两个时间单位(例如，分钟，由时间单位中的阴影区108表示)的使用率为50％。然后，服务器将在两个时间段(被表示为区域110)处于空闲。4个时间单位(周期112)的总电力消耗为(2x100)+(2x50)＝300w
·
分钟，平均功率消耗为75w。因此，降低的功率上限将平均功率消耗(在每个相应的4个时间单位周期内)从112.5w降低到75w，节约了33％的电力。此外，服务器将产生更少的热量，因此需要更少的冷却资源从而节省了额外的电力。
29.在本示例中，服务器启动时的工作功率上限可以为300w，功率管理系统可以在4分钟内跟踪服务器的使用率，确定使用率为25％。如果将使用率下限阈值设置为50％，这意味着使用率远低于下限阈值，则可以降低功率上限，如本示例所示，降低到100w。然后将监视使用率(例如，在接下来的4分钟内，但通常是在更短的时间周期内，监视使用率)，并且如果使用率发生改变，则可以根据需要再次改变功率上限。例如，如果使用率再次下降，则可以进一步降低功率上限，或者，如果使用率增加到使用率上限阈值(例如60％)则可以增加功率上限。
30.服务器还可以被设置为具有最小的功率上限(即，低于该最小的功率上限的功率上限将不再降低)，以及最大的功率上限(即，高于该最大的功率上限的功率上限将不再增加)。作为附加示例，可以将服务器的使用率上限阈值设置为80％以及将使用率下限阈值设置为55％，并且将功率上限限制设置为160w和300w。可以每分钟测量一次使用率，并且可以使用3个样本测量的移动平均值来确定平均使用率。如果平均使用率超过80％的上限阈值，则功率上限可以增加40w的增量。例如，如果功率上限是200w，则其将被增加到240w。如果使用率继续超过80％，或者直到达到最大的功率上限300w，则在随后的测量后，功率上限将继续增加。如果移动平均使用率低于55％，则功率上限将减少40w，并且这一过程将同样重复进行，直到使用率超过55％或直到达到最小的功率上限(160w)。
31.在进一步的实施例中，试图将使用率提高到80％的方法将产生最小的时钟速度和最大的效率。
32.图2是根据本公开实施例的用于提高数据中心的电力效率的过程200的流程图。在
第一步骤220处，收集“训练”或“测试”数据，该数据包括数据中心中的一个或多个服务器(以下称为“目标服务器”)的运行参数。收集数据以确定目标服务器相对于功率上限和/或动态电压频率调节(dynamic voltage frequency scaling，dvfs)的性能行为。所收集的数据通常包括几种关键类型的基于时间的参数，包括：1)目标服务器的电力消耗和/或使用率；2)应用于目标服务器的功率上限或频率阈值；以及3)sla度量，尤其是与目标服务器的响应时间相关的sla度量。还可以收集温度数据以及温度限制数据。
33.为了收集这些参数，根据被监视的目标服务器的类型，可以发出范围广泛的命令。对于基于linux的服务器，可以使用诸如turbostat之类的命令以及从/proc/stat和/proc/cpuinfo文件中获得的数据，来获得有关系统使用率的数据。可以使用turbostat之类的命令提取的一些参数包括：cpu拓扑结构、频率、空闲功率状态统计、温度和电力消耗。一些linux实现包括
34.对于基于的服务器，可以使用英特尔工具，即，运行平均功率限制(running average power limit，rapl)，来获取电力消耗数据。rapl的应用在由khan等人于2018年发表在trans.model.perform.eval.comput.syst.第3卷第2期的文章9：“rapl in action:experiences in using rapl for power measurements”(rapl在行动：使用rapl进行功率测量的经验)中进行描述，并通过引用并入本文。其他的英特尔工具还在“64and ia-32architectures software developer's manual volume 3b:system programming guide，part 2,chapter 14:power and thermal management”(和ia-32架构软件开发者手册，第3b卷：系统编程指南，第2部分，第14节：功率管理和热管理)中进行了描述，并通过引用并入本文。英特尔数据中心管理器(data center manager，dcm)提供功率管理和热管理功能，包括监控和设置服务器工作频率和功率上限。
35.由英特尔公司开发的powertop linux实用程序可以监控和显示服务器的电力使用情况。该实用程序可以由intel、amd、arm和ultrasparc处理器所支持。
[0036]“带外”服务器管理平台，如戴尔远程访问控制器(dell remote access controller，drac)和ibm远程管理配置器(remote supervisor adapter)，还包括用于收集有关电力使用率的服务器参数的命令。这些平台可以基于智能平台管理接口(intelligent platform management interface，ipmi)标准与目标服务器的基板管理控制器(baseboard management controller，bmc)进行通信。
[0037]
微软windows的两个电力消耗监控工具是perfmon和powercfg。它们提供了与服务器功率特性相关的数据。由apress在2015年出版的gough等人的文章“energy efficient servers,blueprints for data center optimization”(能量高效服务器，数据中心优化蓝皮书)描述了其他监控工具，并通过引用并入本文。
[0038]
如上文所述，在一段时间内收集了几种关键类型的数据，以表征目标服务器在不同负载和不同工作阈值下的行为。这些关键类型的数据包括：1)目标服务器的电力消耗和/或使用率；2)应用于目标服务器的功率上限或频率阈值；和3)服务器性能，由sla度量(尤其是与目标服务器的响应时间相关的sla度量)来衡量。如上文所述，还可以收集温度数据以及温度限制数据。所收集的数据可以被组织为基于时间的向量，该向量表示给定时间点上不同参数的值。基于时间的向量还提供了参数波动性的表示。在数据收集过程中，目标服务
器的功率上限和工作频率也可以通过一定范围的增量来调整，以使得可以测量功率上限和/或频率的这种变化如何影响电力消耗以及如何影响服务器的能力以满足sla承诺。
[0039]
在一段时间内(例如在通常的一天内)收集该数据之后，可以在步骤222中应用可能包括数据关联的预测性分析，以生成模型，该模型用于指示针对不同的测量的使用率应该被应用于目标服务器的多个最佳功率上限，以便在满足sla遵从性度量的同时降低电力消耗。可以通过直接为兼容的cpu(如intel的现代cpu)所指定的功率上限来设置功率上限，或者，通过为cpu指定最大频率阈值来设置功率上限，这些cpu被设计成根据指定的工作频率改变内部电压。还可以通过直接指定最大的cpu电压来为某些cpu设置功率上限。
[0040]
一般而言，对于给定的使用率水平，确定适当的功率上限以提高电力的使用率，包括在达到上限使用率阈值时设置较高的功率上限，并且在达到下限使用率阈值时设置较低的功率上限，如上文参考图1所述。使用预测性分析，可以确定最佳的使用率阈值，并且在所确定的阈值处应触发功率上限发生变化。还可以确定用于改变功率上限的最佳增量。也就是说，对于给定的一组目标服务器，可以确定的是使用率每增加5％，功率上限就应该增加5w。通常，由预测性分析生成的模型要么是基于规则的模型，其功率上限增量和使用率增量取决于不同的范围，以及温度和波动性等附加因素。或者，该模型可以是机器学习模型。
[0041]
这些阈值和增量值的确定是基于降低电力消耗这一目标，该确定通常根据的不仅是使用率，而且根据给定时间段内使用率的测量波动性，并且还可以根据服务器温度和系统的冷却反应能力。例如，如果系统没有足够的冷却能力来对处理功率的激增做出迅速反应，则功率上限可能无法增加一允许突然激增的增量。例如，冷却能力的一个度量可以是冷却风扇的每分钟旋转(rotations per minute，rpm)，这是一个由某些操作系统和dcm提供的度量。
[0042]
在生成模型之后，在步骤224处，可以为目标服务工作收集实时数据。然后，这些数据，包括系统使用率数据以及诸如温度水平和sla遵从性度量的可选数据，可以应用于在步骤222中所生成的模型，以在步骤226处确定功率上限的改变。
[0043]
如上文所述，可以应用多个机制来设置功率上限。例如，可以应用linux cpupower命令(例如：cpupower frequency-set
‑‑
max 2500mh)来设置频率限制。
[0044]
使用intel dcm(通过api命令)控制频率(即，cpu时钟速度)也是可能的，就像直接以功率或能量单位(即，瓦特)设置功率上限一样。
[0045]
过程200具有两个迭代方面。首先，收集和应用实时数据的过程，分别是步骤224和226，其是迭代的，如反馈箭头230所示。此外，由于在步骤224处收集新的实时数据，该数据可应用于重新训练步骤222处的模型，如反馈箭头232所示。这两个迭代过程通常在整个系统工作过程中并行地进行。
[0046]
实现上述方法的前端设备或应用程序可以是用于数据中心管理的商业产品的附加组件、升级或改型。此处所描述的系统的处理元件可以在数字电子电路中实现，或者在计算机硬件、固件、软件及其组合中实现。这些元件可以被实现为计算机程序产品，其有形地体现在诸如非瞬态的机器可读存储设备的信息载体中，用于由数据处理设备(诸如可编程处理器、计算机)执行或控制其操作，或者，被部署在一个站点上的多台计算机上执行，或者，被部署在多个站点上的一台或多台计算机上执行。用于软件和数据的存储器可以包括多个一个或多个存储器单元，包括一种或多种类型的存储介质。存储介质的示例包括但不
限于：磁介质、光介质和集成电路(诸如只读存储器件(只读存储器(read only memory，rom)和随机存取存储器(random access memory，ram)。网络接口模块可以控制通过网络发送和接收数据分组。可以重新排序与系统和过程相关联的方法步骤和/或可以省略一个或多个这样的步骤，以实现与本文所描述的那些相同或类似的结果。
[0047]
应当理解，上文所描述的实施例是作为示例引用的，并且本公开不限于上面已经特别示出和描述的内容。
[0048]
我们要求的权利要求如上。
技术特征：
1.一种用于提高数据中心的电力效率的基于计算机的系统，所述系统包括一个或多个处理器和存储器，所述存储器包括指令，当所述指令由所述一个或多个处理器执行时，使得所述处理器执行以下步骤：在第一操作周期内，获取训练数据，所述训练数据包括所述数据中心的一个或多个计算机服务器的功率上限、使用率、以及服务水平协议(sla)遵从性的度量；将预测性分析应用于所述训练数据以创建模型，所述模型用于根据所述一个或多个计算机服务器的测量的使用率确定功率上限，其中，当确定的功率上限应用于所述一个或多个计算机服务器时，所述确定的功率上限将降低电力消耗并且满足所述sla遵从性的度量；以及根据在第二操作周期内接收的后续数据，应用所述模型以确定应用于所述一个或多个计算机服务器的功率上限，其中，所述后续数据包括所述一个或多个计算机服务器的后续使用率。2.根据权利要求1所述的系统，其中，应用所述功率上限包括设置最大cpu频率。3.根据权利要求1所述的系统，其中，应用所述功率上限包括设置最大cpu电压。4.根据权利要求1所述的系统，其中，确定所述功率上限包括：当达到上限使用率阈值时，设置较高的功率上限；当达到下限使用率阈值时，设置较低的功率上限。5.根据权利要求4所述的系统，其中，用于增加或减小所述功率上限的功率上限步长为冷却系统反应能力的函数。6.根据权利要求4所述的系统，其中，用于增加或减小所述功率上限的功率上限步长为在所述第一操作周期和所述第二操作周期之一或两者内的使用率水平波动性的函数。7.根据权利要求1所述的系统，其中，所述模型为机器学习模型。8.根据权利要求1所述的系统，其中，所述训练数据和所述后续数据包括所述一个或多个计算机服务器的一个或多个风扇的每分钟旋转次数(rpm)。9.根据权利要求1所述的系统，其中，所述训练数据和所述后续数据包括所述一个或多个计算机服务器的一个或多个组件的温度。10.一种用于提高数据中心的电力效率的方法，所述方法在一个或多个处理器和存储器上实现，所述存储器包括指令，当所述指令由所述一个或多个处理器执行时，使得所述处理器实现所述方法，所述方法包括：在第一操作周期内，获取训练数据，所述训练数据包括所述数据中心的一个或多个计算机服务器的电力消耗和全容量使用率百分比；应用预测性分析以创建模型，所述模型用于根据包含电力消耗和全容量使用率百分比的后续数据，生成所述一个或多个计算机服务器的运行参数的最佳值；在第二操作周期内，获取新数据，所述新数据指示所述一个或多个计算机服务器的电力消耗和全容量使用率百分比；和响应地利用所述模型生成所述一个或多个计算机服务器的运行参数的最佳值，并且向所述一个或多个计算机服务器发送命令，以将所述运行参数设置为所述最佳值。11.根据权利要求10所述的方法，其中，应用所述功率上限包括设置最大cpu频率。12.根据权利要求10所述的方法，其中，应用所述功率上限包括设置最大cpu电压。13.根据权利要求10所述的方法，其中，所述模型根据使用率阈值限定多个功率上限，
其中，确定所述功率上限的最佳值包括：当达到使用率上限阈值时，设置较高功率上限；当达到使用率下限阈值时，设置较低的功率上限。14.根据权利要求13所述的方法，其中，用于增加或减小所述功率上限的功率上限步长为冷却系统反应能力的函数。15.根据权利要求13所述的方法，其中，用于增加或减小所述功率上限的增量是在所述第一操作周期和所述第二操作周期之一或两者内的使用率水平波动性的函数。16.根据权利要求10所述的方法，其中，所述模型为机器学习模型。17.根据权利要求10所述的方法，其中，所述训练数据和所述后续数据包括所述一个或多个计算机服务器的一个或多个风扇的每分钟旋转次数(rpm)。18.根据权利要求10所述的方法，其中，所述训练数据和所述后续数据包括所述一个或多个计算机服务器的一个或多个组件的温度。
技术总结
提供了一种用于提高数据中心的电力效率的系统和方法，包括：获取训练数据，该训练数据包括数据中心的一个或多个计算机服务器的功率上限、使用率和服务水平协议SLA遵从性的度量；创建模型，以用于根据一个或多个计算机服务器的测量的使用率确定功率上限，其中，当所确定的功率上限应用于一个或多个计算机服务器时，所确定的功率上限将降低电力消耗并且满足SLA遵从性的度量；以及，根据在第二操作周期内接收的后续数据，应用该模型以确定应用于一个或多个计算机服务器的功率上限，其中，后续数据包括一个或多个计算机服务器的后续使用率。率。率。
