Modeling, evaluating and orchestrating heterogeneous leverages for large-scale cloud data centers management
Modélisation, évaluation et orchestration des leviers hétérogènes pour la gestion des centres de données cloud à grande échelle
Résumé
The Information and Communication Technology (ICT) sector is constantly growing due to the increasing number of Internet users and the democratization of digital services, leading to a significant and ever-increasing carbon footprint. The share of greenhouse gas (GHG) emissions related to ICT is estimated to be between 2.1% and 3.9% of global GHG emissions in 2020. Data centers are at the center of this growth, estimated to be responsible for a significant portion of the ICT industry's global GHG emissions (ranging from 16.5% to 45% in 2020) and to consume approximately 1% of global electricity in 2018.
Numerous leverages exist and can help cloud providers and data center managers to reduce some of these impacts. These leverages can operate on multiple facets such as turning off unused resources, slowing down resources to adapt to the real needs of applications and services, optimizing or consolidating services to reduce the number of physical resources mobilized. These leverages can be very heterogeneous and involve hardware, software layers or more logistical constraints at the data center scale. Activating, deactivating and orchestrating these heterogeneous leverages on a large scale can be a challenging task, allowing for potential gains in terms of reducing energy consumption and GHG emissions.
In this thesis, we address the modeling, evaluation and orchestration of heterogeneous leverages in the context of a large-scale cloud data center by proposing for the first time the combination of heterogeneous leverages: both technological (turning on/off resources, migration, slowdown) and logistical (installation of new machines, decommissioning, functional or geographical changes of IT resources).
First, we propose a novel heterogeneous leverage modeling approach covering leverages impacts, costs and combinations, the concepts of an environmental Gantt Chart containing leverages applied to the cloud provider's infrastructure and of a leverage management framework that aims to improve the overall energy and environmental performance of a cloud provider's entire infrastructure. Then, we provide an overview of power and energy measurement techniques, and perform an experimental comparison of software-based power meters. Next, we study a single technological leverage by conducting a thorough analysis of Intel RAPL leverage for power capping purposes on a set of heterogeneous nodes for a variety of CPU- and memory-intensive workloads. Then, we investigate how virtual machine (VM) consolidation can be used to save resources and energy in a large-scale production environment. Finally, we validate the proposed heterogeneous leverage modeling approach on a large scale by exploring two distinct scenarios that show the pertinence of the proposed approach in terms of resource management and potential impact reduction.
Le secteur des Technologies de l’Information et de la Communication (TIC) est en pleine croissance en raison de l'augmentation du nombre d’utilisateurs d’Internet et de la démocratisation des services numériques, entraînant une empreinte carbone non négligeable et toujours croissante. La part des émissions de gaz à effet de serre (GES) liées aux TIC est estimée entre 2.1% et 3,9% des émissions mondiales en 2020. Les datacenters sont au cœur de cette croissance, estimés d'être responsables d'une part importante des émissions de GES du secteur des TIC (allant de 16.5% à 45% en 2020) et à consommer environ 1% de l'électricité mondiale en 2018.
De nombreux leviers existent et peuvent aider les fournisseurs de cloud et les gestionnaires de datacenters à réduire certains de ces impacts. Ces leviers peuvent opérer sur de multiples facettes telles que l’extinction de ressources inutilisées, le ralentissement de ressources pour s’adapter aux besoins réels des applications et services, l’optimisation ou la consolidation des services pour réduire le nombre de ressources physiques mobilisées. Ces leviers peuvent être très hétérogènes et impliquer du matériel informatique, des couches logicielles ou des contraintes plus logistiques à l’échelle des datacenters. Activer, désactiver et orchestrer ces leviers à grande échelle est un réel enjeu permettant des gains potentiels en termes de réduction de la consommation énergétique et des émissions de dioxyde de carbone.
Dans cette thèse, nous abordons la modélisation, évaluation et gestion de leviers hétérogènes dans le contexte d'un datacenter cloud à grande échelle en proposant pour la première fois la combinaison de leviers hétérogènes : à la fois technologiques (allumage/extinction de ressources, migration, ralentissement) et logistiques (installation de nouvelles machines, décommissionnement, changement fonctionnels ou géographiques de ressources IT).
Dans un premier temps, nous proposons une modélisation des leviers hétérogènes couvrant les impacts, les coûts et les combinaisons des leviers, les concepts de Gantt Chart environnemental contenant des leviers appliqués à l'infrastructure du fournisseur de cloud et d'un environnement logiciel de gestion des leviers qui vise à améliorer les performances énergétiques et environnementales globales de l'ensemble de l'infrastructure d'un fournisseur de cloud. Ensuite, nous fournissons un aperçu des techniques de mesure de puissance et d’énergie et effectuons une comparaison expérimentale des wattmètres logiciels. Par la suite, nous étudions un levier technologique unique en effectuant une analyse approfondie du levier Intel RAPL à des fins de plafonnement de la puissance sur un ensemble de nœuds hétérogènes pour une variété de charges de travail gourmandes en CPU et en mémoire. Ensuite, nous étudions comment la consolidation des machines virtuelles (VM) peut être utilisée pour économiser des ressources et de l’énergie dans un environnement de production à grande échelle. Finalement, nous validons la modélisation des leviers hétérogènes proposée à grande échelle en explorant deux scénarios distincts qui montrent la pertinence de l’approche proposée en termes de gestion des ressources et de réduction des impacts potentiels.
Fichier principal
Modeling__evaluating_and_orchestrating_heterogeneous_leverages_for_large_scale_cloud_data_centers_management.pdf (2)
Télécharger le fichier
Origine | Fichiers produits par l'(les) auteur(s) |
---|