Databricks se paie deux fois : le cloud qui fait tourner les machines, et les DBU, la licence comptée à la seconde. Lire, tagger, mesurer, puis choisir le compute : le retour d'expérience d'une startup au budget serré.
Par Alexis Blandin · 9 min de lecture
Ce texte accompagnait une conférence donnée lors d'un meetup Databricks, où nous étions invités à partager notre retour d'expérience sur la gestion de nos coûts. Il a d'abord paru sur le blog tech de Jolimoi en juin 2024.
Il ne sera pas question d'optimisation de code. Les coûts dépendent aussi de la performance, de la modélisation au stockage, mais ce sujet mérite ses propres articles. Celui-ci couvre la gestion et la maîtrise des coûts Databricks, un sujet après l'autre.
Chaque entreprise a sa propre vision de ses dépenses cloud, et Databricks ne fait pas exception. Voici la nôtre, chez Jolimoi :
pip install dbt-databricks) ;
Avant d'optimiser, savoir ce qu'on paie.
Cela semble évident : commencer par comprendre de quoi se compose la dépense. La tarification de Databricks paraît plus complexe que celle d'autres solutions, parce qu'elle arrive en deux parties.
Pour aller plus loin, quelques ressources fiables :
Tagger tout, puis interroger les tables système.
Une fois la répartition de la facture comprise, il faut la surveiller. Le premier outil est la console du compte, qui filtre les données d'utilisation par SKU, par workspace et par tag.
Elle ne remplace pas une analyse fine des coûts, mais elle suffit pour commencer, à une condition : des tags bien configurés. Le tagging reste une pratique classique du FinOps, et toujours pertinente. Databricks pose certains tags par défaut, et chacun peut définir sa propre convention.
Les données d'utilisation sont disponibles par plusieurs canaux : l'API, la livraison sur S3 et les tables système, ces deux dernières encore en preview au moment de l'écriture, en juin 2024.
Pour exploiter ces données finement, il faut passer par les tables système : system.billing.usage pour l'utilisation, system.billing.list_prices pour le prix de chaque SKU Databricks à un moment donné.
system.billing.usage.Databricks fournit une liste d'exemples de requêtes et de templates. On peut aussi écrire la sienne.
SELECT billing_origin_product , usage_date , usage.sku_name , SUM(usage_quantity) AS dbu_count , CAST(pricing["default"] AS FLOAT) AS pricing , (dbu_count * CAST(pricing["default"] AS FLOAT)) AS total_price , custom_tags["jm:application"] AS applicationFROM system.billing.usageINNER JOIN system.billing.list_prices ON usage.cloud = list_prices.cloud AND usage.sku_name = list_prices.sku_name AND usage.usage_start_time >= list_prices.price_start_time AND ( usage.usage_end_time <= list_prices.price_end_time OR list_prices.price_end_time IS NULL )GROUP BY billing_origin_product, usage_date, usage.sku_name , pricing["default"], custom_tags["jm:application"]ORDER BY usage_date DESC, dbu_count DESC;
system.billing.usage : le produit à l'origine de la consommation, le jour, le SKU.list_prices retrouve le prix en vigueur au moment de la consommation : même cloud, même SKU, et une fenêtre de validité qui contient la période d'usage, ou qui court toujours.Autre option : le tableau de bord d'observabilité des coûts publié sur GitHub. Il ne fonctionne pas très bien, et on se demande pourquoi il n'est pas dans la galerie d'exemples.
Familles d'instances, runtimes, engagements cloud.
Chaque option dépend des cas d'usage, donc quelques recommandations générales seulement. La première : évaluer les types et familles d'instances. L'interface Databricks offre un large choix : optimisées pour le stockage ou la mémoire, usage général, avec GPU, avec ou sans Delta cache accelerated.
| Famille | Exemples | Cas d'usage | Profil |
|---|---|---|---|
| Usage général (M) | m5.large m5.xlarge | Compute, mémoire et réseau équilibrés. Convient à une grande variété d'applications. | CPU et mémoire modérés |
| Calcul (C) | c5.large c5.xlarge | Applications limitées par le calcul : traitements batch, inférence de machine learning, transformations de données. | CPU élevé, peu de mémoire |
| Mémoire (R) | r5.large r5.xlarge | Applications gourmandes en mémoire : gros caches en mémoire, analytique big data en temps réel, bases de données haute performance. | Beaucoup de mémoire, CPU modéré |
| Stockage (I) | i3.large i3.xlarge | Tâches d'entrées-sorties : lectures et écritures rapides et séquentielles sur de gros volumes, NoSQL, warehousing, traitement de données à grande échelle. | IOPS élevées, gros stockage local |
| Accélérée (P, G) | p3.2xlarge g4dn.xlarge | Applications qui exigent des GPU : deep learning, IA, traitement vidéo, calcul haute performance. | GPU pour le calcul parallèle, forte bande passante mémoire |
Pour retrouver les instances EC2 correspondantes, la console AWS reste un bon point de départ.
Reste à lire leurs noms. Chaque lettre a un sens, détaillé dans la documentation AWS.
Au-delà de ces généralités, le meilleur conseil : surveiller sa charge de travail et observer comment réagissent la mémoire et le CPU du cluster. Même chose pour le dimensionnement du nœud driver.
Le Delta cache ne mérite pas qu'on s'y attarde sur les runtimes récents : à partir du Databricks Runtime 14.2, la commande CACHE SELECT est ignorée. Choisir le dernier runtime apporte d'ailleurs presque toujours de bonnes nouvelles côté performances. Vérifiez seulement que votre code tourne dessus.
Sans rapport direct avec Databricks, les fournisseurs cloud offrent aussi leurs leviers de réduction. Chez AWS : les Savings Plans, plus flexibles et mieux remisés, et les Reserved Instances, qui ne sont pas la meilleure option. Le principe : vous engagez votre consommation sur une famille d'instances, AWS vous accorde une remise, plus forte si vous payez une partie ou la totalité d'avance. AWS calcule même des recommandations à partir de votre consommation passée.
Avez-vous vraiment fait le calcul ?
Dernier point, et pas le moindre. Selon Databricks, Photon est une solution rentable :
« Photon est un moteur de requêtes vectorisé haute performance, natif Databricks, qui exécute vos workloads SQL et vos appels d'API DataFrame plus vite, afin de réduire le coût total par workload. »
Photon semble aller de soi quand le but est d'aller vite, par exemple sur un job cluster qui doit livrer ses résultats avant de s'éteindre. Mais le calcul mérite d'être fait.
Ce n'est pas(encore) une conclusion.
Restent à couvrir la configuration des jobs et des clusters, l'auto-terminaison, les pools de clusters, les fleet et spot instances, et les SQL warehouses. Le principe, lui, ne change pas : deux factures, que l'on ne réduit qu'après avoir appris à les lire.