Mains tenant une liasse de billets de cent dollars en éventail
Jolimoi Tech · Grand format

Gestion des coûts
Databricks

Databricks se paie deux fois : le cloud qui fait tourner les machines, et les DBU, la licence comptée à la seconde. Lire, tagger, mesurer, puis choisir le compute : le retour d'expérience d'une startup au budget serré.

Par Alexis Blandin · 9 min de lecture

Faites défiler

Ce texte accompagnait une conférence donnée lors d'un meetup Databricks, où nous étions invités à partager notre retour d'expérience sur la gestion de nos coûts. Il a d'abord paru sur le blog tech de Jolimoi en juin 2024.

Il ne sera pas question d'optimisation de code. Les coûts dépendent aussi de la performance, de la modélisation au stockage, mais ce sujet mérite ses propres articles. Celui-ci couvre la gestion et la maîtrise des coûts Databricks, un sujet après l'autre.

Chaque entreprise a sa propre vision de ses dépenses cloud, et Databricks ne fait pas exception. Voici la nôtre, chez Jolimoi :

Pile de tickets de caisse en noir et blanc
Poste 1

Lire la facture

Avant d'optimiser, savoir ce qu'on paie.

Cela semble évident : commencer par comprendre de quoi se compose la dépense. La tarification de Databricks paraît plus complexe que celle d'autres solutions, parce qu'elle arrive en deux parties.

Ce que coûte un cluster

Facture cloud AWS

Transfert de données cloud
Compute (instances EC2) cloud
Stockage cloud

Facture Databricks licence

Consommation en DBU à la seconde
Un cluster Databricks produit deux factures.
Les coûts cloud, AWS dans notre cas : surtout le transfert de données, le compute et le stockage.
La consommation Databricks, une sorte de licence comptée en DBU (DataBricks Units). Elle suit surtout le compute qu'on met en face : plus le cluster est gros, plus on paie. Elle se facture au temps consommé, à la seconde.
Un cluster, ses nœuds, ses DBU
Driver30,5 Go
4 cœurs
Worker 130,5 Go
4 cœurs
Worker 230,5 Go
4 cœurs
4DBU/h
i3.xlargePhotonUnity CatalogRuntime 13.3
Un driver et un worker, des i3.xlarge avec Photon : le cluster consomme 4 DBU par heure.
Ajoutons un worker identique : 6 DBU par heure. La corrélation est nette entre le nombre d'instances et les DBU consommées. Ici, une instance vaut 2 DBU/h.

Pour aller plus loin, quelques ressources fiables :

Quatre étiquettes vierges suspendues à des ficelles
Poste 2

Suivre la dépense

Tagger tout, puis interroger les tables système.

Une fois la répartition de la facture comprise, il faut la surveiller. Le premier outil est la console du compte, qui filtre les données d'utilisation par SKU, par workspace et par tag.

Console du compte Databricks : graphique d'utilisation filtrable
La console du compte : une première lecture, utile si les tags sont bien posés.

Elle ne remplace pas une analyse fine des coûts, mais elle suffit pour commencer, à une condition : des tags bien configurés. Le tagging reste une pratique classique du FinOps, et toujours pertinente. Databricks pose certains tags par défaut, et chacun peut définir sa propre convention.

Une ressource, avant et après les tags
cluster_id : 0617-084512-x7k2p9qa
???
jm:applicationdbt-nightly
jm:domaindata
jm:roleETL
jm:environmentproduction
jm:owneréquipe data
jm:managedByterraform
jm:taggingVersion2
Data
show-back
Marketing
charge-back
Produit
charge-back
Identifiant et valeurs d'exemple.
Sans tag, une ressource se résume à un identifiant. Personne ne sait à quoi elle sert ni qui la paie.
Chez Jolimoi, tous les assets cloud portent les mêmes tags, Databricks compris (sauf les endpoints, qui refusaient les deux-points). jm:application est le plus basique : feature, projet, peu importe le nom, c'est l'identifiant clé de l'usage. jm:domain désigne une division, une équipe ou un domaine métier (marketing, data). jm:role précise la fonction : front, back, sécurité, ETL, data science.
jm:environment : production, intégration, staging, sandbox. jm:owner : la partie prenante clé, propriétaire du projet, analyste ou contact technique, bref la personne responsable de l'asset côté facturation.
jm:managedBy dit comment l'asset a été construit : Terraform, CloudFormation, ou rien du tout, c'est-à-dire à la main. Et jm:taggingVersion, parce que les conventions de tagging ont elles aussi des versions.
Ces tags donnent des informations plus lisibles qu'un ID de cluster. Ils permettent surtout le show-back et le charge-back vers d'autres entités métier, utiles quand le budget IT est réparti dans l'entreprise.

Les données d'utilisation sont disponibles par plusieurs canaux : l'API, la livraison sur S3 et les tables système, ces deux dernières encore en preview au moment de l'écriture, en juin 2024.

Pour exploiter ces données finement, il faut passer par les tables système : system.billing.usage pour l'utilisation, system.billing.list_prices pour le prix de chaque SKU Databricks à un moment donné.

Schéma de la table system.billing.usage dans le Catalog Explorer
Le schéma de system.billing.usage.

Databricks fournit une liste d'exemples de requêtes et de templates. On peut aussi écrire la sienne.

SELECT  billing_origin_product  , usage_date  , usage.sku_name  , SUM(usage_quantity) AS dbu_count  , CAST(pricing["default"] AS FLOAT) AS pricing  , (dbu_count * CAST(pricing["default"] AS FLOAT)) AS total_price  , custom_tags["jm:application"] AS applicationFROM system.billing.usageINNER JOIN system.billing.list_prices ON usage.cloud = list_prices.cloud  AND usage.sku_name = list_prices.sku_name  AND usage.usage_start_time >= list_prices.price_start_time  AND (    usage.usage_end_time <= list_prices.price_end_time    OR list_prices.price_end_time IS NULL  )GROUP BY  billing_origin_product, usage_date, usage.sku_name  , pricing["default"], custom_tags["jm:application"]ORDER BY usage_date DESC, dbu_count DESC;
La requête part de system.billing.usage : le produit à l'origine de la consommation, le jour, le SKU.
La jointure avec list_prices retrouve le prix en vigueur au moment de la consommation : même cloud, même SKU, et une fenêtre de validité qui contient la période d'usage, ou qui court toujours.
On additionne les DBU consommées et on les multiplie par le prix par défaut pour obtenir un coût.
Le tag jm:application devient une colonne : le coût se lit par application, et plus par identifiant de cluster.
On regroupe par jour, produit, SKU et application, du plus récent au plus coûteux.

Autre option : le tableau de bord d'observabilité des coûts publié sur GitHub. Il ne fonctionne pas très bien, et on se demande pourquoi il n'est pas dans la galerie d'exemples.

Tableau de bord d'observabilité des coûts Databricks
Le tableau de bord d'observabilité des coûts.
Allée entre deux rangées de baies de serveurs
Poste 3

Choisir le compute

Familles d'instances, runtimes, engagements cloud.

Chaque option dépend des cas d'usage, donc quelques recommandations générales seulement. La première : évaluer les types et familles d'instances. L'interface Databricks offre un large choix : optimisées pour le stockage ou la mémoire, usage général, avec GPU, avec ou sans Delta cache accelerated.

FamilleExemplesCas d'usageProfil
Usage général (M)m5.large
m5.xlarge
Compute, mémoire et réseau équilibrés. Convient à une grande variété d'applications.CPU et mémoire modérés
Calcul (C)c5.large
c5.xlarge
Applications limitées par le calcul : traitements batch, inférence de machine learning, transformations de données.CPU élevé, peu de mémoire
Mémoire (R)r5.large
r5.xlarge
Applications gourmandes en mémoire : gros caches en mémoire, analytique big data en temps réel, bases de données haute performance.Beaucoup de mémoire, CPU modéré
Stockage (I)i3.large
i3.xlarge
Tâches d'entrées-sorties : lectures et écritures rapides et séquentielles sur de gros volumes, NoSQL, warehousing, traitement de données à grande échelle.IOPS élevées, gros stockage local
Accélérée (P, G)p3.2xlarge
g4dn.xlarge
Applications qui exigent des GPU : deep learning, IA, traitement vidéo, calcul haute performance.GPU pour le calcul parallèle, forte bande passante mémoire
Les familles d'instances AWS, résumées.

Pour retrouver les instances EC2 correspondantes, la console AWS reste un bon point de départ.

Console AWS EC2 : comparaison des types d'instances
Comparer les instances dans la console EC2.

Reste à lire leurs noms. Chaque lettre a un sens, détaillé dans la documentation AWS.

Lire un nom d'instance
c7gn.xlarge
La première lettre donne la famille : c pour les instances optimisées pour le calcul.
Le chiffre donne la génération de l'instance.
Vient ensuite la famille de processeur : g pour Graviton, le processeur ARM d'AWS. Attention : les instances Graviton ne prennent pas en charge certaines fonctionnalités Databricks.
Une lettre optionnelle signale une capacité additionnelle : n pour un réseau renforcé.
Après le point, la taille de l'instance.

Au-delà de ces généralités, le meilleur conseil : surveiller sa charge de travail et observer comment réagissent la mémoire et le CPU du cluster. Même chose pour le dimensionnement du nœud driver.

Le Delta cache ne mérite pas qu'on s'y attarde sur les runtimes récents : à partir du Databricks Runtime 14.2, la commande CACHE SELECT est ignorée. Choisir le dernier runtime apporte d'ailleurs presque toujours de bonnes nouvelles côté performances. Vérifiez seulement que votre code tourne dessus.

Sans rapport direct avec Databricks, les fournisseurs cloud offrent aussi leurs leviers de réduction. Chez AWS : les Savings Plans, plus flexibles et mieux remisés, et les Reserved Instances, qui ne sont pas la meilleure option. Le principe : vous engagez votre consommation sur une famille d'instances, AWS vous accorde une remise, plus forte si vous payez une partie ou la totalité d'avance. AWS calcule même des recommandations à partir de votre consommation passée.

Recommandation Savings Plans, par mois
Dépense actuelle, à la demande1 638,37 $
Dépense après engagement1 264,17 $
Économie374,20 $
Estimation AWS de mai 2024 : Compute Savings Plan sur un an, payé intégralement d'avance, calculé sur les 30 derniers jours.
Sur notre compte, la recommandation part d'une dépense mensuelle de 1 638 dollars à la demande.
En s'engageant, la même consommation coûte 1 264 dollars par mois.
374 dollars d'économie chaque mois, soit 23 % de la dépense concernée, sans toucher à une ligne de code. C'est un bon point de départ.
Console AWS : recommandations Savings Plans
L'écran de recommandations d'AWS.
Traînées de lumière dorée en pose longue
Poste 4

Photon ou pas Photon ?

Avez-vous vraiment fait le calcul ?

Dernier point, et pas le moindre. Selon Databricks, Photon est une solution rentable :

« Photon est un moteur de requêtes vectorisé haute performance, natif Databricks, qui exécute vos workloads SQL et vos appels d'API DataFrame plus vite, afin de réduire le coût total par workload. »

Photon semble aller de soi quand le but est d'aller vite, par exemple sur un job cluster qui doit livrer ses résultats avant de s'éteindre. Mais le calcul mérite d'être fait.

Même driver r5d.xlarge, runtime 14.3
Sans Photon
0,9 DBU/h
Avec Photon
1,8 DBU/h
 
Prenons le même nœud, un r5d.xlarge de 32 Go et 4 cœurs. Sans Photon, il consomme 0,9 DBU par heure.
Activez Photon : 1,8 DBU par heure. Par défaut, Photon signifie payer le double. C'est aussi simple que ça.
La seule question qui compte : Photon divise-t-il aussi votre temps par deux ?
Faites le calcul
Facture DBU du job : ×1,33
DBU seulement : un job plus court réduit aussi la facture cloud de l'instance, qui ne double pas avec Photon.

Ce n'est pas(encore) une conclusion.

Restent à couvrir la configuration des jobs et des clusters, l'auto-terminaison, les pools de clusters, les fleet et spot instances, et les SQL warehouses. Le principe, lui, ne change pas : deux factures, que l'on ne réduit qu'après avoir appris à les lire.