Baies de serveurs dans la pénombre, câbles et voyants verts
Retour d'expérience · Grand format

MySQL vers S3 avec AWS DMS : ce qui marche vraiment en production

Sept leçons apprises à nos dépens pour ingérer des centaines de To avec presque zéro maintenance. Il a fallu deux ans pour en arriver là.

Par Alexis Blandin · 5 min de lecture

Faites défiler

Je n'aime pas partager des retours d'expérience sur des logiciels précis : ces articles vieillissent mal. Mais sur AWS DMS vers S3, nous avons assez souffert chez Jolimoi pour que garder ça pour nous soit criminel.

Avertissement : ce qui suit ne vaut que dans notre contexte. Le circuit est décrit ci-dessous.

Le circuit
Aurora MySQLAWS RDS · binlogs
↓
AWS DMSfull load, puis CDC
↓
S3Parquet · YYYYMMDD
↓
Autoloadermicro-batch · 30 min
↓
Delta LakeAuto Optimize · Z-Ordering
↓
dbtmodélisation
La source : une base Aurora MySQL sur AWS RDS.
AWS DMS lit les changements de la base et les pousse vers S3.
Sur S3, des fichiers Parquet. Pour nous, ce n'est qu'un tampon d'ingestion : on ne requête jamais directement dessus.
Databricks Autoloader ingère ces fichiers en micro-batch toutes les 30 minutes…
…vers Delta Lake, que dbt modélise ensuite. Tout ce qui suit s'inscrit dans ce circuit.
Faisceau de câbles réseau bleus branchés à un commutateur
Sept leçons

Ce qui marche
en production

De la source jusqu'aux fichiers, chaque leçon a son endroit dans le circuit.

Aurora MySQLAWS RDS · binlogs
↓
AWS DMSfull load, puis CDC
↓
S3Parquet · YYYYMMDD
↓
Autoloadermicro-batch · 30 min
↓
Delta LakeAuto Optimize · Z-Ordering
↓
dbtmodélisation
Partitionnement : restez simple. Style Hive, une partition YYYYMMDD, point. Pas de complexité inutile. Ça marche pour nous parce qu'on ne fait pas de query pruning directement sur S3 : tout est ingéré par Autoloader vers Delta Lake. Le vrai bénéfice : les backfills et les migrations deviennent triviaux. Adaptez à votre volume et à vos patterns d'accès, mais commencez simple.
Découpez les tâches DMS stratégiquement. Pas une tâche par source : un découpage par type de table, selon le volume, le taux de churn et la criticité. Vous gagnez des full reloads indépendants et un réglage fin. Attention : nous ne le faisons que sur des tables isolées. Si la table A référence la table B et qu'elles vivent dans deux tâches, vous risquez des incohérences temporelles. Les schema drifts, eux, se règlent côté Autoloader, par inférence automatique du schéma.
Évaluations de pré-migration : passez votre tour. Quand la cible est S3, c'est à mon avis du temps perdu. DMS pousse du Parquet non structuré : il n'y a pas de schéma relationnel à valider. Nous faisons seulement des vérifications de base, des comptages de lignes et quelques checksums. Pousser vers S3 coûte si peu qu'on peut itérer vite, sans se noyer dans des validations qui n'ont pas de sens ici.
DMS Serverless : nous avons fait marche arrière. Testé plusieurs fois, sur des périodes de trois à six mois : plus cher, moins performant, un scaling imprévisible. Retour en arrière à chaque fois. AWS améliore le produit en continu, mais aujourd'hui, côté tarifs, les instances classiques restent plus prévisibles et plus économiques.
Les métadonnées de transaction sont non négociables. Ajoutez un identifiant de transaction (AR_H_CHANGE_SEQ pour MySQL), l'Op (INSERT, UPDATE, DELETE) et le TIMESTAMP. DMS peut tronquer la précision à la milliseconde. Sans ces colonnes, impossible d'ordonner de façon fiable des opérations concurrentes. Ça ressemble à un détail, jusqu'au jour où ça casse vos garanties de cohérence.
Rétention des binlogs et dimensionnement. Côté source, augmentez la rétention des binlogs : sept jours minimum pour nous. Nous avons perdu des événements une fois, à cause d'un binlog expiré trop vite, et nous ne lésinons plus depuis. Côté DMS, lancez une grosse instance pour le full load, faites l'import, puis réduisez avant de passer en CDC continu. Ça nous a fait économiser des milliers d'euros. Mais ne sous-dimensionnez jamais le stockage de l'instance.
Les petits fichiers, le vrai ennemi. Même en Parquet. Nous visons 100 à 200 Mo par fichier et réglons le commit et le flush de DMS en conséquence. La compaction se fait automatiquement côté Databricks, après l'ingestion dans Delta Lake, avec Auto Optimize et le Z-Ordering. Le coût de chargement depuis S3 est négligeable, et on ne charge normalement qu'une fois.

Deux leçons méritent un dessin. La cinquième d'abord : quand deux opérations tombent dans la même milliseconde, seul l'identifiant de transaction dit laquelle est arrivée en premier.

AR_H_CHANGE_SEQOpTIMESTAMPstatus
…0000000000418230I2025-12-15 09:14:03.217created
…0000000000418231U2025-12-15 09:14:03.482paid
…0000000000418232U2025-12-15 09:14:03.482cancelled
Exemple fictif. Deux mises à jour partagent le même horodatage tronqué : sans la séquence, « paid » et « cancelled » s'ordonnent au hasard.

La sixième ensuite : l'instance DMS n'a pas besoin de la même taille toute sa vie.

Full load grosse instance CDC continu, petite instance temps → taille de l'instance
Schéma, pas une mesure. Le stockage de l'instance, lui, ne se réduit pas.

Pas une solution « configurer et oublier ».Deux ans pour en arriver là.

AWS DMS vers S3 demande du soin. La différence se joue sur la granularité des tâches, limitée aux tables isolées, sur des métadonnées de transaction complètes, sur un dimensionnement intelligent et sur une vraie obsession des détails opérationnels.

L'architecture en aval compte autant que DMS. Nous ne requêtons jamais directement sur S3 : tout passe par Autoloader vers Delta Lake, puis par dbt. Le Parquet sur S3 n'est qu'un tampon d'ingestion.

Les erreurs DMS sont captées et remontent dans Slack par un agent maison. Le seul bug vraiment vicieux rencontré : un ALTER TYPE sur un ENUM MySQL, qui a mélangé les valeurs. Détecté vite, corrigé, puis full load à nouveau.

Aujourd'hui, nous ingérons des centaines de To avec presque zéro maintenance. Il a fallu deux ans pour en arriver là. Adaptez à votre contexte, ne copiez pas aveuglément.