On s'est posé une question en apparence simple. Quel modèle Claude faut‑il pour répondre juste à une question d'analyse, et à quel prix ? Pour le savoir, nous avons fait passer deux questions à Haiku, Sonnet, Opus et Fable, à chaque niveau d'effort, sur notre lakehouse.
Par Alexis Blandin · 13 novembre 2026 · 7 min de lecture
J'ai posé une question d'analyse à vingt configurations de Claude, et dix-neuf ont rendu une réponse juste au chiffre près. Le lendemain, j'en ai posé une plus floue à vingt-quatre configurations, et seules huit sont allées au bout du raisonnement.
Entre les deux journées, les modèles n'ont pas changé, la question si. Elle avait pourtant l'air aussi banale que la première, et c'est ce qui m'intéresse dans ce benchmark, bien plus que le classement des modèles.
Le protocole est resté identique d'un jour à l'autre. Chaque run utilise le même harness, branché sur le MCP de notre lakehouse Databricks et sur ses Metric Views, la couche sémantique où vivent nos indicateurs. J'ai croisé chaque modèle (Haiku 5.5, Sonnet 5.5, Opus 5.5 et Fable 5.1) avec chaque niveau d'effort, de low à max. Le coût de chaque run est calculé au prix public de l'API Claude.
Le second jour, j'ai ajouté un run ultracode par modèle, une orchestration où quatre explorateurs suivent chacun un angle avant qu'un vérificateur contrôle et qu'une synthèse conclue. La notation se fait alors contre une analyse de référence menée par un Data Analyst, recalculée et vérifiée pour le test.
Le churn de septembre 2026 est-il anormal par rapport aux douze mois précédents, en nombre de départs et en CA client perdu ?
La question demande quelques requêtes, un peu de réflexion et du SQL généré.
Les vingt runs rendent le bon verdict, et seul Haiku en effort low se trompe sur un chiffre, de 10 %.
Avec un lakehouse et un harness bien conçus, il n'y a presque rien à chercher. Chaque run se contente de deux ou trois requêtes SQL, environ 2,4 en moyenne pour Sonnet et Opus et 3,3 pour Fable et Haiku.
Fable lance plus d'outils et vérifie davantage, comme il le fait en génération de code. Opus fait le travail le plus propre, avec deux requêtes et le bon filtre à chaque fois.
Monter l'effort n'allonge ni le temps ni le coût de façon régulière. Sur Haiku, plus d'effort l'a même fait sortir de la couche sémantique pour tout recalculer à la main.
Un petit modèle avec plus d'effort peut valoir un gros modèle avec moins d'effort, pour bien moins cher. Haiku en max coûte 0,07 $ et Sonnet en medium 0,42 $, soit six fois plus. La facture vient surtout du contexte que lit l'agent, environ 100 000 tokens, et très peu de sa réponse, environ 3 000.
La seconde question ressemble à celles qu'on reçoit tous les jours, sans période, sans définition et avec une cause déjà trouvée. Notre changement de mix produit nous pénalise-t-il, parce que la nouvelle gamme se vendrait mal ?
Or la cause est fausse deux fois. La nouvelle gamme est celle qui se vend le mieux, et le changement de mix date d'avant ce qu'on cherche à expliquer.
Pour obtenir 5/5, un run doit confirmer la bascule, la dater, démonter le « se vendrait mal », trouver le vrai moteur des ventes et signaler une limite honnête.
Les vingt-quatre runs rejettent la fausse piste, mais seuls huit trouvent toute l'explication.
Cette fois, l'effort compte. La note moyenne passe de 2,5/5 en medium à 4,25/5 en high, et aucun run sous dix requêtes n'obtient 5/5, alors que la veille deux ou trois suffisaient.
En low, même Opus se prend les pieds dans le tapis. Il conclut après deux requêtes seulement, avant d'avoir regardé assez loin, et s'arrête à 3/5.
Haiku ne dépasse jamais 4/5. En effort bas, il donne le bon verdict pour de mauvaises raisons, et Sonnet en medium tombe dans le même travers.
C'est plus dangereux qu'une erreur visible, car rien dans la réponse ne signale que le raisonnement a lâché en route.
Ultracode partait avec de l'aide, puisque ses quatre angles couvrent presque toute la grille de notation. Il ne fait pourtant pas mieux qu'un run seul, et sur Opus il fait même moins bien pour huit fois le prix.
Sur Fable, ultracode obtient 5/5 avec 86 requêtes en 16 min 29. Fable en max, seul, met le même temps pour 24 requêtes. Le parallélisme abat 3,6 fois plus de travail dans le même temps, mais pour 6,5 fois le prix.
Le moins cher des 5/5 reste Opus en high, à 0,81 $.
Sur une question qui demande du recul, comme remonter loin dans un historique, le gros modèle va plus vite et plus loin pour le même prix. En moyenne, Opus boucle en 6 min 09 pour 1,16 $, quand Sonnet met 7 min 03 pour 1,30 $.
La question avait l'air facile,et c'est son flou qui la rendait complexe.
Le premier jour, mon conseil tenait en une ligne. Orchestrez avec Opus et exécutez avec Haiku ou Sonnet, car n'importe lequel de ces modèles fera le travail sur une data platform à l'état de l'art. Le second jour ne le contredit pas, il le précise.
Le vrai sujet est d'évaluer la complexité d'une question avant de choisir le modèle qui l'exécute. Une question cadrée, par exemple par une couche sémantique, se contente de Haiku ou de Sonnet. Dans le doute, Opus en high fait l'affaire. L'écart se compte en centimes, alors qu'une réponse juste pour de mauvaises raisons coûte bien plus cher.
Quant à ultracode, il vaut son prix sur les questions où explorer beaucoup de pistes à la fois change vraiment la réponse.
Une question floue cache sa difficulté derrière une formulation anodine, et c'est pour ça que trier la question est déjà un geste d'analyse. Si c'est Opus qui orchestre, le modèle le plus cher de la grille fait ce tri et confie l'exécution aux autres, et c'est peut-être le meilleur usage qu'on puisse en faire.