Classer un texte dans plusieurs catégories à la fois demandait des données annotées en masse et un modèle à entraîner. Un LLM et quelques exemples raccourcissent le chemin. Ils ne dispensent pas de mesurer.
Par Alexis Blandin et Martin Labenne · 10 min de lecture
Dans une bibliothèque, un livre n'occupe qu'une place sur l'étagère. Dans le catalogue, il peut en occuper plusieurs : un essai sur la dette publique se range en politique et en économie. Et certains livres n'entrent dans aucune des cases prévues.
Les données textuelles posent le même problème. Un avis client, un ticket de support, une dépêche parlent rarement d'un seul sujet. Les étiqueter, c'est faire de la classification multi-label : attribuer à chaque texte zéro, une ou plusieurs étiquettes. Le problème revient partout, du tagging sur les réseaux sociaux au diagnostic médical, en passant par le classement des articles de presse et la recommandation de produits.
Nous avons pris un autre chemin que l'entraînement d'un modèle : confier le tri à un grand modèle de langage. Le raccourci est réel. Il a un prix, et il déplace la rigueur plus qu'il ne la supprime.
« Election debate highlights key economic policies. »
Les étiquettes ne sont pas indépendantes. Un texte classé en politique a plus de chances d'être aussi classé en économie qu'en divertissement : la présence d'une étiquette change la probabilité des autres. Un bon modèle apprend ces liens en plus de chaque étiquette.
On écrit ces étiquettes de deux façons : une liste par texte, ou une colonne binaire par étiquette, qui vaut 1 quand l'étiquette s'applique. La seconde forme est celle qu'attendent les outils de mesure.
| Texte | Liste | Pol. | Éco. | Sport | Div. |
|---|---|---|---|---|---|
| Government passes new healthcare reform. | politique | 1 | 0 | 0 | 0 |
| Stock market hits new highs amid economic boom. | économie | 0 | 1 | 0 | 0 |
| Celebrity singer releases new music video. | divertissement | 0 | 0 | 0 | 1 |
| Local sports team wins championship game. | sport | 0 | 0 | 1 | 0 |
| Election debate highlights key economic policies. | politique économie | 1 | 1 | 0 | 0 |
| AI will take on the world. | [ ] | 0 | 0 | 0 | 0 |
La difficulté tient à l'arithmétique.
Entraîner un modèle demande alors une grande quantité de données annotées. La question pratique devient : que faire quand on n'a ni ces données, ni les moyens de les produire ?
Ce que coûte un classifieur entraîné à la main.
La réponse classique passe par un projet de traitement automatique du langage, le NLP, en trois étapes.
Minuscules, suppression de la ponctuation et des chiffres, racinisation ou lemmatisation.
Sac de mots, n-grammes.
Choix du modèle, réglage des hyperparamètres, validation.
Chaque étape demande de l'expertise, et le multi-label y ajoute deux difficultés.
Le déséquilibre. Certaines étiquettes apparaissent partout, d'autres presque jamais. Plus l'écart est grand, plus l'entraînement peine.
La corrélation. Les étiquettes dépendent les unes des autres, et le modèle doit apprendre ces dépendances en plus des étiquettes elles-mêmes.
Du prétraitement à la validation, le chemin consomme du temps et des ressources avant la première prédiction utile.
Un modèle déjà entraîné, une API, quelques exemples.
Les grands modèles de langage changent l'équation. Entraînés sur d'immenses volumes de texte, ils résument, traduisent et analysent le sentiment dans la plupart des langues. Classer un texte entre dans leurs compétences, pour trois raisons.
Simple. Les fournisseurs exposent une API utilisable depuis n'importe quel langage. Pas besoin d'une expertise en machine learning, et le texte n'a même pas à être prétraité.
Moins cher. Les meilleurs modèles de langage sont des réseaux de neurones, qui tournent vite sur GPU. Monter une instance équipée, dans le cloud ou sur site, alourdit le déploiement et l'exploitation. Pour des textes courts, payer l'inférence d'un fournisseur au token, un fragment de mot, revient souvent moins cher.
Ajustable. Un ou deux exemples glissés dans la consigne suffisent à relever la qualité des prédictions.
Reste l'objection habituelle : un LLM ne répondrait jamais deux fois la même chose. C'est vrai en général, et rare sur une tâche de classification simple. L'API d'OpenAI permet en plus de fixer le hasard.
# on fixe le hasard autant que l'API le permet temperature=0, seed=424242,
Le résultat devient presque déterministe. Pour classer, presque suffit.
Pas de jeu d'entraînement.Un jeu de test, toujours.
Le LLM dispense d'entraîner un modèle. Il ne dispense pas de vérifier qu'il classe bien vos textes à vous. Pour le multi-label, un bon jeu de test :
Le renouveler avec des données fraîches permet de suivre la qualité dans les conditions réelles, sur des textes que le prompt n'a jamais vus.
Chaque mot que le modèle écrit se paie, en argent et en temps.
Depuis l'arrivée des LLM, les techniques de prompt se multiplient : few-shot, chain of thought, tree of thoughts, et une nouvelle chaque mois. Elles n'emploient pas le même nombre de tokens, et ce nombre décide du coût et de la latence.
Quelques dizaines de lignes de Python.
Le classifieur repose sur l'API d'OpenAI. Il choisit entre zéro et quatre étiquettes : sports, politics, economy et entertainment. Tout se joue dans la pile de messages envoyée au modèle.
messages = [ {"role": "system", "content": "You are a multi-label classifier. Return the tags as a " "list separated by commas. If no tags apply, return nothing. " "Available tags: sports, politics, economy, entertainment."}, # exemple 1 : deux étiquettes {"role": "user", "content": "Text: 'Election debate highlights key economic policies.'"}, {"role": "assistant", "content": "Tags:politics,economy"}, # exemple 2 : aucune étiquette {"role": "user", "content": "Text: 'AI will take on the world.'"}, {"role": "assistant", "content": "Tags:"}, # le texte à classer {"role": "user", "content": f"Text: '{content_txt}'"},]
La réponse du modèle reste du texte libre. Il faut la nettoyer : retirer le préfixe, découper, ôter les espaces. Puis la filtrer, car le modèle peut inventer une étiquette. L'intersection avec la liste autorisée l'efface.
ALLOWED = ["sports", "politics", "economy", "entertainment"] def parse_labels(completion) -> list[str]: text = completion.choices[0].message.content text = text.replace("Tags:", "").strip() if not text: return [] labels = [label.strip() for label in text.split(",")] return sorted(set(labels) & set(ALLOWED)) # le garde-fou
Le few-shot a une limite : plus il y a d'étiquettes, plus le modèle hésite, et la précision baisse. Quand les étiquettes s'organisent en hiérarchie, une cascade contourne le problème. Un premier appel choisit l'étage, un second, spécialisé, choisit le rayon.
premier appel, généraliste
étiquettes fines
étiquettes fines
Sinon, il faut tester des techniques plus coûteuses, moins sensibles au nombre d'étiquettes.
Dernier détail de plomberie. Classer un historique de milliers de textes heurte vite la limite d'appels du fournisseur. Le paquet ratelimit règle la question avec deux décorateurs : au-delà de 50 appels par minute, les appels en trop attendent la fenêtre suivante au lieu d'échouer.
from ratelimit import limits, sleep_and_retry @sleep_and_retry # au-delà : attendre, puis réessayer@limits(calls=50, period=60) # 50 appels par minutedef get_chat_completion(messages): return client.chat.completions.create( model=MODEL_NAME, messages=messages, temperature=0, seed=424242, )
Tracer, mesurer, comparer.
En production, chaque appel doit laisser une trace : l'entrée, la sortie, le nombre de tokens et la durée. Ces traces montrent les bonnes et les mauvaises prédictions, le coût réel et la latence. Une séquence plus longue met plus de temps à générer. Des outils comme LangSmith ou Phoenix rendent ces traces lisibles.
La qualité se mesure en continu, sur des données fraîches, par une revue humaine ou par un second LLM chargé de juger le premier : c'est le LLM as a judge. Chaque version du prompt se conserve avec son rapport de classification, pour comparer les versions sur les mêmes métriques.
Reste à choisir ces métriques. En multi-label, une même prédiction reçoit des notes très différentes selon la règle appliquée.
Tout ou rien.
1 étiquette fausse sur 4.
1 commune sur 2 au total.
Rien de faux, un oubli.
Le choix dépend de l'erreur qu'on redoute. La précision évite les faux positifs, le rappel évite les oublis, le F1 équilibre les deux. Pour agréger sur plusieurs étiquettes, scikit-learn propose quatre moyennes.
Un seul appel à classification_report donne précision, rappel, F1 et support, par étiquette et pour chaque moyenne.
mlb = MultiLabelBinarizer().fit([ALLOWED])y_true = mlb.transform(labels_true)y_pred = mlb.transform(labels_pred) accuracy_score(y_true, y_pred) # exact matchhamming_loss(y_true, y_pred)jaccard_score(y_true, y_pred, average="samples")classification_report(y_true, y_pred, target_names=mlb.classes_)
Un LLM ne supprime pas le dataset.Il le déplace de l'entraînement vers le test.
Le raccourci est réel : une API, quelques exemples, ni pipeline de prétraitement ni modèle à entraîner. Mais la rigueur change d'endroit. Elle se loge dans le jeu de test, dans les traces, dans les métriques et dans l'historique des prompts. C'est là qu'on sait si le livre est dans le bon rayon.