Pourquoi le JSON prompt-only casse toujours en production
Demander à un LLM de répondre en JSON dans le prompt fonctionne en démo. En production, avec des volumes réels, les modèles hallucinent des clés, oublient des guillemets, insèrent du texte libre avant l'accolade ouvrante, ou tronquent la réponse si le contexte déborde. Le taux d'échec dépasse rarement 2 à 5 % en moyenne, mais sur 10 000 appels quotidiens, cela représente 200 à 500 erreurs à gérer manuellement ou à relancer. L'approche prompt-only ne passe pas à l'échelle. La solution n'est pas un meilleur prompt : c'est d'utiliser les mécanismes de contrainte natifs des APIs et des runtimes d'inférence.
Structured outputs, grammar sampling et JSON mode : ce que font vraiment les APIs
Les fournisseurs et les outils d'inférence exposent trois niveaux de contrainte distincts, qu'il faut choisir selon le modèle et l'environnement.
- JSON mode (OpenAI, Mistral, Groq) : force la sortie à être du JSON syntaxiquement valide, mais ne garantit pas la conformité à un schéma précis. Utile pour des structures libres, insuffisant pour des contrats API stricts.
- Structured outputs avec JSON Schema (OpenAI gpt-4o, gpt-4o-mini depuis août 2024) : le modèle est contraint au niveau du sampling pour respecter un schéma Pydantic ou JSON Schema transmis dans response_format. Les champs obligatoires sont toujours présents, les types respectés. Fonctionne avec additionalProperties: false pour verrouiller complètement la structure.
- Grammar sampling via outlines, llama.cpp ou vLLM guided decoding : pour les modèles open source auto-hébergés, outlines (framework Python) ou le paramètre guided_json de vLLM génèrent une grammaire EBNF à la volée depuis un schéma Pydantic. Le décodeur ne peut physiquement pas produire un token invalide. C'est la contrainte la plus dure, disponible sur Mistral, Llama 3, Qwen ou tout modèle GGUF.
Dans n8n ou Make, si vous passez par l'API OpenAI, ajoutez response_format avec le type json_schema directement dans le nœud HTTP Request. Passez votre schéma Pydantic sérialisé en JSON dans le champ schema. Les nœuds natifs OpenAI de n8n 1.x ne l'exposent pas encore proprement : mieux vaut un nœud HTTP brut avec headers et body construits manuellement pour garder le contrôle total du payload.
Concevoir des schémas robustes : les règles qui évitent les régressions
Un schéma mal conçu génère autant de problèmes qu'un prompt flou. Quelques principes issus de cas réels en production.
- Préférez les enums aux strings libres pour tout champ catégoriel : statut, type, langue, priorité. Un modèle ne peut pas inventer une valeur si l'enum est fermé.
- Évitez les objets imbriqués profonds (plus de 3 niveaux). Les modèles de taille moyenne commencent à perdre des niveaux d'imbrication au-delà. Aplatissez ou paginez la structure.
- Utilisez nullable explicitement plutôt que d'omettre un champ. Un champ absent d'un objet est plus difficile à détecter en aval qu'un champ explicitement null.
- Versionnez vos schémas comme du code (schema_v1, schema_v2) et loguez la version dans chaque réponse persistée. Les migrations de schéma sur des données historiques sans version sont catastrophiques.
- Testez le schéma avec au moins 50 appels sur des inputs variés avant de déployer. Outlines propose un mode de simulation hors LLM pour valider la grammaire générée.
Stratégie de fallback et retry : ne pas laisser un échec bloquer un workflow
Même avec grammar sampling, un timeout réseau ou un contexte dépassé peut produire une réponse vide ou tronquée. La résilience se construit en couches. Premier niveau : un retry immédiat avec le même prompt, qui résout 70 à 80 % des échecs transitoires. Deuxième niveau : un prompt de réparation qui envoie la réponse malformée au modèle avec l'instruction explicite de corriger uniquement les erreurs de format sans changer le contenu. Troisième niveau : un fallback vers un modèle plus petit mais plus déterministe pour des schémas simples — GPT-4o-mini ou Mistral 7B quantisé en local suffisent pour reformater une sortie cassée.
Dans un workflow n8n, implémentez ce retry en chaînant trois nœuds HTTP avec un nœud Switch qui route selon la validité JSON détectée par un nœud Code (JSON.parse dans un try/catch). Loguez chaque tentative avec le niveau d'échec dans une table Supabase ou Postgres pour identifier les schémas ou les prompts systématiquement problématiques. Sans cette observabilité, vous pilotez à l'aveugle et les régressions silencieuses s'accumulent.