OpenAI a annoncé que le cache de prompts (prompt caching) de son API gagne un palier de 12 heures. Un agent peut réutiliser pendant toute une journée les mêmes instructions système, définitions d’outils et le même contexte ; même si deux requêtes sont espacées de plusieurs heures, l’entrée reste facturée au tarif réduit du cache. Selon des informations publiques, il s’agit du 16e jour de l’opération de 28 jours de mises à jour d’OpenAI.
Un changement concernant ses propres produits a aussi été annoncé : Tibo, responsable d’OpenAI Codex, a indiqué sur un réseau social que les utilisateurs connectés à Codex et à Work bénéficient d’un cache permanent. Revenir à une ancienne conversation ou s’interrompre quelques heures en cours de route puis reprendre n’entraîne aucun surcoût, et l’accès au cache est garanti. Cette partie ne figure pas dans la documentation développeur d’OpenAI ; sa mise en œuvre précise ne peut pas être vérifiée pour l’instant.
Les règles selon la documentation
Selon la documentation développeur d’OpenAI, le palier de 12 heures n’existe que dans la Responses API, s’applique à GPT-5.6 et aux modèles suivants, et se règle via prompt_cache_options.ttl, dont les valeurs possibles sont 30 minutes (par défaut) et 12 heures.
Les tarifs sont clairement indiqués :
- Palier par défaut de 30 minutes : l’écriture dans le cache est facturée 1,25 fois le prix d’entrée normal ;
- Palier de 12 heures : l’écriture est facturée 2,5 fois ;
- Lecture après un succès de cache : pour la plupart des modèles, 0,1 fois le prix d’entrée normal ; pour GPT-6.1 Sol, seulement 0,05 fois.
La documentation précise que les 12 heures constituent une « durée de vie minimale » : aucun délai de suppression n’est fixé et la politique de conservation maximale des données d’OpenAI reste inchangée. Les modèles plus anciens utilisent toujours l’ancien paramètre prompt_cache_retention : le palier en mémoire expire généralement après 5 à 10 minutes d’inactivité et dure au plus une heure ; le palier de 24 heures conserve jusqu’à une journée.
Un calcul à la louche
Prenons un scénario courant : à chaque requête, un agent joint un préfixe fixe de 100 000 jetons et, sur 12 heures d’une journée, il est réveillé toutes les 2 heures, soit 6 fois. Ci-dessous, « 100 000 jetons facturés une fois au prix d’entrée normal » vaut 1 unité.
| Formule | Calcul | Total |
|---|---|---|
| Palier par défaut de 30 minutes | Toujours expiré, 6 écritures × 1,25 | 7,5 unités |
| Palier de 12 heures | 1 écriture × 2,5 + 5 lectures × 0,1 | 3,0 unités |
La dépense pour ce préfixe baisse d’environ soixante pour cent. À l’inverse, si les requêtes sont déjà si rapprochées qu’une nouvelle arrive forcément dans les 30 minutes, le palier par défaut réussit toujours et le surcoût d’écriture de 1,25 fois du palier de 12 heures est dépensé pour rien. Grosso modo, dès que deux interruptions de plus d’une demi-heure ou davantage surviennent en 12 heures, le nouveau palier devient rentable.
Comparaison avec l’approche d’Anthropic
L’API Claude d’Anthropic propose deux paliers de cache, de 5 minutes et de 1 heure, l’écriture du palier d’1 heure étant facturée 2 fois l’entrée de base. OpenAI porte cette fois la durée de vie à 12 heures et fixe le multiplicateur d’écriture à 2,5 fois, ce qui réduit nettement le coût de conservation par unité de temps. La clientèle visée est tout aussi claire : tâches planifiées, agents de programmation de longue durée et assistants ouverts en journée qui ne sont sollicités que toutes les quelques heures.
Le « cache permanent » de Codex et de Work obéit à une autre logique. Il n’est pas ouvert aux clients de l’API ; OpenAI supporte elle-même le coût de stockage, et les abonnés n’ont en échange plus à subir de démarrages à froid dans les longues conversations. OpenAI n’a donné aucun calendrier pour l’accès des clients de l’API à des paliers plus longs.
Sources : documentation développeur d’OpenAI (guide du cache de prompts), compte officiel OpenAI Developers, CocoLoop, page tarifaire d’Anthropic ; les multiplicateurs suivent la base indiquée dans la documentation d’OpenAI, la comparaison des coûts est une estimation de la rédaction.