OpenAI remise son mode en arrière-plan : 8 heures d’attente, 40 % d’économie

OpenAI a ajouté deux délais d’achèvement au mode en arrière-plan (background mode) de la Responses API. Le développeur définit background: true dans la requête, puis choisit 2h ou 8h via background_options.completion_window ; le tarif des tokens du modèle est alors inférieur de 30 % et de 40 % à celui de Standard, respectivement. Sans ce paramètre, la requête suit par défaut la voie soonest et est facturée au prix plein. Un site de développeurs tiers consigne le 17 novembre comme date de lancement, et la documentation développeur d’OpenAI décrit désormais l’ensemble des règles.

Le mode en arrière-plan existe depuis longtemps : il sert à transformer les requêtes longues en opérations asynchrones. Le client reçoit un response ID, peut se déconnecter, puis récupère le résultat plus tard par webhook ou par interrogation périodique. Ce qui s’ajoute cette fois, c’est une option du type « si vous acceptez d’attendre, c’est moins cher ». Les exemples de la documentation sont très concrets : la fenêtre de 2 heures convient pour analyser les tickets du support accumulés dans la matinée avant la réunion de tri de l’après-midi ; celle de 8 heures, pour confier un lot de documents à une relecture nocturne et consulter le résultat le lendemain matin.

Illustration: three belts carry parcels, with coins on the two longer belts marking OpenAI background task discounts

Les conditions à remplir pour obtenir la remise

La remise est actuellement en bêta publique et ne couvre que GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra et GPT-6 Luna. Plusieurs restrictions sont décrites avec précision :

  • service_tier doit être réglé sur default, c’est-à-dire un traitement Standard ; avec auto, la remise ne compte que si l’API a effectivement retenu Standard ;
  • Les requêtes 2h et 8h ne peuvent pas activer la sortie en streaming ; stream doit être omis ou défini sur false ;
  • Ces deux paliers partagent les mêmes limites de débit que la Batch API, et les tokens d’entrée sont comptabilisés dès la soumission ;
  • Le délai est un objectif : une fois la requête acceptée, l’API s’efforce de la terminer dans la fenêtre et relance automatiquement en cas d’erreur de capacité éligible.

Un point se lit facilement de travers : le cache de prompts constitué dans les paliers 2h et 8h ne peut pas être réutilisé par les requêtes Standard ordinaires, même si le prompt est identique au mot près. Si une application fait passer la moitié de son trafic par les fenêtres remisées et l’autre moitié en temps réel, le taux de succès du cache se trouve coupé en deux.

Les tâches d’agents en plusieurs étapes peuvent elles aussi profiter de la remise. Les requêtes suivantes d’un même workflow doivent conserver le même projet d’API, le même modèle, le même service tier, le même réglage de background, le même délai d’achèvement et le même continuation_id. Cet identifiant est généré par l’application elle-même, et le réutiliser procure en outre une priorité plus élevée dans la file d’attente. Si la réponse précédente a expiré, il faut rejouer dans l’ordre l’entrée d’origine et tous les éléments de sortie, sans omettre ni les éléments de raisonnement chiffrés ni les appels de fonction d’origine.

Flex tire sa révérence, Batch reste

La documentation contient un changement de poids : à partir de GPT-6.2 Astra et Sol, les nouveaux modèles ne proposent plus le traitement Flex (service_tier: flex) ; les requêtes de longue durée devront recourir aux fenêtres remisées associées à Standard. Flex était le canal à bas prix qu’OpenAI ouvrait aux requêtes pour lesquelles « un peu de lenteur n’est pas grave », et cette demande est désormais absorbée par les deux délais du mode en arrière-plan.

Mis en regard de la Batch API, le partage des rôles est assez net. Batch convient pour soumettre d’un coup un grand nombre de requêtes indépendantes les unes des autres, et la documentation recommande de continuer à l’utiliser pour ce type de tâches ; les paliers 2h et 8h du mode en arrière-plan visent les tâches longues individuelles, en particulier les exécutions d’agents qui appellent des outils et procèdent en plusieurs étapes. Ils permettent de récupérer le résultat par webhook et d’annuler en cours de route, en appelant simplement POST /v1/responses/{id}/cancel ; annuler plusieurs fois de suite est idempotent.

Un calcul approximatif : une relecture de documents lancée chaque nuit et consommant 100 millions de tokens à chaque exécution voit, une fois basculée sur le palier de 8 heures, son coût en tokens ramené à 60 %. La conversion en dollars dépend du prix unitaire de chaque modèle et du rapport entre entrée et sortie ; OpenAI n’a pas publié cette fois de grille tarifaire distincte pour chaque fenêtre, et les prix au million de tokens qui circulent sur le web ne peuvent pour l’instant pas être confrontés à la page officielle, c’est pourquoi cet article ne les retient pas.

Les données sont conservées temporairement

Les équipes chargées de la conformité doivent prêter attention à une clause : le mode en arrière-plan stocke temporairement les données de réponse afin de mener la requête à son terme et de permettre au client de récupérer le résultat, même avec store: false ou lorsque l’organisation a activé la rétention zéro des données (ZDR). OpenAI indique que les données temporaires des trois fenêtres sont chiffrées au repos ; quant à la durée de conservation, la documentation ne la précise pas.

Pour les clients de la santé et de la finance ayant signé un accord de rétention zéro, c’est un véritable arbitrage : pour obtenir les 40 % de remise, il faut accepter que les données séjournent brièvement chez OpenAI. L’expérience a aussi son prix : la documentation avertit que le premier token d’une réponse en arrière-plan peut arriver plus tard que celui d’une requête synchrone, et les exemples Java et Ruby fixent carrément le délai d’expiration à 30 minutes.

Sources : guide Background mode de la documentation développeur d’OpenAI, consulté pour vérifier les taux de remise des paliers 2h et 8h, les modèles concernés, l’ajustement de Flex et les conditions de stockage temporaire ; CocoLoop ; communauté des développeurs OpenAI.