OpenAI dá desconto no modo em segundo plano: 8 horas de espera custam 40% menos

A OpenAI acrescentou dois prazos de conclusão ao modo em segundo plano (background mode) da Responses API. O desenvolvedor define background: true na requisição e escolhe 2h ou 8h em background_options.completion_window; a tarifa de tokens do modelo fica, respectivamente, 30% e 40% abaixo da do Standard. Sem esse parâmetro, a requisição segue o padrão soonest e é cobrada pelo preço cheio. Um site de desenvolvedores de terceiros registra 17 de novembro como a data de lançamento, e a documentação para desenvolvedores da OpenAI já descreve as regras por inteiro.

O modo em segundo plano em si já existia e serve para transformar requisições demoradas em operações assíncronas: o cliente recebe um response ID, pode se desconectar e buscar o resultado depois, por webhook ou por polling. O que se acrescenta agora é uma opção do tipo “quem aceita esperar paga menos”. Os exemplos da documentação são bem cotidianos: a janela de 2 horas serve para analisar os tickets de atendimento acumulados durante a manhã antes da reunião de triagem da tarde; a de 8 horas, para jogar um lote de documentos e deixá-los em revisão durante a noite, conferindo o resultado na manhã seguinte.

Illustration: three belts carry parcels, with coins on the two longer belts marking OpenAI background task discounts

Que condições o desconto exige

O desconto está em teste público e cobre apenas GPT-6.2 Astra, GPT-6.2 Sol, GPT-6.1 Terra e GPT-6 Luna. As restrições são descritas com bastante minúcia:

  • service_tier deve ser default, ou seja, processamento Standard; se for auto, o desconto só vale quando a API de fato escolher o Standard;
  • Requisições de 2h e 8h não podem usar streaming; stream deve ser omitido ou definido como false;
  • As duas faixas compartilham os limites de taxa com a Batch API, e os tokens de entrada são contabilizados já no momento do envio;
  • O prazo é uma meta: depois de aceitar a requisição, a API procura concluí-la dentro da janela e tenta de novo automaticamente em caso de erros de capacidade que se qualifiquem.

Há um ponto fácil de passar batido: o cache de prompt criado nas faixas de 2h e 8h não pode ser reaproveitado por requisições Standard comuns, mesmo que o prompt seja idêntico, palavra por palavra. Se um aplicativo manda metade do tráfego para as janelas com desconto e a outra metade em tempo real, a taxa de acerto do cache se divide em duas.

Tarefas de agentes com várias etapas também recebem o desconto. As requisições seguintes do mesmo fluxo de trabalho precisam manter o mesmo projeto de API, o mesmo modelo, o mesmo service tier, a mesma configuração de background, o mesmo prazo de conclusão e o mesmo continuation_id. Esse ID é gerado pelo próprio aplicativo, e reutilizá-lo ainda rende prioridade maior na fila. Se a resposta anterior já tiver expirado, é preciso reenviar, na ordem, a entrada original e todos os itens de saída, sem omitir nem os itens de raciocínio criptografados nem as chamadas de função originais.

O Flex sai de cena, o Batch fica

A documentação traz uma mudança de peso: a partir do GPT-6.2 Astra e do Sol, os novos modelos deixam de oferecer o processamento Flex (service_tier: flex); requisições longas devem usar as janelas com desconto combinadas com o Standard. O Flex era o canal barato que a OpenAI abria para requisições em que “demorar um pouco não faz mal”, e essa demanda agora é absorvida pelas duas faixas de prazo do modo em segundo plano.

Vistas ao lado da Batch API, as funções ficam bastante claras. O Batch serve para enviar de uma só vez um grande volume de requisições independentes entre si, e a documentação recomenda continuar usando-o para esse tipo de tarefa; as faixas de 2h e 8h do modo em segundo plano miram tarefas longas individuais, sobretudo execuções de agentes que chamam ferramentas e avançam em várias etapas. Elas permitem obter o resultado por webhook e também cancelar no meio do caminho, bastando chamar POST /v1/responses/{id}/cancel; cancelar repetidamente é idempotente.

Uma conta aproximada: uma revisão de documentos que roda uma vez por noite e consome 100 milhões de tokens por execução, ao migrar para a faixa de 8 horas, passa a custar 60% em tokens. Converter isso em dólares depende do preço unitário de cada modelo e da proporção entre entrada e saída; desta vez a OpenAI não divulgou uma tabela de preços separada para cada janela, e os valores por milhão de tokens que circulam na internet não podem, por ora, ser conferidos na página oficial, por isso esta reportagem não os utiliza.

Os dados são gravados temporariamente

Equipes de conformidade devem atentar para uma cláusula: o modo em segundo plano armazena temporariamente os dados da resposta para concluir a requisição e permitir que o cliente recupere o resultado, mesmo com store: false ou com a organização usando retenção zero de dados (ZDR). A OpenAI afirma que os dados temporários das três janelas são criptografados em repouso; por quanto tempo ficam guardados, a documentação não diz.

Para clientes de saúde e finanças com contrato de retenção zero de dados, isso é uma troca concreta: para ter 40% de desconto, é preciso aceitar que os dados permaneçam brevemente do lado da OpenAI. Há também um custo na experiência: a documentação alerta que o primeiro token de uma resposta em segundo plano pode demorar mais do que o de uma requisição síncrona, e os exemplos em Java e Ruby chegam a definir o timeout em 30 minutos.

Fontes: guia Background mode da documentação para desenvolvedores da OpenAI, usado para conferir os percentuais de desconto das faixas de 2h e 8h, os modelos abrangidos, o ajuste do Flex e os termos de armazenamento temporário; CocoLoop; comunidade de desenvolvedores da OpenAI.