Thibault Sottiaux (Tibo), responsável pelo Codex na OpenAI, anunciou no X na noite de 11 de outubro que, ao usar o GPT-6.1 Sol no Codex e no ChatGPT Work, o tamanho de contexto padrão sobe de 272 mil para 500 mil tokens. Segundo ele próprio, o aumento é de cerca de 80%.
É o sétimo dia do plano de "28 dias de atualizações seguidas" da equipe do Codex. O plano foi divulgado em 4 de outubro e a regra é que, a cada dia, ou entra no ar uma melhoria útil para a maioria dos usuários, ou todos recebem uma redefinição de cota.
O que mudou
Sottiaux apresenta um único motivo: reduzir o número de vezes que ocorre a compactação de contexto (compaction). Em tarefas longas, o agente do Codex vai enchendo o contexto com conteúdo de arquivos, saídas de comandos e registros de chamadas de ferramentas. Quando a janela lota, o sistema precisa comprimir o conteúdo antigo para seguir em frente. O custo é a perda de detalhes: o agente pode esquecer a assinatura de uma função que leu antes ou uma determinada mensagem de erro.
"It was carefully tested and is the new sweet spot for most of our users."
(O valor foi testado com cuidado e é o novo ponto ideal para a maioria dos nossos usuários.)
O novo padrão pode ser ajustado manualmente para mais ou para menos. No post, ele cita um teto de 1 milhão; a página do modelo da OpenAI lista a janela completa do GPT-6.1 Sol em 1,05 milhão de tokens, com saída máxima de 128 mil. Ele acrescentou ainda "We will go higher in the future", sem informar prazo.
Há relatos de que o ajuste não gera cobrança extra para assinantes. O post de Sottiaux não trata de preço e, quanto a se uma janela padrão maior fará o uso semanal ser consumido mais rápido, a OpenAI também não se pronunciou publicamente até agora; vale o que vier em esclarecimentos oficiais posteriores sobre o consumo.
De onde vem o número 272 mil
O padrão antigo de 272 mil não foi escolhido ao acaso. A página do modelo da OpenAI informa que, quando a entrada de uma requisição de API ao GPT-6.1 Sol passa de 272 mil tokens, toda a entrada e a entrada em cache são cobradas em dobro e a saída a 1,5 vez. Em cálculo aproximado com o preço padrão de 2 dólares por milhão de tokens de entrada e 10 dólares por milhão de saída, ultrapassada essa linha o valor passa a cerca de 4 dólares para entrada e cerca de 15 dólares para saída.
O valor padrão coincide exatamente com o limiar de cobrança extra, e há análises que, com base nisso, supõem que a configuração antiga servia para proteger o usuário do custo de contexto longo. Sottiaux não confirmou isso. Os assinantes pagam por cota, e não por token, e como os dois critérios se convertem um no outro não é visível para quem está de fora.
Ligando os marcos recentes
A gestão de contexto do Codex vem mudando nos últimos dois meses:
- No início de setembro, o repositório openai/codex incorporou alguns pull requests que seguem a direção de, quando a sessão enche, deixar de gerar resumo e abrir uma nova janela, com uma ferramenta de busca no histórico para o modelo consultar sozinho os registros antigos;
- Em 30 de setembro, um usuário abriu um problema no GitHub dizendo que, ao criar uma nova conversa no Codex para desktop e responder apenas "OK", a ocupação de contexto do GPT-6.1 Sol já chegava a cerca de 208 mil / 258 mil, enquanto o GPT-6 Sol, no mesmo cenário, ficava em cerca de 40 mil. O próprio autor do relato disse não saber dizer se os tokens extras foram de fato enviados ao modelo ou se a estatística exibida estava errada. O problema foi marcado como concluído e fechado em 8 de outubro, e a página não tem resposta de nenhum funcionário da OpenAI;
- Em 11 de outubro, a janela padrão subiu para 500 mil.
Olhando os três fatos juntos, o Codex ao mesmo tempo ajusta o mecanismo de compactação e amplia a janela, e os dois caminhos apontam para o mesmo sintoma: o agente "esquecer as coisas" em tarefas longas. Se há relação direta entre este ajuste e aquele relato, a OpenAI não disse. Se a situação de uma nova conversa já consumir mais de duzentos mil tokens ao começar continuar existindo, os 258 mil de espaço útil anteriores esgotavam-se quase de imediato; com 500 mil, a folga fica bem maior.
Para desenvolvedores na China continental, o Codex exige uma conta paga do ChatGPT. A mudança afeta apenas o GPT-6.1 Sol nas duas portas de entrada, Codex e Work; projetos que chamam a API diretamente não são afetados, o tamanho do contexto continua a critério de quem faz a requisição e o limiar de cobrança também não mudou.
Fontes: anúncio de Thibault Sottiaux em rede social, página do modelo GPT-6.1 Sol da OpenAI, CocoLoop, FourWeekMBA; o relato de problema no repositório openai/codex serviu para conferir a ocupação de contexto de conversas novas, e a página do modelo para conferir o limite da janela e os multiplicadores de preço de contexto longo.