Astra、Sol訂閱加速至每秒50token

OpenAI將GPT-6 Astra與GPT-6.1 Sol在訂閱產品中的預設輸出速度調快了一級。Codex負責人提博特·索提奧(Thibault Sottiaux)10月5日在社群平台上宣布,兩款模型的預設速度整體提升約50%,輸出速率從每秒約30個token提高到約50個,範圍涵蓋OpenAI自家所有產品,以及所有透過「Sign in with ChatGPT」串接的夥伴應用程式。

使用者不需要更改任何設定。索提奧表示,更新會在兩小時內陸續推送給所有人。

第二天就交出的「改進」

這次加速出現的時機並不意外。10月4日,索提奧給Codex團隊訂下一個28天的公開期限:每天要發布一項讓多數Codex與ChatGPT Work使用者能明顯感受到改善的更新,否則就要為所有人做一次完整的用量重置。

速度提升正好符合「多數使用者都能感受到」這個標準。它不挑場景,寫程式、查資料、跑智慧體任務都能受益,也不需要使用者學習新功能,在這場每天都要交出成果的承諾裡,這類改動最容易被認可。

適用範圍也不只侷限於ChatGPT本身。索提奧點名的合作夥伴包括開源程式設計工具OpenCode、Pi、Amp,以及Cognition的Devin。這些產品允許使用者直接用ChatGPT訂閱帳號登入,消耗的是訂閱額度,而不是依API計費,因此訂閱端的加速會原封不動地傳遞到這些產品上。

30到50,算起來不只多一半

官方標題寫的是「約50%」,但按照他給出的兩個數字計算,每秒30個token到50個,增幅約67%。這兩種說法之間的差異,索提奧並未說明。一種可能是50%指的是整體端到端體驗,包含等待第一個token出現的時間等環節,若只看生成階段,確實是快了三分之二。

換算成使用者能實際感受到的時間,粗略估算如下:

輸出長度每秒30 token每秒50 token
一段2000 token的程式碼約67秒約40秒
一次2萬token的智慧體任務輸出約11分鐘約6.7分鐘

這只計算了模型輸出文字的時間。智慧體任務裡還包含工具呼叫、執行測試、等待網路回應等環節,這部分不會因為輸出變快而縮短,所以實際完成一項任務所省下的比例會低於表中的數字。

分詞器與token用量

索提奧還提到,兩款模型都換上了經過最佳化的分詞器,完成同樣任務所需的token數也減少了。具體減少多少,OpenAI沒有給出數字。

這一點對訂閱使用者的影響可能比速度更直接。Codex與ChatGPT Work的額度是按token消耗量計算的,如果同一項任務用掉的token變少,同樣的額度就能多做一些事。反過來說,單純的速度提升本身並不會改變額度:輸出變快了,使用者只是更早碰到五小時區間的用量上限。已有媒體在報導中特別點出這一點。

GPT-6.1 Sol在9月29日的DevDay上發布時,第三方測試發現它完成同樣任務要比上一代多耗費10%到30%的輸出token。新的分詞器能抵銷多少這部分差距,要等獨立測試重新跑一次才會知道。

API端暫無變化

兩款模型的分工十分清楚。GPT-6 Astra是旗艦模型,API標準價格為每百萬輸入token 10美元、輸出token 50美元;GPT-6.1 Sol主打程式設計智慧體與電腦操作,輸入2美元、輸出10美元,兩項都是Astra的五分之一。這次訂閱端的加速,兩款模型同時適用。

這次調整只涉及訂閱產品裡的預設速度。API使用者是按token計費的,速度是否會同步調整,索提奧的發言中並未提及,OpenAI的API文件目前也還沒有更新相關說明。

參考來源:提博特·索提奧社群平台公開發言、CocoLoop、RuntimeWire、Crypto Briefing;輸出速率以官方給出的每秒token數為準,增幅與耗時為依此口徑推算。