10 月 22 日,評估機構 METR 公開一篇高層次報告。今年 7 月 21 日至 8 月 11 日,METR 與 Redwood Research 各派一名研究員,測試 OpenAI 的內部失準監察;對象是 7 月 21 日之前的那套系統。當時,至少與 GPT-5.5 同等的內部 Responses API 代理流量,估計約 75% 至 94% 符合被監察的資格。交給內部 Codex 代理使用的那一部分,估計 99.2% 符合資格。METR 寫明,這些數字描述的是 7 月 21 日之前的系統,現時覆蓋不在這次量度之內。
符合資格,還不是每一段都被看到
「符合資格」表示系統打算把這段流量送去監察。負載太高而丟棄、監察程式出錯,或實作上的漏洞,仍可能讓一段符合資格的流量走不完整個流程。METR 獲准查看的材料顯示,練習期間監察出錯的比例低於 0.2%;其中一個 24 小時裡,沒有因為負載而丟棄請求。75% 至 94% 這個區間,兩個方向都有不確定。
練習開始時,強化學習的訓練運行不在這套監察之內。工作人員告知,3 月至 6 月曾監察過其中一部分訓練軌跡。另外,5 月至 7 月沒有監察壓縮事件。METR 估計,這大約令一成符合資格的內部 Codex 流量未被看到。精確比例不確定,因為當時沒有留下足夠日誌,無法算出有多少次監察呼叫由壓縮觸發。OpenAI 在練習開始前已自行發現這一點,並在練習期間修好。
他們核對過,除少數例外,監察系統看到的軌跡與代理看到的相同。提示詞會留意謀算、破壞監察系統、蓄意破壞、資料外洩、欺騙,以及進入和送出的提示注入。報告同時提到若干可以讓代理避開監察的弱點。公開版本裡,具體做法已由 OpenAI 刪去。OpenAI 其後表示,所有影響正式防護的弱點都已修補,預定覆蓋也有後續改動。METR 寫明,他們沒有覆核這些說法。
這次進場看的是程式和設定
兩名研究員使用 OpenAI 發給的裝置。裝置不帶離場地,在場時有人陪同。他們看得到內部程式碼、監察提示詞和設定,也訪問了監察、安全系統和保安團隊約十多名研究員和工程師。產出是一份 61 頁的內部報告,交給 OpenAI 的研究和保安人員。另有一份 38 頁、經 OpenAI 刪節的版本,交給 METR 和 Redwood 的管理層。
三方事先同意,公開文本保持簡短。OpenAI 可以按自己的判斷,刪去它認為機密或敏感的內容。METR 把這次練習定成一次試行,用來看看外部研究員能否深入內部設施。報告描述的是 7 月 21 日及之前的歷史系統。練習進行時,OpenAI 正在擴充監察,這次沒有量度擴充之後的覆蓋。Responses API 的估計,也不包括他們知道、但未能估算份量的另一路內部研究推理服務。
Flint 把程式模型放進自己的電腦
TechCrunch 在 10 月 21 日報道,Recursive 發布第一個模型 Flint。公司自己的說明寫,這是一個混合專家模型,總參數 400 億,每個 token 只啟動 25 億。權重以 Apache 2.0 放在 Hugging Face,可在自己的電腦上跑,程式留在本機。
Recursive 說,在總參數少於 500 億的混合專家模型裡,Flint 在 SWE-Bench Pro v2、Terminal-Bench 2.1 和 SWE-Bench Verified 上領先。他們的推理引擎在 M4 Pro MacBook Pro 上、短上下文可超過每秒 125 個 token;在 64GB 的 RTX Spark 上超過每秒 150 個。上下文最長可到 51.2 萬 token,公司建議程式任務留在 25.6 萬以內。面對較大的閉源程式模型,Flint 可能要把工作拆細,指示也要寫清楚。
模型由一個小團隊和代理在四個月內從零做出。Recursive 稱,自動化研究系統 Eureka Machine 參與了數據、訓練配方、基礎設施和推理優化。以上速度和基準,都是公司公布的數字。
Claude Duet 會自己走到你面前
Anthropic 在 10 月 21 日開放 Claude Duet 的研究預覽。它是獨立應用,有 iOS 和 Android,也可在 claude.ai 使用,先給美國的 Pro 和 Max 用戶輪候。預覽期包含在這兩個計劃裡,用量和 Claude 其他功能共用。底層是 Claude Opus 5.5。
它每天早上給一份簡短簡報,並每隔數小時查看已連接的帳戶。不停查看會把計劃用量用得太快。讀信、起稿、準備工作可以自己做。發送訊息、付款、簽署文件或刪除任何東西之前,它要先把即將做的事顯示出來,等人批准。即使得到批准,也不能買賣證券,也不能在帳戶之間轉錢。信用卡號碼和政府身分證明,屬於它應拒絕外傳的一層。連接器超過 6,000 個。購物可經 Stripe 的 Link,用一張虛擬卡付款,或用 Shopify 的 Shop Pay。訂票這類私人差事較弱,也還不能把瀏覽器畫面顯示出來。它和主要的 Claude 應用是分開的。
沃爾瑪要給每個代理一個自己的帳戶
沃爾瑪在 10 月 21 日宣布 Agent Profiles、Walmart Agent Gateway,以及給 AI 代理的條款。Agent Profiles 會在下個月推出。顧客為每一個代理建立獨立檔案,訂單和自己的購買分開顯示。可以要求每筆都先批准,或設定消費上限,例子是 50、100 或 200 美元。檔案可以隨時刪除。
Agent Gateway 用 MCP,讓代理有一條專為代理而設的購物路徑,測試版先開放給公司和開發者。沃爾瑪說,代理可以幫顧客找常買的東西,而不必把整段購買紀錄交給代理。代理拿不到支付卡資料,也不能新增或更改付款方式。網站上的價格與代理看到的相同。退貨程序仍然適用,包括代理沒有按顧客意思行事的情況。不遵守條款的代理會被封鎖。
相關討論
- METR:Red-Teaming OpenAI’s Internal Agent Monitoring Systems
- Recursive:Introducing Flint
- Anthropic:Introducing Claude Duet
- Walmart:Making It Possible for Agents to Shop on Behalf of Customers
總結
這輪最要緊的仍是 METR 那份報告:它給出 7 月那套監察有多寬,並把數字限定在 7 月 21 日之前的系統。OpenAI 說影響正式系統的弱點已經修補,METR 還沒有覆核這句話。
