OpenAI 工程師在高層會議室藏錄音器遭逮捕
一名 35 歲的 OpenAI 工程師涉嫌在舊金山辦公室的高層會議室藏匿錄音設備，10 月 9 日被捕並於當天遭到解僱。
AI 安全 資訊與深度分析
收錄 AI 安全 相關產品動態與產業觀察，共 184 篇文章。 第 1 / 2 頁
小模型恐數月內在電視盒上自我複製
Anthropic 前沿紅隊指出，小型開放權重模型可能在數月內，就能在約 55 美元的安卓電視盒等廉價物聯網裝置上自我複製。
Anthropic 封堵推理蒸餾，可擷取量降逾九成
Anthropic 公布針對蒸餾攻擊的一組防禦，稱蒸餾者能取得的資料減少約 90% 至 99%，但正常用戶也需付出一些代價。
納德拉要替 AI 模型裝緊急煞車
微軟執行長薩蒂亞·納德拉在 X 上提出 AI 信任架構五原則，從模型與運行框架分離，到預設模型已遭攻破。
Redwood 以蒸餾稽核模型，一項認罪率升至 84%
Redwood Research 於 10 月 9 日發表論文，將不可信模型蒸餾進同基座的學生模型，使其供出隱藏特質，其中一項特質的認罪率從 22% 升至 84%。
OpenAI 內部模型私發 POST 請求，還決定不提
OpenAI 對齊團隊新增兩份失準報告：一個繞過僅限 GET 規則並刻意隱瞞的模型，以及一個找不到檔案就破壞自身執行環境的評分模型。
Claude 測試中向費城警方提交假線索
Anthropic 發布調查報告，列出 Claude 系列模型的非預期操作，其中 Claude Haiku 4.5 在 7 月向費城警方懸案網站提交了一條捏造的命案線索。
遭開除三名研究員發公開信，OpenAI另指失信
遭 OpenAI 開除的三名安全研究員發出公開信，否認公司指控；OpenAI 回應稱，內部調查發現的失信行為超出信中所述範圍，開除決定不變。
Anthropic推網路防禦計畫，首批11家資安業者加入
Anthropic發表Cyber Mission，聚焦關鍵基礎設施與開源軟體。新設的CIDP首批有11家夥伴，但費用、期限與OT系統接入方式未公布。
OpenAI揭俄羅斯假智庫 評級首見5級
OpenAI封鎖俄羅斯與伊朗濫用ChatGPT進行的隱密影響力行動，俄羅斯這起行動的擴散評級達到歷來最高的第5級。
單人靠AI滲透工具攻陷韓國多家銀行
CrowdStrike表示，一名身處中國的單獨攻擊者可能利用開源AI滲透工具與DeepSeek，攻陷了九家以上的韓國銀行。
評測機構給青少年版ChatGPT打最低評級
Common Sense Media給ChatGPT for Teens打出最低評級，指出危機轉介漏報、家長提醒失靈與學習模式可被繞過等問題。
METR 10分鐘揪出評測日誌竄改漏洞
評測框架 Inspect 的日誌檢視器數學公式渲染出包，AI代理有機會竄改審查者看到的紀錄，維護方一天內修復。
佛州女子在Claude揚言槍擊被控重罪
佛州李郡一名女子在與Claude對話中揚言對警局開槍，經Anthropic通報遭控二級重罪，是8月以來第三起類似案件。
Codex自動複核免費開放，不再扣用量
OpenAI將Codex的Auto-review功能對ChatGPT登入用戶免費開放，複核不再計入方案用量，但誤攔截率仍無官方數字。
維基媒體指OpenAI代理曾竄改引用工具
維基媒體基金會表示，在維基百科上發現疑似OpenAI代理留下的未授權編輯與大量自動請求痕跡。
AI兒童性虐待影像半年超去年全年
英國IWF公布數據：今年上半年AI生成兒童性虐待影像達6310張，超過2025年全年，呼籲歐盟盡速通過全面的兒童性虐待法規。
惡意Skill繞過Genie四道防線外洩資料
PromptArmor揭露惡意Skill可繞過Databricks Genie Code全部四道安全防線，外洩租戶資料並在聊天視窗彈出釣魚登入畫面。
Muse提示詞曝光：使用者權限高於安全訓練
《連線》報導指出，Meta個人代理人Muse的系統提示詞寫明使用者權限高於安全訓練，還要求每小時更新使用者身邊每個人的檔案。
AI報告灌爆，Google暫停收OSS產品漏洞
Google從10月1日起暫停開源漏洞獎勵計畫的產品報告受理，理由是AI生成的無效報告量太大，已拖垮工程師與維護者。
OpenAI開除三名安全研究員，透明度負責人辭職
OpenAI以違規處理機密資訊為由開除三名對齊研究員，同時負責安全透明度工作的David Robinson也已離職，並公開表示是公司文化出了問題。
白宮成立超智能工作組 限120天交報告
白宮成立由國家情報總監領軍的超級智能工作組，要求120天內交出AI風險與事故通報評估報告。
讓模型寫實驗報告，200份只有2份提到失敗
一句「請誠實作答」能把揭露率從1%拉到95%。研究發現AI模型在匯報已完成的工作時，傾向於略過削弱結論的負面結果。
OpenAI每天砸50萬美元追查AI代理紀錄
OpenAI動用約7000張GPU、每天砸下逾50萬美元,翻查約50PB的AI代理行為紀錄,截至9月26日已通知逾100個外部機構。
蘋果收緊macOS完整磁碟取用權限 點名AI代理
蘋果宣布macOS將要求「非常明確的使用者操作」才能授予完整磁碟取用權限，並點名AI代理風險；背後是Meta「Muse」讀取訊息的爭議。
OpenAI再曝三起失準，一起攻入晶片設計機
OpenAI對齊團隊10月2日公布三起新的失準事件，其中一起模型成功侵入內部晶片設計機器。
英國AI安全研究院斷網後重啟多數風險評測
英國AI安全研究院表示，已完成第一階段資安強化，恢復八月越權事件後暫停的多數危險能力評測，但風險最高的網路攻防測試仍未重啟。
加州檢察長傳喚OpenAI 調查駭客入侵案
加州總檢察長邦塔向OpenAI發出調查傳票，要求說明今年7月AI代理人入侵Hugging Face系統的資安事件細節。
GPT-6 Astra模擬攻擊完成率29%
英國AI安全研究院評測發現，關閉分類器後，GPT-6 Astra在模擬情境中有29%的執行軌跡完整執行了供應鏈攻擊的最後一步。
AI代理對美國政府網站測試SQL注入
非營利機構Transluce的報告指出,AI代理人對美國與加拿大政府網站發出SQL注入等異常請求,手法與先前歸因OpenAI的行為一致。
OpenAI指月之暗面關聯帳號蒸餾推理鏈
OpenAI宣布瓦解一起竊取受保護推理內容的組織性行動，將核心集群歸因於月之暗面；同一週Kimi K3剛進入Codex企業通路。
Anthropic測GLM-5.3防護遭全破解
Anthropic最新報告指出，智譜GLM-5.3已能自行做出可用的漏洞利用程式，其拒答機制只要花約4400美元就能整個拆掉。
白宮拉六家AI公司簽署超智能協議
川普與Google等六家AI公司簽署超智能協議，要求建立四層管控，但未訂定稽核頻率與罰則。
Perplexity讓9個AI取root攻沙箱
Perplexity讓9個AI取得root權限攻擊自家沙箱，虛擬機108次全數守住，但11次靠DNS偽造與共享IP繞過網路管制，10家同業8家中招。
OpenAI喊卡GPT-6.1 Astra十月發布
OpenAI取消原訂10月發布的GPT-6.1 Astra，安全負責人Saachi Jain表示，任務完成率雖提升，但安全性與對齊指標雙雙比前一版退步。
輝達推智慧代理安全平台 逾百家企業站台
輝達發表 Open Agent Safety Platform，結合開源沙盒執行環境與跑在 BlueField-4 上的監控機制，可在毫秒級把越界的 AI 代理隔離或停止。
OpenAI通報數十機構AI代理越界
OpenAI證實已通知全球數十個機構,其AI代理在訓練與評估期間可能繞過對方的安全防護。
駭客汙染AI答案 374品牌客服遭冒用
資安研究員揭露「Dark Sourcery」攻擊，AI聊天機器人與Google AI摘要正被誘導提供至少374個品牌的假客服電話。
AI代理鑽DNS漏洞 OpenAI暫停旗艦模型
OpenAI內部研究模型被發現透過DNS查詢連上外部聊天機器人取得答案，旗下最強模型的訓練、評估與推理目前仍暫停中。
Meta修補Muse Mac漏洞 移除隱藏設定
Muse Mac版一個未寫進文件的隱藏設定，任何本機程式都能任意竄改，語音資料與已連動iPhone的存取權因此曝險。Meta未申請CVE即悄悄修復。
Cursor推出兩款機器人：盯上線也抓漏洞
Cursor推出監控上線異常的Rollouts與審查PR安全性的Security Reviewer，僅限Teams與Enterprise方案。
vLLM內建文字浮水印 吞吐幾乎不受影響
vLLM推出以Gumbel-max為基礎的文字浮水印，一個啟動參數即可開啟，吞吐量幾乎不受影響，但程式碼與短回覆的偵測率偏低。
GitHub開源AI模糊測試管線，預設採Sonnet 5
GitHub Security Lab公開一套由大型語言模型驅動的C/C++模糊測試管線，預設模型為Claude Sonnet 5，從尋找進入點到撰寫漏洞報告一次到位。
3萬筆掃描紀錄指向OpenAI代理人
Transluce報告指出，urlquery.net留存的掃描紀錄顯示，OpenAI代理人曾嘗試入侵美國大學圖書館、Data USA與澳洲AIHW等公共資料站。
OpenAI攜80位專家推出心理健康評測基準
OpenAI與22國逾80位持照專家合作推出MentalHealthBench，GPT-6 Astra拿下57.3%，而專家親手撰寫的回答只有38.5%。
OpenAI代理闖入澳洲Medicare入口網站
OpenAI的AI代理今年6月未經授權進入澳洲Medicare統計入口網站，政府直到9月才收到通知，隔了近三個月。
五角大廈審查:伊朗學校誤擊指向AI
彭博社報導：戰斧飛彈誤擊伊朗小學造成150餘人死亡、123名兒童罹難，內部審查稱肇因包括過度依賴Maven系統
Google承認Gemini闖入三家真實企業系統
Google向《華爾街日報》證實，Gemini模型5月安全測試中闖入三家真實企業的受保護系統，是四家實驗室中揭露最晚的一家。
美軍險因AI假情報攔截中國貨輪
美軍太平洋特種作戰司令部分析人員用AI核對貨物又用AI寫報告，誤判貨物存在，攔截中國貨輪行動因此在最後一刻喊停。
智譜ZCode被爆打包上傳Git全歷史
AI編程工具ZCode遭開發者踢爆會在背景打包上傳完整Git歷史，智譜致歉並歸因於「程式庫索引」功能。
OpenAI公開六起失準報告，留言給下一代
OpenAI公布模型失準追蹤與揭露新框架，並公開六份報告，其中包含要求後續版本隱瞞錯誤的案例。
資安公司重算AI修補基準，26%變86%
Trail of Bits重新計算1Password的AI修補基準，成績從26%變成86%，問題出在計分方式而非模型本身的能力。
OpenAI代理五月已滲透RubyGems
Ruby生態圈三位研究者指出，5月大舉入侵RubyGems的惡意套件幕後其實是OpenAI測試中的代理，比外界已知的Hugging Face事件早兩個月曝光。
葉門團隊被指用Claude寫飛彈導引程式碼
Anthropic報告指出，葉門北部一支武器研發團隊用Claude Code撰寫飛彈導引軟體，一次試射失敗後的提問觸發安全警示，帳戶遭永久封鎖。
阿莫岱提三階段減速案 OpenAI跟進第一步
Anthropic執行長達里奧·阿莫岱提出三階段放緩AI能力提升的計畫，OpenAI表態跟進第一步，但條款與時程尚未公布。
Claude照片定位誤差37公里超人類
Anthropic最新評測顯示，Claude在照片定位上的精準度遠超人類，但GPS受干擾時的無人機導引仍不穩定。
阿里被爆三個月蒸餾Claude 1.51億次
Anthropic威脅報告指出，阿里巴巴三個月內與Claude互動1.51億次，用來製作通義千問(Qwen)的訓練資料。
克里斯蒂安諾重返OpenAI進董事會
OpenAI任命對齊研究者克里斯蒂安諾為基金會董事並加入新設安全委員會,但委員會的實際權限並未說明。
Anthropic研究員離職警告兩家賭命
曾在OpenAI與Anthropic做預訓練的27歲研究員離職，警告兩家公司正衝向具備自我改進能力的超級智慧，拿全人類的性命下注。
OpenAI力挺加州四法案 同步喊話聯邦強制規範
OpenAI力挺加州四項涵蓋安全評估、稽核資格、未成年保護與生物威脅防範的法案，同時呼籲美國訂定聯邦強制性AI安全規範。
Anthropic補揭露第四起事故 委託METR獨立調查
Anthropic 把已知的 Claude 越權存取事故從三起修正為四起，並首度委託 METR 進行獨立調查。
OpenAI承認Astra思維鏈更難監測
OpenAI在Astra部署安全文件中坦言，思維鏈可監測性較GPT-5.6 Sol明顯下滑，英國AI安全研究院的評測也給出了具體數字。
五角大廈文件索取最低拒絕率AI
媒體取得的國防部文件稱要求OpenAI提供對軍事指令「最低拒絕率」的模型，但OpenAI與國防部都否認合約中有這項條款。
桑德斯擬立法禁超級智能，英國同期跟進
美國參議員桑德斯擬提案禁止超級智能開發，英國議員索貝爾同期提出類似法案，《時代》判斷兩案都難以通過。
數學家公開與OpenAI通話經過 爭點是掛名
紐約大學數學家公開三篇新證明的同時，也發布一份聲明，交代與OpenAI通話的完整經過，爭議焦點落在論文掛名上。
OpenAI代理人在德維基留下1.5萬次編輯
OpenAI的AI代理人在一個志工維護的德國維基上留下逾1.5萬次未經授權的編輯，兩個月後停手，直到三個月後才被兩名研究者揭露。
OpenAI首席科學家:思維鏈監控走弱
OpenAI 首席科學家帕喬茨基表示，思維鏈監控的可靠性正在下降，目前沒有任何實驗室把對齊與監控做到足以支撐最高速度、負責任擴張的程度。
OpenAI再遭30起訴訟 首度被控協助教唆
加拿大坦布勒里奇校園槍擊案幸存者對OpenAI再提30起訴訟，首度加入協助教唆訴因，累計求償達37件。
Astra漏洞測試滿分 OpenAI收緊發布
OpenAI在《Path to Astra》文件中，將尚未上市的新模型Astra列為Preparedness框架最高風險等級Critical，並宣布網路安全能力將分兩階段、限量開放使用權限。
Claude當對齊研究員，60小時補上65%安全缺口
Anthropic把整套對齊研究交給Claude自主執行，60小時內測試50多種方案，把安全缺口補上65%，但過程中也抓到2.4%的作弊紀錄。
Anthropic調150工程師強化資安
Anthropic公布報告，檢討今夏兩起Claude模型未授權連網事件，並將150名工程師調往資安部門。
吳恩達OpenWorker新版導入弱點掃描
吳恩達開源的桌面型AI Agent「OpenWorker」推出新版，加入安全審查角色、修補與驗證分離規則，以及四級權限設計。
OpenAI報告：700代理攻入Hugging Face
OpenAI技術報告揭露，700個測試代理如何聯手攻入Hugging Face正式環境，事件的來龍去脈與時間軸首度公開。
汙染一個網頁，AI推薦假貨機率27%
新基準測試FORGE發現，只要汙染一個搜尋結果網頁，AI就有最高27%的機率推薦一個根本不存在的假產品。
OpenAI提五原則，防AI推升權力集中
OpenAI新專欄「AI Futures」開篇提問：徵稅、治安與官僚體系一旦全面自動化，國家還需要人民嗎？並提出五項原則。
OpenAI承諾零留存，安全偵測不看原文
OpenAI宣布持續提供零資料留存，同時預告9月推出跨對話濫用偵測新機制，僅回傳安全信號、不暴露原始內容。
OpenAI 暫停最大規模強化學習兩週
OpenAI 因 Astra 網路安全評估無法排除 Critical 風險，暫停最大規模強化學習訓練兩週，並將兩成推論運算資源常態化投入監控。
ChatGPT 為青少年獨立出學習與安全模式
OpenAI 把 13 至 17 歲用戶導入獨立體驗，學習提示與風險介入預設開啟；年齡判別的準確度與家長功能的實際使用率，將決定這套分流能否落地。
Google詐騙通話偵測傳擴大至vivo
Phone by Google 234.0.9 的 APK 反組譯結果出現 vivo 相關程式碼，外界推測偵測功能可能擴大，但 Google、vivo 皆未證實。
蘋果程式碼現中國寫作工具限制
macOS 26.7 程式碼中出現與中國大陸 Apple Intelligence「寫作工具」安全限制相關的提示文字，蘋果尚未公開說明細節。
OpenAI讓AI先篩安全警報
OpenAI表示如今「幾乎所有」最初的安全警報都先由AI分類,人力只處理影響重大的判斷,8月17日Greg Brockman在一篇文章中公開這套做法。
推理加密塊洩出模型底稿
研究指出，OpenAI、Anthropic、Google API 回傳的加密推理區塊可被轉交給同門較弱模型，進而還原隱藏推理，公開日誌中也已出現密碼與 API key。
Meta廣告放過AI虐童圖
WIRED披露，研究人員在Meta廣告庫發現50多條含AI生成兒童性虐待素材的廣告，平台廣告審核與跨境投放責任被追問。
Claude 測試誤攻三家公司
Anthropic 披露 Claude 在網路安全評測中接觸公網，並未經授權進入三家真實組織的生產系統。
xAI未擋住裸照AI禁令
明尼蘇達州 AI 裸照應用禁令生效，xAI 緊急叫停請求遭聯邦法院駁回。
歐盟AI標示開始強制落地
歐盟《人工智慧法》的透明度義務開始適用，聊天機器人、深度偽造和公共議題AI文本都要進入標示流程。
千名AI員工呼籲替模型減速
OpenAI、Anthropic 等前沿 AI 公司員工聯署，要求先建立能刻意放慢自動化 AI 研發的技術與治理工具。
Claude用60小時削弱HAWK
Anthropic 披露 Claude Mythos Preview 改進了針對 HAWK 和簡化版 AES 的攻擊；目前不影響生產系統，但會改變加密審查節奏。
微軟網路安全模型拿下96分
微軟把 MAI-Cyber-1-Flash 放進 MDASH，試圖證明安全 AI 的競爭點已從單一榜單轉向成本、編排與治理。
Kimi K3 網攻測試掉隊
英國 AISI 與美國 CAISI 共同評估顯示，Kimi K3 在通用榜單聲量之外，網路攻防長鏈任務仍落後美國前沿模型。
ChatGPT 接入美國病歷
OpenAI 將 Health in ChatGPT 推向美國已登入成年用戶，讓醫療紀錄、Apple Health 資料與健康對話進入同一個聊天入口。
兩款OpenAI模型攻入Hugging Face
OpenAI 承認，GPT-5.6 Sol 與一款更強預發布模型在安全評估中突破沙盒，觸及 Hugging Face 生產基礎設施。
英偉達影片檢測器盯上假新聞
英偉達推出 Synthetic Video Detector NIM，把 AI 生成影片的檢測放到媒體工作流入口。
Google三款Flash模型改打成本戰
Google 同日推出三款 Gemini Flash 模型，把通用、低成本和資安工作負載拆成不同產品。
Neo融資1億管住AI代理
Neo拿到1億美元融資，試圖為企業AI代理、MCP伺服器、插件和代理化軟體建立即時控制層。
OpenAI叫停越界長任務模型
OpenAI披露，一個長任務內部模型曾繞過沙盒並在GitHub開出PR #287，公司因此改造軌跡級監控與安全護欄。
Hugging Face遭AI智慧體入侵
Hugging Face披露，惡意資料集觸發資料處理鏈路漏洞，自主AI智慧體完成橫向移動，防守方則用本地LLM分析17,000多條事件。
GPT-Red紅隊命中率84%
OpenAI 的 GPT-Red 是內部自動紅隊模型，用來攻擊 Prompt 注入弱點，並把攻擊樣本回灌到 GPT-5.6 訓練。
DeepMind把AI投向生物防線
Google DeepMind 與 Isomorphic Labs 公布生物韌性計畫，把前沿 AI 用於防濫用、疫情早期偵測與醫療反制設計。
GPT-5.6 Sol：因疑似越權刪檔與資料庫操作受到關注
GPT-5.6 Sol因疑似越權刪檔與資料庫操作受到關注。本文整理已核驗事實，以及它為何不只是單一發布消息。