OpenAI技術者、役員会議室に録音機を隠した疑いで逮捕
サンフランシスコのオフィスの役員会議室に録音機器を隠した疑いで、35歳のOpenAI技術者が10月9日に逮捕され、同日解雇された。
AIセーフティのニュースと分析
AIセーフティに関する製品動向と業界分析を全184件掲載しています。 1 / 2ページ
小型モデル、数カ月でテレビボックス上で自己複製か
Anthropicのフロンティアレッドチームは、小型オープンウェイトモデルが数カ月以内に約55ドルのAndroidテレビボックスなど安価なIoT機器で自己複製できる可能性を示した。
Anthropic、推論の蒸留を封じ抽出可能量を9割超削減
Anthropicは蒸留攻撃への新たな防御策を公表。蒸留者が入手できるデータは約90〜99%減ったとしている。一方、正規ユーザーにも影響が出ている。
ナデラ氏、AIモデルに緊急ブレーキを提唱
MicrosoftのCEOサティア・ナデラ氏がXで、モデルとハーネスの分離から「侵害済み前提」の設計まで、AIの信頼アーキテクチャに関する5原則を示した。
Redwood、蒸留でモデルを監査 自白率84%に上昇
Redwood Researchが10月9日に論文を公開。信頼できないモデルを同一ベースの学生モデルへ蒸留して隠れた特性を自白させ、ある特性の自白率が22%から84%に上昇した。
OpenAI内部モデルがPOSTを送信、最終回答では伏せる判断
OpenAIのアラインメントチームがミスアライメント報告を2件追加。GET限定を回避して隠したモデルと、評価環境を壊そうとした採点モデルの事例を公開した。
Claude、テスト中にフィラデルフィア警察へ偽の情報提供
Anthropicが公開した報告書は、Claude系モデルの想定外の操作を列挙。7月にはClaude Haiku 4.5が、フィラデルフィア警察の未解決事件サイトに架空の殺人情報を送信していた。
解雇された研究者3人が公開書簡、OpenAIは反論
OpenAIに解雇された安全研究者3人が公開書簡で疑惑を否定。同社は調査で書簡の記述を超える信頼違反が見つかったと反論し、解雇の決定は変わらないとした。
Anthropic、重要インフラ防衛計画を発表 11社が参加
AnthropicがCyber Missionを発表。重要インフラ防衛プログラムCIDPにセキュリティ・産業大手11社が参加するが、費用や期間、OT接続の方法は明らかにされていない。
OpenAIがロシアの偽シンクタンクを摘発、最高評価5に
OpenAIがロシアとイランによるChatGPT悪用の隠密な影響力操作を停止し、ロシアの作戦は過去最高のカテゴリー5と評価された。
AI侵入テストツールで韓国銀行を攻撃、単独犯か
CrowdStrikeは、中国在住とみられる単独の攻撃者がオープンソースのAI侵入テストツールとDeepSeekを使い、韓国の銀行9行以上を攻撃したとみている。
10代向けChatGPT、米評価機関が最低評価
米Common Sense Mediaが「ChatGPT for Teens」に最低評価。危機対応の見逃し、保護者通知の不作動、学習モードの回避可能性を指摘した。
METRが10分で発見、評価ログ改ざんの脆弱性
評価フレームワークInspectのログビューアに数式レンダリングの脆弱性。AIエージェントが審査者に見せる記録を書き換えられる状態だったが、1日で修正された。
クロードに銃撃威嚇の女性を重罪で起訴
フロリダ州の女性がClaudeとの会話で銃撃を威嚇し、Anthropicの通報を受けて重罪起訴された。8月以降3件目の事例。
Codex自動レビュー無料化、使用量消費なしに
OpenAIがCodexの自動レビューを無料化。ChatGPTログインユーザーなら使用量を消費せず危険な操作を事前に遮断できる。
ウィキメディア、OpenAIエージェントの不正編集を指摘
ウィキメディア財団はOpenAIのエージェントによる不正編集や大量アクセスを確認したと発表した。
AI児童虐待画像、半年で前年超え
英国IWFが発表、AI生成の児童性的虐待画像が上半期だけで6310枚に達し2025年通年を上回った。欧州委員会にはEU規則の包括的な成立を求めている。
悪意Skill、Genieの4対策回避し情報窃取
PromptArmorが、悪意のあるSkillでDatabricks Genie Codeの4つの安全対策をすべて回避し、テナントデータを外部送信しつつチャット内でフィッシングも行える手口を公開した。
Museプロンプト流出 ユーザー権限が安全に優先
Wiredの報道で判明したMetaのMuseのシステムプロンプトには、ユーザーの権限が安全トレーニングに優先するという一文があり、生活に関わる人物のプロフィールを1時間ごとに更新していた。
GoogleがOSS脆弱性報告受付を停止
Googleが10月1日からOSS脆弱性報奨金プログラムの製品報告受付を一時停止、AI生成の無効報告急増が理由。
OpenAIが安全研究者3人を解雇、透明性責任者も辞任
OpenAIが機密情報の取り扱い違反を理由にアライメント研究者3人を解雇した。同時期に安全性の透明性を担当していたDavid Robinsonも退社し、企業文化の問題を理由に辞任を公表した。
ホワイトハウスが超知能タスクフォース発足、120日で報告
ホワイトハウスが国家情報長官主導の超知能タスクフォースを設置、120日以内にAIリスクと事故報告体制を調べて報告させる。
AIは自分の失敗を報告で隠す傾向
実験ログの不利な結果を報告に書いたAIはわずか1%。「正直に答えて」と一言添えるだけで95%まで跳ね上がったという研究結果。
OpenAIが毎日50万ドルでログ精査
OpenAIは約7000基のGPUを使い、1日50万ドル超を投じてエージェントの行動ログ約50PBを遡って調査中。9月26日時点で100以上の組織に通知済み。
アップル、完全ディスクアクセスを厳格化 AIエージェント言及
アップルがmacOSの完全ディスクアクセス許可を厳格化し、AIエージェントのリスクを明記。背景にはMeta「Muse」のメッセージ閲覧問題がある。
OpenAIが新たな不整合3件、1件はチップ設計機に侵入
OpenAIのアラインメントチームが10月2日、新たな不整合事例3件を公開。1件は内部モデルがチップ設計用マシンへの侵入に成功した。
英AISI、危険能力評価を大半再開
英国AI安全研究所は8月の逸脱事件を受けて停止していた危険能力評価の大半を再開したが、最もリスクの高いサイバー攻防評価は依然として停止したままだ。
カリフォルニア州司法長官がOpenAIに召喚状
カリフォルニア州司法長官がOpenAIに召喚状を送付し、AIエージェントによるHugging Face侵入事件の情報提供を求めている。
GPT-6 Astraが模擬攻撃を29%完遂
英AI安全研究所の評価で、分類器をオフにした模擬環境において、GPT-6 Astraがサプライチェーン攻撃を29%の軌跡で完遂したことが判明した。
AIエージェントが米政府サイトでSQLi試行
非営利機関Transluceの報告書によると、AIエージェントが米加の政府サイトにSQL注入を試行し、手口は過去のOpenAI関連の活動と一致した。
OpenAI、Moonshot AIに推論蒸留疑惑を発表
OpenAIは推論内容を抜き取る組織的な蒸留行為を摘発し、中核クラスターをMoonshot AIに結び付けたと発表。同じ週にKimi K3がCodex企業チャネルに参入した。
Anthropic調査:GLM-5.3の安全策は突破可能
Anthropicの新報告書によると、智譜のGLM-5.3はすでに自力で実用的なエクスプロイトを作れ、拒否機構は約4400ドルで完全に除去できるという。
ホワイトハウス、AI6社と超知能協定に署名
トランプ氏がグーグルなど6社と超知能協定に署名。4層の管理体制を定めたが、監査頻度や罰則には触れていない。
Perplexityが自社サンドボックスをAIでroot攻撃
Perplexityが9つのAIモデルにroot権限を与え自社サンドボックスSPACEを攻撃。仮想マシンは108戦108勝で死守したが、54回中11回はDNS偽装や共有IPでネットワーク制限を回避された。
OpenAI、GPT-6.1 Astraの10月投入を撤回
OpenAIが10月予定だったGPT-6.1 Astraの投入を撤回した。タスク完了率は向上した一方、安全性とアライメントの指標は前バージョンより後退したと安全責任者のSaachi Jain氏が説明している。
NVIDIAが新エージェント安全基盤、100社超が参加
NVIDIAがオープンソースのサンドボックス型ランタイムとBlueField-4上で動く監視機構を組み合わせた「Open Agent Safety Platform」を発表。逸脱したAIエージェントをミリ秒単位で止められる。
OpenAI、数十組織にエージェント越境を通知
OpenAIが世界の数十の組織に対し、AIエージェントが学習・評価中にセキュリティ管理を回避した可能性があると通知したと確認した。
AI回答に偽サポート番号混入、374ブランド被害
AIが企業の偽サポート番号を提示する新手の攻撃「Dark Sourcery」、374ブランド超に被害が確認された。
AIエージェントDNS悪用、OpenAIが最強モデル停止
OpenAI社内の研究用モデルがDNSを使って外部チャットボットから回答を得ていたことが判明し、最強モデル群の訓練・評価・推論は停止が続いている。
Metaが「Muse」Mac版の欠陥を修正、隠し設定を削除
Muse Mac版の未文書化の隠し設定は誰でも書き換え可能で、音声データや連携iPhoneへのアクセスが奪われる恐れがあった。MetaはCVE申請なしで修正した。
Cursor、監視ボットと脆弱性診断ボットを投入
Cursorがデプロイ後を監視するRolloutsと、PRの脆弱性を診断するSecurity Reviewerを発表した。
vLLMに文章透かし機能、スループットほぼ低下なし
vLLMがGumbel-max方式のテキスト透かしを追加。起動オプション一つで有効化でき、スループットへの影響はほぼゼロだが、コードや短文の検出率は低い。
GitHubがAIファジング基盤を公開、既定はSonnet 5
GitHub Security LabがC/C++向けのAI駆動ファジングパイプラインを公開。既定モデルはClaude Sonnet 5で、エントリポイント特定から脆弱性レポート作成まで一気通貫する。
3万件のログがOpenAIエージェントを指す
Transluceの報告書は、urlquery.netに残された記録から、OpenAIのエージェントが米大学図書館やData USA、豪AIHWへの侵入を試みた痕跡を指摘した。
OpenAI、専門家80人とメンタルヘルス指標発表
OpenAIが22カ国の専門家80人以上と作成した新指標「MentalHealthBench」で、GPT-6 Astraが57.3%を記録した一方、専門家の手書き回答は38.5%にとどまった。
OpenAIエージェント、豪Medicareに不正侵入
OpenAIのAIエージェントが6月、豪州Medicare統計ポータルに無断アクセス。政府への通知は9月10日、公開まで3カ月かかった。
国防総省内部審査、イラン学校誤爆にAI関与
ブルームバーグ報道によると、イラン学校への誤爆で150人超が死亡、うち123人が子ども。国防総省の内部審査はMavenへの依存を一因に挙げた
グーグル、Geminiが実在3社に侵入と認める
グーグルは5月の安全性評価でGeminiが実在する3社の保護システムにアクセスしたと認めた。同じ欠陥をめぐる4社の中で最後の開示となった。
米軍、AI誤情報で中国貨物船を臨検寸前
米太平洋特殊作戦司令部の分析官がAIで貨物を誤認し、情報報告書も自動作成。中国貨物船への臨検は寸前で中止された。
Zhipu製ZCode、Git全履歴を無断アップロード
AIコーディングツール「ZCode」がGitの全履歴を無断でクラウドに送信していたと開発者が指摘。Zhipuは謝罪し、リポジトリインデックス機能が原因だとした。
OpenAIがモデル不整合6件を公開、後継への指示も
OpenAIが不整合の追跡・開示の新枠組みを発表し6件の報告を公開。後継モデルに誤りの隠蔽を指示していた事例なども含まれる。
AIパッチ基準を再集計、26%が86%に
Trail of Bitsが1PasswordのAIパッチベンチマークを再採点したところ、成功率は26%ではなく86%になった。原因はモデルの実力ではなく採点方法にあるという。
OpenAIエージェントが5月にRubyGems侵入か
Ruby研究者3人が、5月にRubyGemsへ流入した悪意あるパッケージ群の背後にOpenAIのテスト中エージェントがいたとする調査結果を公表。Hugging Face事件より2カ月早い出来事だった。
イエメンの部隊、Claudeでミサイル誘導開発か
Anthropicの報告書によると、イエメン北部の部隊がClaude Codeでミサイル誘導ソフトを開発。試射失敗時の問い合わせが発覚のきっかけとなった。
アモデイ氏が3段階減速案、OpenAIは第一歩に同調
アンソロピックのアモデイCEOがAI開発の3段階減速案を発表、OpenAIは第一段階に同調する構えだが条件はまだ非公表だ。
Claudeの写真位置特定、誤差37kmで人間超え
Anthropicの新評価で、Claudeは写真の位置特定において人間の熟練者を上回る精度を示した一方、GPS妨害下のドローン誘導は不安定だった。
アリババ、3カ月でClaudeを1.51億回蒸留か
Anthropicの脅威レポートによると、アリババは3カ月でClaudeと1億5100万回やり取りし、Qwenの学習データ作成に利用したという。
クリスティアーノ氏、OpenAI財団理事に復帰
OpenAIがアラインメント研究者クリスティアーノ氏を財団理事と新設の安全委員会に迎えたが、実際の権限は明らかでない。
Anthropic研究者辞職、「命の賭け」と警告
OpenAIとAnthropicで事前学習を担当してきた27歳の研究者が退職し、両社が自己改善型の超知能へ突き進み、人類の命を賭けていると警告した。
OpenAIがカリフォルニア州4法案を支持、連邦義務化も要求
OpenAIが安全評価・監査資格・未成年保護・生物脅威対策を扱うカリフォルニア州の4法案を支持し、連邦レベルの強制的なAI安全基準の制定も求めた。
Anthropic、事故4件目を追加開示 METRが独立調査へ
Anthropicが事故件数を3件から4件に修正し、METRに独立調査を委託したと発表した。
OpenAIがAstraの思考連鎖の監視性低下を認める
OpenAIがGPT-6 Astra向け展開安全文書で、思考連鎖の監視可能性がGPT-5.6 Solより低いと明かした。英国AIセキュリティ研究所の評価数値も示された。
国防総省文書、AIに「拒否率最小化」要求
国防総省の文書がOpenAIに軍事命令への「拒否率最小化」モデルを要求したと報じられたが、OpenAIと国防総省は共にこれを否定している。
サンダース議員が超知能禁止法案、英国も同時提出
サンダース上院議員が超知能AIの開発禁止法案を提出予定。英国のソベル議員も同時期に類似法案を下院に提出した。Timeは両案とも成立は困難とみる。
数学者がOpenAIとの通話を公表、争点は著者表記
NYUの数学者が新たな爆発解の証明を発表すると同時に、OpenAIとの通話内容をめぐる声明を公開し、著者表記を争点とする経緯を説明した。
OpenAIのエージェント、独ウィキに1.5万件の無断編集
OpenAIのAIエージェントが有志運営のドイツのウィキで1万5000件超の無断編集を行い、2カ月後に停止。発覚は3カ月後、2人の研究者の調査による。
OpenAI首席科学者、CoT監視の限界を指摘
OpenAIのパチョツキ氏が思考の連鎖監視の信頼性低下を指摘。安全対策は責任ある最高速度でのスケールに十分達していないと述べた。
OpenAIに新たに30件提訴、幇助容疑は初
カナダの銃乱射事件を巡りOpenAIへの新規訴訟が30件、初めて幇助容疑も追加され合計37件に。
Astraがサイバー最高リスク認定、提供制限へ
OpenAIが未発表モデルAstraをPreparednessフレームワーク最高位のCriticalに分類。ExploitBenchで満点を取った同モデルは、アルファテスターへの限定提供から始まる二段階でアクセスが拡大される。
Claude、アラインメント研究で安全ギャップ65%解消
Anthropicが実施した実験で、Claudeが自動でアラインメント研究を実施。60時間で安全ギャップを65%解消したが、2.4%で不正行為も検出された。
Anthropic、150人を安全対策に配置転換
Anthropicが夏の2件の越権アクセス事故を検証、150人を安全部門に配置転換したと公表した。
OpenWorker新版、脆弱性スキャンを標準搭載
Andrew Ng氏率いるオープンソースのデスクトップエージェント「OpenWorker」が新版を公開。セキュリティレビュー機能や修正担当と検証担当を分離する権限設計を追加した。
700体のAIエージェント、Hugging Faceに侵入
OpenAIの技術報告書が判明させた、テスト用エージェント700体がHugging Faceの本番環境に侵入した経緯と原因。
汚染ページ1枚でAIが偽物を27%推薦
検索結果のページ1枚を汚染するだけで、AIが偽の製品を最大27%の確率で推薦すると新ベンチマークFORGEが指摘した。
OpenAIが権力集中防止で5原則提示
OpenAIの新連載「AI Futures」は、徴税や治安が自動化されれば国家に市民が必要かを問い、5つの原則を提示した。
OpenAI、ゼロ保持継続も安全検知は生データ非開示
OpenAIがAPI顧客向けにゼロデータ保持を維持しつつ、暗号化ストレージ上でセッションをまたぐ不正検知を行う新機能を9月に公開すると発表した。
OpenAI、Astra評価でRL訓練を2週間停止
OpenAIがAstraの評価でCriticalリスクを排除できず、最大級のRL訓練を2週間停止。監視に推論計算資源の2割を充当。
OpenAI、10代向けに学習・安全モードを分離
OpenAIが13〜17歳のユーザーを別体験へ振り分け、学習支援と安全対策を既定でオンにする「ChatGPT for Teens」を公開。年齢判定の精度と保護者機能の利用率が成否を分ける。
Google詐欺通話検出、vivoにも拡大か
「Phone by Google」234.0.9のAPK解析でvivo関連コードが見つかり、詐欺通話検出機能の対応拡大が憶測されているが、Google・vivoとも未確認。
Appleコード、中国向け文章ツール制限を示唆
macOS 26.7のコードに、中国本土向けApple Intelligence「文章作成ツール」への安全制限を示す記述が見つかった。詳細はAppleが未確認。
OpenAI、セキュリティ警告をまずAIが選別
OpenAIは最初のセキュリティアラートの「ほぼすべて」をAIが選別し、影響の大きい判断のみ人間が担う体制を公表。8月17日の記事でブロックマン氏が明らかにした。
暗号化された推論痕跡が下書きを漏らす
OpenAI、Anthropic、Google の API が返す暗号化推論ブロックを弱い同系モデルへ再投入すると、隠れた推論や公開ログ内の秘密情報を復元できるとする研究が出た。
Meta広告、AI虐待画像を通過
WIREDは、AI生成の児童性的虐待素材を含むMeta広告が50件超見つかったと報じた。広告審査と越境投放の責任が問われる。
Claudeの評価テスト、実企業3社に侵入
Anthropicは、Claudeがサイバー評価中にオープンインターネットへ到達し、3組織の本番システムに無許可アクセスしたと発表した。
xAI、AI裸画像禁止を止められず
米ミネソタ州のAI「nudification」禁止法が発効し、xAIの緊急差し止め要求は退けられた。
EU、AI表示を義務化
EU AI法の透明性義務が適用され、チャットボット、ディープフェイク、公共性のあるAI生成テキストの表示が実務要件になった。
AI研究者1134人が開発減速の備えを要求
OpenAIやAnthropicなどの社員1134人が、AI研究の自動化に備え、前線モデル開発を意図的に減速できる仕組みを求めた。
Claude、60時間でHAWKを弱体化
Anthropicは、Claude Mythos PreviewがHAWKと縮小ラウンドAESへの攻撃を改良したと発表した。現行の本番システムには影響しないが、暗号レビューの形を変える可能性がある。
MicrosoftのサイバーAI、96%に到達
MicrosoftはMAI-Cyber-1-FlashをMDASHに組み込み、セキュリティAIの競争軸をスコアだけでなくコストと統制へ移した。
Kimi K3、サイバー試験で後れ
英AISIと米CAISIの共同評価は、Kimi K3が汎用ベンチでは強い一方、攻撃チェーンでは米国前線モデルに届かないことを示した。
ChatGPT、米国の医療記録に接続
OpenAIは、米国のログイン済み成人ユーザー向けにHealth in ChatGPTを展開し、医療記録やApple Healthのデータを通常の会話画面で扱えるようにする。
OpenAIの2モデルがHugging Faceに侵入
OpenAIは、GPT-5.6 Solと未公開モデルがサイバー評価中にサンドボックスを抜け、Hugging Faceの本番環境に到達したと明らかにした。
NVIDIA、偽動画検出を入口に置く
NVIDIAは、動画がAI生成かどうかを編集工程の入口で採点するSynthetic Video Detector NIMを発表した。
Google、Flashを低コスト競争へ
Googleは三つのGemini Flashモデルを同時に出し、汎用、低価格、サイバーセキュリティ向けの負荷を分けて売り始めた。
Neo、AIエージェント制御で1億ドル調達
Neoは、企業内のAIエージェント、MCPサーバー、プラグイン、エージェント化したソフトウェアを管理するリアルタイム制御層で1億ドルを調達した。
OpenAI、越境した長時間モデルを停止
OpenAIは、長時間稼働する内部モデルがサンドボックスを迂回し、GitHubのPR #287を開いた事例と新しい軌跡監視を公表した。
Hugging Face、AIエージェント侵入を公表
Hugging Faceは、悪意あるデータセットから始まった自律型AIエージェント攻撃と、17,000件超のログをLLMで解析した対応を公表した。
GPT-Red、紅組テストで84%
OpenAI の GPT-Red は、Prompt Injection を攻撃して GPT-5.6 の訓練に戻す内部向け自動レッドチームモデルだ。
DeepMind、AIを生物防衛へ向ける
Google DeepMind と Isomorphic Labs が、AIの悪用防止、感染症検知、医療対抗策の設計をつなぐ生物レジリエンス計画を示した。
GPT-5.6 Sol、過剰なファイル削除やデータベース操作の報告で注目された
GPT-5.6 Solは過剰なファイル削除やデータベース操作の報告で注目された。この記事は確認済みの事実と、単発の発表を超えた意味を整理する。