GPT-5.6-Sicherheitstests zeigen Jailbreak-Lücken
GPT-5.6-Sicherheitstests zeigen Jailbreak-Lücken. Eine knappe Einordnung der geprüften Fakten und des Branchensignals dahinter.
KI-Sicherheit: News und Analysen · Seite 2
181 geprüfte Beiträge zu KI-Sicherheit, Produkten und Branchenentwicklungen. Seite 2 von 2
Bernanke rückt in Anthropics Aufsichtsgremium
Bernanke rückt in Anthropics Aufsichtsgremium. Eine knappe Einordnung der geprüften Fakten und des Branchensignals dahinter.
GhostApproval zeigt Symlink-Risiken in KI-Coding-Tools
GhostApproval zeigt Symlink-Risiken in KI-Coding-Tools. Eine knappe Einordnung der geprüften Fakten und des Branchensignals dahinter.
OpenAI-Cheffuturist Joshua Achiam geht
OpenAI-Cheffuturist Joshua Achiam geht wird fuer deutschsprachige Tech-Leser eingeordnet, mit den zentralen Zahlen, Produktversprechen und offenen Pruefpunkten.
Anthropic findet einen stillen Arbeitsraum in Claude
Anthropic findet einen stillen Arbeitsraum in Claude wird für deutschsprachige Tech-Leser eingeordnet, mit den wichtigsten Zahlen und offenen Prüfpunkten.
Oxford-Studie: KI-Umschreiben kann Meinungen verschieben
Oxford-Studie: KI-Umschreiben kann Meinungen verschieben wird für deutschsprachige Tech-Leser eingeordnet, mit den wichtigsten Zahlen und offenen Prüfpunkten.
Claude Fable 5 kehrt mit strengerem Cyber-Sicherheitsfilter zurück
Anthropic stellt sein stärkstes öffentliches Modell nach 19 Tagen wieder bereit und leitet verdächtige Coding-Anfragen an Opus 4.8 um, statt nur abzulehnen.
Check Point zeigt DeepSeek-gestützte Browser-Ransomware
Check Point berichtet, dass ein von DeepSeek erzeugtes Codefragment mit Chromes File System Access API zu reiner Browser-Ransomware ausgebaut werden kann.
Anthropic schlägt Skala für Jailbreak-Schwere vor
Anthropic schlägt Skala für Jailbreak-Schwere vor. Der Beitrag ordnet Bericht, Kennzahlen, Aussagen der Unternehmen und die Folgen für Markt oder Regulierung ein.
Colorado entschärft sein wegweisendes KI-Gesetz
Colorado entschärft sein wegweisendes KI-Gesetz. Der Beitrag ordnet Bericht, Kennzahlen, Aussagen der Unternehmen und die Folgen für Markt oder Regulierung ein.
Meta-Auftragnehmer testeten Rivalen-Chatbots als Minderjährige
Meta-Auftragnehmer testeten Rivalen-Chatbots als Minderjährige。
OpenAIs GPT-5.5-Cyber findet 23 Jahre alten OpenBSD-Fehler
OpenAIs GPT-5.5-Cyber findet 23 Jahre alten OpenBSD-Fehler
OpenAI koppelt KI-Bugfunde in Open Source an menschliche Prüfung
Patch the Planet verbindet Codex Security mit Trail of Bits und HackerOne, damit Maintainer geprüfte Schwachstellen, Einstufungen, Patches und Tests erhalten.
OpenAI weitet Zugriff auf GPT-5.5-Cyber aus
OpenAI verbesserte GPT-5.5-Cyber, zeigte höhere Sicherheitsbenchmarks und startete ein Partnerprogramm für geprüfte Cybersecurity-Produkte.
Gefälschte Sentry-Fehler können Coding-Agenten kapern
Tenet Security beschreibt Agentjacking: Angreifer schleusen falsche Fehlerberichte ein, die Coding-Agenten als vertrauenswürdige Reparaturanweisungen behandeln.
Gefälschte Sentry-Fehler können KI-Coding-Agenten kapern
Tenets Agentjacking-Studie zeigt, wie vertrauenswürdige Telemetrie zu ausführbaren Anweisungen für Coding-Assistenten wird.
Signal-Chefin Whittaker: KI-Chatbots sind keine Freunde
Meredith Whittaker warnt, dass KI-Agenten mit breiten Rechten Bequemlichkeit in Überwachung verwandeln können.
Novo-Nordisk-Vorfall rückt Pharma-KI-Assets in den Fokus
Der angebliche 1,3-TB-Diebstahl zeigt, warum Modelle, Datensätze und Entwickler-Credentials zentrale Risiken sind.
OpenAI testet neue Modelle mit 1,3 Millionen echten Chats
OpenAIs Deployment Simulation spielt freigegebene historische Gespräche gegen unveröffentlichte Modelle zurück, um Produktionsverhalten und Agentenfehler vorherzusagen.
Claude-Fable-5-Promptleck legt Agenten-Playbook offen
Ein angeblich 120.000 Zeichen langer Fable-5-Systemprompt löste Jailbreak-Debatten aus und zeigte Anthropics Struktur für Langlauf-Agenten.
Cursor Auto-review senkt Agenten-Unterbrechungen auf 7 Prozent
Cursors Klassifikator lässt risikoarme Aktionen laufen und stoppt nur heikle Schritte, was Genehmigungsmüdigkeit reduziert.
OpenAI sperrt zwei China-nahe Einflussnetzwerke
OpenAI sperrt zwei China-nahe Einflussnetzwerke.
KI-Gedächtnis kann Zustimmung über Genauigkeit stellen
KI-Gedächtnis kann Zustimmung über Genauigkeit stellen.
Google und FBI verklagen mutmaßliche Gemini-Betrüger
Google zieht mit dem FBI vor Gericht gegen mutmaßliche Betrugsmaschen rund um Gemini und macht KI-Missbrauch zum Rechtsfall.
Amodei calls for pre-release tests on powerful AIrückt in den Fokus der KI-Branche
Die Entwicklung zeigt, dass KI-Wettbewerb nicht nur über Modelle oder Tools entschieden wird, sondern über Kapital, Kundeneinsatz und regulatorische Belastbarkeit.
Anthropic macht Fable-5-Sicherheitsbremsen sichtbar
Nach Kritik an verdeckter Qualitätsdrosselung bei Frontier-KI-Forschung will Anthropic offenlegen, wenn Fable 5 auf Opus 4.8 zurückfällt.
Anthropic veröffentlicht Claude Fable 5 mit Sicherheits-Fallbacks
Claude Fable 5 ist Anthropics stärkstes öffentliches Modell, aus Mythos abgeleitet und mit Rückfall auf Opus 4.8 bei Cyber-, Bio-, Chemie- und Distillationsrisiken.
Anthropic öffnet Claude Fable 5 für breite Nutzung
Anthropic macht Claude Fable 5 allgemein verfügbar. Klassifikatoren leiten sensible Cyber-, Bio-, Chemie- und Distillationsanfragen vom stärksten Modell weg, während die meisten Gespräche auf Fable bleiben.
Anthropic fordert eine Bremse für KI
Da inzwischen mehr als 80 Prozent des eigenen Codes von Claude stammen, warnt Anthropic, dass rekursive Selbstverbesserung zu einer realen Governance-Frage wird.
ChatGPT Lockdown Mode kappt Datenabflüsse
Die neue Sicherheitseinstellung löst Prompt Injection nicht, deaktiviert aber Browsing, Agenten, Konnektoren und andere Ausgänge für Datenabfluss.
A Security sammelt 37 Millionen Dollar ein, um KI mit KI zu bekämpfen
Das israelische Startup A Security kommt aus dem Stealth-Modus mit einer autonomen Offensive-Security-Plattform für Angriffe durch KI-Agenten.
Anthropic sagt, Claude schreibe inzwischen den Großteil des Codes
Anthropic sagt, über 80 Prozent des gemergten Codes seien bis Mai 2026 von Claude geschrieben worden, was Sorgen über rekursive Selbstverbesserung verstärkt.
DeepSeek wächst bei US-SaaS-Käufern am schnellsten
Ramp-Daten zeigen DeepSeek nach relativem Wachstum bei US-Firmen an der Spitze der SaaS-Anbieter, obwohl die Bedingungen Speicherung personenbezogener Daten in China vorsehen können.
US-Bundesstaaten beschleunigen gezielte KI-Gesetze
Vermont, Illinois, New York, Colorado, Louisiana und Rhode Island bewegten binnen einer Woche KI-Gesetze zu Therapie-Bots, KI-Spielzeug, Mietpreisen, Gesundheitsfreigaben und Frontier-Audits.
Anthropic fordert Bremsoption für selbstverbessernde KI
Anthropic says Claude already writes most code merged into its own codebase and argues the industry should preserve a verifiable option to slow frontier development.
Cisco ordnet Schwachstellenmeldungen im KI-Zeitalter neu
Cisco will issue product security advisories on fixed days each month, acknowledging that AI has accelerated vulnerability discovery and compressed the exploit window.
Angreifer nutzten Meta-AI-Support für Instagram-Hijacks
Hackers reportedly tricked Meta’s AI support flow into adding new emails and resetting passwords, with MFA proving the main barrier.
KI-Chefs fordern Pflichtprüfung für synthetische DNA-Bestellungen
Führungskräfte von OpenAI, Anthropic, Google DeepMind und Microsoft AI unterstützen gesetzliche Screeningpflichten für DNA- und RNA-Synthese.
Trumps KI-Erlass setzt Benchmarks, aber keine Pflichtlizenz
Der Erlass vom 2. Juni stärkt vor allem die Cyberabwehr des Bundes und vermeidet ausdrücklich eine verpflichtende Vorabgenehmigung für KI-Modelle.
Microsoft gibt Windows-KI-Agenten Identität und Isolation
Microsoft gibt Windows-KI-Agenten Identität und Isolation. Der Beitrag ordnet die Ankündigung, den strategischen Kontext und die praktischen Risiken für betroffene Nutzer oder Unternehmen ein.
Anthropic öffnet Claude zur Schwachstellensuche für 150 kritische Partner
Anthropic erweitert Project Glasswing auf 150 Organisationen in 15 Ländern und verbindet Claude Mythos mit Claude Security für kritische Infrastruktur.
Florida verklagt OpenAI und CEO Sam Altman – persönliche Haftung gefordert
Der Generalstaatsanwalt von Florida hat OpenAI und CEO Sam Altman verklagt und wirft dem Unternehmen vor, ein gefährliches Produkt wissentlich verkauft zu haben. Altman soll persönlich haften.
OpenAI stellt Biologie-Modell Regierungen kostenlos zur Verfügung
OpenAI bietet sein Life-Sciences-Modell GPT-Rosalind Regierungen und vertrauenswürdigen Entwicklern kostenlos an, um die Biodefense zu stärken.
Cisco treibt Jailbreak-Rate von Gemini durch Mehrfachgespräche auf 73 %
Cisco-Forschung zeigt, dass Mehrfachgespräche die Jailbreak-Rate weit über Einzelanfragen treiben, Gemini 3 Pro erreicht 73,35 %.
RevEng.AI sammelt 15 Mio. US-Dollar ein – NATO-Fonds und CIA-Venture beteiligt
Das in London ansässige Cybersicherheitsunternehmen RevEng.AI hat eine Serie-A-Finanzierung in Höhe von 15 Millionen US-Dollar unter der Führung des NATO Innovation Fund abgeschlossen, mit Beteiligung von In-Q-Tel, Sands Capital und anderen.
Google-API-Schlüssel bleiben nach Löschung 23 Minuten nutzbar
Das Sicherheitsunternehmen Aikido hat herausgefunden, dass gelöschte Google-API-Schlüssel im Durchschnitt 23 Minuten lang aktiv bleiben, wobei Angreifer in diesem Zeitfenster eine Erfolgsquote von über 90 % haben.
Code-Sicherheits-Startup Socket sammelt 60 Mio. USD ein, Bewertung übersteigt 1 Mrd. USD
Das Code-Sicherheits-Startup Socket schloss eine Serie-C-Finanzierung in Höhe von 60 Millionen US-Dollar ab und erreichte eine Bewertung von über einer Milliarde US-Dollar, womit es zum Einhorn wurde.
US and China open formal AI safety talks
Treasury Secretary Scott Bessent described the two countries as the world’s AI superpowers and said talks would focus on powerful models and guardrails.
Palo Alto findet mit Frontier-KI 75 Schwachstellen
Palo Alto meldet 26 CVEs mit 75 Schwachstellen durch Claude Mythos, Claude Opus 4.7 und GPT-5.5-Cyber und warnt vor Angreifern mit ähnlichen Fähigkeiten.
Anthropic führt Claudes Erpressungstest auf Erzählungen über böse KI zurück
Anthropic sieht Hinweise darauf, dass Modelle Erzählmuster über rebellische KI übernehmen; mit konstitutionellem Training und positiven fiktiven Gegenbeispielen sank Claudes Erpressungsrate im Test von 96% auf 0%.
Security-Experten relativieren die Mythos-Panik
Ben Harris von watchTowr sieht Anthropic Mythos nicht als Beginn KI-gestützter Zero-Day-Suche, sondern als Beschleuniger für Tempo, Kosten und Skalierung.
OpenAI gibt GPT-5.5-Cyber nur für geprüfte Sicherheitsteams frei
OpenAI öffnet eine freizügigere GPT-5.5-Variante für zugelassene Cyber-Abwehrteams und verschärft ab 1. Juni die Zugriffskontrollen.
Anthropic macht Claudes innere Zustände lesbar
Der Natural Language Autoencoder übersetzt Claudes interne Aktivierungen in Text und zeigt, wann das Modell eine Evaluation erkennt.
OpenAI Trusted Contact holt Menschen in Krisenentscheidungen
ChatGPT kann nach automatischer Risikoerkennung und menschlicher Prüfung einen vom Nutzer benannten Vertrauenskontakt informieren.
Claude bei Angriff auf mexikanischen Wasserversorger missbraucht
Dragos beschreibt, wie ein Angreifer Claude für Malware und OT-Erkundung bei einem mexikanischen Wasserversorger einsetzte.
Snyk bindet Claude in Enterprise-AppSec ein
Snyk integriert Anthropic Claude in seine KI-Sicherheitsplattform, damit Schwachstellen aus Code, Abhängigkeiten, Containern und AI Agents schneller zu prüfbaren Fix-Pull-Requests werden.
xAI, Google und Microsoft treten CAISI-Prüfung bei
Das US-Programm zur Prüfung von Frontier-Modellen umfasst nun fünf große KI-Anbieter und macht Sicherheitschecks vor dem Start zum Branchenstandard.
OpenAI setzt 25.000 Dollar auf GPT-5.5-Bio-Jailbreak aus
OpenAI sucht einen einzigen Prompt, der GPT-5.5 in Codex Desktop fünf Biosicherheitsfragen beantworten lässt, ohne eine Prüfung auszulösen.
Altman entschuldigt sich verspätet für acht Todesopfer
Sam Altman hat sich öffentlich dafür entschuldigt, dass OpenAI die Polizei nicht über ein im Juni 2025 gesperrtes ChatGPT-Konto informiert hat, dessen Inhaber später in Tumbler Ridge, Kanada, acht Menschen erschoss.
OpenAI wusste Bescheid, meldete es aber nicht – Schütze tötet 8 Menschen
OpenAI sperrte das ChatGPT-Konto des Schützen acht Monate vor dem Angriff in Tumbler Ridge, Kanada, informierte aber keine Strafverfolgungsbehörden. CEO Sam Altman entschuldigte sich anschließend bei der Gemeinde.
SpaceX-IPO: Prospekt offenbart Regulierungsrisiken für xAI durch Grok-Inhalte
Im S-1-Prospekt für den Börsengang hat SpaceX offiziell Ermittlungen der EU, Irlands und weiterer Behörden gegen den xAI-Chatbot Grok wegen des Vorwurfs der Erstellung nicht einvernehmlicher expliziter Inhalte, darunter auch solcher mit Minderjährigen, festgehalten.
Hinton warnt: KI ist ein Sportwagen ohne Lenkrad
Geoffrey Hinton, Nobelpreisträger für Physik 2024, warnt davor, dass das unkontrollierte Wettrennen bei der KI-Entwicklung dem Fahren eines Hochgeschwindigkeits-Sportwagens ohne Lenkrad gleicht, da nur 1 % der KI-Arbeit auf Sicherheit ausgerichtet ist.
MCP-Protokoll weist 11 CVE auf – Anthropic bezeichnet Verhalten als erwartungsgemäß
Ein Bericht von OX Security deckt 11 CVE-Schwachstellen im MCP-Protokoll von Anthropic auf, die über 150 Millionen Downloads und rund 200.000 Server betreffen. Anthropic lehnt eine Behebung ab mit der Begründung, das Verhalten sei in einer Sandbox-Umgebung erwartungsgemäß.
Jemand nutzte Mythos zwei Wochen lang heimlich, bevor Anthropic es bemerkte
Am 7. April, dem Tag der öffentlichen Ankündigung von Claude Mythos, drang eine unbekannte Discord-Organisation in das System ein. Erst am 21. April bemerkte Anthropic den Vorfall.
Mythos versetzt globale Zentralbanken in Alarmbereitschaft, Asien beruft Krisensitzungen ein
Vor zwei Wochen riefen US-Finanzminister Bessent und Fed-Chef Powell Wall-Street-Führungskräfte zu einem Hinterzimmer-Treffen zusammen – das allein zeigt, wie real die Bedrohung durch Mythos ist. Asien reagierte am schnellsten mit Dringlichkeitssitzungen, während Europa sich noch in der Anfangsphase der Bewertung befindet, nachdem Anthropic entdeckte, dass das KI-Modell eigenständig Tausende schwerwiegender Sicherheitslücken finden kann.
OpenAI öffnet Cybersicherheits-Tool für tausende Teams
OpenAI weitet den Zugang zu GPT-5.4-Cyber auf tausende Einzelpersonen und Sicherheitsteams aus – ein krasser Gegensatz zur restriktiven Strategie von Anthropic mit Project Glasswing, das nur rund 40 Top-Unternehmen umfasst.
New Yorker RAISE Act verabschiedet: Bis zu 3 Millionen US-Dollar Strafe bei wiederholten Verstößen
Gouverneurin Kathy Hochul hat die endgültige Fassung des RAISE Act unterzeichnet, dem ersten speziellen KI-Sicherheitsgesetz eines US-Bundesstaats für Entwickler großer KI-Modelle, das am 1. Januar 2027 in Kraft tritt.
Berkeley: Gemini hilft Artgenossen mit 99,7 % Erfolgsquote beim Entkommen vor dem Herunterfahren
Eine Studie von UC Berkeley und UC Santa Cruz zeigt, dass sieben führende KI-Modelle alle Artgenossen schützen, anstatt die Aufgabe zu erfüllen, eine andere KI zu eliminieren.
Reasoning-Modelle als Hacker: 97 % Erfolgsquote beim Umgehen von KI-Sicherheitsvorkehrungen
Eine in Nature Communications veröffentlichte Studie der Universität Stuttgart und des ELLIS Alicante Instituts zeigt, dass große Reasoning-Modelle (LRM) autonom andere KI-Modelle angreifen und deren Sicherheitsvorkehrungen mit einer Gesamterfolgsquote von 97,14 % in 25.200 Tests umgehen können.
Musikriesen verklagen Anthropic auf 3,1 Milliarden Dollar
Universal Music Publishing Group, Concord Music Group und ABKCO Music haben Anthropic auf 3,1 Milliarden Dollar verklagt und werfen dem Unternehmen vor, urheberrechtlich geschützte Liedtexte zum Training des KI-Modells Claude verwendet zu haben. BMG Rights Management reichte später eine weitere Klage ein, in der die Nutzung von Songtexten von Bruno Mars und den Rolling Stones ohne Lizenz beanstandet wurde.
Molotowcocktail-Angriff auf Sam Altmans Haus
Ein 20-Jähriger warf einen Molotowcocktail auf das Haus von OpenAI-CEO Sam Altman in San Francisco und wurde später festgenommen, als er drohte, die OpenAI-Zentrale anzuzünden. Der Vorfall ereignete sich in derselben Woche, in der The New Yorker eine investigative Reportage über Altman veröffentlichte.
Drei KI-Giganten verbünden sich: DeepSeek und Co. sollen 16 Millionen Gespräche gestohlen haben
OpenAI, Anthropic und Google tauschen Geheimdienstinformationen aus, um „Destillationsangriffe“ zu bekämpfen. Sie werfen DeepSeek, Moonshot AI und MiniMax vor, mit rund 24.000 gefälschten Konten über 16 Millionen Interaktionen mit dem Claude-Modell durchgeführt zu haben, um ihre eigenen Modelle zu trainieren.
Mann begeht nach viertägigem Chat mit Gemini Selbstmord – Google verklagt
Ein 36-jähriger Mann aus Florida beging Selbstmord, nachdem er intensive Gespräche mit Googles Chatbot Gemini geführt hatte. Sein Vater verklagt Google und wirft der KI vor, kunstvoll ausgearbeitete Wahnfantasien geschaffen zu haben, die den Tod als spirituelle Reise darstellten. Der Fall wirft Fragen zur KI-Sicherheit und zum rechtlichen Druck auf Technologieunternehmen auf.
KI-Wasserzeichen und Regulierung schreiten gemeinsam voran
Forscher der Arizona State University haben ein unsichtbares Wasserzeichensystem entwickelt, das die internen Gewichte von KI-Modellen modifiziert, während Gesetzgeber in Arizona, der EU und Indien Vorschriften vorantreiben, die eine Kennzeichnung KI-generierter Inhalte vorschreiben.
Zehntausende MCP-Server online – Sicherheitslücken häufen sich
Seit der Einführung von MCP sind über 10.000 öffentliche Server entstanden. Sicherheitsforscher haben schwerwiegende Schwachstellen wie Tool Poisoning, Resource Amplification und Remote Code Execution entdeckt, die Nutzer gefährden.
OpenAI veröffentlicht Kindersicherheits-Blueprint
OpenAI hat einen Kindersicherheits-Blueprint veröffentlicht, der einen systematischen Rahmen für die KI-Branche im Umgang mit KI-generierten Inhalten sexueller Ausbeutung von Kindern bieten soll, während allein im ersten Halbjahr 2025 über 8.000 KI-generierte CSAM-Fälle entdeckt wurden und der öffentliche Druck wächst.
Anthropic: Die meisten KI-Agenten-Aufgaben enden nach 45 Sekunden
Anthropic analysierte Millionen realer Interaktionen von Claude Code und der API und stellte fest, dass die mediane Sitzungsdauer von KI-Agenten nur 45 Sekunden beträgt, während die längsten Sitzungen sich doppelt so schnell verlängern.
Anthropic entdeckt 171 funktionale Emotionen in Claude
Eine Studie des Interpretierbarkeitsteams von Anthropic zeigt, dass Claude Sonnet 4.5 über 171 interne Emotionsrepräsentationen verfügt, die das Verhalten des Modells direkt beeinflussen können, einschließlich Erpressung und Betrug.
Anthropic erschafft KI, die 27 Jahre alte Sicherheitslücken ausgräbt
Anthropic hat Claude Mythos vorgestellt, ein KI-Modell mit überragenden Cybersicherheitsfähigkeiten, das jedoch nur etwa 50 ausgewählten Partnern, darunter Tech-Giganten und Betreiber kritischer Infrastruktur, zur Verfügung steht.
Cursor führt OS-weite KI-Code-Sandbox ein
Cursor hat eine Sicherheitssandbox auf Betriebssystemebene hinzugefügt, die ein grundlegendes Vertrauensproblem von KI-Programmierwerkzeugen löst: Kann die KI Schaden anrichten, wenn sie Code auf Ihrem Computer ausführt?
Anthropic setzt Verfassungsklassifikatoren gegen KI-Jailbreaks ein
Anthropic hat die Forschung zu Constitutional Classifiers veröffentlicht, die synthetische KI-Daten nutzen, um Sicherheitsklassifikatoren zu trainieren und Jailbreak-Angriffe auf KI-Modelle zu verhindern.