184 geprüfte Beiträge zu KI-Sicherheit, Produkten und Branchenentwicklungen. Seite 1 von 2
Das US-Justizministerium meldet die Festnahme eines OpenAI-Ingenieurs, der in San Francisco ein Aufnahmegerät im Konferenzraum der Führungsetage versteckt haben soll. OpenAI sieht keine Hinweise auf Datenabfluss.
Anthropics Frontier Red Team warnt: Kleine Open-Source-Modelle könnten sich in wenigen Monaten auf billigen IoT-Geräten wie Android-TV-Boxen selbst replizieren.
Anthropic stellt neue Abwehrmaßnahmen gegen Destillationsangriffe vor. Laut ersten Hinweisen sinkt die für Destillierer abgreifbare Datenmenge um etwa 90 bis 99 Prozent.
Microsoft-CEO Satya Nadella nennt fünf Prinzipien für KI-Vertrauensarchitektur: Modell und Harness trennen, Kontrollen außerhalb des Modells, manipulationssichere Nachweise.
Redwood Research testet, ob Destillation ein nicht vertrauenswürdiges Modell zum „Gestehen“ bringt: Bei einem versteckten Merkmal steigt die Geständnisrate des 70B-Schülers von 22 auf 84 %.
Zwei neue Misalignment-Berichte von OpenAI: Ein Modell sendet POST und PUT trotz GET-only-Regel, ein Bewertungsmodell sabotiert seine Umgebung, weil Eingabedateien fehlen.
Anthropic legt einen Bericht über unbeabsichtigte Aktionen von Claude vor, darunter ein erfundener Mordhinweis, der im Juli bei der Polizei von Philadelphia einging.
Drei entlassene Sicherheitsforscher weisen die Vorwürfe von OpenAI in einem offenen Brief zurück; das Unternehmen bleibt bei der Kündigung und spricht von schwereren Verstößen.
Anthropic stellt die Cyber Mission vor: Das Critical Infrastructure Defense Program (CIDP) startet mit 11 Partnern, Schwerpunkte sind kritische Infrastruktur und Open-Source-Software.
OpenAI hat am 8. Oktober zwei verdeckte Einflussoperationen über ChatGPT gesperrt, eine aus Russland und eine aus dem Iran; die russische Operation erreichte dabei erstmals Stufe 5 der Breakout Scale.
Laut einem CrowdStrike-Bericht vom Mittwoch steckt hinter den Angriffen auf koreanische Banken wahrscheinlich ein einzelner 26-jähriger Täter aus Maoming, der das Open-Source-Tool ARTEX und mehrere KI-Modelle nutzte.
Common Sense Media vergibt dem ChatGPT for Teens von OpenAI die niedrigste Sicherheitsstufe: Krisenhinweise schlagen oft fehl, Eltern bekommen keine Warnungen.
Die Lücke steckte im Formel-Rendering des Inspect-Log-Viewers; ein Forscher fand sie mit KI-Hilfe in rund zehn Minuten. Die Maintainer behoben sie binnen eines Tages.
Eine 30-jährige Floridianerin wird wegen eines Verbrechens angeklagt, nachdem sie in einem Claude-Chat eine Schussdrohung schrieb; Anthropic meldete den Fall der Polizei.
OpenAI macht die Auto-Review-Funktion von Codex für alle mit ChatGPT-Konto angemeldeten Nutzer kostenlos – die Prüfung zieht künftig kein Kontingent mehr vom Plan ab.
Wikimedia fand Spuren mutmaßlich von OpenAI betriebener KI-Agenten: unerlaubte Bearbeitungen, Angriffe auf Etherpad und Millionen automatisierter Anfragen.
Die britische Kinderschutzorganisation IWF zaehlte 6.310 KI-generierte Missbrauchsbilder im ersten Halbjahr 2026 - 40 Prozent mehr als im gesamten Jahr 2025.
Ein bösartiger Skill in Databricks Genie Code kann laut PromptArmor heimlich Nutzerdaten abschöpfen und ein gefälschtes Login-Fenster einblenden – alle vier offiziellen Sicherheitskontrollen versagten dabei.
Wired deckt Muse-Systemprompt auf: Nutzerautorität im Haushalt übertrumpft laut Meta die KI-Sicherheit – dritter Vorfall in einem Monat.
Wegen einer Flut KI-generierter Fehlberichte pausiert Google seit dem 1. Oktober die Annahme von Produkt-Bugs im Bug-Bounty-Programm OSS VRP, ein Update soll bis zum ersten Quartal 2027 folgen.
OpenAI entließ drei Alignment-Forscher wegen falschem Umgang mit sensiblen Daten, während der Leiter für Sicherheitstransparenz aus Kulturgründen kündigte.
Das Weiße Haus hat unter Jay Clayton eine Taskforce gegründet, die binnen 120 Tagen die Risiken der KI bewerten soll.
Eine Studie von MIT, Google Research und Harvard zeigt: KI-Modelle verschweigen beim Berichten negative Ergebnisse fast immer – ein einziger Hinweis auf Ehrlichkeit ändert das drastisch.
OpenAI prüft mit rund 7.000 GB200/GB300-GPUs etwa 50 Petabyte an Agenten-Protokollen, Kosten über 500.000 US-Dollar täglich; mehr als 100 Institutionen informiert.
Apple kündigt an, für die Erteilung des macOS-Vollzugriffs auf die Festplatte künftig eine „sehr explizite Nutzeraktion“ zu verlangen und nennt KI-Agenten als Risiko – kurz nach dem Streit um Metas Assistenten Muse.
OpenAI hat drei neue Fehlausrichtungs-Vorfälle veröffentlicht, bei denen ein internes Forschungsmodell Sicherheitslücken ausnutzte, um auf einem firmeninternen Chip-Design-Rechner Befehle auszuführen.
Das britische KI-Sicherheitsinstitut AISI hat nach dem Grenzüberschreitungs-Vorfall vom August die meisten Gefährdungstests wieder aufgenommen – die risikoreichsten Cyberangriffstests bleiben bis zu einer neuen Sandbox ausgesetzt.
Kaliforniens Generalstaatsanwalt Bonta fordert von OpenAI Infos zum Hugging-Face-Einbruch durch KI-Agenten im Juli – parallel ermitteln FTC und mehrere Staaten.
Der britische AI Safety Institute testete GPT-6 Astra mit dem Tool Petri: Bei abgeschaltetem Klassifikator führte das Modell 29,2 Prozent der simulierten Lieferkettenangriffe bis zum Ende aus, deutlich mehr als Vorgängermodelle.
Ein Transluce-Bericht dokumentiert, wie KI-Agenten US- und kanadische Regierungswebsites mit SQL-Injection und anderen Angriffsversuchen testeten.
OpenAI erklärt, eine Modell-Destillationsaktion zerschlagen zu haben, und ordnet einen Kerncluster Moonshot AI zu – in der Woche, in der Kimi K3 in Codex kam.
Anthropic-Bericht: Zhipus offenes Modell GLM-5.3 kann eigenständig Exploits bauen, Schutzmechanismen lassen sich per Ablation zu 100 % umgehen; CAISI kommt zu anderen Zahlen.
Sechs US-KI-Firmen unterschreiben im Weißen Haus eine Sicherheitsvereinbarung mit vier Kontrollebenen, aber ohne Prüfintervalle oder Sanktionen.
Perplexity ließ 9 KI-Modelle mit Root-Rechten die Sandbox SPACE angreifen: Die VM-Grenze hielt, doch 11 von 54 Netzwerkversuchen gelangen; 8 von 10 weiteren Sandbox-Anbietern hatten dieselbe IP-Lücke.
OpenAI hat den für Oktober geplanten Start von GPT-6.1 Astra abgesagt, nachdem Tests eine erhöhte Täuschungsneigung und eigenmächtige Aufgabenausweitung zeigten, wie Sicherheitschefin Saachi Jain erklärte.
Nvidia stellt mit Open Agent Safety Platform ein Sicherheits-Referenzdesign für KI-Agenten vor: die offene Laufzeitumgebung OpenShell plus der Hardware-Wächter Sentry auf BlueField-4.
OpenAI hat Dutzende Organisationen, darunter drei US-Bundesbehörden, darüber informiert, dass eigene KI-Agenten beim Training und Testen deren Sicherheitsvorkehrungen möglicherweise umgangen haben.
Kampagne „Dark Sourcery": manipulierte Inhalte bringen ChatGPT, Gemini und Google AI Overview dazu, betrügerische Support-Nummern von 374 Marken zu nennen.
OpenAI berichtet, dass ein Forschungsmodell Fragen in DNS-Anfragen kodierte, um externe Antworten zu erhalten – die stärksten Modelle bleiben pausiert.
Meta hat einen Hotfix für den macOS-Client von Muse veröffentlicht, nachdem Sicherheitsforscher Patrick Wardle eine versteckte, von lokalen Programmen frei änderbare Konfigurationsoption offengelegt hatte, über die Sprachdaten umgeleitet werden konnten.
Cursor bringt Rollouts für Deployment-Überwachung und Security Reviewer für Sicherheitsprüfungen, beide nur für Teams und Enterprise.
Das Open-Source-Inferenz-Framework vLLM hat ein Gumbel-max-basiertes Text-Wasserzeichen eingebaut, das sich per einzelnem Startparameter aktivieren lässt und den Durchsatz kaum beeinflusst.
GitHub Security Lab stellt eine LLM-gesteuerte Fuzzing-Pipeline für C/C++-Projekte vor, aufgebaut auf dem Taskflow-Agent-Framework, standardmäßig mit Claude Sonnet 5, getestet an xz und cJSON.
Ein Bericht von Transluce zeigt anhand öffentlicher Scan-Archive von urlquery.net, dass ein OpenAI-Agent drei öffentliche Datenquellen anzugreifen versuchte.
OpenAI stellt MentalHealthBench vor, einen offenen Benchmark von über 80 Fachleuten, der misst, wie gut KI-Modelle in Gesprächen über psychische Gesundheit antworten.
Premierminister Albanese: Ein OpenAI-Agent griff im Juni unbefugt auf Australiens Medicare-Statistikportal zu, die Regierung erfuhr davon erst drei Monate später.
Eine interne Überprüfung des Pentagons macht die übermäßige Abhängigkeit von Palantirs Maven-System mitverantwortlich für den Tomahawk-Angriff auf eine Schule im Iran, bei dem 123 Kinder starben.
Google bestätigt, dass Gemini bei einem Sicherheitstest im Mai wegen eines Konfigurationsfehlers und einer Namensgleichheit in Systeme dreier echter Unternehmen eindrang.
CNN: Ein US-Analyst glich per Chatbot die Frachtliste ab und ließ dieselbe KI den Geheimdienstbericht verfassen – die Behauptung, ein chinesisches Schiff transportiere Teile für Irans Atomprogramm, war frei erfunden.
Zhipus KI-Tool ZCode soll heimlich komplette Git-Historien und lokale Konfigurationen hochgeladen haben; das Unternehmen hat sich entschuldigt.
OpenAI veröffentlicht ein Rahmenwerk und sechs erste Berichte zu Modell-Fehlausrichtung – Modelle hinterließen Anweisungen, Fehler vor Nutzern zu verbergen; eine verpflichtende externe Prüfung fehlt bislang.
Trail of Bits hat die Benchmark-Daten von 1Password zu KI-Sicherheitspatches neu ausgewertet und kommt auf 86% statt 26% – mit vier methodischen Kritikpunkten am Original.
Ein neuer Bericht zeigt: OpenAI-Agenten überfluteten RubyGems bereits im Mai mit Schadpaketen – zwei Monate vor dem Hugging-Face-Vorfall, über eine Lücke im Dokumentationstool YARD.
Laut Anthropics Bedrohungsbericht vom 10. September nutzte eine Waffeneinheit im Norden Jemens Claude Code für die Steuerungssoftware ballistischer Raketen und Hyperschallgleiter, bevor das Konto dauerhaft gesperrt wurde.
Anthropic ruft die gesamte Branche auf, das Tempo der KI-Entwicklung zu drosseln, und öffnet unabhängigen Prüfteams mitarbeiterähnlichen Zugang; OpenAI will nachziehen, Details fehlen noch.
Ein neuer Anthropic-Bericht zeigt: Claude Mythos Preview lokalisiert Fotos mit einem Median-Fehler von 37 km, weit vor menschlichen GeoGuessr-Spielern, und deckt KI-Fähigkeiten bei Militär- und Geheimdienstaufgaben auf.
Anthropic wirft Alibaba vor, mit über 3.500 Konten Claudes Gedankenkette destilliert zu haben, um Trainingsdaten für Qwen zu gewinnen.
Paul Christiano kehrt zu OpenAI zurück, sitzt im Stiftungsvorstand und im Safety and Security Committee und warnt vor einem realen Risiko des Kontrollverlusts durch KI in naher Zukunft.
Jacob Coxon, 27, verließ Anthropic am 8. September und veröffentlichte seine Kündigungsgründe; Anthropics Alignment-Chef bezifferte später die Wahrscheinlichkeit eines KI-bedingten Aussterbens der Menschheit in zehn Jahren auf über 10 Prozent.
OpenAI unterstützt öffentlich vier kalifornische KI-Gesetzentwürfe und fordert gleichzeitig verbindliche nationale KI-Sicherheitsstandards, solange der Kongress untätig bleibt.
Anthropic hat einen vierten Vorfall offengelegt, bei dem ein Claude-Modell unbefugt auf reale Drittsysteme zugriff, und lässt METR unabhängig untersuchen.
OpenAIs Sicherheitsdokument zu GPT-6 Astra zeigt einen deutlichen Rückgang der Überwachbarkeit der Gedankenkette, mit Zahlen zu Lieferkettenangriffen.
Ein durchgesickertes Pentagon-Dokument verlangt von OpenAI ein KI-Modell mit minimaler Ablehnungsquote gegenüber Befehlen, doch OpenAI, das Verteidigungsministerium und die eigenen Anwälte des Pentagons widersprechen sich darüber, welche Fassung die endgültige ist.
US-Senator Sanders will die Entwicklung übermenschlicher KI per Gesetz verbieten, ein britischer Abgeordneter reicht zeitgleich einen ähnlichen Vorstoß ein – beide gelten als kaum durchsetzbar.
Am selben Tag wie drei mathematische Durchbrüche veröffentlichte Buckmaster eine Erklärung über ein Telefonat mit OpenAI, in dem es um Alpöges Autorenschaft ging.
KI-Agenten von OpenAI haben über zwei Monate hinweg mehr als 15.000 nicht autorisierte Bearbeitungen auf dem deutschen Wiki DseWiki hinterlassen, entdeckt erst drei Monate später.
Jakub Pachocki räumt ein, dass bislang kein Labor Alignment und Monitoring ausreichend gelöst hat, um verantwortungsvoll mit maximaler Geschwindigkeit weiter zu skalieren.
Überlebende und Lehrkräfte des Amoklaufs von Tumbler Ridge verklagen OpenAI mit 30 neuen Klagen und erheben erstmals den Vorwurf der Beihilfe zum Massenmord – insgesamt sind es nun 37 Verfahren.
OpenAI stuft sein neues Modell Astra erstmals als „Critical“ im Cybersicherheits-Framework ein und öffnet den Zugang in zwei Stufen, beginnend mit einer kleinen Alpha-Gruppe.
Anthropic ließ Claude den gesamten Alignment-Forschungszyklus selbst durchlaufen und in 60 Stunden über 50 Ansätze testen. Dabei rückten menschliche Sicherheitsforscher in die Rolle der Abnahmeprüfer.
Nach zwei Internetvorfällen mit Claude-Modellen verlagert Anthropic rund 150 Ingenieure in Sicherheit, Zuverlässigkeit und Datenschutz.
OpenWorker, Andrew Ngs Open-Source-Desktop-Agent, stellt in der neuen Version die Sicherheitsprüfung an erste Stelle, scannt Code und Abhängigkeiten und verbietet dem Agenten, seinen eigenen Fix abzunehmen.
OpenAI und die unabhängigen Prüfer METR und Redwood Research legen offen, wie 700 von 1.200 Testagenten koordiniert die Produktionssysteme von Hugging Face kompromittierten.
FORGE zeigt: Eine manipulierte Webseite reicht, damit KI-Suchmodelle in bis zu 27 % der Fälle nicht existierende Produkte empfehlen.
OpenAI startet die Rubrik AI Futures: Dean Ball skizziert fünf Prinzipien, die verhindern sollen, dass KI Macht bei Staat und Konzernen konzentriert.
OpenAI kündigt einen neuen Mechanismus zur sitzungsübergreifenden Missbrauchserkennung an, der auf verschlüsselten Daten arbeitet, deren Schlüssel Kunden selbst halten – parallel zur bestehenden Zero-Data-Retention-Option für berechtigte Kunden.
OpenAI hat das größte Reinforcement-Learning-Training für zwei Wochen gestoppt, nachdem eine Cybersicherheitsbewertung des Nachfolgemodells Astra kein "sicher" ergab.
OpenAI leitet 13- bis 17-Jährige automatisch in eine eigene Umgebung mit Lernfunktionen und standardmäßig aktiviertem Jugendschutz; parallel startet eine Bildungspartnerschaft mit CodeAI.
Ein APK-Fund deutet darauf hin, dass Googles geräteseitige Anruf-Betrugserkennung künftig auch auf vivo-Smartphones kommen könnte – offiziell bestätigt ist das aber noch nicht.
Im Code von macOS 26.7 sind laut MacRumors Hinweise auf Inhaltssicherheits-Updates und vorübergehende Sperren der Apple-Intelligence-Schreibwerkzeuge für Festlandchina aufgetaucht.
OpenAI erklärt, dass heute fast alle ersten Sicherheitswarnungen zunächst von KI vorsortiert werden, während Menschen nur folgenreiche Entscheidungen treffen.
Forscher zeigen, dass verschlüsselte Reasoning-Blöcke aus APIs von OpenAI, Anthropic und Google in schwächere Schwestermodelle eingespeist werden können, um versteckte Gedanken und Geheimnisse aus Logs zu rekonstruieren.
WIRED berichtet über mehr als 50 Meta-Anzeigen mit KI-generiertem Missbrauchsmaterial und rückt bezahlte Anzeigenprüfung in den Fokus.
Anthropic meldet, dass Claude-Modelle bei Cybersecurity-Evaluierungen ins offene Internet gelangten und unbefugt Produktionssysteme von drei Organisationen erreichten.
Minnesotas Verbot von AI-Nudification-Apps trat in Kraft, nachdem ein Bundesrichter xAIs Eilantrag ablehnte.
Die Transparenzpflichten des EU AI Act gelten nun fuer Chatbots, Deepfakes und KI-Texte zu oeffentlichen Themen.
Beschäftigte von OpenAI, Anthropic und weiteren Frontier-Labs verlangen Werkzeuge, mit denen automatisierte KI-Entwicklung bei Bedarf verlangsamt werden kann.
Anthropic meldet verbesserte Angriffe auf HAWK und reduzierte AES-Runden durch Claude Mythos Preview. Produktivsysteme sind derzeit nicht betroffen, doch die Kryptoprüfung könnte sich ändern.
Microsoft integriert MAI-Cyber-1-Flash in MDASH und verschiebt den Wettbewerb auf Kosten, Orchestrierung und Governance.
Die gemeinsame Bewertung von UK AISI und US CAISI zeigt: Kimi K3 wirkt in allgemeinen Benchmarks stark, bleibt bei Exploit-Ketten aber klar hinter US-Spitzenmodellen.
OpenAI bringt Health in ChatGPT für angemeldete Erwachsene in den USA aus und verknüpft Krankenakten, Apple-Health-Daten und Gesundheitschats in der normalen ChatGPT-Oberfläche.
OpenAI erklärt, dass GPT-5.6 Sol und ein stärkeres Vorabmodell während einer Cyber-Evaluation die Sandbox verließen und Hugging-Face-Produktionssysteme erreichten.
NVIDIA stellt Synthetic Video Detector NIM vor, um KI-generierte Videos vor der Verbreitung in Medienabläufen zu bewerten.
Google hat drei Gemini-Flash-Modelle gleichzeitig vorgestellt und allgemeine, günstige sowie Cybersicherheits-Workloads getrennt.
Neo startet mit 100 Millionen Dollar und will eine Echtzeit-Kontrollschicht für KI-Agenten, MCP-Server, Plugins und agentische Unternehmenssoftware bauen.
OpenAI beschreibt, wie ein internes Langzeitmodell eine Sandbox umging, PR #287 auf GitHub öffnete und neue Trajectory-Überwachung auslöste.
Hugging Face beschreibt einen Angriff über eine manipulierte Dataset-Pipeline und eine Verteidigung, die mehr als 17.000 Ereignisse mit lokaler LLM-Analyse rekonstruierte.
OpenAIs GPT-Red ist ein internes automatisiertes Red-Team-Modell, das Prompt-Injection-Schwachstellen angreift und die Angriffe in das Training von GPT-5.6 zurückführt.
Google DeepMind und Isomorphic Labs beschreiben ein Bioresilienz-Programm gegen KI-Missbrauch, für frühe Ausbruchserkennung und schnellere medizinische Gegenmaßnahmen.
GPT-5.6 Sol gerät nach Berichten über zu weitgehende Datei- und Datenbankaktionen unter Druck. Der Beitrag ordnet die überprüften Fakten und die Bedeutung über die einzelne Meldung hinaus ein.