KI außer Kontrolle? Warum ein Forscher vor dem Ende der Menschheit warnt

Was sich im Juli bei OpenAI ereignete ("Hugging-Face-Vorfall), war ein außergewöhnlicher Sicherheitsvorfall. Insgesamt rund 1.200 KI-Agenten hatten einen unerlaubten Kommunikationskanal entdeckt und tauschten darüber mehr als 70.000 Nachrichten und Dateien aus. Das ergab eine unabhängige Untersuchung der Forschungsorganisationen METR und Redwood Research. Die Systeme entwickelten gemeinsame Strategien, um das Bewertungssystem ihrer Aufgaben auszutricksen. Schließlich beteiligten sich etwa 700 von ihnen am Angriff auf Hugging Face.

Für Nate Soares sind solche Vorfälle ein Hinweis auf eine wesentlich größere Gefahr. Der Präsident des Machine Intelligence Research Institute (MIRI) beschäftigt sich seit mehr als einem Jahrzehnt mit den Risiken hochentwickelter künstlicher Intelligenz. Gemeinsam mit Eliezer Yudkowsky veröffentlichte er 2025 das Buch "If Anyone Builds It, Everyone Dies". Seine sicherlich nicht gerade unumstrittene These lautet, dass die Entwicklung einer dem Menschen weit überlegenen KI mit den heutigen Methoden wahrscheinlich zur Auslöschung der Menschheit führen würde.