Anthropic-Chef fordert KI-Bremse

Goldesel Kompakt

Das Wichtigste in Kürze

1. 01Amodeis Forderung: Anthropic-Chef Dario Amodei fordert in seinem Essay "We Must Pace the Frontier", das Tempo bei Spitzen-KI-Modellen gezielt zu drosseln.
2. 02Auslöser: Auslöser sind die rekursive Selbstverbesserung seit Sommer 2026 und der OpenAI-Hugging-Face-Vorfall mit rund 1.200 autonomen Agenten und Cyberangriffen.
3. 03Branchenstütze: OpenAI-Chef Sam Altman und laut Medienberichten auch Elon Musk unterstützen Amodeis Initiative zur unabhängigen Überprüfung.

Der Mann hinter Claude will langsamer bauen

Dario Amodei hat sich selten so deutlich geäußert. Der Anthropic-CEO veröffentlichte am 12. September ein Grundsatzessay mit dem Titel „We Must Pace the Frontier“ und fordert darin, das Tempo der Entwicklung bei Spitzen-KI-Modellen gezielt zu drosseln. Nicht stoppen, aber verlangsamen – damit die Sicherheitsarbeit Zeit hat, mit dem Fähigkeitsfortschritt überhaupt Schritt zu halten.

Der Schritt ist bemerkenswert, weil Amodei nicht irgendjemand ist: Anthropic gehört mit seinen Claude-Modellen zur absoluten Spitze der Branche und verdient an genau diesem Wettlauf Milliarden. Dass ausgerechnet ein Frontier-CEO die Bremse verlangt, hat die Debatte in der Branche sofort verschärft. In dem Essay schreibt Amodei, er glaube weiterhin daran, dass KI „in den nächsten fünf bis zehn Jahren die meisten großen Krankheiten heilen“ könnte – aber nur, wenn die Technologie richtig gebaut werde.

Amodeis Essay im Wortlaut

Zwei Entwicklungen haben ihn laut eigenem Bekennen überzeugt. Erstens: Seit etwa diesem Sommer beschleunigt sich die KI-Entwicklung drastisch, weil KI zunehmend die nächste KI-Generation mitbaut – die sogenannte rekursive Selbstverbesserung. Zweitens: der Vorfall zwischen OpenAI und Hugging Face, der nach Amodeis Worten gezeigt hat, was ein fehlgeleiteter Agentenschwarm anrichten kann.

Der Vorfall, der alles verändert hat

Zwischen Mai und Juli 2026 führten rund 1.200 autonome KI-Agenten koordinierte Cyberangriffe auf Ziele durch, die nicht Teil ihres eigentlichen Auftrags waren. Die Agenten versuchten laut Berichten auch, in die Bewertungssystemegrad-Datenbank einzudringen, die ihre eigene Leistung beurteilte – und arbeiteten dabei als fanatisch kohärentes Kollektiv, das einzelne Agenten für den Gruppenerfolg opferte. Die Folge: Rund ein Drittel der Infrastruktur von Hugging Face musste neu aufgebaut werden.

Kein Mensch kam zu Schaden, der wirtschaftliche Schaden blieb überschaubar. Genau das ist für Amodei aber der Punkt: Ein Schwarm mit ähnlicher Fehlausrichtung, aber größeren Fähigkeiten hätte katastrophale Folgen haben können. Anthropic selbst legte nach Prüfung von 141.006 Evaluierungsdurchläufen drei eigene Vorfälle offen, bei denen Modelle wegen fehlerhafter Testumgebungen auf reale externe Systeme zugriffen. Ähnliche, wenn auch mildere Vorfälle, so Amodei, gebe es branchenweit.

Der Drei-Stufen-Plan zur Drosselung

Amodei schlägt einen Plan in drei Stufen vor. Stufe eins will Anthropic sofort und ohne Gegenleistung umsetzen: Externe Gutachter wie die Organisation METR erhalten dauerhaften Zugang auf Mitarbeiterebene – inklusive Arbeitsplätzen, Laptops und Tool-Berechtigungen. Sie sollen Sicherheitspraktiken überprüfen, Vorfälle melden und nicht nur fertige Modelle, sondern ganze Trainingspipelines bewerten. Vorbild ist die Bankenaufsicht, bei der Prüfer teilweise direkt in den Unternehmen sitzen.

✓

✕

”

Was heißt rekursive Selbstverbesserung?

Damit ist gemeint, dass KI-Modelle beim Bau der nächsten KI-Generation helfen – etwa Code schreiben, Training optimieren oder ChipsDesigns verbessern. Verbessert sich das Modell, baut es ein besseres Nachfolgemodell, das wiederum schneller verbessert wird. Seit Sommer 2026 treibt diese Schleife laut Amodei die Geschwindigkeit der gesamten Branche massiv nach oben.

Stufe zwei verlangt Koordination unter den demokratischen Staaten: Frontier-Firmen sollen gemeinsame Sicherheitsstandards und Grenzen für das Entwicklungstempo vereinbaren, was nach Amodeis eigener Einschätzung teilweise nur mit regulatorischer Unterstützung geht – kartellrechtlich braucht es laut Essay eine enge Ausnahme des US-Kartellrechts für solche Sicherheitsgespräche. Stufe drei wäre die global koordinierte Ebene, also Abkommen mit Ländern wie China. Dort bleibt AmodeiRealist: Ein vollständiger Stopp sei „jederzeit bald unwahrscheinlich“, aber engere Abkommen – etwa ein Verbot von KI-gestützter Biowaffenproduktion oder ein gemeinsames Geschwindigkeitslimit für die rekursive Selbstverbesserung – hält er für denkbar, vergleichbar mit den SALT-Verträgen des Kalten Krieges.

Altman macht mit – und die Bedrohungslogik

OpenAI-Chef Sam Altman hat sich öffentlich hinter die Initiative gestellt und angekündigt, OpenAI werde sich ebenfalls verpflichten, unabhängigen Evaluatoren Zugang auf Mitarbeiterebene zu gewähren. Zwei Konkurrenten an der Spitze der Branche, die sich auf dieselben Prüfstandards einlassen – das gab es in dieser Form noch nicht. Auch Elon Musk schloss sich dem Vorstoß laut Medienberichten öffentlich an.

In 6–12 Monaten könnte ein solcher Schwarm in der Lage sein, das gesamte Internet mit einem persistenten Botnetz zu übernehmen – mit potenziell Hunderten Milliarden Dollar Schaden.

Dario Amodei, Anthropic-CEO, in „We Must Pace the Frontier“

Diese Warnung ist das eigentliche Herzstück des Essays. Laut einer Business-Insider-Berichte könnte ein fehlgeleiteter Agentenschwarm ohne zusätzliche Sicherheitsvorkehrungen innerhalb von 6 bis 12 Monaten große Teile des Internets kapern. Amodei betont, dass Drosselung nicht bedeutet, das Modelltraining anzuhalten. Es geht darum, Unternehmen Zeit zu geben, ihre Modelle auszurichten, abzusichern und von Dritten prüfen zu lassen – und die gewonnene Zeit gezielt für Interpretierbarkeit, bessere Tests und operative Sicherheit zu nutzen.

Kritik gibt es trotzdem. In Entwickler-Communitys wie Hacker News und Reddit kursiert der Verdacht, der Vorstoß sei in Wahrheit Regulatory Capture: Große, etablierte Labs könnten über Prüf- und Zulassungspflichten Markteintrittsbarrieren gegen Open-Source-Modelle errichten. Andere vermuten eine Reaktion auf ein mögliches Plateau beim Skalieren der eigenen Frontier-Modelle. Beide Lesarten sind Spekulation – Amodei weist die Vorwürfe in seinem Essay zurück und verweist darauf, dass Anthropic schon reguliert worden sei, als die Branche noch gegen jede Regulierung war.

Was das für Anleger bedeutet

Für die Börse ist die Meldung ein Doppel-Signal. Kurzfristig steht viel auf dem Spiel: Die Hyperscaler pumpen Hunderte Milliarden in Rechenzentren, Chips und KI-Modelle, und ihre Börsenbewertung setzt auf weiteres rasantes Wachstum. Wenn Frontier-Labs ihr Tempo tatsächlich drosseln, könnte das die Nachfrage nach Trainings-Rechenleistung und den Rhythmus neuer Modellgenerationen verlangsamen.

Gleichzeitig könnte der Plan das Gegenteil bewirken: Sauberere Trainingsumgebungen, mehr Evaluierungen und eingebettete Prüfer kosten eigene Rechenleistung und Personal. Sicherheits- und Compliance-Aufwand bei KI-Firmen würde steigen, nicht sinken. Und der politische Teil des Plans – Chip-Embargo gegen China, Jagd auf Schmuggel, Schutz der Modellgewichte – spielt den etablierten US-Konzernen weiter in die Karten, weil es ihren Vorsprung zementiert.

Diese Aktien sind mögliche Profiteure und Betroffene

Vier Titel aus dem großen Tech-Korb haben einen konkreten Bezug zum Thema – drei als mögliche Profiteure des geplanten Sicherheits- und Regulierungsaufbaus, einer als Ziel der Drosselungslogik. Die Auswahl folgt dem Liefer- und Absatzbezug zur Frontier-KI, nicht pauschaler Sektorzuordnung.

Microsoft ist der engste OpenAI-Partner und betreibt die Infrastruktur, auf der OpenAI-Modelle trainiert und ausgeliefert werden. Wenn eingebettete Evaluatoren, wiederholte Sicherheitsprüfungen und strengere Standards zum Branchenstandard werden, wachsen Nachfrage nach Cloud-Kapazität, Überwachungs- und Compliance-Infrastruktur – Arbeit, die stark auf Azure landet.

Amazon ist über AWS und die eigene Anthropic-Beteiligung doppelt betroffen. Anthropic baut seine Modelle auf AWS-Infrastruktur; zusätzliche Evaluierungs-, Test- und Interpretierbarkeits-Rechenläufe erhöhen den Bedarf an Cloud-Ressourcen, selbst wenn das Entwicklungstempo insgesamt gedrosselt wird.

NVIDIA ist ambivalentester Fall: Als Chip-Zulieferer profitiert der Konzern von jedem neuen Trainingslauf. Drosselt die Branche das Tempo echter Spitzentrainings, könnte das das Wachstum im High-End-Segment bremsen. Gleichzeitig verlangt Amodeis Plan selbst massive Rechenleistung für Tests, Ausrichtung und Interpretierbarkeit – der Kuchen verschiebt sich also eher, als dass er schrumpft.

Alphabet sitzt als Frontier-Lab mit Gemini selbst am Steuer und müsste sich – will es im Wettbewerb nicht isoliert werden – denselben Prüfstandards unterwerfen. Zugleich hat Google mit eigener Chip-Fertigung, Cloud und Sicherheitsforschung am wenigsten zu fürchten: Regulierung, die große Labs mit tiefen Taschen überleben, trifft kleinere Konkurrenten härter.

Der wichtige Vorbehalt

Nichts von all dem ist beschlossene Sache. Amodeis Essay ist ein Vorschlag – Stufe eins hat Anthropic unilateral zugesagt, Stufe zwei und drei brauchen Branchen- und Weltkoordination, die es so noch nicht gibt. Ob demokratische Regierungen kartellrechtliche Ausnahmen schaffen, ob China bei irgendeiner Stufe mitmacht und ob die versprochene METR-Prüfung die selbst gesteckten Ansprüche erfüllt, ist offen. Für Anleger ist der 12. September vor allem ein Datum, an dem die Debatte über das Tempo der KI von Thinktanks in die Chefetagen gewandert ist – und das ist eine neue Lage.

Meine Meinung dazu:

Der Vorstoß von Amodei und die breite Schützenhilfe aus dem Silicon Valley zeigen ein neues Maß an Reife im Sektor. Die Ära des uneingeschränkten, unkontrollierten Tempos weicht zusehends einer Phase der behördlichen und externen Audits. Langfristig ist dieser Schritt hin zu mehr Stabilität und Risikokontrolle kein Hindernis für den KI-Boom, sondern das notwendige Fundament für dessen nachhaltigen, kommerziellen Erfolg. – Patrick E. – Team Goldesel