Der CEO von Anthropic skizziert einen Plan zur Verlangsamung der KI-Entwicklung
Dario Amodei hat die Branche lediglich gebeten, das Tempo zu drosseln. Nicht ganz anzuhalten, sondern es zu erhöhen. Ein langer Essay, drei Schritte und die Warnung, dass die rekursive Selbstoptimierung bereits schneller voranschreitet, als die Erwachsenen sie überprüfen können.
Anthropic lädt eigenmächtig eingebettete Gutachter ins Gebäude ein – mit Ausweisen, Schreibtischen, Laptops und dem Recht, Ergebnisse ohne PR-Filter zu veröffentlichen. Dann will er, dass demokratische Labore Sicherheitsstandards koordinieren. Und schließlich, irgendwie, ein Abkommen mit autoritären Regierungen. Klingt einfach. In der Praxis schwierig.
Er behauptet weiterhin, KI könne ein Wunder sein. Gleichzeitig sagt er aber auch, ein leistungsfähigerer, unkoordinierter Schwarm könne mit einem persistenten Botnetz das Internet übernehmen und Schäden in Milliardenhöhe anrichten. Diese beiden Aussagen stehen nebeneinander und widersprechen sich.
Ach ja – und er möchte eine eng gefasste Kartellrechtsausnahme, damit die Sicherheitsgespräche selbst kein rechtliches Problem darstellen. Die Bremsen werden natürlich mit Papierkram geliefert. Selbstverständlich.
Sam Altman bestätigt, dass OpenAI dieses Jahr nicht an die Börse gehen wird. Ein Börsengang wäre angesichts der Sicherheitsbedenken im Bereich der KI zum jetzigen Zeitpunkt „unüberlegt“
Altman gab ein Exklusivinterview und beendete damit die Börsenpläne. Ein Börsengang zum jetzigen Zeitpunkt wäre „unüberlegt“. Die Sicherheitsvorkehrungen seien noch nicht abgeschlossen, die Angleichung noch nicht erfolgt und die Gesellschaft noch nicht bereit. Auf Nachfrage erklärte er: Nicht in diesem Jahr.
Die Banker hatten bereits das Interesse geweckt. Die vertrauliche Akte existiert. Nun sagt der CEO, dass es zunächst viel zu tun gäbe, unter anderem herauszufinden, wie die Zusammenarbeit zwischen Industrie und Regierung überhaupt funktionieren soll. Er klang fast erleichtert, abwarten zu können.
Er sagte außerdem, die Entwicklung einer KI jenseits menschlicher Kontrolle sei „absolut“ möglich – und versprach, das Training zu pausieren, sollte sich diese Richtung ergeben. Kühn. Vielleicht auch praktisch. Womöglich beides. Die Verflechtung von gemeinnützigen und gewinnorientierten Organisationen, so argumentierte er, existiere, damit diese Entscheidungen treffen könnten, die nicht offensichtlich im Interesse der Aktionäre lägen. Wir werden sehen, ob diese Aussage einem tatsächlichen Börsenprospekt standhält.
Sam Altman von OpenAI deutet ein Abkommen mit anderen KI-Unternehmen zur Bewältigung von Sicherheitsrisiken an
Dasselbe Interview, andere Überschrift, und diesmal ist es nur ein Gerücht. Ein Treffen mit Amodei, Musk und Demis Hassabis wäre der logische nächste Schritt. Altman glaubt, dass es dazu kommen wird. Er kündigt private Gespräche normalerweise nicht im Voraus an. Dann hat er sie im Grunde doch angekündigt.
Ein zweistelliges Katastrophenrisiko sei nicht akzeptabel, sagte er. Die noch nicht veröffentlichten Modelle seien bereits so leistungsfähig, dass ein weiteres Voranschreiten ohne verbesserte Überwachungsmöglichkeiten leichtsinnig erscheine. Reale Pakte und sorgfältig abgelassene Atmosphäre könnten von außen identisch aussehen.
Die Mitarbeiter hatten intern bereits eine ähnliche Version gehört. Öffentlich herrscht noch Unklarheit. Wenn der Raum eingerichtet wird, umso besser. Wenn nicht, hat das Zitat dennoch seinen Zweck erfüllt.
Sam Altman unterstützt Dario Amodeis Aufruf zur Verlangsamung und sagt, OpenAI werde dasselbe tun
Nur wenige Stunden nach dem Essay verkündete Altman, dass OpenAI die Zusage für integrierte Evaluatoren einhalten werde. Zugriff wie für Mitarbeiter. Weitere Informationen folgen in Kürze. Musk schrieb drei Worte: „Dario hat Recht.“ Drei rivalisierende CEOs. Ein Slogan. Angespannte Wochenendstimmung.
Koordination und Inszenierung können Hand in Hand gehen. Die erste Stufe von Amodeis Plan hat nun zwei der größten Labore öffentlich zur Kenntnis genommen. Hugging Face – ja, genau das Hugging Face – hat um die Teilnahme am Evaluierungsprogramm gebeten und die sogenannte Open Alignment Initiative ins Leben gerufen. Transparenz von den Betroffenen. Poetisch oder pointiert?.
Europa hat, um genau zu sein, niemanden, den man um eine Ausnahmeregelung nach US-Vorbild bitten könnte. Brüssel hat die Erteilung individueller Ausnahmen schon vor langer Zeit eingestellt. Die Annäherung erfolgt also amerikanisch. Der Rest der Welt… da zuckt man mit den Schultern.
OpenAI will einfach nur gewinnen
Nach einem Wochenende voller Interviews herrscht unter Mathematikern keine Feierlaune. OpenAIs Navier-Stokes-Sprint – rund zehntausend Agenten, Rechenleistung im Wert von mehreren zehn Millionen Dollar, 88 Stunden – wirkt aus der Perspektive der Mathematiker wie eine Trophäenjagd. Die Mathematiker wollen Erkenntnisse gewinnen. Das Labor hingegen, so betonen sie immer wieder, will gewinnen.
Tristan Buckmaster erzählte ihnen, OpenAI habe ihm unbegrenzte Rechenleistung und die alleinige Autorenschaft angeboten, wenn er die Zusammenarbeit mit seinem Anthropic-Mitarbeiter beendete. Er nannte es Bestechung. Er lehnte ab. OpenAI beteuert kategorisch, seine Codex-Eingaben hätten das System nicht beeinflussen können. Er ist nicht überzeugt. Andreas Thom fragt sich weiterhin, ob ChatGPT-Gespräche über seine eigene Arbeit das Modell, das später darauf aufbaute, beeinflusst haben. Nur das Unternehmen selbst wisse das. Er vermutet, dass sie es selbst nicht wissen.
Und jetzt kommt der Clou: OpenAI gibt an, bereits erhebliche Fortschritte bei einem anderen Millennium-Prize-Problem erzielt zu haben. Welches, bleibt geheim. Clay braucht ohnehin noch eine lange Akzeptanzphase in der Community. Also hat noch niemand „gewonnen“. Alle arbeiten bereits am nächsten Problem. Clever.
Häufig gestellte Fragen
Wie plant Dario Amodei, CEO von Anthropic, die Entwicklung von KI zu beschleunigen?
Amodei veröffentlichte einen langen Essay, in dem er die Branche aufforderte, das Tempo zu drosseln – nicht zu stoppen –, da die rekursive Selbstoptimierung schneller voranschreite, als die Prüfer mithalten könnten. Der erste Schritt bestehe darin, eigenmächtig eingebettete Evaluatoren mit Ausweisen, Arbeitsplätzen, Laptops und dem Recht, Ergebnisse ohne PR-Filter zu veröffentlichen, in die Anthropologie einzuladen. Anschließend wolle er, dass demokratische Labore Sicherheitsstandards koordinieren und schließlich eine Art Abkommen mit autoritären Regierungen schließen. Er strebe außerdem eine eng gefasste Ausnahmeregelung vom Kartellrecht an, damit Sicherheitsgespräche selbst kein rechtliches Problem darstellten.
Warum sagte Sam Altman, dass OpenAI dieses Jahr nicht an die Börse gehen wird?
In einem Exklusivinterview erklärte Altman, ein Börsengang wäre zum jetzigen Zeitpunkt unklug, da Sicherheitsmaßnahmen, die Abstimmung mit der KI und die gesellschaftliche Bereitschaft noch nicht abgeschlossen seien. Auf Nachfrage bestätigte er, dass es dieses Jahr nicht so weit sein werde, obwohl Banken Interesse zeigten und ein vertraulicher Antrag vorliege. Er argumentierte, die Struktur aus gemeinnütziger und gewinnorientierter Organisation ermögliche es OpenAI, Entscheidungen zu treffen, die nicht offensichtlich im Interesse der Aktionäre lägen. Er sagte außerdem, die Entwicklung einer KI jenseits menschlicher Kontrolle sei durchaus möglich und versicherte, er würde das Training pausieren, sollte sich diese Richtung ergeben.
Hat Altman auf einen Sicherheitspakt mit anderen KI-Laboren angespielt?
Im selben Interview äußerte Altman die Vermutung, dass es zu einem Treffen mit Branchenkollegen wie Amodei, Musk und Demis Hassabis kommen werde, lehnte es jedoch ab, vertrauliche Gespräche vorab anzukündigen. Er argumentierte, ein zweistelliges Katastrophenrisiko sei inakzeptabel und die noch unveröffentlichten Modelle seien bereits so leistungsfähig, dass ein weiteres Vorantreiben ohne bessere Überwachungsmöglichkeiten leichtsinnig erscheine. Da die Mitarbeiter intern bereits eine ähnliche Version gehört hatten, könnten die öffentlichen Äußerungen eher eine Andeutung auf eine Abstimmung als die Bestätigung einer endgültigen Vereinbarung sein.
Wird OpenAI das Versprechen von Anthropic bezüglich eines eingebetteten Evaluators einhalten?
Wenige Stunden nach Amodeis Essay postete Altman, dass OpenAI die Zusage für integrierte Evaluatoren mit mitarbeiterähnlichem Zugriff und bald weiteren Details ergänzen werde. Elon Musk schrieb, Dario habe Recht, und brachte damit drei konkurrierende CEOs auf eine ähnliche Linie. Hugging Face beantragte die Aufnahme in das Evaluatorenprogramm und startete eine Initiative zur offenen Ausrichtung. Europa kann nicht dieselbe kartellrechtliche Ausnahmeregelung nach US-Vorbild wie Amodei anbieten, daher ist die Annäherung vorerst hauptsächlich amerikanisch.
Warum kritisieren Mathematiker den Navier-Stokes-Sprint von OpenAI?
Mathematiker beschreiben OpenAIs Navier-Stokes-Lauf mit rund zehntausend Agenten über 88 Stunden als eine Art Trophäenjagd, bei der der Sieg wichtiger ist als die Erkenntnis. Tristan Buckmaster gab an, OpenAI habe ihm unbegrenzte Rechenleistung und die alleinige Autorenschaft angeboten, falls er die Zusammenarbeit mit einem Anthropic-nahen Mitarbeiter beenden würde; er nannte dies Bestechung und lehnte ab. OpenAI beteuert, seine Codex-Eingaben hätten das System nicht beeinflusst, doch Buckmaster bleibt skeptisch. Andreas Thom hinterfragt weiterhin, ob die Chats von ChatGPT über seine eigene Arbeit die spätere Modellentwicklung beeinflusst haben.
Hat OpenAI Fortschritte bei einem weiteren Millennium-Preisproblem gemeldet?
OpenAI gibt an, bereits erhebliche Fortschritte bei einem anderen Millennium-Preisproblem erzielt zu haben, nennt aber nicht, um welches es sich handelt. Das Clay Mathematics Institute benötigt noch eine lange Phase der Zustimmung der wissenschaftlichen Gemeinschaft, weshalb der Preis noch nicht offiziell vergeben wurde. Innerhalb der Fachwelt deutet diese Geheimhaltung, zusammen mit dem vorangegangenen Wettlauf um die Navier-Stokes-Gleichungen, darauf hin, dass die Labore bereits um die nächste Trophäe kämpfen. Interviews von The Verge verdeutlichen die Spannung: Mathematiker suchen nach tiefergehenden Erkenntnissen, während OpenAI den Preis gewinnen will.