Was ist ein KI-Rechenzentrum? [Video und Quiz]

Kurz gesagt: Ein KI-Rechenzentrum ist ein mit hoher Dichte, an dem Stromversorgung, Kühlung, Infrastruktur und Speicher auf das Training und die Bereitstellung von Modellen ausgerichtet sind – kein Serverraum mit zusätzlichen GPUs. Die Chips stehen im Mittelpunkt; die Infrastruktur entscheidet über ihren Erfolg. Falls die Bilder nicht exportiert werden können, kann eine kleine Zelle nachgerüstet werden; die meisten Teams sollten mieten.

Wichtigste Erkenntnisse:

Chips vs. Gebäude: Stromversorgung, Kühlung, Infrastruktur und Speicherkapazität entscheiden darüber, ob die Beschleuniger funktionieren.

Räume statt Paläste: Rüsten Sie zwei Racks nach, wenn die Daten nicht abfließen können; kaufen Sie keinen Campus.

Mittelwert vs. Median: Bei acht Durchläufen wurden Neustarts durch den Median ausgeblendet; verwenden Sie den 18-Stunden-Mittelwert.

Missbrauchsresistenz: Geben Sie keinen PUE-Wert für zwei Racks in einer gemischten Halle an.

Beispielhafte Ergebnisse: Acht Durchläufe ergeben eine kleine Karte, keine 50%ige Produktionsersparnis.

Artikel, die Sie im Anschluss an diesen Artikel vielleicht interessieren:

🔗 Ist KI zuverlässig? Video und Quiz
Erkunden Sie die Zuverlässigkeit von KI anhand eines ansprechenden Videos und eines interaktiven Quiz.

🔗 Wie man KI im Alltag einsetzt
Entdecken Sie praktische Möglichkeiten, wie KI alltägliche Aufgaben und Routinen vereinfachen kann.

🔗 Wie Sie KI im Arbeitsalltag einsetzen können
Lernen Sie praktische Wege kennen, KI für eine intelligentere Produktivität am Arbeitsplatz zu nutzen.

🔗 Kann KI selbstständig denken?
Können künstliche Intelligenz tatsächlich unabhängig denken und logische Schlussfolgerungen ziehen?

Wie es sich von einem "normalen" Rechenzentrum unterscheidet

Herkömmliche Serverhallen sind für gemischte Arbeitslasten und hohe Verfügbarkeit vieler kleiner Dienste optimiert. Redundanz ist wichtig, und auch der PUE-Wert – der zusätzliche Energieverbrauch des Gebäudes pro Watt Rechenleistung – spielt eine Rolle. Normalerweise plant man aber nicht jeden Korridor um ein Rack herum, das sich wie eine mobile Heizanlage verhält.

KI-Plattformen kehren die Verhältnisse um. Die Dichte steigt. Das Netzwerk wird zu einem unverzichtbaren Bestandteil des Trainingsprozesses. Der Speicher muss die Checkpoints in Bewegung halten, sonst stehen die Beschleuniger still, wie Rennpferde im Stau.

Es gibt auch einen kulturellen Unterschied. Enterprise-Ops denken in Tickets und Änderungsfenstern. AI-Ops denken in Jobwarteschlangen und dem mulmigen Gefühl, wenn ein Knotenpunkt in einem Langzeitbetrieb ausfällt. Man könnte beide wohl trotzdem als „Rechenzentren“ bezeichnen, denn das sind sie ja. Die Bezeichnung verschleiert nur die Infrastruktur.

Keine moralische Rangliste. Unterschiedliche Maschinen, gleicher Familienname.

GPUs, Beschleuniger und das Rack, das Strom frisst

Geht man durch ein herkömmliches Regal mit erhöhtem Boden, wirken die Regale fast schon höflich. Geht man hingegen durch eine Reihe mit KI-gestützten Regalen, scheinen sie das ganze Gebäude verschlingen zu wollen.

Die herausragende Hardware ist nicht etwa eine leistungsstarke CPU, sondern der Beschleuniger-Tray: GPUs oder andere KI-Chips, die in Servern, Racks und schließlich in Reihen untergebracht sind und sich eine Hochgeschwindigkeits-Fabric teilen. GPU-Verbindungen verknüpfen die Chips zu einem System, das die Funktion eines einzigen riesigen Beschleunigers übernimmt; die Cluster-Fabric bewirkt dasselbe im Reihenmaßstab. Paralleles Training funktioniert nur, wenn diese Verbindungen leistungsstark und zuverlässig sind. Geht das verloren, ist der „Cluster“ nichts weiter als ein Haufen teurer Workstations, die sich ein Netzwerk teilen.

Die Stromversorgung folgt den Chips. Nicht einer klobigen Büro-PDU. Megawatt IT-Last, sobald ein Saal voll ist – ich will keine Zahl erfinden. Die Dichte pro Rack ist der entscheidende Punkt. Weniger Racks. Jedes einzelne ein kleiner Ofen. Der limitierende Faktor ist oft das Umspannwerk, nicht die gewünschte Anzahl an GPUs. Sie kennen das ja: Die Einkaufsabteilung will mehr Beschleuniger; der Energieversorger will ein langes Gespräch und einen dicken Scheck.

Eine etwas alberne Metapher, die mir nicht aus dem Kopf geht: Der Gestütsständer ist wie ein hungriges Tier. Man kann ein schnelleres züchten. Man muss ihn trotzdem füttern und die Hitze beseitigen. Lässt man eines von beidem aus, wird er zu einem teuren Briefbeschwerer.

Strom, Wärme und das Kühlungsproblem

Strom rein. Wärme raus. Das ist die ganze Religion.

Hochdichte Regalsysteme geben Wärme auf eine Weise ab, für die Luft eigentlich nicht ausgelegt ist. Man kann die Luftzirkulation zwar verstärken – Wärmetauscher an der Rückseite, heißere Gänge, ausgeklügelte Systeme zur Wärmeableitung – und das funktioniert bis zu einem gewissen Punkt. Dann tritt Flüssigkeit auf:

• Direkte Chipkühlung

• Kühlkreisläufe, die den Maschinenraum wie eine Chemiefabrik aussehen lassen

• Das Eintauchen in einige Designs, das immer noch diejenigen verblüfft, die der Meinung sind, Wasser und Server sollten keinen gemeinsamen Satz teilen

Nichts davon ist glamourös. Es ist alles Teil des Produkts, denn ein Gaspedal, das nur drosselt, ist eines, für das man bereits bezahlt hat und das man nicht voll ausnutzen kann.

PUE ist nach wie vor wichtig. Es ist ein Verhältniswert, keine Charakteristik. Betreiber achten darauf, denn jedes Watt, das für Lüfter und Pumpen ausgegeben wird, fehlt der GPU. Ich werde keine „typische“ Zahl nennen; Klima und die Definition der Grenzen beeinflussen sie, und falsche Genauigkeit ist schlimmer als gar keine. Auch Wasser spielt eine Rolle. Manche Pflanzen saugen, manche schlucken. Verdunstungskühlung ist effizient, solange sie nicht durch Flüsse oder Dürre politisch infrage gestellt wird.

Netzwerktechnik: Warum die Hardware genauso wichtig ist wie die Chips

Die Leute fotografieren die GPUs. Sie sollten die Schalter fotografieren.

Training ist ein Dialog. Tausende von Beschleunigern tauschen Gradienten, Parameter und Modellfragmente synchron aus. Bei Verzögerungen im Netzwerk hängt der gesamte Prozess vom langsamsten Knoten ab. Deshalb konzentrieren sich KI-Experten so stark auf Netzwerke mit hoher Bandbreite, geringe Latenz und Topologien, die bei einem Verbindungsausfall nicht zusammenbrechen. InfiniBand-ähnliche Netzwerke, Ethernet in derselben Funktion, GPU-Verbindungen im Gehäuse und Verkabelungen, die auf Anhieb funktionieren müssen.

Inferenz ist ein anderes Thema. Beim Modell-Serving kommt es auf die Latenz im letzten Schritt an – die langsamste Antwort, nicht die durchschnittliche. Batch-Verarbeitung vs. Echtzeitverarbeitung unterscheidet die Anforderungen grundlegend. Ein Trainingscluster benötigt große, kollektive Anfragen, die möglichst alle gleichzeitig bearbeiten. Eine Serviceflotte hingegen bevorzugt viele kleine Anfragen und eine isolierte Verarbeitung, ohne einen Stau beim Load Balancer.

Was ich hier noch übersehen habe: Man behandelt das Netzwerk wie die Sanitäranlagen und die Chips wie das Restaurant. In diesem Gebäude sind die Sanitäranlagen das Restaurant. Vergisst man das, kauft man eine Küche, die keine Lieferungen annehmen kann.

Training vs. Inferenz: zwei Gebäude, manchmal buchstäblich

Training ist ein langer Prozess. Man baut einen Cluster auf, speist ihn mit Daten, erstellt regelmäßig Checkpoints, lässt ihn stunden- oder wochenlang laufen und hofft, dass alles reibungslos funktioniert. Batch-lastig, bandbreitenintensiv, geduldig und geduldig – bis ein ausgefallener Knoten den Lauf unterbricht. Ein einziger defekter Beschleuniger in einem eng gekoppelten Job kann den gesamten Prozess lahmlegen.

Inferenz ist wie ein Schaufenster. Bereits trainierte Modelle beantworten nun Fragen, klassifizieren Bilder und generieren Texte. Die Latenz ist entscheidend. Ein etwas älterer Beschleuniger in Kundennähe kann einen hochmodernen auf einem anderen Kontinent schlagen.

Es gibt also zwei Seiten. Trainingszentren streben nach Strom, Fläche und hoher Dichte. Testzentren hingegen nach geringer Latenz und hoher Verfügbarkeit. Hybride Hallen existieren ebenfalls, da Kapital begrenzt ist. Nun ja – nicht immer zwei Gebäude. Manchmal reicht eine Halle mit einem Samtseil und zwei Kühlkreisläufen.

Hier trennen sich auch die Wege von Colocation, Hyperscale-Rechenzentren und On-Premise-Lösungen. Hyperscaler realisieren Rechenzentren, die uns Normalsterbliche wie Möbelpacker aussehen lassen. Colocation-Anbieter verkaufen Rechenleistung pro Rack. On-Premise-Lösungen kommen weiterhin zum Einsatz, wenn Daten nicht exportiert werden dürfen.

Speicherdurchsatz, Checkpoints und hungrige Chips

Niemand druckt das parallele Dateisystem auf den Umschlag einer Broschüre.

Die Trainingsdaten müssen schnell genug eintreffen, damit die GPUs nicht überlastet werden. Checkpoints müssen gesetzt werden, damit ein Absturz nicht eine ganze Woche zunichtemacht. Die Modellgewichte müssen geladen sein, bevor eine virtuelle Maschine aktiv wird. Der Speicherdurchsatz – nicht nur die Kapazität – ist der eigentliche Flaschenhals. Man kann ein Vermögen für Beschleuniger ausgeben und sie mit einem für virtuelle Maschinen ausgelegten, leistungsschwachen Array ausbremsen.

Das Muster ist bekannt: ein glänzender Cluster, eine Job-Warteschlange und E/A-Wartezeiten, die einem wie eine saftige Rechnung entgegenstarren. Rechenclustering ohne Clustering des Datenpfads führt zu teurem Leerlauf. Entweder man sorgt für ausreichend Rechenleistung oder man gibt zu, dass man sich eine Skulptur gekauft hat.

Software, Orchestrierung und die wenig glamouröse Betriebsschicht

Die Hardware ist der Star. Die Planer erledigen die Arbeit.

Ein KI-Rechenzentrum ist nutzlos, wenn Jobs keine GPUs finden, wenn zwei Teams sich einen Cluster nicht ohne Streit teilen können, wenn ein ausgefallener Server nicht ersetzt werden kann und wenn die Firmware so lange driftet, bis das gesamte System schleichend zusammenbricht. Orchestrierung, Überwachung, Leistungsbegrenzung – die unscheinbare Betriebsebene, an der man erkennt, wie wichtig sie ist.

Diese Schicht liegt mir besonders am Herzen. Und wenn eine falsch konfigurierte Netzwerkkarte einen ganzen Nachmittag lang ein Kühlproblem vortäuscht … das merkt man erst, wenn man es selbst erlebt hat.

Wenn ein Knoten mitten im Lauf ausfällt

Ein Knoten fällt aus. Änderungsfenster kollidieren weiterhin mit Trainingsläufen, die sich nicht an Ihren Kalender halten. Sie planen große Jobs gebündelt, isolieren Inferenzpools und erstellen Runbooks für Fehler, die zunächst wie „Der Job ist langsam“ aussehen, bis sie schließlich wie „Der Job ist abgebrochen“ wirken. Redundanz ist nach wie vor wichtig – Stromversorgung, Kühlung, Pfade, Speicher –, aber der Fehlermodus ist weniger elegant als die alte Verfügbarkeitsgarantie von neun Neunen. Inferenz: Replikat, den ausgefallenen Knoten entlasten, weiterhin Anfragen beantworten. Training benötigt Checkpoints, keinen Optimismus.

Lage, Wasserversorgung, Stromnetz und Nachbarn

Man stellt so etwas nicht neben ein Ferienhaus, um die Aussicht zu genießen.

Der Netzanschluss ist oft der eigentliche Entscheidungspunkt bei der Standortwahl. Land ist im Vergleich zu einem Umspannwerk und einem Versorgungsunternehmen mit anderen Kunden relativ einfach zu beschaffen. Wasser zur Kühlung, falls benötigt, wird bei starkem Regen schnell zum Problem für die Nachbarn. Lärm. Optische Beeinträchtigung. Hitze an der Grundstücksgrenze. Planungsausschüsse äußern Bedenken gegenüber der „Cloud“, sobald ein Feld und ein Fluss benötigt werden.

Die Latenz wirkt in die andere Richtung. Inferenz profitiert von der Nähe zu Nutzern und Verbindungen. Training kann in günstigeren Strommärkten und kühleren Klimazonen stattfinden. Die Branche spricht, als gäbe es den einen perfekten Standort. Den gibt es nicht. Es gibt einen Kompromiss, der in einer Pressemitteilung zum Ausdruck kommt.

Restwärme und der ungebetene Ofen

In Broschüren wird dieser Satz gern verwendet. Die Abwärme in Häuser, Pools und Gewächshäuser leiten – ein schöner Satz. Manchmal funktioniert die Wärmeverteilung im Stadtgebiet tatsächlich. Manchmal liegt der Campus am falschen Ort, und die Wärme entweicht trotzdem in die Luft. Ich bin skeptisch, was die Broschürenversion angeht; an den physikalischen Grundlagen zweifle ich nicht.

Wer braucht eins (und wer sollte stattdessen mieten)

Die meisten Menschen brauchen keinen solchen Saal.

Die ungeschminkte Liste:

• Hyperscaler, weil das Produkt die Flotte ist

• Labore, wenn die Wartezeit der Engpass ist oder Daten nicht abfließen können

• Eine Bank, ein Krankenhauskonzern, eine Regierung oder ein Hersteller mit einem geheimen Datensatz – ob lokal oder in einem privaten Rechenzentrum – kann rational handeln, auch wenn es umständlich ist

Alle anderen sollten mieten. Colocation mit KI-fähiger Dichte. Eine Cloud-Reservierung. Ein verwalteter Cluster. Sie erhalten die Beschleuniger, ohne gleichzeitig Kraftwerksbetreiber zu werden. Die anfängliche Begeisterung verfliegt, sobald jemand fragt, wer um 3 Uhr nachts für den Kühlkreislauf zuständig ist.

Da spielt schon ein gewisser Stolz mit, das gebe ich zu. Den Cluster zu besitzen, fühlt sich an, als besäße man die Mittel zur Vorhersage. Doch dann kommt die Stromrechnung, und der Stolz verfliegt.

Wozu dient das Gebäude?

Was ist also ein KI-Rechenzentrum? Ein spezialisierter Campus mit hoher Dichte, in dem Beschleuniger, Stromversorgung, Kühlung, Infrastruktur und Speicher auf das Training und die Bereitstellung von Modellen ausgerichtet sind – keine gewöhnliche IT-Anlage mit einer GPU in der Ecke. Es sieht aus wie eine Lagerhalle. Es verhält sich wie ein Kraftwerk, das mathematische Berechnungen durchführt.

Wenn Sie sich nur eines merken: Die Chips ernten den Ruhm; Umspannwerk, Kühlmittel und Netzwerk entscheiden darüber, ob diese Chips eine gute Idee waren. Training und Inferenz können unter einem Dach vereint sein; dennoch benötigen sie unterschiedliche Umgangsformen. Die meisten Organisationen sollten mieten. Einige wenige sollten bauen. Die Nachbarn werden es so oder so bemerken.

Die Wolke hatte schon immer ein Gebäude. Heutzutage hat das Gebäude Meinungen.

Praxisbeispiel: Eine Trainingszelle mit zwei Racks, wenn die Bilder nicht aussteigen können

Szenario

Tomos leitet die Infrastruktur bei Kestrel Precision, einem 400-köpfigen Fertigungsunternehmen in den West Midlands. Dort gibt es bereits eine kleine, eigene Serverhalle: ERP-Systeme, Dateifreigaben, virtuelle Maschinen – die typische Mischung aus Büroumgebung, mit der dieser Artikel begann. Klimaanlage. Standard-Ethernet. Ein SAN, das für Bürofestplatten völlig ausreichend ist.

Das Team für maschinelles Sehen muss ein Inspektionsmodell an den Destillierapparaten der Fabrik trainieren. Die Apparate dürfen das Werksgelände nicht verlassen. Sie zeigen einen Prozess, den das Unternehmen nicht in der Cloud speichern wird, auch nicht in einer privaten. Die Lösung der Einkaufsabteilung besteht aus vier Dual-Accelerator-Servern und einer Präsentationsfolie mit dem Titel „Unser KI-Rechenzentrum“. Die Server werden in zwei vorhandenen Racks untergebracht, da dort Platz vorhanden ist und der Platz als Engpass empfunden wurde.

Nein, das stimmt nicht. Innerhalb von zwei Wochen laufen die GPUs zwar, drosseln dann aber stillschweigend ihre Leistung. Die Jobs laufen nur im Schneckentempo, wenn ein Checkpoint im SAN ankommt. Ein Knoten fällt nach elf Stunden aus, und der gesamte Lauf ist einfach weg. Tomos hat nicht etwa keine Chips gekauft. Er hat einen ganzen Stapel teurer Workstations erworben, die sich alle die gleiche Postleitzahl teilen. Das Gebäude war immer noch ein Firmengebäude.

Sie brauchen keinen Campus, kein neues Umspannwerk und keinen Fluss. Sie benötigen eine kleine Zelle, die wie ein KI-Rechenzentrum im Miniaturformat funktioniert: ausreichend Strom für die Racks, Wärmeabfuhr ohne Beschädigung der Chips, eine geeignete Schnittstelle für die Trainingsprozesse, Speicherkapazität für Checkpoints und ein Notfallprotokoll für den Fall, dass ein Knoten ausfällt. Da die Images nicht übertragen werden dürfen, ist die Anmietung eines Rechenzentrums 40 Minuten entfernt nicht die Lösung. Die Nachrüstung zweier Racks hingegen schon.

Was die Zelle braucht

• Ein genau berechneter Stromverbrauch dieser Serverreihe, basierend auf den PDUs und nicht auf den GPU-Wunschlisten, ist entscheidend. Reicht die Reservekapazität nicht aus, um die vier Server unter Trainingslast zu versorgen, ist die Diskussion beendet und man sucht nach einer dichteren Rechenzentrumslösung – kein Wunder

• Die Luftkühlung war bei dieser Dichte nie vorgesehen: Wärmetauscher an der Rückseite, falls die Halle dies zulässt, oder alternativ ein kleiner Flüssigkeitskreislauf. Falls beides nicht möglich ist, werden die Server nicht installiert

• Zwischen den vier Knoten wird eine dedizierte Hochgeschwindigkeits-Fabric verwendet, nicht das Büro-Ethernet. Wenn der Anbieter nur einen 10-Gb-Switch im Sortiment hat, handelt es sich nicht um einen Cluster

• Lokaler schneller Speicher für Checkpoints und Trainings-Shards, nicht das VM-SAN

• Ein Scheduler, ein Prüfpunktintervall und ein definierter Neustartpfad. Die Hardware steht im Mittelpunkt. Diese Schicht ist die Aufgabe

• Eine abgeschottete Inferenzbox für die Produktionslinie, getrennt vom Trainingsverkehr, denn der Server benötigt geringe Latenz und Isolation, nicht ein kollektives

• Berechtigung zum Protokollieren von Stromverbrauch, GPU-Taktraten, Drosselungsereignissen und Laufzeit der Prozesse. Können diese Daten nicht eingesehen werden, werden die GPUs fotografiert, und die Schalter werden übersehen

Beispielanleitung

Tomos formuliert dies in der Beschreibung der Einrichtungen in einfacher Sprache:

Nennen Sie dies nicht KI-Campus. Bauen Sie in der bestehenden Halle eine Trainingszelle mit zwei Racks für vier Dual-Accelerator-Server. Die Werksimages bleiben vor Ort. Erfolg bedeutet: Die vier Knoten absolvieren ein 12-Epochen-Inspektionstraining ohne thermische Drosselung, schreiben einen Checkpoint in Minuten statt in Dutzenden von Minuten und setzen die Arbeit an diesem Checkpoint fort, wenn wir einen Rang absichtlich abbrechen. Die Kühlung muss die GPUs auf ihrer Trainingstaktfrequenz halten. Das Netzwerk muss ein gemeinsames Fabric für diese vier Server sein, kein Pfad durch die Büroarchitektur. Der Speicher muss die Chips mit Strom versorgen. Falls rückseitige Wärmetauscher nicht passen, sagen Sie dies und beenden Sie das Projekt. Geben Sie keinen PUE-Wert für zwei Racks in einer gemischt genutzten Halle an. Dieser Wert wäre unrealistisch.

Dann integriert er dies in die Ausbildungsbeschreibung selbst:

Alle 30 Minuten einen Checkpoint im lokalen Schnellpool setzen. Falls ein Rang stirbt, vom letzten abgeschlossenen Checkpoint neu starten. Nicht auf das SAN warten. Nicht weiter trainieren, wenn die Trainingsuhren aufgrund von Hitze gesunken sind. Dies protokollieren und beenden, damit wir den Stall analysieren können.

Eine gute Stunde sieht so aus: Alle acht GPUs laufen mit Trainingstakt, Checkpoint-Datei ist gespeichert, der Job läuft weiterhin synchron. Eine schlechte Stunde sieht so aus: Lüfter auf Hochtouren, Taktfrequenzen sind gesunken, Checkpoint wurde nach zehn Minuten zu 2 % geschrieben, und jemand im Büro sagt: „Der Cluster läuft.“ Laufen bedeutet nicht Training.

Wie man es testet

Sie schreiben den Test vor der Nachrüstung, was ja der ganze Sinn der Sache ist, einer Demo nicht zu vertrauen.

• Das gleiche 12-Epochen-Rezept, die gleichen 120.000 Kontrollstillstände, acht Durchläufe

• Die Zeitangabe bezieht sich auf die Laufzeit eines abgeschlossenen Rezepts, einschließlich etwaiger Neustarts, gemessen vom Absenden des Auftrags bis zum letzten Prüfpunkt der Epoche 12

• Hitzeprobleme werden vermieden: Die GPU-Taktraten bleiben während des gesamten Durchlaufs auf dem Trainingsziel. Ein Drosselungsereignis führt zu einem Fehlschlag, selbst wenn der Job letztendlich abgeschlossen wird

• Ein Blick auf die Speicherung: Schreibzeit der Prüfpunkte, Median und längste Zeit, aus dem Jobprotokoll

• Ein Hinweis zum Stoff: Die Arbeit wartet nicht kollektiv, solange eine Reihe gesund ist. Wenn sie diese Wartezeit nicht sehen können, ist die Instrumentierung nicht abgeschlossen

• In zwei der acht Durchläufe wird absichtlich an einer festgelegten Stelle ein Rang getötet, um den Neustartpfad zu testen

• Die Inferenzprüfung ist ein separater Test mit 200 Bildern, der von der Produktionslinie bis zum Aufschlagplatz durchgeführt wird. Ein erfolgreicher Trainingslauf gilt nicht als erfolgreicher Aufschlag

• Sie erfassen die Rack-Leistung der PDUs in 15-Minuten-Abschnitten, sodass niemand ein Megawatt erfinden muss

Akzeptanz für die Bezeichnung „KI-fähig“ der Zelle: 8 von 8 Rezepten abgeschlossen; 0 von 8 zeigen eine thermische Drosselung; beide abgebrochenen Läufe werden fortgesetzt; Checkpoints bleiben in Minuten. Falls sie das verpassen, haben sie immer noch einen Serverraum mit leistungsstarken Grafikkarten.

Ergebnis

Beispielhaftes Ergebnis aus einem fiktiven Test mit acht Durchläufen, keine veröffentlichte Kestrel-Angabe.

Annahmen: vier Dual-Accelerator-Server in zwei Racks; ein Inspektionsmodell; 120.000 Standbilder; acht Durchläufe eines festen 12-Epochen-Rezepts; die Wandzeit beinhaltet Neustarts bis zum Abschluss des Rezepts; Drosselung bedeutet einen protokollierten Abfall der Trainingszeit; der Prüfpunktzeitpunkt ist der Schreibzeitpunkt, nicht der Wunschzeitpunkt; die Rack-Leistung wird anhand von PDU-Samples gemessen, nicht anhand des Campus-PUE.

Vor der Umrüstung befanden sich die GPUs in herkömmlichen luftgekühlten Racks im Büro-Ethernet und im VM-SAN:

• 5 von 8 Läufen wurden im ersten Versuch erfolgreich abgeschlossen. Durchschnittliche Laufzeit dieser fünf Läufe: 14 Stunden

• Drei von acht Prozessen mussten nach einem Stillstand nach etwa elf Stunden neu gestartet werden (zwei, weil ein Knoten mit einem veralteten Checkpoint ausgefallen war, einer, weil ein Checkpoint das SAN gefüllt hatte). Sofortiger Neustart, keine Wartezeit über Nacht: elf Stunden verschwendet plus ein zweiter Versuch von 14 Stunden, also insgesamt 25 Stunden bis zum Abschluss des Prozesses bei diesen drei Prozessen

• Die durchschnittliche Zubereitungszeit aller acht Rezepte, inklusive Neustarts, betrug 18 Stunden. (Fünf Rezepte dauerten 14 Stunden, drei 25 Stunden. Der Median aller acht Rezepte liegt weiterhin bei 14 Stunden, wodurch die Neustarts nicht berücksichtigt würden. Daher dient hier der Mittelwert als Basiswert.)

• Bei 7 von 8 Läufen wurde eine thermische Drosselung protokolliert. Mittlere Laufzeit mit reduzierter Taktfrequenz: 3 Stunden bei einem 14-stündigen Versuch

• Checkpoint-Schreibvorgang: Median 22 Minuten

• Ranglistenkills waren keine Prüfung, die sie bestehen konnten. Sie hatten kein Handbuch. Die beiden Unfälle waren der Befund

• Die maximale IT-Last der beiden Racks während des Trainings betrug ca. 18 kW. Die Racks hatten die nötige Leistung. Es fehlte jedoch an Kühlung und Material

Nach den rückseitigen Wärmetauschern dieser beiden Racks, einem dedizierten Fabric zwischen den vier Knoten, einem kleinen NVMe-Pool für Checkpoints, 30-minütigen Checkpointing-Funktionen und einem Neustart-Runbook:

• 8 von 8 im ersten Versuch beendet. Durchschnittliche Laufzeit: 9 Stunden

• Thermische Drosselung: 0 von 8

• Schreibvorgang am Checkpoint: Median 90 Sekunden. Langsamster Wert: 3 Minuten

• Die beiden gezielten Rangkills wurden beide ab dem letzten 30-Minuten-Checkpoint fortgesetzt. Die zusätzliche Spielzeit für diese beiden Läufe betrug jeweils etwa 40 Minuten, inklusive Diagnose, sodass die beiden Läufe insgesamt knapp 9 Stunden und 40 Minuten dauerten. Der Durchschnitt über acht Läufe beträgt immer noch rund 9 Stunden

• Die maximale IT-Last liegt weiterhin bei etwa 18 kW. Gleiche Chips. Unterschiedliches Gebäudeverhalten

In dieser Stichprobe sank die durchschnittliche Zubereitungszeit für ein fertiges Rezept von 18 auf 9 Stunden, also 9 Stunden pro Durchgang, insgesamt 72 Stunden über acht Durchgänge. Die Erfolgsquote beim ersten Versuch verbesserte sich von 5 von 8 auf 8 von 8. Die Anzahl der Versuche, die Geschwindigkeit zu reduzieren, sank von 7 von 8 auf 0 von 8. Diese letzte Zahl verrät, ob die Investition sich gelohnt hat oder nicht. Sie werden die Zeitersparnis nicht als 50%ige Produktionssteigerung bezeichnen. Acht Durchgänge sind eine kleine, überschaubare Stichprobe.

Diese Zahlen sind eine beispielhafte Schätzung basierend auf dem genannten Test, einer kleinen Stichprobe, einem Modell und einer gemischten Halle. Sie stellen weder einen PUE-Wert noch einen Megawatt-Wert für einen Campus dar und belegen auch nicht, dass Kestrel ein Trainingsgelände im Freien errichten sollte. Die Auswertung der Protokolle erfolgte innerhalb der neun Stunden; sie wurde nicht verheimlicht. Der Wert von 18 kW ist ein gerundeter PDU-Messwert, keine Stromrechnung. Die 72 Stunden wurden nicht in Kosten umgerechnet, da der Mischstromtarif des Werks eine falsche Wirtschaftlichkeitsberechnung ermöglicht hätte.

Die Überprüfung der Bilddarstellung erfolgte separat und in kleinerem Umfang: 200 Zeilenbilder für den umzäunten Kasten, alles vor Ort. Das ist Schlussfolgerung, kein Training. Die Vermischung der beiden wäre ein Fehler im Kleinen gewesen, vergleichbar mit dem Hybrid-Hall-Problem.

Was kann schiefgehen?

• Die Einkaufsabteilung bezeichnet vier Server immer wieder als „KI-Rechenzentrum“. Hinter dieser Bezeichnung verbirgt sich die eigentliche Infrastruktur, und die nächste Anschaffung betrifft weitere GPUs für dasselbe marode Rechenzentrum

• Die Wärmetauscher an der Rückseite werden eingebaut, und niemand nimmt die Wasserseite in Betrieb. Die Ventilatoren jubeln immer noch. Die Uhren fallen immer noch

• Das Netzwerk besteht aus einem einzigen Switch ohne Reservepfad. Fällt eine Verbindung aus, besteht der „Cluster“ wieder nur aus vier Workstations

• Die Checkpoints bleiben im SAN, da sich der NVMe-Pool in „Phase zwei“ befand. Phase zwei trifft nicht vor dem nächsten ausgefallenen Knoten ein

• Sie geben einen PUE-Wert für zwei Racks in einer gemischten Halle an. Klima, Begrenzung und die übrigen ERP-Komponenten machen dieses Verhältnis zu einer Sonderanfertigung

• Schulung und Einsatz sind eng miteinander verbunden. Eine Überschwemmung an einem Kontrollpunkt führt zu Produktionsstillständen. Die Verzögerung am Ende ist hier das entscheidende Faktor, nicht die Dichte

• Ein Knoten fällt aus, und jemand behandelt dies als Ausfallproblem anstatt als Neustart nach einem Checkpoint. Die Betriebsabteilungen von Enterprise und AI reden einen ganzen Nachmittag lang aneinander vorbei

• Sie hätten einen Käfig mieten können, doch die Bilder dürfen nicht entweichen. Indem sie diese Einschränkung vergessen, geraten sie in ein Gespräch in den Wolken, das sie erst wieder entwirren müssen

Praktische Erkenntnisse

Ein KI-Rechenzentrum dieser Art ist kein Lagerhaus und auch keine GPU-Rechnung. Es ist die Zelle, die es Beschleunigern ermöglicht, ihre Rechenleistung zu erbringen: ausreichend Energie, abzuführende Wärme, eine Infrastruktur, einen Kontrollpunkt und einen Ansprechpartner, der im Falle eines Ausfalls eines Servers die Verantwortung übernimmt. Kestrel brauchte keinen Campus. Zwei Racks reichten, um endlich ernst zu machen. Die meisten Teams sollten sich dieses Verhalten aneignen. Einige wenige, mit einem geheimen Datensatz und einer Halle, die der Hitze standhält, sollten eine eigene Zelle bauen und sich nicht mit dem Standard zufriedengeben.

Häufig gestellte Fragen

Was ist ein KI-Rechenzentrum?

Ein Rechenzentrum mit hoher Dichte, in dem Stromversorgung, Kühlung, Netzwerk und Speicher auf paralleles Training und die Bereitstellung von Modellen ausgerichtet sind – nicht auf ordentliche Reihen von Allzweckservern. Es ist so konzipiert, dass eine große Anzahl von Beschleunigern Modelle trainieren und bereitstellen kann, ohne zu überhitzen, im Netzwerk auszubremsen oder auf Festplattenspeicher zu warten. Ein gewöhnliches Bürogebäude ist ein gemischtes Viertel. Ein KI-Zentrum hingegen ist eine Monokultur, deren Wertmaßstab der Beschleuniger ist, beispielsweise GPUs oder TPU-Chips. Es sieht aus wie ein Lagerhaus und verhält sich wie ein Kraftwerk, das mathematische Berechnungen durchführt.

Worin unterscheidet sich ein KI-Rechenzentrum von einem normalen Rechenzentrum?

Traditionelle Rechenzentren sind für gemischte Arbeitslasten und hohe Verfügbarkeit vieler kleiner Dienste optimiert. KI-Standorte kehren diese Verhältnisse um: Die Dichte steigt, das Netzwerk wird zur unverzichtbaren Grundlage für den Trainingsprozess, und der Speicher muss Checkpoints aktualisieren, sonst stehen die Beschleuniger still. Unternehmensbetriebe denken in Tickets und Änderungsfenstern. KI-Betriebe denken in Job-Warteschlangen und dem mulmigen Gefühl, wenn ein Knotenpunkt mitten in einem langen Lauf ausfällt. Man könnte beide Rechenzentren weiterhin so bezeichnen. Die Bezeichnung verschleiert lediglich die zugrundeliegende Infrastruktur.

Warum verbrauchen KI-Rechenzentren so viel Energie?

Die herausragende Hardware ist nicht etwa eine leistungsstarke CPU, sondern der Beschleuniger-Tray: GPUs oder andere KI-Chips, die in Servern, Racks und Reihen untergebracht sind, die sich eine Hochgeschwindigkeits-Fabric teilen. Die Dichte pro Rack ist der Clou: weniger Racks, jedes einzelne ein kleiner Hochleistungsprozessor. Sobald eine Halle voll belegt ist, entstehen IT-Lasten in Megawatt-Mengen, wobei es wenig Sinn macht, einen typischen Wert anzugeben. Der limitierende Faktor ist oft das Umspannwerk, nicht die gewünschte Anzahl an GPUs.

Wie werden KI-Rechenzentren gekühlt?

Hochdichte Racks leiten Wärme auf eine Weise ab, für die Luft nie wirklich ausgelegt war. Mit rückseitigen Wärmetauschern, optimierten Kühlkanälen und cleveren Kühlsystemen lässt sich die Luftzirkulation verbessern. Dann kommt die Flüssigkeitskühlung ins Spiel: Direktkühlung des Chips, Kühlkreisläufe und in einigen Designs sogar Immersionskühlung. Ein Leistungsbeschleuniger, der die Leistung drosselt, ist ein bereits bezahlter, den man nicht voll ausnutzen kann. Der PUE-Wert ist weiterhin wichtig, denn jedes Watt, das für Lüfter und Pumpen aufgewendet wird, fehlt der GPU. Auch Wasser spielt eine Rolle: Manche Pflanzen saugen, manche schlucken.

Warum ist die Netzwerktechnik genauso wichtig wie die GPUs?

Training ist ein Dialog: Tausende von Beschleunigern tauschen Gradienten, Parameter und Modellfragmente synchron aus. Bei Störungen im Netzwerk hängt der gesamte Prozess vom langsamsten Knoten ab. Deshalb konzentrieren sich KI-Experten so stark auf Hochgeschwindigkeitsnetzwerke, geringe Latenz, InfiniBand-ähnliche oder Ethernet-ähnliche Verbindungen und Topologien, die bei einem Verbindungsausfall nicht zusammenbrechen. Inferenz ist auf geringe Latenz, viele kleine Anfragen und Isolation angewiesen. In diesem System ist die Infrastruktur das Herzstück.

Wozu dient ein KI-Rechenzentrum: zum Training oder zur Inferenz?

Training ist ein Prozess: Man baut einen Cluster auf, speist ihn mit Daten, führt regelmäßige Checkpoints durch und lässt ihn stunden- oder wochenlang laufen. Inferenz ist wie ein Schaufenster: Bereits trainierte Modelle liefern nun Antworten – und zwar mit relevanter Latenz. Trainingszentren streben nach Leistung, Fläche und Dichte. Inferenzzentren hingegen nach Latenz und Verfügbarkeit. Hybride Rechenzentren existieren, weil Kapital begrenzt ist; manchmal verfügt ein Rechenzentrum über zwei Kühlkreisläufe. Ein etwas älterer Beschleuniger in Kundennähe kann einen hochmodernen auf einem anderen Kontinent schlagen.

Warum ist Speicherplatz in einem KI-Rechenzentrum wichtig?

Die Trainingsdaten müssen schnell genug eintreffen, damit die GPUs nicht überlastet werden. Checkpoints müssen gespeichert werden, damit ein Absturz nicht eine ganze Woche an Daten zunichtemacht. Die Modellgewichte müssen geladen sein, bevor eine virtuelle Maschine aktiv wird. Der Speicherdurchsatz, nicht nur die Kapazität, ist der eigentliche Flaschenhals. Man kann ein Vermögen für Beschleuniger ausgeben und sie mit einem für virtuelle Maschinen ausgelegten, leistungsschwachen Array ausbremsen.

Was passiert, wenn ein Knoten mitten im Lauf ausfällt?

Ein ausgefallener Beschleuniger in einem eng gekoppelten Trainingsprozess kann den gesamten Ablauf lahmlegen. Training benötigt Kontrollpunkte, keine unrealistischen Erwartungen. Die Inferenz entlastet den ausgefallenen Knoten, hält eine Replik bereit und gewährleistet die Verfügbarkeit. Änderungsfenster kollidieren weiterhin mit Trainingsläufen, die sich nicht an Ihren Zeitplan halten. Redundanz ist nach wie vor wichtig für Stromversorgung, Kühlung, Pfade und Speicher, aber der Ausfallmodus ist weniger präzise als die frühere Verfügbarkeitsgarantie von 99,999 %.

Welche Auswirkungen hat ein KI-Rechenzentrum auf das Stromnetz, die Wasserversorgung und die Anwohner?

Die Netzanbindung ist oft der entscheidende Faktor bei der Standortwahl. Land ist im Vergleich zu einem Umspannwerk und einem Versorgungsunternehmen mit anderen Kunden relativ einfach zu beschaffen. Kühlwasser kann, falls benötigt, bei starkem Regen schnell zum Problem für die Nachbarn werden, ebenso wie Lärm, die optische Präsenz und die Wärmeentwicklung am Grundstückszaun. Schulungsanlagen können in günstigeren Strommärkten und kühleren Klimazonen betrieben werden. Die Nähe zu Nutzern ist von Vorteil. Es gibt keinen idealen Standort. Eine Pressemitteilung muss einen Kompromiss finden.

Muss ich ein KI-Rechenzentrum besitzen oder sollte ich es mieten?

Die meisten Menschen benötigen keine eigenen Rechenzentren. Hyperscaler bauen sie, weil ihr Produkt die gesamte Rechenkapazität ist. Labore bauen sie, wenn Wartezeiten zum Engpass werden oder Daten nicht abfließen können. Für Banken, Krankenhäuser, Behörden oder Hersteller mit vertraulichen Datensätzen kann der Einsatz von On-Premise-Lösungen oder privaten Colocation-Räumen sinnvoll sein. Alle anderen sollten mieten: KI-fähige Colocation, Cloud-Reservierung oder einen Managed Cluster. So erhalten Sie die Leistungsbeschleuniger, ohne zum Betreiber eines Rechenzentrums zu werden.

Referenzen

1. IEA - www.iea.org

2. LBNL - datacenters.lbl.gov

3. Das Grüne Stromnetz – www.thegreengrid.org

4. LBNL - datacenters.lbl.gov

5. LBNL - datacenters.lbl.gov

6. Uptime Institute – journal.uptimeinstitute.com

7. NVIDIA – developer.nvidia.com

8. NVIDIA – docs.nvidia.com

9. NVIDIA – docs.nvidia.com

10. NVIDIA – docs.nvidia.com

11. Google Cloud – docs.cloud.google.com

Entdecken Sie die neuesten KI-Lösungen im offiziellen KI-Assistenten-Shop

Über uns