KI-Jobs über fünf Rechenzentren und eine externe Cloud planen
Welcher KI-Job läuft wann, in welchem Rechenzentrum und auf welcher GPU-Generation, und was wird extern gemietet, damit wichtige Jobs pünktlich fertig werden, die eigenen GPUs über den Tag belegt sind und wenig gemietet wird?
Ziehen dreht, Ziehen mit rechter Maustaste oder mit Umschalttaste verschiebt die Karte, Scrollen oder Zwei-Finger-Geste zoomt. Die Oberseite jedes Racks zeigt seine GPU-Generation. Seine zwei Lichtfelder (je 32 GPUs) zeigen den Job, der dort läuft: blau Online-Inferenz, lila Training, orange Fine-Tuning, türkis Batch-Inferenz. Das Schild jedes Rechenzentrums zeigt, wie viele seiner GPUs belegt sind. Hellgrüne Lichtfelder sind Experimente. Die oberste Zeile des Plans zeigt die GPUs im Einsatz über den Tag: grün eigene, rot on demand gemietet, gelb als Spot gemietet, die gestrichelte Linie ist die eigene Kapazität. Ein Klick auf ein Rack zeigt seinen Job im Plan; Balken zeigen Details beim Überfahren. Plan berechnet mit einem Timefold-Modell.
Die Planungsfrage
Dieses Beispiel ist eine fiktive Zusammenstellung. Die Rechenzentren, Flotten, Preise, Jobs und Leistungswerte sind erfunden. Die GPU-Modellnamen (NVIDIA A100, H100, H200, B200, AMD MI250X, MI300X) bezeichnen nur den Hardwaretyp, mit öffentlichen, gerundeten Kennwerten. Es gibt keine Verbindung zu einem Hersteller, Betreiber oder Cloud-Anbieter.
Fünf Rechenzentren auf einer abstrakten Karte betreiben 9.728 GPUs. RZ Nord hat 1.536 NVIDIA H100 und 1.024 A100, RZ West 1.024 H200 und 1.024 H100, RZ Mitte 1.024 B200 und 512 H200, RZ Süd 1.024 AMD MI300X und 512 MI250X, RZ Ost 1.536 A100 und 512 MI250X. Eine externe Cloud vermietet NVIDIA H100 mit 80 GB auf zwei Arten: on demand für 3,00 € je GPU-Stunde, immer verfügbar, oder als Spot für 1,20 € je GPU-Stunde. Spot-Kapazität kann kurzfristig zurückgenommen werden. Deshalb nutzen sie nur Jobs mit Checkpoints, und ein Aufschlag von 15 % deckt die Wiederholungen.
An einem Dienstag schicken fünf Teams 480 Jobs, etwa 117 % dessen, was die eigenen GPUs an einem Tag schaffen. Online-Inferenz ist die Grundlast: je Region und 3-Stunden-Block ein fester Durchsatz, mit der Spitze am Abend. 16 Trainingsläufe mit 256 bis 1.024 GPUs haben ein Ziel für heute; was bis 24:00 nicht fertig ist, läuft morgen weiter. 52 Fine-Tuning-Jobs kommen zwischen 05:00 und 15:00, die meisten von 06:30 bis 09:00, jeder ist 3 bis 6 Stunden später fällig. 150 Batch-Inferenz-Jobs sind flexibel; 39 davon müssen um 07:00 fertig sein. 230 Experimente (Forschungsläufe, Evaluierungen, Parameterstudien) laufen nach Kapazität: nur auf eigenen GPUs, und was nicht passt, wartet auf morgen. Ein Job läuft auf allen seinen GPUs gleichzeitig an einem Ort. Manche brauchen 141 GB je GPU, manche laufen nur mit CUDA.
So planen wir
Das Timefold-Modell plant jeden Job mit vier Variablen: den GPU-Pool (Rechenzentrum und Generation, die Cloud on demand oder als Spot, oder für Experimente: morgen), den Start und für Jobs mit Checkpoints Lage und Länge einer Pause. Auf einer neueren Generation ist ein Job schneller fertig (angenommener Durchsatz im Vergleich zu einer A100: H100 2,0, H200 2,4, B200 4,0, MI250X 0,9, MI300X 2,2). Online-Inferenz braucht einen Durchsatz, also braucht eine schnellere Generation weniger GPUs. Die Daten in ein anderes Rechenzentrum zu kopieren dauert 15 Minuten, in die Cloud 30 Minuten; das Fortsetzen nach einer Pause dauert 15 Minuten. Harte Regel sind die GPUs je Pool in jeder Viertelstunde. Danach zählen verspätete wichtige Jobs (Fine-Tuning, Batch mit Frist 07:00). Dann wägt der Plan Geld ab: die externe Miete gegen den Wert der Arbeit, die heute liegen bleibt, angenommen mit 2,00 € je A100-Stunde für Training hinter seinem Ziel und 1,00 € für ein wartendes Experiment. Strom ist bewusst nicht enthalten, weil er die Entscheidung im Vergleich zur Miete kaum ändert. Timefold plant in zwei Schritten: zuerst die Jobs, die laufen müssen, dann füllen die Experimente die Lücken, und alles darf sich noch verschieben.
Zum Vergleich dient eine verbreitete Arbeitsweise, nachgebildet als feste Regel und mit denselben Daten gerechnet. Jedes Team nutzt sein Heimat-Rechenzentrum. Jobs werden in der Reihenfolge ihres Eingangs bedient, im ersten freien Zeitfenster des ersten Pools mit genug Speicher, Experimente zuletzt. Würde ein Job mehr als eine Stunde warten oder seine Frist verpassen, wird er gemietet: als Spot, wenn er Checkpoints hat, sonst on demand. Der Timefold-Plan startet mit diesem Plan und verbessert ihn 2 × 2 Minuten lang. Das Ergebnis ist der beste Plan aus dieser Zeit. Ob es einen noch besseren gibt, ist nicht bewiesen.
Was der Plan zeigt
| Kennzahl | Optimierter Plan | Vergleich: feste Team-Kontingente |
|---|---|---|
| wichtige Jobs pünktlich | 100 % +9,9 | 90,1 % |
| eigene GPUs belegt | 99,1 % +10,5 | 88,6 % |
| rent on demand | 0 € −14.820 | 14.820 € |
| rent spot | 37.492 € −26.352 | 63.844 € |
| experiments done today | 71,2 % −0,4 | 71,6 % |
Entscheidungen
- Rechenzentrum und GPU-Generation oder die externe Cloud (on demand oder Spot) für jeden Job
- Start jedes Jobs in 15-Minuten-Schritten
- eine Pause für Jobs mit Checkpoints (Training, Batch-Inferenz): wann und wie lange
Randbedingungen
- genug GPUs mit genug Speicher an einem Ort zur selben Zeit
- Fristen und Prioritäten: zuerst Online-Inferenz, dann Fristen, dann der Rest
- Spot nur für Jobs mit Checkpoints, Experimente nur auf eigenen GPUs
Ziel
wichtige Jobs pünktlich, danach wenig externe Miete und viel erledigte Arbeit: eigene GPUs voll, Spot vor on demand
Fragen
Sind die Rechenzentren, Preise und Werte echt?
Nein. Alles ist eine fiktive Zusammenstellung: die Rechenzentren, Flotten, Mieten, Jobs, Teams, Werte und Leistungswerte. Die Herstellernamen NVIDIA und AMD bezeichnen nur den GPU-Typ; der Speicher je GPU ist der öffentliche, gerundete Kennwert, der Durchsatz ist eine Annahme. Es gibt keine Verbindung zu einem Hersteller, Betreiber oder Cloud-Anbieter.
Warum gibt es mehr Arbeit als Kapazität?
Weil das der Normalfall ist. In einem GPU-Cluster ist die Warteschlange fast nie leer: Experimente, Evaluierungen und Parameterstudien warten auf freie GPUs. Der Plan entscheidet, was heute läuft und was wartet. So bleiben die eigenen GPUs bis Mitternacht belegt, statt am Abend leerzulaufen.
Was mietet der Vergleich?
81 Jobs für 78.664 €. 23 Fine-Tuning-Jobs haben keine Checkpoints und gehen on demand (14.820 €); 4 Trainingsläufe und 54 Batch-Jobs gehen als Spot (63.844 €). Neun wichtige Jobs werden zu spät fertig. Am Abend fallen die eigenen GPUs um 22:00 auf 60 %, weil Experimente nur in ihrem Heimat-Rechenzentrum starten.
Was mietet der Plan?
2 Trainingsläufe und 27 Batch-Jobs, alle als Spot, für 37.492 €, und nichts on demand. Die Fine-Tuning-Jobs bleiben auf den schnellen eigenen GPUs, fünf Jobs mit Checkpoints pausieren, um Platz zu machen, und alle 91 wichtigen Jobs werden pünktlich fertig. Batch als Spot zu mieten kostet weniger, als die Experimente wert sind, für die es Platz macht.
Was passiert über den Tag?
Die oberste Zeile des Plans zeigt es. Die eigenen GPUs laufen den ganzen Tag zu 94 bis 100 %, im Mittel zu 99 %, im Vergleich zu 89 %. Die Experimente füllen jede Lücke: 71 % ihrer Arbeit sind heute erledigt, so viel wie im Vergleich, und 38 von 230 warten auf morgen (Vergleich: 49). Zwei Trainingsläufe laufen wenige Minuten über Mitternacht weiter.
Kann es während des Tages neu planen?
Ja. Gestartete Jobs bleiben fest. Ein neuer dringender Job, ein ausgefallenes Rack oder ein günstigeres Mietangebot werden mit denselben Regeln eingeplant.
Weitere Anwendungsfälle
Ihr Planungsproblem sieht anders aus?
Jeder Betrieb hat eigene Regeln. Erzählen Sie uns von Ihren. Wir bewerten Machbarkeit und Potenzial in einem kostenlosen Erstgespräch.
Kostenloses Gespräch buchen Schreiben Sie uns