Der Posten \u201eCloud-Speicher\u201c im Budget eines KI-Projekts ist so gut wie nie der Grund f\u00fcr Kosten\u00fcberschreitungen. Die Speicherkosten sind vorhersehbar \u2013 Sie kennen die Gr\u00f6\u00dfe des Datensatzes, Sie kennen den Preis pro GB, und Sie k\u00f6nnen die monatlichen Kosten bereits vor Projektbeginn berechnen. Der Posten, der Teams v\u00f6llig unvorbereitet trifft, ist derjenige, der in der urspr\u00fcnglichen Sch\u00e4tzung nicht auftaucht: die Daten\u00fcbertragung. <\/p>\n\n
Die Cloud-Kosten f\u00fcr KI-Workloads im Jahr 2026 liegen um 30 bis 40 Prozent \u00fcber den Prognosen. Nicht, weil Speicherplatz teurer geworden ist \u2013 sondern weil beim Training Datenverkehr entsteht, den niemand im Budget eingeplant hat. Diese Kosten sind nicht neu. Neu ist jedoch ihr Ausma\u00df. <\/p>\n\n
Sprechen Sie mit einem Nexsan\u00ae-Experten \u00fcber die Unity\u2122 NV-Serie und die Infrastruktur f\u00fcr KI-Training \u2192<\/a><\/strong><\/p>\n\n Warum verursachen KI-Workloads unerwartete Geb\u00fchren f\u00fcr den Datenausgang aus der Cloud?<\/strong><\/p>\n\n\n\n Cloud-Ausgangsgeb\u00fchren \u2013 die bei AWS, Azure und GCP mit 0,08 bis 0,12 US-Dollar pro Gigabyte berechnet werden \u2013 fallen jedes Mal an, wenn Daten aus dem Cloud-Speicher zur Verarbeitung \u00fcbertragen werden. Beim KI-Training wird ein Datensatz nicht nur einmal gelesen, sondern wiederholt \u2013 bei jeder Epoche, jedem Checkpoint-Speichern, jeder Checkpoint-Wiederherstellung und jedem Validierungsdurchlauf. Ein 10-TB-Trainingsdatensatz mit regelm\u00e4\u00dfigen Wiederholungsl\u00e4ufen kann monatlich Ausgabekosten in H\u00f6he von 4.000 US-Dollar verursachen, noch bevor das Modell bereitgestellt wird. <\/p>\n<\/blockquote>\n\n Ausgangsgeb\u00fchren sind keine Besonderheit der Preisgestaltung von Cloud-Anbietern. Sie sind das logische Ergebnis einer bestimmten architektonischen Gegebenheit: Trainingsdaten und Rechenleistung f\u00fcr das Training sind durch eine Netzwerkabrechnungsgrenze voneinander getrennt. <\/p>\n\n Wenn KI-Recheninstanzen Trainingsdaten aus Cloud-Objektspeichern \u2013 AWS S3, Azure Blob, GCP Cloud Storage \u2013 abrufen, \u00fcberschreiten sie diese Grenze. Der Cloud-Anbieter erfasst die \u00dcbertragung und stellt sie in Rechnung: 0,087 $\/GB bei Azure, 0,09 $ bei AWS und 0,08 bis 0,12 $ bei GCP, je nach Zielort. Dabei handelt es sich nicht um Strafzuschl\u00e4ge. Auf diese Weise berechnen Cloud-Anbieter die Netzwerknutzung, die Ihr Trainingsauftrag verursacht. <\/p>\n\n Bei der meisten Planung von KI-Infrastrukturen wird der Datenausgang als vernachl\u00e4ssigbar betrachtet \u2013 als Rundungsfehler, der zu den Rechen- und Speicherkosten hinzukommt. Die Architektur garantiert jedoch, dass der Datenausgang erheblich sein wird. Es handelt sich hierbei nicht um eine Abrechnungsanomalie, sondern um die vorhersehbare Folge einer Entwurfsentscheidung dar\u00fcber, wo die Daten gespeichert werden. <\/p>\n\n Erfahren Sie, wie sich die Berechnung der Gesamtbetriebskosten (TCO) f\u00fcr KI-Workloads vor Ort ver\u00e4ndert \u2192<\/a><\/strong><\/p>\n\n Der Grund daf\u00fcr, dass der Datenausgang gr\u00f6\u00dfer ist als erwartet, liegt nicht in der Gr\u00f6\u00dfe des Datensatzes. Es kommt vielmehr darauf an, wie oft die Daten w\u00e4hrend des Trainings verarbeitet werden. <\/p>\n\n Ein Modelltraining auf einem 10-TB-Datensatz verschiebt nicht 10 TB. Es verschiebt 10 TB pro Epoche \u2013 und die meisten Trainingsl\u00e4ufe ben\u00f6tigen zwischen 10 und 50 Epochen, um zu konvergieren. Jede Epoche entspricht einem vollst\u00e4ndigen Durchlauf des Datensatzes. Bei jeder Checkpoint-Speicherung wird der Modellzustand zur\u00fcck in den Speicher geschrieben. Bei jeder Checkpoint-Wiederherstellung \u2013 wenn ein verteilter Lauf fehlschl\u00e4gt oder neu gestartet wird \u2013 wird dieser Zustand wieder abgerufen. Bei Validierungsdurchl\u00e4ufen wird ein separater Ausschnitt gelesen. Bei der Hyperparameter-Optimierung wird die Sequenz ab fr\u00fcheren Checkpoints erneut ausgef\u00fchrt. <\/p>\n\n Der gesamte Datenverkehr f\u00fcr einen einzelnen Trainingsdurchlauf mit einem 10-TB-Datensatz betr\u00e4gt in der Regel 100 TB bis 500 TB. Bei 0,09 US-Dollar pro GB belaufen sich die Kosten auf 9.000 bis 45.000 US-Dollar pro Durchlauf. Teams, die die Cloud-Kosten als \u201e10 TB \u00d7 Speicherpreis\u201c modellierten, lagen bereits vor Abschluss der ersten Epoche um eine Gr\u00f6\u00dfenordnung daneben. <\/p>\n\n Selbst bei einem bescheideneren Szenario \u2013 einem 10-TB-Datensatz mit vier bis f\u00fcnf vollst\u00e4ndigen Durchl\u00e4ufen pro Woche \u2013 fallen immer noch monatliche Ausgangsdatenkosten in H\u00f6he von rund 4.000 US-Dollar an. Die Speicherkosten f\u00fcr denselben Datensatz auf AWS S3: rund 230 US-Dollar pro Monat. Der Posten f\u00fcr die ausgehende Daten\u00fcbertragung ist mehr als 17-mal so hoch wie der Posten f\u00fcr die Speicherung, und genau dieser Posten war in der Sch\u00e4tzung nicht ber\u00fccksichtigt worden. <\/p>\n\n\n
Die Abrechnungsgrenze ist ein architektonisches Merkmal und keine Anomalie bei der Preisgestaltung<\/strong><\/h2>\n\n
Wie Training den Transfer verst\u00e4rkt<\/strong><\/h2>\n\n