Table of Contents
Noch vor zwei Jahren bedeutete „eigenes AI“ für die meisten Unternehmen vor allem eines: ein Abonnement für ChatGPT oder Copilot. Heute erreichen immer mehr Organisationen den Punkt, an dem die Cloud nicht mehr ausreicht. Dafür gibt es meist drei Gründe: Kosten, die mit der Anzahl der Anfragen steigen, Daten, die das Unternehmen nicht verlassen dürfen, und der Bedarf, dass AI mit eigenen Dokumenten, Datenbanken und Prozessen arbeitet statt mit allgemeinem Wissen aus dem Internet.
Damit stellt sich die Frage: Welchen Server für AI sollte man eigentlich kaufen, und was kostet er?
Die Antwort ist spannender, als man vermuten könnte, denn die Preisspanne ist enorm: von einem buchgrossen Gerät für etwas mehr als CHF 4’000 bis zu einer Maschine für über CHF 434’131.50. Und wichtig ist: Jede dieser Lösungen hat ihre Berechtigung – nur jeweils für andere Anforderungen. Im Folgenden beschreibe ich drei Investitionsstufen, die Kalkulation, die vor der Entscheidung sinnvoll ist, sowie fünf Fragen, mit denen sich die passende Hardware auswählen lässt, ohne zu viel oder zu wenig zu kaufen.
Was unterscheidet einen AI-Server von einem herkömmlichen Server?
Ein herkömmlicher Server ist um den Prozessor herum aufgebaut. Ein AI-Server dreht sich um die GPU-Module – sie übernehmen die gesamte Arbeit mit den Modellen, während die übrige Hardware zu ihrer Unterstützung dient. Daraus ergeben sich drei praktische Unterschiede.
- GPU-Module und ihr Speicher. In einer solchen Maschine arbeiten vier bis acht Beschleuniger – in Rack-Servern meist als PCIe-Karten, in den leistungsstärksten Plattformen als auf einer gemeinsamen Platine verlötete Module. Ihr gesamter Speicher ist der wichtigste Parameter der gesamten Beschaffung – dazu gleich mehr.
- Strom. Acht Karten unter Last benötigen 5–6 kW, also etwa so viel wie mehrere Dutzend Bürocomputer. Dafür sind eine entsprechend ausgelegte Stromversorgung des Racks und eine leistungsfähige Wärmeabfuhr im Serverraum erforderlich.
- Netzwerk. Für eine einzelne Maschine genügt ein übliches schnelles Netzwerk. Werden mehrere Server zu einem System zusammengeschaltet, sind deutlich schnellere Verbindungen erforderlich, da die GPU-Module in unterschiedlichen Gehäusen Daten mit einer Latenz austauschen müssen, die mit dem Betrieb innerhalb eines einzigen Gehäuses vergleichbar ist.
Es handelt sich also nicht einfach um einen „leistungsstärkeren Server“, sondern um eine andere Hardwarekategorie, die nach anderen Kriterien ausgewählt wird.
GPU-Speicher: die eine Kennzahl, die die gesamte Auswahl strukturiert
Ein Parameter ist wichtiger als der Preis: wie viel Speicher die GPU-Module im Server insgesamt bieten.
Warum? Das Modell muss vollständig in diesen Speicher passen – ähnlich wie eine Datei, die in ein Programm geladen werden muss, damit sie verwendet werden kann. Reicht der Speicher nicht aus, startet das Modell schlicht nicht.
Das Modell selbst ist jedoch nur der Anfang der Kalkulation. Jeder angemeldete Benutzer und jedes analysierte Dokument beanspruchen zusätzlichen Speicher für die laufende Konversation. Dasselbe Modell benötigt für hundert Personen daher deutlich mehr Speicherplatz als für eine Person – und gerade die Benutzerzahl, nicht allein die Modellgrösse, entscheidet meist darüber, welche Hardwarestufe erforderlich ist.
Den grundlegenden Speicherbedarf von Modellen erläutert der Leitfaden Welchen Computer für AI wählen?. Die folgende Tabelle zeigt die zweite Dimension dieser Kalkulation: wie sich der Bedarf mit dem Umfang der Implementierung verändert. Die Werte sind Richtwerte und beziehen sich auf eine typische Produktionskonfiguration.
| Modellgrösse | 5 Benutzer | 50 Benutzer | 200 Benutzer | Hardwarestufe |
|---|---|---|---|---|
| klein (Klasse 8B) | ca. 8 GB | ca. 20 GB | ca. 50 GB | DGX Spark |
| mittel (Klasse 70B) | ca. 45 GB | ca. 70 GB | ca. 130 GB | Rack-Server, 1–2 Karten |
| gross (Klasse 200B+) | ca. 130 GB | ca. 200 GB | ca. 350 GB | Server mit acht Karten |
| Training eines eigenen Modells | mehrfach höher als der reine Betrieb | – | – | HGX-Plattform B200 |
Bezeichnungen wie 8B oder 70B geben an, aus wie vielen Milliarden Parametern ein Modell besteht – 8B steht für acht Milliarden. Je mehr Parameter ein Modell hat, desto besser ist die Antwortqualität und desto mehr GPU-Speicher beansprucht es.
Hinzu kommt ein Punkt, der leicht vergessen geht.
Reserve. Die oben genannten Werte gelten für den Normalbetrieb. Für Spitzenlasten sollte eine Reserve von 20–30% eingeplant werden, da das System bei höherem Datenverkehr sonst Anfragen zurückweist.
Stufe 1: NVIDIA DGX Spark – der Einstiegspunkt
NVIDIA DGX Spark ist ein buchgrosses Desktop-Gerät mit 128 GB Unified Memory und einer AI-Rechenleistung von rund 1 PetaFLOP. Damit lassen sich Modelle der Klasse, die bekannte Assistenten antreibt, lokal ausführen, ohne auch nur ein Dokument in die Cloud zu senden. Es sind mehrere Varianten erhältlich, die sich hauptsächlich durch die Speicherkapazität (1, 2 oder 4 TB) und das Supportpaket unterscheiden. Das vollständige Angebot in dieser Hardwareklasse, einschliesslich Modellen von acht Herstellern, finden Sie in der Kategorie Computer und Workstations für AI.
Für wen? Für ein Unternehmen, das zunächst prüfen möchte, ob AI den Kundenservice, die Vertragsanalyse oder die Angebotserstellung verbessert, bevor ein grösseres Budget freigegeben wird. Die Investition liegt bei rund CHF 5’209.58 netto und damit unter den jährlichen Abonnementkosten für AI-Tools für ein Team von etwa einem Dutzend Personen. Zwei Geräte lassen sich zu einem System verbinden.
Einschränkung. Diese Hardware ist für ein einzelnes Team ausgelegt, nicht für die gesamte Organisation. Sie lässt sich nicht in einem Rack montieren, verfügt über keine redundante Stromversorgung und kann nicht in die im Serverraum geltende Servicepolitik einbezogen werden. Wenn hundert Personen AI gleichzeitig nutzen sollen, ist die nächsthöhere Stufe erforderlich.
Stufe 2: GPU-Rack-Server – produktive AI für Unternehmen
Meiner Ansicht nach wird diese Stufe heute am häufigsten übersehen, obwohl sie für Unternehmen mit einem konkreten AI-Anwendungsfall die sinnvollste Wahl ist.
Gemeint ist eine dedizierte GPU-Plattform für das Rack (5U), die für acht Karten mit doppelter Breite ausgelegt ist. Sie ist nicht an ein bestimmtes Beschleunigermodell gebunden – die Auswahl der Karten richtet sich nach dem Einsatzzweck. Die Basis bilden zwei AMD EPYC-Prozessoren, bis zu 6 TB DDR5 Speicher in 24 Steckplätzen sowie sechs redundant arbeitende 2700 W Netzteile.
Entscheidend ist die Anzahl der Karten, denn sie bestimmt den verfügbaren GPU-Speicher. Zwei RTX PRO 6000-Karten mit jeweils 96 GB ergeben 192 GB und versorgen einen internen Assistenten für mehrere Dutzend Mitarbeitende. Die Vollausstattung mit acht Karten bietet 768 GB – genug für mehrere hundert Nutzer oder sehr grosse Modelle. Weitere Karten lassen sich im selben Gehäuse ergänzen, ohne den Server auszutauschen. Das ist der grösste Vorteil dieser Stufe: Der Einstieg muss nicht gleich als Vollausbau erfolgen.
Konkretes Modell: Supermicro AS-5126GS-TNRT Gold Series
Wird als komplett konfiguriertes System verkauft. Investitionsrahmen für die Einstiegskonfiguration mit zwei Karten: ca. CHF 108’532.85 netto. Die genaue Ausstattung und den aktuellen Preis finden Sie auf der Produktseite.
Was bedeutet das in der Praxis? Ein solcher Server kann grosse Sprachmodelle lokal ausführen, das unternehmensinterne Dokumentenarchiv analysieren, den Kundenservice automatisieren, Inhalte in mehreren Sprachen generieren oder Bilder aus der Produktionslinie auswerten. Darüber hinaus sind RTX PRO-Karten vielseitig einsetzbar: Derselbe Server kann für Rendering, technische Simulationen oder die Virtualisierung von Workstations genutzt werden. Das ist oft ein entscheidendes Argument: Die Hardware bleibt zwischen AI-Projekten nicht ungenutzt.
Für wen? In der Einstiegskonfiguration: für Unternehmen mit mehreren Dutzend Mitarbeitenden, die die Testphase abgeschlossen haben und ihren Teams Zugriff auf einen internen Assistenten mit Kenntnis der Unternehmensprozesse geben möchten. In Vollausstattung: für grosse Organisationen, Hunderte gleichzeitige Nutzer und regulierte Branchen wie Finanzwesen, Medizin oder den öffentlichen Sektor, in denen die Daten im Gebäude bleiben müssen.
Worauf ist zu achten? Die Leistungsaufnahme steigt mit der Anzahl der Karten: von ca. 2 kW bei zwei Karten auf 5–6 kW bei acht. Das Rack muss diese Leistung bereitstellen können, und die Kühlung muss die entstehende Wärme abführen. Wenn Sie eine Erweiterung planen, sollten Sie Stromversorgung und Klimatisierung von Anfang an auf die Zielkonfiguration und nicht auf die Einstiegskonfiguration auslegen.
Stufe 3: NVIDIA HGX B200 – Infrastruktur für das Training von Modellen
An der Spitze steht Hardware, über die in Berichten über den Technologiewettlauf der grössten Unternehmen weltweit zu lesen ist. Ein Server auf der Plattform NVIDIA HGX B200 verfügt über acht Blackwell-Chips, die derzeit leistungsstärksten AI-Beschleuniger auf dem Markt, mit insgesamt 1,44 TB HBM3e-Speicher – dem schnellsten, den man heute kaufen kann.
Die Maschine belegt 10U im Rack und verfügt über acht Netzwerkschnittstellen mit 400 Gb/s, da sie für den Zusammenschluss zu einem Cluster mit weiteren identischen Servern ausgelegt ist. Die Stromversorgung basiert auf sechs redundant im 3+3-Schema betriebenen Netzteilen mit jeweils ca. 5 kW. Die tatsächliche Leistungsaufnahme der Maschine unter Last liegt bei etwa 10 kW; der Rest ist Reserve und Absicherung für den Ausfallfall. Zum Lieferumfang gehören ein BlueField-3-Prozessor, der das Hauptsystem von Netzwerk- und Sicherheitsaufgaben entlastet, sowie drei Jahre Support mit Vor-Ort-Service am nächsten Arbeitstag.
Konkretes Modell: Supermicro AS-A126GS-TNBR
Ausgelegt für wissenschaftliche Berechnungen, AI, industrielle Automatisierung und Datenanalyse. Investitionsrahmen: ca. CHF 434’131.39 netto pro Server; den aktuellen Preis finden Sie auf der Produktseite.
Der Unterschied zu einem GPU-Server der zweiten Stufe besteht nicht darin, dass B200 „dasselbe nur schneller“ macht. Er besteht darin, dass er Aufgaben bewältigt, die der andere nicht in vertretbarer Zeit erledigen kann: eigene Modelle von Grund auf trainieren, Modelle mit Hunderten Milliarden Parametern feinabstimmen, Hunderte Nutzer gleichzeitig bedienen, wissenschaftliche Forschung und Simulationen im industriellen Massstab.
Für wen? Für Unternehmen, die AI-basierte Produkte entwickeln und keine fertigen Modelle einsetzen, sondern eigene erstellen. Für Forschungsinstitute und Hochschulen. Für Telekommunikationsanbieter, Banken, grosse Industriegruppen und Pharmaunternehmen.
In der Praxis wird eine solche Maschine selten allein beschafft. Hinzu kommen Netzwerkinfrastruktur, Stromversorgung und die Kühlung des Serverraums – bei 10 kW pro Gehäuse ist in der Regel Flüssigkeitskühlung erforderlich. Das ist keine reine Hardwareanschaffung, sondern eine strategische Entscheidung.
Wie wählt man einen AI-Server aus? Fünf Fragen, die Sie sich stellen sollten
Wissen Sie bereits, welche Aufgaben AI in Ihrem Unternehmen übernehmen soll?
Falls nicht, wählen Sie die erste Stufe. Zum Preis eines Premium-Laptops erhalten Sie eine Umgebung, auf der Sie innerhalb von zwei Wochen mehrere Ideen prüfen und Entscheidungen auf Basis von Fakten statt Präsentationen treffen können.
Wie viele Personen werden die Lösung nutzen und wie häufig?
Lautet die Antwort „das ganze Unternehmen, täglich“, reicht ein Desktop-Gerät nicht aus – dann ist ein GPU-Server fürs Rack die richtige Wahl. Es lohnt sich zu berechnen, wie viel Sie derzeit für Cloud-APIs und Abonnements ausgeben. Bei grossem Umfang ist eigene Hardware über zwei bis drei Jahre günstiger.
Entwickeln Sie eigene Modelle oder nutzen Sie fertige?
Der Einsatz fertiger, auch sehr grosser Modelle ist Aufgabe der zweiten Stufe. Für die Entwicklung eigener Modelle braucht es bereits B200. Hier ist die Grenze klar und es bestehen selten Zweifel, auf welcher Seite ein Unternehmen steht.
Wie gross ist das Modell, das Sie ausführen müssen, und wie viele Personen sollen es nutzen?
Sehen Sie erneut in die Speichertabelle. Wenn das ausgewählte Modell 60 GB belegt und von fünfzig Personen gleichzeitig genutzt werden soll, ist eine Karte mit 96 GB Speicher das absolute Minimum; zwei Karten bieten Komfort und Wachstumsspielraum.
Was kann Ihr Serverraum leisten?
Die häufigste Überraschung bei AI-Projekten betrifft nicht die Hardware, sondern das Gebäude: Wie viel Strom kann zugeführt werden, kann die Klimatisierung die zusätzliche Wärme abführen und ist im Rack noch Platz vorhanden? Das sollte besser vor der Bestellung als nach der Lieferung geprüft werden.
Was gehört noch zum Implementierungsbudget?
Der Serverpreis macht in der Regel 70–85% des Projektbudgets aus. Die übrigen Positionen sollten bereits in der Planungsphase berücksichtigt werden.
- Stromversorgung und Rack – PDU mit ausreichender Leistung, Phasenverteilung, unterbrechungsfreie Stromversorgung und in Teilen der Installation auch ein neuer Netzanschluss.
- Kühlung – bis etwa 5–6 kW pro Rack genügt in der Regel eine Präzisionsklimatisierung. Oberhalb von 10 kW kommt Flüssigkühlung zum Einsatz, was Anpassungen am Raum und ein separates Wartungsverfahren erfordert. Wurde der Serverraum nicht dafür ausgelegt, sollte dieser Kostenpunkt bereits in der Kalkulation berücksichtigt werden.
- Arbeitsspeicher – KI-Konfigurationen beginnen bei mehreren hundert Gigabyte, und die Preise für Servermodule sind im Jahr 2026 deutlich gestiegen. Der Unterschied zwischen 512 GB und 1 TB kann im Budget einen wesentlichen Posten ausmachen.
- Netzwerk – ein Switch mit ausreichender Bandbreite, Transceiver und Verkabelung. Bei Cluster-Konfigurationen kommt ein separates Netzwerk für die GPUs hinzu.
- Massenspeicher – Modelle und Dokumentensammlungen belegen Terabytes, und der Lesedurchsatz sollte zur Leistung der Karten passen.
- Implementierung – Installation der Software, Inbetriebnahme des Modells sowie Integration in die unternehmensweite Anmeldung und die von Ihnen genutzten Systeme.
- Support und Garantie – für Produktionsumgebungen ist Vor-Ort-Service am nächsten Arbeitstag der Standard.
Womit beginnen?
Der häufigste Fehler bei solchen Beschaffungen ist, mit dem Katalog zu beginnen. Die zielführende Reihenfolge ist umgekehrt: zuerst ein konkreter Anwendungsfall, dann die Anzahl der Nutzenden, anschliessend ein Vergleich mit den aktuellen Cloud-Kosten und erst zum Schluss die Konfiguration.
Wenn Sie noch nicht genau wissen, wofür KI eingesetzt werden soll, reicht die erste Stufe für einige Monate Tests und kostet etwa so viel wie ein Laptop. Wenn die Tests bereits abgeschlossen sind und der Assistent für das gesamte Unternehmen arbeiten soll, ist die zweite Stufe derzeit für die meisten Organisationen die sinnvollste Wahl. Die dritte Stufe wählen Sie, wenn Sie eigene Modelle entwickeln – dann ist die Entscheidung in der Regel eindeutig.
Wenn die Konfiguration an Ihren Serverraum angepasst werden muss – etwa bei Anzahl der Karten, Arbeitsspeicher, Netzwerk oder Kühlung –, erstellt unser Team einen Vorschlag für Ihren konkreten Anwendungsfall.
FAQ
Die Preisspanne ist gross: von rund CHF 5’209.57 netto für ein Desktop-Gerät der DGX-Spark-Klasse über rund CHF 108’532.85 für einen GPU-Server für ein Rack in Einstiegskonfiguration bis zu rund CHF 434’131.41 für eine HGX-Plattform B200. Zum Hardwarepreis kommen 15–30% für Stromversorgung, Kühlung, Netzwerk und Implementierung hinzu.
Das hängt vom Umfang ab. Die Cloud-Kosten steigen mit der Anzahl der Anfragen, während die Kosten eines eigenen Servers fix sind – nach dem Kauf zahlen Sie nicht für jeden Aufruf. Vergleichen Sie daher die aktuellen Kosten für APIs und Abonnements mit einer auf drei Jahre verteilten Hardware-Rate und den Energiekosten. Bei intensiver Nutzung ist die eigene Infrastruktur vorteilhafter, bei gelegentlicher Nutzung bleibt die Cloud günstiger.
Das Modell muss vollständig in den Speicher der Karten passen. Als Richtwert: Ein Modell der Klasse 8B benötigt einige zehn Gigabyte, ein Modell der Klasse 70B je nach Präzision der Modellspeicherung 70 bis 140 GB, und Modelle mit mehr als 200 Milliarden Parametern beginnen bei mehreren hundert Gigabyte. Hinzu kommt Speicher für laufende Gespräche, der mit der Anzahl der Nutzenden wächst.
Für Tests und einzelne Anwendungsfälle: ja. Für den Produktionseinsatz in der Regel nicht, da der Gesamtspeicher der Karten sowie Stromversorgung und Kühlung eines Gehäuses begrenzt sind, das nicht für acht Beschleuniger ausgelegt wurde.
Soll die KI produktiv für alle arbeiten, ist ein GPU-Server für ein Rack mit zwei Karten und der Option zur Erweiterung um weitere Karten die sinnvollste Wahl. Befindet sich das Projekt noch in der Testphase oder wird es nur von einem Team genutzt, genügt ein Desktop-Gerät der DGX-Spark-Klasse, gegebenenfalls zwei zu einem System verbundene Geräte.
Ein Desktop-Gerät etwa 240 W. Ein GPU-Server für ein Rack benötigt mit zwei Karten ab rund 2 kW, mit acht Karten 5–6 kW, und eine HGX-Plattform B200 liegt bei etwa 10 kW. Berechnen Sie die Kosten anhand Ihres eigenen kWh-Tarifs und der geplanten Laufzeit – im Dauerbetrieb ist der Unterschied zwischen den Stufen um ein Vielfaches höher.
