Die Frage „welche Hardware brauche ich für lokale KI“ lässt sich nicht pauschal beantworten — aber sie lässt sich stark vereinfachen. Drei Faktoren bestimmen alles: wie groß ist das Modell, wie viele Personen nutzen es gleichzeitig, wie schnell sollen Antworten kommen.
Drei typische Szenarien
1 bis 3 Nutzer, einfache Aufgaben — Mini-PC
Ein moderner Mini-PC mit Apple M-Chip (M3 Pro oder M4) oder ein Intel-NUC mit 64 GB RAM reicht für Modelle bis etwa acht Milliarden Parameter — das sind Modelle wie Mistral 7B oder Llama 3.1 8B. Reicht für Diktat, Mail-Triage, einfache Zusammenfassungen, kleinere RAG-Anwendungen.
Investition: ca. 2.000 bis 4.000 Euro. Stromverbrauch wie ein Bürorechner. Lautlos. Steht auf dem Schreibtisch oder im Serverschrank.
5 bis 15 Nutzer, anspruchsvoller — Workstation
Eine Workstation mit einer Profi-GPU — etwa NVIDIA RTX 6000 Ada oder ein Apple Mac Studio Ultra — bewältigt Sprachmodelle bis 70 Milliarden Parameter (Llama 3.1 70B, Qwen 2.5 72B). Diese Modelle erreichen für die meisten Bürotätigkeiten eine Qualität nahe an Cloud-Diensten. Für viele KMU der Sweet Spot.
Investition: ca. 8.000 bis 15.000 Euro. Lautstärke wie ein leiser Server, Standort idealerweise im Serverschrank oder Nebenraum. Stromverbrauch unter Volllast 300 bis 500 Watt.
25+ Nutzer, hohe Last — Server
Ein Server mit mehreren GPUs (zwei bis vier RTX 4090 oder eine NVIDIA H100) erlaubt parallele Anfragen mit großen Modellen und schnelle Antwortzeiten auch bei Last. Sinnvoll, wenn KI in mehrere Workflows fest eingebunden ist und über den Tag verteilt durchgehend genutzt wird.
Investition: ab 15.000 Euro, oft 25.000 bis 35.000. Klimatisierter Serverraum oder Schrank empfehlenswert. Stromverbrauch unter Volllast 600 bis 1.500 Watt.
Was nicht reicht
Ein normales NAS hat keine GPU und keinen schnellen Speicher für Modelle. Es kann den RAG-Index halten — die KI selbst braucht passende Hardware. Auch ein älterer Bürorechner ohne dedizierte Grafikkarte ist meist zu langsam für eine zufriedenstellende Antwortzeit.
Was Sie sonst beachten sollten
- Strom: 200 bis 800 Watt unter Volllast, im Standby deutlich weniger. Pro Jahr überschlägig 200 bis 1.500 Euro Stromkosten.
- Lärm: Workstation leise, Server hörbar. Standort beachten.
- Wärme: Bei Server-Setups klimatisierten Raum einplanen.
- Wartung: Updates, Backups, Monitoring — bei uns inklusive.
- Zukunftsfähig: GPUs lassen sich in vielen Setups später aufrüsten — Investition wächst mit dem Bedarf.
Für die meisten KMU mit fünf bis zwanzig Mitarbeitern ist eine Workstation mit einer Profi-GPU der richtige Weg. Förderfähig über DigitalInvest KMU bis 50 Prozent — siehe unsere Förder-Seite.
Was wir empfehlen
Sie müssen sich nicht in Datenblätter einlesen. Wir schauen uns Ihre konkreten Anwendungsfälle an, modellieren erwartete Last für die nächsten zwei bis drei Jahre und schlagen Hardware vor, die genug Reserve hat — ohne überzogen zu sein.
Welche Hardware passt zu Ihrem Bedarf?
Wir modellieren erwartete Last und schlagen passende Hardware vor — förderfähig über DigitalInvest KMU.
Erstgespräch vereinbaren