Sprachmodelle entzaubert.
Wie LLMs wirklich arbeiten.

Sprachmodelle sind die mit Abstand sichtbarste KI-Technologie gerade. Sie schreiben E-Mails, fassen Verträge zusammen, beantworten Kundenfragen. Aber unter der Haube ist das weniger geheimnisvoll, als die Marketingsprache es klingen lässt.

Was ein Sprachmodell tut

Auf den Punkt: Es sagt vorher, welches Wort als Nächstes kommt. Mehr nicht. Wenn Sie schreiben „Die Hauptstadt von Deutschland ist“, gibt das Modell die plausibelste Fortsetzung — „Berlin“.

Aus Wort-für-Wort-Vorhersagen entstehen ganze Antworten, Texte, Code und Übersetzungen. Was simpel klingt, ist überraschend mächtig — solange die Frage zu Mustern passt, die das Modell schon einmal gesehen hat.

Wie es das gelernt hat

Auf gigantischen Mengen Text — Bücher, Wikipedia, Forenbeiträge, Handbücher, Code-Repositories. Ein modernes Modell hat Muster aus mehreren Milliarden Sätzen verinnerlicht.

Es ist wie ein Bewerber, der jedes Buch der Stadtbibliothek gelesen hat — aber sich an keine einzelne Quelle exakt erinnert. Er kann zu fast allem etwas Plausibles sagen, aber nicht jeden Satz wörtlich belegen.

Tokens und Kontextfenster

Sprachmodelle sehen nicht „Wörter“ — sie sehen Tokens. Das sind Stücke aus zwei bis fünf Buchstaben. Ein deutsches Wort wie „Werkstattauftrag“ wird oft in drei oder vier Tokens zerlegt.

Das Kontextfenster ist die Menge an Tokens, die das Modell auf einmal lesen kann. Moderne Modelle schaffen 8.000 bis 128.000 Tokens — das reicht von einer kurzen E-Mail bis zu einem ganzen Vertragsstapel.

Bekannte Modelle, kurz eingeordnet

GPT-4, Claude, Gemini

Cloud-Modelle der größten Anbieter. Sehr leistungsfähig, breit trainiert. Aber: Daten gehen an den Anbieter, oft in die USA. Für Routineaufgaben mit unkritischem Inhalt praktisch — bei sensiblen Daten heikel.

Llama, Mistral, Qwen

Open-Weight-Modelle: die Datei ist frei verfügbar, das Modell läuft auf Ihrer eigenen Hardware. Mehrere Größen — von 7 bis 405 Milliarden Parametern. Für die meisten Bürotätigkeiten sind 8 bis 70 Milliarden Parameter völlig ausreichend.

Spezial-Modelle

Für Code, Recht oder Medizin gibt es fachspezifisch trainierte Modelle. Oft auch lokal einsetzbar und in einem eng umrissenen Bereich besser als Generalisten.

Was Sie sich merken sollten

• Sprachmodelle raten — sehr gut, aber nicht garantiert korrekt
• Cloud-Modelle: leistungsstark, aber Daten verlassen Ihr Haus
• Lokale Modelle: voll kontrolliert, oft gut genug für Routineaufgaben
• Größer ist nicht immer besser — kleinere Modelle sind schneller und reichen oft. Mit RAG werden auch kleinere Modelle nützlich für Ihren Betrieb.
• Das richtige Modell hängt von der Aufgabe ab, nicht vom Marketing